Iti0210lab9 - Redigeerimiste ajalugu

PriitJ: /* Testandmed */

2018-12-06T09:22:18Z

Testandmed

←Vanem redaktsioon		Redaktsioon: 6. detsember 2018, kell 11:22
84. rida:		84. rida:
	Siin on 15 näidet, millest 8 on rämps. Seega ''P(rämps)'' = 8/15 = 0.533.		Siin on 15 näidet, millest 8 on rämps. Seega ''P(rämps)'' = 8/15 = 0.533.

	Kui tahame leida ''P(http\|rämps)'', loendame näidiseid. ''N<sub>c</sub>'' = 8. Nendest kirjadest 3-s esineb sõna "http". Igal tunnusel on kaks võimalikku väärtust, seega ''d'' = 2. Kokku saame, et ''P(http\|rämps)'' = (3 + 1) / (8 + 2) = 0.4.		Kui tahame leida ''P(http\|rämps)'', loendame näidiseid. ''N<sub>c</sub>'' = 8. Nendest kirjadest 3-s esineb sõna "http". Igal tunnusel on kaks võimalikku väärtust, seega ''d'' = 2. Kokku saame, et ''P(http\|rämps)'' = (3 + 1) / (8 + 2) = 0.4. Leiame ka teise võimaliku väärtuse ("http" ei esine tekstis): ''P(-http\|rämps)'' = (5 + 1) / (8 + 2) = 0.6. Analoogselt leia ''P(http\|-rämps)'' ja ''P(-http\|-rämps)''.

	[[Media:Iti0120lab9_spam.txt\|Andmed mudeli treenimiseks CSV kujul]].		[[Media:Iti0120lab9_spam.txt\|Andmed mudeli treenimiseks CSV kujul]].

PriitJ: /* Sissejuhatus */

2018-12-06T09:18:21Z

Sissejuhatus

←Vanem redaktsioon		Redaktsioon: 6. detsember 2018, kell 11:18
9. rida:		9. rida:
	[[Image:Ifi6057lab9_nb.png\|NB valem]]		[[Image:Ifi6057lab9_nb.png\|NB valem]]

	Täpset tõenäosust see valem ei anna, aga piisab kui teame, milline tõenäosus on kõige suurem. Selleks tuleb see valem arvutada välja iga võimaliku klassi ''c<sub>i</sub>'' kohta. Vaja on iga klassifitseeringu esinemise tõenäosust ''P(c<sub>i</sub>)'' ning iga tunnuse tinglikku tõenäosusjaotust iga klassi kohta ''P(X<sub>j</sub>\|c<sub>i</sub>)''		Täpset tõenäosust see valem ei anna, aga piisab kui teame, milline tõenäosus on kõige suurem. Selleks tuleb see valem arvutada välja iga võimaliku klassi ''c<sub>i</sub>'' kohta. Vaja on iga klassifitseeringu esinemise tõenäosust ''P(c<sub>i</sub>)'' ning iga tunnuse tinglikku tõenäosusjaotust iga klassi kohta ''P(X<sub>j</sub>\|c<sub>i</sub>)''. Tõenäosusjaotus tähendab, et vaja on iga tunnuse võimaliku väärtuse tõenäosust, näit. kui tunnuse väärtused saavad olla 1 või 0, siis on vaja P(X<sub>j</sub>=1\|c<sub>i</sub>) ja P(X<sub>j</sub>=0\|c<sub>i</sub>).

	Kirjuta programm, mis:		Kirjuta programm, mis:

PriitJ: indeksid

2018-11-19T15:37:07Z

indeksid

←Vanem redaktsioon		Redaktsioon: 19. november 2018, kell 17:37
36. rida:		36. rida:
	Kuigi NB mudel töötab ka osalise informatsiooni alusel, siis lihtsustamise eesmärgil eeldame, et nii treeningnäidetes kui klassifitseeritavate objektide puhul on kõik tunnused alati antud.		Kuigi NB mudel töötab ka osalise informatsiooni alusel, siis lihtsustamise eesmärgil eeldame, et nii treeningnäidetes kui klassifitseeritavate objektide puhul on kõik tunnused alati antud.

	Ennustamist alustame sellest, et meil on kaks hüpoteesi: ''h1'' = "rämpspost" ja ''h2'' = "pole rämpspost". Kui meil on ühe kirja kohta tunnused ''x1, ..., xn'', siis arvutame välja sissejuhatuses toodud valemi nii ''P(h1\|x1, ..., xn)'' kui ''P(h2\|x1, ..., xn)'' kohta. Saadud numbrid annavad meile tõenäosuste omavahelise suhte - meid huvitab lihtsalt kumma hüpoteesi puhul annab valem suurema numbri. Kui soovid leida tõenäosuste väärtust, normaliseeri saadud arvud nii, et nende summa oleks 1.		Ennustamist alustame sellest, et meil on kaks hüpoteesi: ''h<sub>1</sub>'' = "rämpspost" ja ''h<sub>2</sub>'' = "pole rämpspost". Kui meil on ühe kirja kohta tunnused ''x<sub>1</sub>, ..., x<sub>n</sub>'', siis arvutame välja sissejuhatuses toodud valemi nii ''P(h<sub>1</sub>\|x<sub>1</sub>, ..., x<sub>n</sub>)'' kui ''P(h<sub>2</sub>\|x<sub>1</sub>, ..., x<sub>n</sub>)'' kohta. Saadud numbrid annavad meile tõenäosuste omavahelise suhte - meid huvitab lihtsalt kumma hüpoteesi puhul annab valem suurema numbri. Kui soovid leida tõenäosuste väärtust, normaliseeri saadud arvud nii, et nende summa oleks 1.

	== Testandmed ==		== Testandmed ==
84. rida:		84. rida:
	Siin on 15 näidet, millest 8 on rämps. Seega ''P(rämps)'' = 8/15 = 0.533.		Siin on 15 näidet, millest 8 on rämps. Seega ''P(rämps)'' = 8/15 = 0.533.

	Kui tahame leida ''P(http\|rämps)'', loendame näidiseid. ''~~N_c~~'' = 8. Nendest kirjadest 3-s esineb sõna "http". Igal tunnusel on kaks võimalikku väärtust, seega ''d'' = 2. Kokku saame, et ''P(http\|rämps)'' = (3 + 1) / (8 + 2) = 0.4.		Kui tahame leida ''P(http\|rämps)'', loendame näidiseid. ''N<sub>c</sub>'' = 8. Nendest kirjadest 3-s esineb sõna "http". Igal tunnusel on kaks võimalikku väärtust, seega ''d'' = 2. Kokku saame, et ''P(http\|rämps)'' = (3 + 1) / (8 + 2) = 0.4.

	[[Media:Iti0120lab9_spam.txt\|Andmed mudeli treenimiseks CSV kujul]].		[[Media:Iti0120lab9_spam.txt\|Andmed mudeli treenimiseks CSV kujul]].
90. rida:		90. rida:
	=== Kirjad klassifitseerimiseks ===		=== Kirjad klassifitseerimiseks ===

	Korja järgnevatest kirjadest välja samad tunnused, nagu treenimiseks kasutatud. Eesmärk on saada samasugune tunnuste rida, nagu treenimiseks kasutati: kui kirjas esineb sõna "enron", siis on esimesel positsioonil 1, muidu 0. Kui kirjas esineb sõna "company" siis on teisel positsioonil 1, muidu 0, jne. See annabki kokku tunnuste vektori ''x1, ..., xn'' mille abil ühe konkreetse juhtumi tõenäosust arvutada.		Korja järgnevatest kirjadest välja samad tunnused, nagu treenimiseks kasutatud. Eesmärk on saada samasugune tunnuste rida, nagu treenimiseks kasutati: kui kirjas esineb sõna "enron", siis on esimesel positsioonil 1, muidu 0. Kui kirjas esineb sõna "company" siis on teisel positsioonil 1, muidu 0, jne. See annabki kokku tunnuste vektori ''x<sub>1</sub>, ..., x<sub>n</sub>'' mille abil ühe konkreetse juhtumi tõenäosust arvutada.

	Kiri 1		Kiri 1

PriitJ: /* Testandmed */

2018-11-19T11:36:15Z

Testandmed

←Vanem redaktsioon		Redaktsioon: 19. november 2018, kell 13:36
40. rida:		40. rida:
	== Testandmed ==		== Testandmed ==

	~~Andmed~~ on antud ridade kaupa, iga rida vastab ühele kirjale:		Treeningandmed on antud ridade kaupa, iga rida vastab ühele kirjale:
	* veerud 1-12 tunnused (1 - sõna esines, 0 - ei esinenud)		* veerud 1-12 tunnused (1 - sõna esines, 0 - ei esinenud)
	* veerg 13 klassifikatsioon (1 - rämps, 0 - ei ole rämps)		* veerg 13 klassifikatsioon (1 - rämps, 0 - ei ole rämps)

PriitJ: /* Treeningandmed */

2018-11-19T11:27:19Z

Treeningandmed

←Vanem redaktsioon		Redaktsioon: 19. november 2018, kell 13:27
38. rida:		38. rida:
	Ennustamist alustame sellest, et meil on kaks hüpoteesi: ''h1'' = "rämpspost" ja ''h2'' = "pole rämpspost". Kui meil on ühe kirja kohta tunnused ''x1, ..., xn'', siis arvutame välja sissejuhatuses toodud valemi nii ''P(h1\|x1, ..., xn)'' kui ''P(h2\|x1, ..., xn)'' kohta. Saadud numbrid annavad meile tõenäosuste omavahelise suhte - meid huvitab lihtsalt kumma hüpoteesi puhul annab valem suurema numbri. Kui soovid leida tõenäosuste väärtust, normaliseeri saadud arvud nii, et nende summa oleks 1.		Ennustamist alustame sellest, et meil on kaks hüpoteesi: ''h1'' = "rämpspost" ja ''h2'' = "pole rämpspost". Kui meil on ühe kirja kohta tunnused ''x1, ..., xn'', siis arvutame välja sissejuhatuses toodud valemi nii ''P(h1\|x1, ..., xn)'' kui ''P(h2\|x1, ..., xn)'' kohta. Saadud numbrid annavad meile tõenäosuste omavahelise suhte - meid huvitab lihtsalt kumma hüpoteesi puhul annab valem suurema numbri. Kui soovid leida tõenäosuste väärtust, normaliseeri saadud arvud nii, et nende summa oleks 1.

	== ~~Treeningandmed~~ ==		== Testandmed ==

	Andmed on antud ridade kaupa, iga rida vastab ühele kirjale:		Andmed on antud ridade kaupa, iga rida vastab ühele kirjale:

PriitJ: /* Treenimine ja ennustamine */

2018-11-19T11:13:33Z

Treenimine ja ennustamine

←Vanem redaktsioon		Redaktsioon: 19. november 2018, kell 13:13
35. rida:		35. rida:

	Kuigi NB mudel töötab ka osalise informatsiooni alusel, siis lihtsustamise eesmärgil eeldame, et nii treeningnäidetes kui klassifitseeritavate objektide puhul on kõik tunnused alati antud.		Kuigi NB mudel töötab ka osalise informatsiooni alusel, siis lihtsustamise eesmärgil eeldame, et nii treeningnäidetes kui klassifitseeritavate objektide puhul on kõik tunnused alati antud.

			Ennustamist alustame sellest, et meil on kaks hüpoteesi: ''h1'' = "rämpspost" ja ''h2'' = "pole rämpspost". Kui meil on ühe kirja kohta tunnused ''x1, ..., xn'', siis arvutame välja sissejuhatuses toodud valemi nii ''P(h1\|x1, ..., xn)'' kui ''P(h2\|x1, ..., xn)'' kohta. Saadud numbrid annavad meile tõenäosuste omavahelise suhte - meid huvitab lihtsalt kumma hüpoteesi puhul annab valem suurema numbri. Kui soovid leida tõenäosuste väärtust, normaliseeri saadud arvud nii, et nende summa oleks 1.

	== Treeningandmed ==		== Treeningandmed ==

PriitJ: /* Kirjad klassifitseerimiseks */

2018-11-19T11:05:16Z

Kirjad klassifitseerimiseks

←Vanem redaktsioon		Redaktsioon: 19. november 2018, kell 13:05
88. rida:		88. rida:
	=== Kirjad klassifitseerimiseks ===		=== Kirjad klassifitseerimiseks ===

	Korja järgnevatest kirjadest välja samad tunnused, nagu treenimiseks kasutatud. Eesmärk on saada samasugune tunnuste rida, nagu treenimiseks kasutati: kui kirjas esineb sõna "enron", siis on esimesel positsioonil 1, muidu 0. Kui kirjas esineb sõna "company" siis on teisel positsioonil 1, muidu 0, jne.		Korja järgnevatest kirjadest välja samad tunnused, nagu treenimiseks kasutatud. Eesmärk on saada samasugune tunnuste rida, nagu treenimiseks kasutati: kui kirjas esineb sõna "enron", siis on esimesel positsioonil 1, muidu 0. Kui kirjas esineb sõna "company" siis on teisel positsioonil 1, muidu 0, jne. See annabki kokku tunnuste vektori ''x1, ..., xn'' mille abil ühe konkreetse juhtumi tõenäosust arvutada.

	Kiri 1		Kiri 1

PriitJ: /* Treeningandmed */

2018-11-19T10:58:10Z

Treeningandmed

Näita muudatusi

PriitJ: /* Treeningandmed */

2018-11-15T20:01:36Z

Treeningandmed

←Vanem redaktsioon		Redaktsioon: 15. november 2018, kell 22:01
42. rida:		42. rida:
	* veerg 13 klassifikatsioon (1 - rämps, 0 - ei ole rämps)		* veerg 13 klassifikatsioon (1 - rämps, 0 - ei ole rämps)

	Märkus: 12 tunnust on valitud selleks, et näide loetavam oleks. Selline sõnade arv on praktikas väga väike (liiga väike) ~~arv~~ teksti sisu klassifitseerimiseks.		Märkus: 12 tunnust on valitud selleks, et näide loetavam oleks. Selline sõnade arv on praktikas väga väike (liiga väike) teksti sisu klassifitseerimiseks.

	Andmete näidis, koos sõnadega mis tunnusteks valitud (sõna SPAM tähistab veergu, kus on klassifikatsioon):		Andmete näidis, koos sõnadega mis tunnusteks valitud (sõna SPAM tähistab veergu, kus on klassifikatsioon):

PriitJ: /* Treeningandmed */

2018-11-15T19:56:11Z

Treeningandmed

←Vanem redaktsioon		Redaktsioon: 15. november 2018, kell 21:56
41. rida:		41. rida:
	* veerud 1-12 tunnused (1 - sõna esines, 0 - ei esinenud)		* veerud 1-12 tunnused (1 - sõna esines, 0 - ei esinenud)
	* veerg 13 klassifikatsioon (1 - rämps, 0 - ei ole rämps)		* veerg 13 klassifikatsioon (1 - rämps, 0 - ei ole rämps)

			Märkus: 12 tunnust on valitud selleks, et näide loetavam oleks. Selline sõnade arv on praktikas väga väike (liiga väike) arv teksti sisu klassifitseerimiseks.

	Andmete näidis, koos sõnadega mis tunnusteks valitud (sõna SPAM tähistab veergu, kus on klassifikatsioon):		Andmete näidis, koos sõnadega mis tunnusteks valitud (sõna SPAM tähistab veergu, kus on klassifikatsioon):