Iti0210lab91 - Redigeerimiste ajalugu

PriitJ – 5. aprill 2020, kell 11:26

2020-04-05T11:26:37Z

←Vanem redaktsioon		Redaktsioon: 5. aprill 2020, kell 13:26
164. rida:		164. rida:
	* sõnade parem filtreerimine - täienda <code>stopwords</code> funktsiooni.		* sõnade parem filtreerimine - täienda <code>stopwords</code> funktsiooni.
	* arvuta logaritmiliste hinnangute pealt lõplik tõenäosus (vihje - e<sup>a</sup> / e<sup>b</sup> = e<sup>a-b</sup>)		* arvuta logaritmiliste hinnangute pealt lõplik tõenäosus (vihje - e<sup>a</sup> / e<sup>b</sup> = e<sup>a-b</sup>)

			[[Category:Iti0210]]

PriitJ: /* Ettevalmistus */

2019-11-17T08:03:13Z

Ettevalmistus

←Vanem redaktsioon		Redaktsioon: 17. november 2019, kell 10:03
55. rida:		55. rida:

	<pre>		<pre>
	ham_l = read_dir("enron6\\ham")		ham_l = read_dir(os.path.join("enron6", "ham"))
	spam_l = read_dir("enron6\\spam")		spam_l = read_dir(os.path.join("enron6", "spam"))

	print(len(ham_l), "ham messages") # meaning, these are not spam		print(len(ham_l), "ham messages") # meaning, these are not spam

PriitJ: /* Klassifitseerimine */

2019-11-12T14:22:51Z

Klassifitseerimine

←Vanem redaktsioon		Redaktsioon: 12. november 2019, kell 16:22
114. rida:		114. rida:
	''ln H<sub>ham</sub> = ln P(ham) + ln P(w<sub>1</sub>\|ham) + ... + ln P(w<sub>n</sub>\|ham)''.		''ln H<sub>ham</sub> = ln P(ham) + ln P(w<sub>1</sub>\|ham) + ... + ln P(w<sub>n</sub>\|ham)''.

	Kui ''a > b'' siis ka ''log(a) > log(b)'', nii et logaritmilisel kujul hinnangute pealt saab juba lõpptulemuse välja lugeda.		Kus ''w<sub>i</sub>'' on sõna klassifitseeritavast kirjast ja ''n'' nende sõnade arv antud kirjas mis leidusid vähemalt ühes kirjade klassis. Kui ''a > b'' siis ka ''log(a) > log(b)'', nii et logaritmilisel kujul hinnangute pealt saab juba lõpptulemuse välja lugeda.

	=== Kirjad klassifitseerimiseks ===		=== Kirjad klassifitseerimiseks ===

PriitJ: /* Klassifitseerimine */

2019-11-12T14:18:25Z

Klassifitseerimine

←Vanem redaktsioon		Redaktsioon: 12. november 2019, kell 16:18
104. rida:		104. rida:
	== Klassifitseerimine ==		== Klassifitseerimine ==

	Teisenda allolevad kirjad dokumentideks samamoodi nagu tegid treeningandmetega. Korduvad sõnad meid enam ei huvita, seega viska kordused välja. Seda saad teha käsitsi või jällegi Pythoni <code>set()</code>-i ära kasutades. Lisaks viska välja sõnad, mida me treenimisel ei kohanud, kohtleme neid kui "neutraalseid" mis ei suurenda ega vähenda rämpsposti tõenäosust.		Teisenda allolevad kirjad dokumentideks samamoodi nagu tegid treeningandmetega. Korduvad sõnad meid enam ei huvita, seega viska kordused välja. Seda saad teha käsitsi või jällegi Pythoni <code>set()</code>-i ära kasutades. Lisaks viska välja sõnad, mida me treenimisel ei kohanud mitte kummagi klassi kirjade juures, kohtleme neid kui "neutraalseid" mis ei suurenda ega vähenda rämpsposti tõenäosust. Kui sõna esines ühes klassis, aga teises ei esinenud, siis tuleb tema esinemiste arvuks teises võtta 0.

	Nüüd tuleks arvutada ''H<sub>spam</sub>'' ja ''H<sub>ham</sub>''. Kui ''H<sub>spam</sub>'' on suurem, on tegu rämpspostiga.		Nüüd tuleks arvutada ''H<sub>spam</sub>'' ja ''H<sub>ham</sub>''. Kui ''H<sub>spam</sub>'' on suurem, on tegu rämpspostiga.

PriitJ – 11. aprill 2019, kell 12:47

2019-04-11T12:47:41Z

←Vanem redaktsioon		Redaktsioon: 11. aprill 2019, kell 14:47
86. rida:		86. rida:
	* ''\|V\|'' - unikaalsete sõnade arv		* ''\|V\|'' - unikaalsete sõnade arv

	Näiteks, kui meil esineb sõna "online" rämpsposti hulgas 11 korda, kogu rämpsposti sõnade arv kokku on 500000 ja unikaalseid sõnu on 10000, siis arvutame ''P("online"\|spam) = (11 + 1) / 500000 + 10000. [https://en.wikipedia.org/wiki/Additive_smoothing]		Näiteks, kui meil esineb sõna "online" rämpsposti hulgas 11 korda, kogu rämpsposti sõnade arv kokku on 500000 ja unikaalseid sõnu on 10000, siis arvutame ''P("online"\|spam) = (11 + 1) / (500000 + 10000). [https://en.wikipedia.org/wiki/Additive_smoothing]

	===Kokkuvõte===		===Kokkuvõte===

PriitJ: /* Treenimine */

2019-04-05T08:02:25Z

Treenimine

←Vanem redaktsioon		Redaktsioon: 5. aprill 2019, kell 10:02
86. rida:		86. rida:
	* ''\|V\|'' - unikaalsete sõnade arv		* ''\|V\|'' - unikaalsete sõnade arv

	Näiteks, kui meil esineb sõna "online" rämpsposti hulgas 11 korda, kogu rämpsposti sõnade arv kokku on 500000 ja unikaalseid sõnu on 10000, siis arvutame ''P("online"\|spam) = (11 + 1) / 500000 + 10000. [https://en.wikipedia.org/wiki/~~Rule_of_succession~~]		Näiteks, kui meil esineb sõna "online" rämpsposti hulgas 11 korda, kogu rämpsposti sõnade arv kokku on 500000 ja unikaalseid sõnu on 10000, siis arvutame ''P("online"\|spam) = (11 + 1) / 500000 + 10000. [https://en.wikipedia.org/wiki/Additive_smoothing]

	===Kokkuvõte===		===Kokkuvõte===

PriitJ: /* Klassifitseerimine */

2019-04-03T21:38:41Z

Klassifitseerimine

←Vanem redaktsioon		Redaktsioon: 3. aprill 2019, kell 23:38
110. rida:		110. rida:
	Arvutamine aga ei ole nii lihtne! Tegu on suure hulga väikeste tõenäosuste kokku korrutamisega, mis kipuvad kokku 0-iks minema. Kasutame omadust, et kui ''a = b * c'' siis ''log(a) = log(b) + log(c)''. Seega valemite lõplik kuju on:		Arvutamine aga ei ole nii lihtne! Tegu on suure hulga väikeste tõenäosuste kokku korrutamisega, mis kipuvad kokku 0-iks minema. Kasutame omadust, et kui ''a = b * c'' siis ''log(a) = log(b) + log(c)''. Seega valemite lõplik kuju on:

	''ln H<sub>spam</sub>) = ln P(spam) + ln P(w<sub>1</sub>\|spam) + ln P(w<sub>2</sub>\|spam) +... + ln P(w<sub>n</sub>\|spam)''		''ln H<sub>spam</sub> = ln P(spam) + ln P(w<sub>1</sub>\|spam) + ln P(w<sub>2</sub>\|spam) +... + ln P(w<sub>n</sub>\|spam)''

	''ln H<sub>ham</sub> = ln P(ham) + ln P(w<sub>1</sub>\|ham) + ... + ln P(w<sub>n</sub>\|ham)''.		''ln H<sub>ham</sub> = ln P(ham) + ln P(w<sub>1</sub>\|ham) + ... + ln P(w<sub>n</sub>\|ham)''.

PriitJ – 3. aprill 2019, kell 21:30

2019-04-03T21:30:10Z

@@ 25. rida: / 25. rida: @@
 Laadi siit [http://nlp.cs.aueb.gr/software_and_datasets/Enron-Spam/preprocessed/enron6.tar.gz treeningandmed] ja paki lahti. Võid kasutada ka muid andmeid, aga ära kasuta ''enron1'' osa samast korpusest, kuna sealt pärinevad testandmed.
-Teisendame tekstifailid sõnade listideks, edaspidi viitame nendele listidele kui dokumentidele. Selle juures on kasulik ka sõnu filtreerida, jättes välja näiteks sidesõnad. Esialgu teeme lihtsamalt ja filtreerime lihtsalt sõnad, mis on lühemad kui 4 tähemärki.
+Teisendame tekstifailid sõnade listideks, edaspidi viitame nendele listidele kui dokumentidele. Selle juures on kasulik ka sõnu filtreerida, jättes välja näiteks sidesõnad. Esialgu teeme lihtsamalt ja filtreerime sõnad, mis on lühemad kui 4 tähemärki.
 <pre>
@@ 102. rida: / 102. rida: @@
 </pre>
-<!--
+== Klassifitseerimine ==
-Pane tähele, et NB valemis toodud korrutis läheb nulliks klassi ja tunnuse väärtuse kombinatsioonide puhul mida treeningnäidetes ei esine (esinemissagedus 0). Juhul kui treeningandmeid on vähe, ei saa me sellest kohe järeldada, et see kombinatsioon võimatu oleks.
+Teisenda allolevad kirjad dokumentideks samamoodi nagu tegid treeningandmetega. Korduvad sõnad meid enam ei huvita, seega viska kordused välja. Seda saad teha käsitsi või jällegi Pythoni <code>set()</code>-i ära kasutades. Lisaks viska välja sõnad, mida me treenimisel ei kohanud, kohtleme neid kui "neutraalseid" mis ei suurenda ega vähenda rämpsposti tõenäosust.
-Seetõttu kasuta tunnuse väärtuse tingliku tõenäosuse leidmiseks järgmist valemit:
+Nüüd tuleks arvutada ''H<sub>spam</sub>'' ja ''H<sub>ham</sub>''. Kui ''H<sub>spam</sub>'' on suurem, on tegu rämpspostiga.
-[[Image:Ifi6057lab9_smoothing.png|Laplace smoothing]]
+Arvutamine aga ei ole nii lihtne! Tegu on suure hulga väikeste tõenäosuste kokku korrutamisega, mis kipuvad kokku 0-iks minema. Kasutame omadust, et kui ''a = b * c'' siis ''log(a) = log(b) + log(c)''. Seega valemite lõplik kuju on:
-Kus ''N<sub>x</sub>'' on juhtumite arv (klassi kohta), kus mingi tunnuse väärtus esines; ''N<sub>c</sub>''
+''ln H<sub>spam</sub>) = ln P(spam) + ln P(w<sub>1</sub>|spam) + ln P(w<sub>2</sub>|spam) +... + ln P(w<sub>n</sub>|spam)''
-Kuigi NB mudel töötab ka osalise informatsiooni alusel, siis lihtsustamise eesmärgil eeldame, et nii treeningnäidetes kui klassifitseeritavate objektide puhul on kõik tunnused alati antud.
+''ln H<sub>ham</sub> = ln P(ham) + ln P(w<sub>1</sub>|ham) + ... + ln P(w<sub>n</sub>|ham)''.
-Ennustamist alustame sellest, et meil on kaks hüpoteesi: ''h<sub>1</sub>'' = "rämpspost" ja ''h<sub>2</sub>'' = "pole rämpspost". Kui meil on ühe kirja kohta tunnused ''x<sub>1</sub>, ..., x<sub>n</sub>'', siis arvutame välja sissejuhatuses toodud valemi nii ''P(h<sub>1</sub>|x<sub>1</sub>, ..., x<sub>n</sub>)'' kui ''P(h<sub>2</sub>|x<sub>1</sub>, ..., x<sub>n</sub>)'' kohta. Saadud numbrid annavad meile tõenäosuste omavahelise suhte - meid huvitab lihtsalt kumma hüpoteesi puhul annab valem suurema numbri. Kui soovid leida tõenäosuste väärtust, normaliseeri saadud arvud nii, et nende summa oleks 1.
+Kui ''a > b'' siis ka ''log(a) > log(b)'', nii et logaritmilisel kujul hinnangute pealt saab juba lõpptulemuse välja lugeda.
 === Kirjad klassifitseerimiseks ===
 Kiri 1
@@ 212. rida: / 156. rida: @@
 - http : / / yoursite . com
 </pre>
 -->

PriitJ – 3. aprill 2019, kell 20:45

2019-04-03T20:45:08Z

@@ 78. rida: / 78. rida: @@
 * sõna esinemise tõenäosus ei sõltu teistest sõnadest - see on NB mudeli põhieeldus.
-Oletame, et sõna "Tere" esineb suvalisel kohal tavalises kirjas tõenäosusega 0.001. Kui meil on tavalistes kirjades (''ham'') kokku 200000 sõna, siis nendest umbes 200 on järelikult "Tere". Sõna esinemise tõenäosust ''P(w<sub>j</sub>|c)'', kus ''c'' on tähistab klassi - kas ''spam'' või ''ham'' - hindame järgmise valemiga:
+Oletame, et sõna "Tere" esineb suvalisel kohal tavalises kirjas tõenäosusega 0.001. Kui meil on tavalistes kirjades (''ham'') kokku 200000 sõna, siis nendest umbes 200 on järelikult "Tere". Sõna esinemise tõenäosust ''P(w|c)'', kus ''c'' on tähistab klassi - kas ''spam'' või ''ham'' - hindame järgmise valemiga:
 [[Image:Iti0210lab91_laplace.gif|korrigeeritud tõenäosus]]
 <!--

PriitJ – 3. aprill 2019, kell 19:12

2019-04-03T19:12:03Z

@@ 25. rida: / 25. rida: @@
 Laadi siit [http://nlp.cs.aueb.gr/software_and_datasets/Enron-Spam/preprocessed/enron6.tar.gz treeningandmed] ja paki lahti. Võid kasutada ka muid andmeid, aga ära kasuta ''enron1'' osa samast korpusest, kuna sealt pärinevad testandmed.
-Teisendame kirjad dokumentideks, mis on sõnade listid. Selle juures on kasulik ka sõnu filtreerida, jättes välja näiteks sidesõnad. Esialgu teeme lihtsamalt ja filtreerime lihtsalt sõnad, mis on lühemad kui 4 tähemärki.
+Teisendame tekstifailid sõnade listideks, edaspidi viitame nendele listidele kui dokumentidele. Selle juures on kasulik ka sõnu filtreerida, jättes välja näiteks sidesõnad. Esialgu teeme lihtsamalt ja filtreerime lihtsalt sõnad, mis on lühemad kui 4 tähemärki.
 <pre>
@@ 38. rida: / 38. rida: @@
 <pre>
 def read_dir(dirn):
      cont_l = []
@@ 59. rida: / 61. rida: @@
 print(len(spam_l), "spam messages")
 </pre>
 <!--
 Et klassifikaatorit treenida, tuleb leida:
 * iga klassi ''c<sub>i</sub>'' esinemise sagedus treeningnäidetes (annab eeltõenäosuse)