Iti0210lab113 - Redigeerimiste ajalugu

PriitJ: /* Entroopia arvutus */

2020-04-27T10:40:44Z

Entroopia arvutus

←Vanem redaktsioon		Redaktsioon: 27. aprill 2020, kell 12:40
99. rida:		99. rida:
	# p<sub>ij</sub> = N<sub>ij</sub> / N<sub>i</sub>		# p<sub>ij</sub> = N<sub>ij</sub> / N<sub>i</sub>
	# H<sub>i</sub> = -(p<sub>i1</sub>log<sub>2</sub>p<sub>i1</sub>) - (p<sub>i2</sub>log<sub>2</sub>p<sub>i2</sub>) - ... - (p<sub>i7</sub>log<sub>2</sub>p<sub>i7</sub>)		# H<sub>i</sub> = -(p<sub>i1</sub>log<sub>2</sub>p<sub>i1</sub>) - (p<sub>i2</sub>log<sub>2</sub>p<sub>i2</sub>) - ... - (p<sub>i7</sub>log<sub>2</sub>p<sub>i7</sub>)
	# H = (N<sub>i</sub> * H<sub>i</sub>)/N summa üle ~~võimalike~~ i väärtuste		# H = (N<sub>i</sub> * H<sub>i</sub>)/N summa üle kõigi i väärtuste (see tähendab: arvuta see avaldis kõigi esinenud "legs" väärtuste kohta ja siis liida kõik kokku)

	Ignoreeri i ja j kombinatsioone, mida ei esine. Mida madalam on H, seda paremini ennustab tunnus klassi väärtust.		Ignoreeri i ja j kombinatsioone, mida ei esine. Mida madalam on H, seda paremini ennustab tunnus klassi väärtust.

PriitJ – 14. aprill 2020, kell 16:11

2020-04-14T16:11:41Z

←Vanem redaktsioon		Redaktsioon: 14. aprill 2020, kell 18:11
5. rida:		5. rida:
	Treeningandmed võivad sisaldada nii kasulikku informatsiooni kui mittevajalikku müra. Paljud masinõppe meetodid, näiteks närvivõrgud, oskavad ise leida andmetest tunnuseid mis on kõige kasulikumad treenitava ülesande lahendamiseks. Siin ülesandes teeme seda käsitsi.		Treeningandmed võivad sisaldada nii kasulikku informatsiooni kui mittevajalikku müra. Paljud masinõppe meetodid, näiteks närvivõrgud, oskavad ise leida andmetest tunnuseid mis on kõige kasulikumad treenitava ülesande lahendamiseks. Siin ülesandes teeme seda käsitsi.

	Katsetamiseks on mänguandmestik, [https://archive.ics.uci.edu/ml/datasets/Zoo "Zoo dataset"], kus on 17 tunnust mille alusel loomaaia elanikke klassifitseerida putukateks, lindudeks jne.		Katsetamiseks on mänguandmestik, [https://archive.ics.uci.edu/ml/datasets/Zoo "Zoo dataset"], kus on 16 tunnust mille alusel loomaaia elanikke klassifitseerida putukateks, lindudeks jne.

	Ülesandeks on kirjutada programm, mis leiab iga tunnuse kohta, kui palju ta looma klassi kohta informatsiooni annab, kasutades Shannoni entroopiat.		Ülesandeks on kirjutada programm, mis leiab iga tunnuse kohta, kui palju ta looma klassi kohta informatsiooni annab, kasutades Shannoni entroopiat.
33. rida:		33. rida:
	import pandas as pd		import pandas as pd

	features = [~~"name",~~ "hair", "feathers", "eggs", "milk", "airborne",		features = ["hair", "feathers", "eggs", "milk", "airborne",
	"aquatic", "predator", "toothed", "backbone", "breathes", "venomous",		"aquatic", "predator", "toothed", "backbone", "breathes", "venomous",
	"fins", "legs", "tail", "domestic", "catsize"]		"fins", "legs", "tail", "domestic", "catsize"]
39. rida:		39. rida:
	zoo_data = pd.read_csv("zoo.data",		zoo_data = pd.read_csv("zoo.data",
	header=None,		header=None,
	names=features + ["type"])		names=["name"] + features + ["type"])
	</pre>		</pre>

	Tunnused on enamasti 0/1 tüüpi, ~~mõnedel~~ on rohkem võimalikke väärtusi. Viimane veerg failis sisaldab looma klassi (<code>"type"</code>), mida peaks saama eelneva 17 tunnuse põhjal ennustada:		Tunnused on enamasti 0/1 tüüpi, jalgade arvul on rohkem võimalikke väärtusi. Viimane veerg failis sisaldab looma klassi (<code>"type"</code>), mida peaks saama eelneva 16 tunnuse põhjal ennustada:

	<pre>		<pre>
102. rida:		102. rida:

	Ignoreeri i ja j kombinatsioone, mida ei esine. Mida madalam on H, seda paremini ennustab tunnus klassi väärtust.		Ignoreeri i ja j kombinatsioone, mida ei esine. Mida madalam on H, seda paremini ennustab tunnus klassi väärtust.

			Kontroll: looma nime seos klassiga on täielikult deterministlik, sama lugu veeruga "type". Seal peab tulema H=0. Tunnustest "legs" puhul H=1.0275.

	== Aruanne ==		== Aruanne ==

	Aruandesse pane kirja, mis tunnus on kõige kasulikum, milline annab kõige vähem informatsiooni. Lisaks tee diagramm, kus on iga tunnuse entroopia. Diagrammi ei pea genereerima programmikoodis, võib kasutada ka Excelit, Google Sheetsi vms.		Aruandesse pane kirja, mis tunnus (veergudest 2-17) on kõige kasulikum, milline annab kõige vähem informatsiooni. Lisaks tee diagramm, kus on iga tunnuse entroopia. Diagrammi ei pea genereerima programmikoodis, võib kasutada ka Excelit, Google Sheetsi vms.

			== Lisaülesanne ==

			Lisaülesanne on vabatahtlik, eesmärgiks iseseisvalt silmaringi laiendamine.

			* Lisa diagrammile entroopia tase, mis vastab juhuslikule mürale.

	[[Category:Iti0210]]		[[Category:Iti0210]]

PriitJ: /* Andmetega töötamine */

2020-04-14T15:57:26Z

Andmetega töötamine

←Vanem redaktsioon		Redaktsioon: 14. aprill 2020, kell 17:57
75. rida:		75. rida:
	Kui palju on ridu:		Kui palju on ridu:

	>>> zoo_data["legs"].size()		>>> zoo_data["legs"].size

	Ridade arv tunnuse väärtuse kaupa (vt [https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.groupby.html groupby]):		Ridade arv tunnuse väärtuse kaupa (vt [https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.groupby.html groupby]):

PriitJ: /* Andmetega töötamine */

2020-04-14T14:29:07Z

Andmetega töötamine

←Vanem redaktsioon		Redaktsioon: 14. aprill 2020, kell 16:29
77. rida:		77. rida:
	>>> zoo_data["legs"].size()		>>> zoo_data["legs"].size()

	Ridade arv ~~tüübi~~ kaupa (vt [https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.groupby.html groupby]):		Ridade arv tunnuse väärtuse kaupa (vt [https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.groupby.html groupby]):

	>>> zoo_data.groupby(["legs"]).size()		>>> zoo_data.groupby(["legs"]).size()

	Näidete arv ~~tüübi~~ ja klassi kaupa:		Näidete arv tunnuse ja klassi kaupa:

	>>> zoo_data.groupby(["legs", "type"]).size()		>>> zoo_data.groupby(["legs", "type"]).size()

PriitJ – 14. aprill 2020, kell 14:28

2020-04-14T14:28:07Z

@@ 16. rida: / 16. rida: @@
 [[Image:Iti0210_lab113_ent1.png|Tunnuse väärtuse entroopia]]
 Väärtuste entroopiate pealt leitakse kaalutud keskmine, mis ongi tunnuse entroopia (''n<sub>i</sub>'' - näidete arv, kus tunnuse väärtus oli ''v<sub>i</sub>'', ''n'' - näidete koguarv).
@@ 31. rida: / 33. rida: @@
 import pandas as pd
-features = [ "name", "hair", "feathers", "eggs", "milk", "airborne",
+features = ["name", "hair", "feathers", "eggs", "milk", "airborne",
      "aquatic", "predator", "toothed", "backbone", "breathes", "venomous",
      "fins", "legs", "tail", "domestic", "catsize"]
@@ 62. rida: / 64. rida: @@
 . type: Numeric (integer values in range [1,7])
 </pre>
 == Entroopia arvutus ==
 == Aruanne ==
-Aruandesse pane kirja, mis tunnus on kõige kasulikum, milline annab kõige vähem informatsiooni. Lisaks tee diagramm, kus on iga tunnuse entroopia. Diagrammi ei pea genereerima programmikoodis, võib kasutada ka spreadsheeti.
+Aruandesse pane kirja, mis tunnus on kõige kasulikum, milline annab kõige vähem informatsiooni. Lisaks tee diagramm, kus on iga tunnuse entroopia. Diagrammi ei pea genereerima programmikoodis, võib kasutada ka Excelit, Google Sheetsi vms.
 [[Category:Iti0210]]

PriitJ: Uus lehekülg: '= Informatsioon ja ennustatavus = == Sissejuhatus == Treeningandmed võivad sisaldada nii kasulikku informatsiooni kui mittevajalikku müra. Paljud masinõppe meetodid, näitek...'

2020-04-14T12:53:35Z

Uus lehekülg: '= Informatsioon ja ennustatavus = == Sissejuhatus == Treeningandmed võivad sisaldada nii kasulikku informatsiooni kui mittevajalikku müra. Paljud masinõppe meetodid, näitek...'

Uus lehekülg

= Informatsioon ja ennustatavus =

== Sissejuhatus ==

Treeningandmed võivad sisaldada nii kasulikku informatsiooni kui mittevajalikku müra. Paljud masinõppe meetodid, näiteks närvivõrgud, oskavad ise leida andmetest tunnuseid mis on kõige kasulikumad treenitava ülesande lahendamiseks. Siin ülesandes teeme seda käsitsi.

Katsetamiseks on mänguandmestik, [https://archive.ics.uci.edu/ml/datasets/Zoo "Zoo dataset"], kus on 17 tunnust mille alusel loomaaia elanikke klassifitseerida putukateks, lindudeks jne.

Ülesandeks on kirjutada programm, mis leiab iga tunnuse kohta, kui palju ta looma klassi kohta informatsiooni annab, kasutades Shannoni entroopiat.

<div class="toccolours mw-collapsible mw-collapsed" style="width:500px; overflow:auto;">
'''Teooria''': ühe tunnuse entroopia
<div class="mw-collapsible-content">

Tähistame tunnuse väärtuse ''v<sub>i</sub>'', mingi klassi ''j'' ja ''p<sub>j</sub>'' on tõenäosus (selliste treeningnäidete osakaal), et kui tunnuse väärtus on ''v<sub>i</sub>'', siis asi kuulub klassi ''j''. Selle konkreetse väärtuse nägemisel korral on entroopia:

[[Image:Iti0210_lab113_ent1.png|Tunnuse väärtuse entroopia]]

Väärtuste entroopiate pealt leitakse kaalutud keskmine, mis ongi tunnuse entroopia (''n<sub>i</sub>'' - näidete arv, kus tunnuse väärtus oli ''v<sub>i</sub>'', ''n'' - näidete koguarv).

[[Image:Iti0210_lab113_ent2.png|Tunnuse keskmine entroopia]]
</div></div>

== Ettevalmistus ==

Andmed võta siit: [https://archive.ics.uci.edu/ml/machine-learning-databases/zoo/zoo.data zoo.data]

Faili laadimiseks on mugav kasutada <code>pandas</code> moodulit:

<pre>
import pandas as pd

features = [ "name", "hair", "feathers", "eggs", "milk", "airborne",
"aquatic", "predator", "toothed", "backbone", "breathes", "venomous",
"fins", "legs", "tail", "domestic", "catsize"]

zoo_data = pd.read_csv("zoo.data",
header=None,
names=features + ["type"])
</pre>

Tunnused on enamasti 0/1 tüüpi, mõnedel on rohkem võimalikke väärtusi. Viimane veerg failis sisaldab looma klassi (<code>"type"</code>), mida peaks saama eelneva 17 tunnuse põhjal ennustada:

<pre>
1. animal name: Unique for each instance
2. hair: Boolean
3. feathers: Boolean
4. eggs: Boolean
5. milk: Boolean
6. airborne: Boolean
7. aquatic: Boolean
8. predator: Boolean
9. toothed: Boolean
10. backbone: Boolean
11. breathes: Boolean
12. venomous: Boolean
13. fins: Boolean
14. legs: Numeric (set of values: {0,2,4,5,6,8})
15. tail: Boolean
16. domestic: Boolean
17. catsize: Boolean
18. type: Numeric (integer values in range [1,7])
</pre>

== Entroopia arvutus ==

== Aruanne ==

Aruandesse pane kirja, mis tunnus on kõige kasulikum, milline annab kõige vähem informatsiooni. Lisaks tee diagramm, kus on iga tunnuse entroopia. Diagrammi ei pea genereerima programmikoodis, võib kasutada ka spreadsheeti.

[[Category:Iti0210]]