Iti0210lab113

Informatsioon ja ennustatavus

Sissejuhatus

Treeningandmed võivad sisaldada nii kasulikku informatsiooni kui mittevajalikku müra. Paljud masinõppe meetodid, näiteks närvivõrgud, oskavad ise leida andmetest tunnuseid mis on kõige kasulikumad treenitava ülesande lahendamiseks. Siin ülesandes teeme seda käsitsi.

Katsetamiseks on mänguandmestik, "Zoo dataset", kus on 17 tunnust mille alusel loomaaia elanikke klassifitseerida putukateks, lindudeks jne.

Ülesandeks on kirjutada programm, mis leiab iga tunnuse kohta, kui palju ta looma klassi kohta informatsiooni annab, kasutades Shannoni entroopiat.

Teooria: ühe tunnuse entroopia

Tähistame tunnuse väärtuse v_i, mingi klassi j ja p_j on tõenäosus (selliste treeningnäidete osakaal), et kui tunnuse väärtus on v_i, siis asi kuulub klassi j. Selle konkreetse väärtuse nägemisel korral on entroopia:

Väärtuste entroopiate pealt leitakse kaalutud keskmine, mis ongi tunnuse entroopia (n_i - näidete arv, kus tunnuse väärtus oli v_i, n - näidete koguarv).

Ettevalmistus

Andmed võta siit: zoo.data

Faili laadimiseks on mugav kasutada pandas moodulit:

import pandas as pd

features = [ "name", "hair", "feathers", "eggs", "milk", "airborne",
    "aquatic", "predator", "toothed", "backbone", "breathes", "venomous",
    "fins", "legs", "tail", "domestic", "catsize"]

zoo_data = pd.read_csv("zoo.data",
    header=None,
    names=features + ["type"])

Tunnused on enamasti 0/1 tüüpi, mõnedel on rohkem võimalikke väärtusi. Viimane veerg failis sisaldab looma klassi ("type"), mida peaks saama eelneva 17 tunnuse põhjal ennustada:

1. animal name: Unique for each instance
2. hair: Boolean
3. feathers: Boolean
4. eggs: Boolean
5. milk: Boolean
6. airborne: Boolean
7. aquatic: Boolean
8. predator: Boolean
9. toothed: Boolean
10. backbone: Boolean
11. breathes: Boolean
12. venomous: Boolean
13. fins: Boolean
14. legs: Numeric (set of values: {0,2,4,5,6,8})
15. tail: Boolean
16. domestic: Boolean
17. catsize: Boolean
18. type: Numeric (integer values in range [1,7])

Aruanne

Aruandesse pane kirja, mis tunnus on kõige kasulikum, milline annab kõige vähem informatsiooni. Lisaks tee diagramm, kus on iga tunnuse entroopia. Diagrammi ei pea genereerima programmikoodis, võib kasutada ka spreadsheeti.