Iti0210lab9

"Naiivne" Bayesi klassifikaator

Sissejuhatus

Naiivne Bayesi (lühidalt NB) tõenäosusmudel põhineb eeldusel, et kui meil on peidetud põhjus, siis selle nähtavad tagajärjed on kõik üksteisest sõltumatud. See eeldus võimaldab tagajärgede alusel põhjuse tõenäosust leida üsna lihtsa valemi järgi. Seda mudelit saab kasutada ka klassifitseerimisel (vt. klassikaline klassifitseerimise näide).

Kui meil on teada klassifitseeritava objekti mingid omadused või atribuudid x₁, ..., x_n ning mingid võimalikud klassid c₁, c₂, ..., siis tõenäosus, et objekti klass on c_i on proportsionaalne järgmise valemiga:

Täpset tõenäosust see valem ei anna, aga piisab kui teame, milline tõenäosus on kõige suurem. Selleks tuleb see valem arvutada välja iga võimaliku klassi c_i kohta. Vaja on iga klassifitseeringu esinemise tõenäosust P(c_i) ning iga atribuudi tinglikku tõenäosusjaotust iga klassi kohta P(X_j|c_i)

Kirjuta programm, mis:

1. etteantud treeningnäidetest, kus on antud nii atribuudid kui ka klass, ehitab vajalikud tõenäosustabelid;
2. leiab ainult atribuutide alusel objekti klassi

Taustainfo: lühidalt, detailsemalt saad lugeda loengukava alt viidatud materjalidest.

Treenimine ja ennustamine

Et klassifikaatorit treenida, tuleb leida:

• iga klassi c_i esinemise sagedus treeningnäidetes (annab eeltõenäosuse)
• iga atribuudi väärtuse esinemise sagedus, kui klass on ette antud (annab atribuudi väärtuse tingliku tõenäosuse mingi klassi puhul).

Pane tähele, et NB valemis toodud korrutis läheb nulliks klassi ja atribuudi väärtuse kombinatsioonide puhul mida treeningnäidetes ei esine (esinemissagedus 0). Juhul kui treeningandmeid on vähe, ei saa me sellest kohe järeldada, et see kombinatsioon võimatu oleks.

Seetõttu kasuta atribuudi väärtuse tingliku tõenäosuse leidmiseks järgmist valemit:

Kus N_x on juhtumite arv (klassi kohta), kus mingi atribuudi väärtus esines; N_c on selle klassiga juhtumite koguarv ja d on antud atribuudi võimalike väärtuste arv.

Kuigi NB mudel töötab ka osalise informatsiooni alusel, siis lihtsustamise eesmärgil eeldame, et nii treeningnäidetes kui klassifitseeritavate objektide puhul on kõik atribuudid alati antud.

Treeningandmed

Restoranide näite puhul otsustatakse ilma, aja, restorani tüübi jne alusel, kas oodata restoranis kohta või mitte.

Treeningandmed Pythonis:

train_data = [['Yes', 'No', 'No', 'Yes', 'Some', '$$$', 'No', 'Yes', 'French', '0-10', 'Yes'],
    ['Yes', 'No', 'No', 'Yes', 'Full', '$', 'No', 'No', 'Thai', '30-60', 'No'],
    ['No', 'Yes', 'No', 'No', 'Some', '$', 'No', 'No', 'Burger', '0-10', 'Yes'],
    ['Yes', 'No', 'Yes', 'Yes', 'Full', '$', 'No', 'No', 'Thai', '10-30', 'Yes'],
    ['Yes', 'No', 'Yes', 'No', 'Full', '$$$', 'No', 'Yes', 'French', '>60', 'No'],
    ['No', 'Yes', 'No', 'Yes', 'Some', '$$', 'Yes', 'Yes', 'Italian', '0-10', 'Yes'],
    ['No', 'Yes', 'No', 'No', 'None', '$', 'Yes', 'No', 'Burger', '0-10', 'No'],
    ['No', 'No', 'No', 'Yes', 'Some', '$$', 'Yes', 'Yes', 'Thai', '0-10', 'Yes'],
    ['No', 'Yes', 'Yes', 'No', 'Full', '$', 'Yes', 'No', 'Burger', '>60', 'No'],
    ['Yes', 'Yes', 'Yes', 'Yes', 'Full', '$$$', 'No', 'Yes', 'Italian', '10-30', 'No'],
    ['No', 'No', 'No', 'No', 'None', '$', 'No', 'No', 'Thai', '0-10', 'No'],
    ['Yes', 'Yes', 'Yes', 'Yes', 'Full', '$', 'No', 'No', 'Burger', '30-60', 'Yes']
]

Veergude tähendused:

• kas on olemas alternatiivne söögikoht (väärtus T/F);
• kas restoranis on baar (T/F);
• kas on reede (T/F);
• kas ollakse näljane (T/F);
• kas restoranis on juba külastajaid (None/Some/Full);
• hind ($/$$/$$$);
• kas vihma sajab (T/F);
• kas on reserveering (T/F);
• restorani tüüp;
• eeldatav ooteaeg (vahemik minutites);
• klassifikatsioon: kas oodatakse või ei (T/F).

Andmed CSV kujul.