Iti0210lab9

"Naiivne" Bayesi klassifikaator

Sissejuhatus

Naiivne Bayesi (lühidalt NB) tõenäosusmudel põhineb eeldusel, et kui meil on peidetud põhjus, siis selle nähtavad tagajärjed on kõik üksteisest sõltumatud. See eeldus võimaldab tagajärgede alusel põhjuse tõenäosust leida üsna lihtsa valemi järgi. Seda mudelit saab kasutada ka klassifitseerimisel (vt. klassikaline klassifitseerimise näide).

Kui meil on teada klassifitseeritava objekti mingid tunnused x₁, ..., x_n ning mingid võimalikud klassid c₁, c₂, ..., siis tõenäosus, et objekti klass on c_i on proportsionaalne järgmise valemiga:

Täpset tõenäosust see valem ei anna, aga piisab kui teame, milline tõenäosus on kõige suurem. Selleks tuleb see valem arvutada välja iga võimaliku klassi c_i kohta. Vaja on iga klassifitseeringu esinemise tõenäosust P(c_i) ning iga tunnuse tinglikku tõenäosusjaotust iga klassi kohta P(X_j|c_i)

Kirjuta programm, mis:

1. etteantud treeningnäidetest, kus on antud nii tunnused kui ka klass, ehitab vajalikud tõenäosustabelid;
2. leiab ainult tunnuste alusel objekti klassi

NB mudeli üks esimesi ja tuntumaid rakendusi on rämpsposti klassifitseerimine. Treeni oma mudel antud treeningandmetega, kus väikesest rämpsmeilide korpusest [1] on juba valitud 12 sõna tunnusteks. Seejärel proovi, kas õnnestub kahte toodud kirja klassifitseerida.

Taustainfo: lühidalt, detailsemalt saad lugeda loengukava alt viidatud materjalidest.

Treenimine ja ennustamine

Et klassifikaatorit treenida, tuleb leida:

• iga klassi c_i esinemise sagedus treeningnäidetes (annab eeltõenäosuse)
• iga tunnuse väärtuse esinemise sagedus, kui klass on ette antud (annab tunnuse väärtuse tingliku tõenäosuse mingi klassi puhul).

Pane tähele, et NB valemis toodud korrutis läheb nulliks klassi ja tunnuse väärtuse kombinatsioonide puhul mida treeningnäidetes ei esine (esinemissagedus 0). Juhul kui treeningandmeid on vähe, ei saa me sellest kohe järeldada, et see kombinatsioon võimatu oleks.

Seetõttu kasuta tunnuse väärtuse tingliku tõenäosuse leidmiseks järgmist valemit:

Kus N_x on juhtumite arv (klassi kohta), kus mingi tunnuse väärtus esines; N_c on selle klassiga juhtumite koguarv ja d on antud tunnuse võimalike väärtuste arv.

Kuigi NB mudel töötab ka osalise informatsiooni alusel, siis lihtsustamise eesmärgil eeldame, et nii treeningnäidetes kui klassifitseeritavate objektide puhul on kõik tunnused alati antud.

Treeningandmed

Restoranide näite puhul otsustatakse ilma, aja, restorani tüübi jne alusel, kas oodata restoranis kohta või mitte.

Treeningandmed Pythonis:

train_data = [['Yes', 'No', 'No', 'Yes', 'Some', '$$$', 'No', 'Yes', 'French', '0-10', 'Yes'],
    ['Yes', 'No', 'No', 'Yes', 'Full', '$', 'No', 'No', 'Thai', '30-60', 'No'],
    ['No', 'Yes', 'No', 'No', 'Some', '$', 'No', 'No', 'Burger', '0-10', 'Yes'],
    ['Yes', 'No', 'Yes', 'Yes', 'Full', '$', 'No', 'No', 'Thai', '10-30', 'Yes'],
    ['Yes', 'No', 'Yes', 'No', 'Full', '$$$', 'No', 'Yes', 'French', '>60', 'No'],
    ['No', 'Yes', 'No', 'Yes', 'Some', '$$', 'Yes', 'Yes', 'Italian', '0-10', 'Yes'],
    ['No', 'Yes', 'No', 'No', 'None', '$', 'Yes', 'No', 'Burger', '0-10', 'No'],
    ['No', 'No', 'No', 'Yes', 'Some', '$$', 'Yes', 'Yes', 'Thai', '0-10', 'Yes'],
    ['No', 'Yes', 'Yes', 'No', 'Full', '$', 'Yes', 'No', 'Burger', '>60', 'No'],
    ['Yes', 'Yes', 'Yes', 'Yes', 'Full', '$$$', 'No', 'Yes', 'Italian', '10-30', 'No'],
    ['No', 'No', 'No', 'No', 'None', '$', 'No', 'No', 'Thai', '0-10', 'No'],
    ['Yes', 'Yes', 'Yes', 'Yes', 'Full', '$', 'No', 'No', 'Burger', '30-60', 'Yes']
]

Veergude tähendused:

• kas on olemas alternatiivne söögikoht (väärtus T/F);
• kas restoranis on baar (T/F);
• kas on reede (T/F);
• kas ollakse näljane (T/F);
• kas restoranis on juba külastajaid (None/Some/Full);
• hind ($/$$/$$$);
• kas vihma sajab (T/F);
• kas on reserveering (T/F);
• restorani tüüp;
• eeldatav ooteaeg (vahemik minutites);
• klassifikatsioon: kas oodatakse või ei (T/F).

Andmed CSV kujul.