Iti0210lab9

"Naiivne" Bayesi klassifikaator

Sissejuhatus

Naiivne Bayesi (lühidalt NB) tõenäosusmudel põhineb eeldusel, et kui meil on peidetud põhjus, siis selle nähtavad tagajärjed on kõik üksteisest sõltumatud. See eeldus võimaldab tagajärgede alusel põhjuse tõenäosust leida üsna lihtsa valemi järgi. Seda mudelit saab kasutada ka klassifitseerimisel (vt. klassikaline klassifitseerimise näide).

Kui meil on teada klassifitseeritava objekti mingid omadused või atribuudid x₁, ..., x_n ning mingid võimalikud klassid c₁, c₂, ..., siis tõenäosus, et objekti klass on c_i on proportsionaalne järgmise valemiga:

Täpset tõenäosust see valem ei anna, aga piisab kui teame, milline tõenäosus on kõige suurem. Selleks tuleb see valem arvutada välja iga võimaliku klassi c_i kohta. Vaja on iga klassifitseeringu esinemise tõenäosust P(c_i) ning iga atribuudi tinglikku tõenäosusjaotust iga klassi kohta P(X_j|c_i)

Kirjuta programm, mis:

1. etteantud treeningnäidetest, kus on antud nii atribuudid kui ka klass, ehitab vajalikud tõenäosustabelid;
2. leiab ainult atribuutide alusel objekti klassi

Taustainfo: lühidalt, detailsemalt saad lugeda loengukava alt viidatud materjalidest.

Treenimine ja ennustamine

Et klassifikaatorit treenida, tuleb leida:

• iga klassi c_i esinemise sagedus treeningnäidetes (annab eeltõenäosuse)
• iga atribuudi väärtuse esinemise sagedus, kui klass on ette antud (annab atribuudi väärtuse tingliku tõenäosuse mingi klassi puhul).

Pane tähele, et NB valemis toodud korrutis läheb nulli, klassi ja atribuudi väärtuse kombinatsioonide puhul mida treeningnäidetes ei esine (esinemissagedus 0). Juhul kui treeningandmeid on vähe, ei saa me sellest kohe järeldada, et see kombinatsioon võimatu oleks.

Seetõttu kasuta atribuudi tingliku tõenäosuse leidmiseks järgmist valemit:

Kuigi NB mudel töötab ka osalise informatsiooni alusel, siis lihtsustamise eesmärgil eeldame, et nii treeningnäidetes kui klassifitseeritavate objektide puhul on kõik atribuudid alati antud.

Treeningandmed

Restoranide treeningandmed