PriitJ: /* Krossvalideerimine */

2018-04-12T15:38:11Z

Krossvalideerimine

←Vanem redaktsioon		Redaktsioon: 12. aprill 2018, kell 17:38
60. rida:		60. rida:

	Nüüd huvitab meid, kui hästi meie otsustuspuu töötab. Kasuta selleks krossvalideerimist ja leia keskmine täpsus ja hinnangu viga, nagu [http://scikit-learn.org/stable/modules/cross_validation.html#computing-cross-validated-metrics siin näidetes].		Nüüd huvitab meid, kui hästi meie otsustuspuu töötab. Kasuta selleks krossvalideerimist ja leia keskmine täpsus ja hinnangu viga, nagu [http://scikit-learn.org/stable/modules/cross_validation.html#computing-cross-validated-metrics siin näidetes].

			Märkus: näites on kasutatud klassifikaatorina tugivektormasinat (''SVM''). Meie ülesandes tuleb selle asemel võtta otsustuspuu.

	Krossvalideerimise korral jäetakse osa andmeid puu treenimisest välja ning kasutatakse neid hoopis täpsuse testimiseks. Seejuures korratakse seda niiviisi, et kõiki sisendandmete ridu oleks lõpuks kasutatud nii treenimiseks kui testimiseks.		Krossvalideerimise korral jäetakse osa andmeid puu treenimisest välja ning kasutatakse neid hoopis täpsuse testimiseks. Seejuures korratakse seda niiviisi, et kõiki sisendandmete ridu oleks lõpuks kasutatud nii treenimiseks kui testimiseks.

PriitJ: Uus lehekülg: '= Otsustuspuu: ''phishing'' linkide tuvastamine = == Sissejuhatus == Kodutöö teemaks on e-mailides pahatahtlike (i.k. ''phishing'') linkide ära tundmine. Selleks on kasutada...'

2018-04-12T15:30:40Z

Uus lehekülg: '= Otsustuspuu: ''phishing'' linkide tuvastamine = == Sissejuhatus == Kodutöö teemaks on e-mailides pahatahtlike (i.k. ''phishing'') linkide ära tundmine. Selleks on kasutada...'

Uus lehekülg

= Otsustuspuu: ''phishing'' linkide tuvastamine =

== Sissejuhatus ==

Kodutöö teemaks on e-mailides pahatahtlike (i.k. ''phishing'') linkide ära tundmine. Selleks on kasutada [[Media:IFI6057_hw2017_data.txt‎|andmed]] [1], kus e-mailidest on lingid juba eraldatud ja need omakorda huvipakkuvateks atribuutideks teisendatud. Kodutöös tuleb langetada atribuutide väärtuste pealt lõppotsus - kas link on pahatahtlik, kahtlane või ohutu.

Vali masinõppeks sobiv tarkvarapakett ning katseta otsustuspuud. Kasuta treenimise efektiivsuse mõõtmiseks krossvalideerimist. Proovi saavutada võimalikult suur täpsus, kasutades klassifikaatorina otsustuspuud.

Soovitatud masinõppe teegid (vali üks):
* http://scikit-learn.org/stable/index.html - Python; juhend eeldab, et kasutatakse seda
* http://www.cs.waikato.ac.nz/ml/weka/ - Java

== Ettevalmistus ==

Kõigepealt tuleb andmed sisse lugeda. Käsitsi ei ole seda keeruline teha, aga Anacondaga tuleb kaasa <code>pandas</code> pakett, millega see käib nii:

import pandas
blah = pandas.read_csv("IFI6057_hw2017_data.txt")

Tulemuseks on [http://nbviewer.ipython.org/github/jvns/pandas-cookbook/blob/v0.1/cookbook/Chapter%202%20-%20Selecting%20data%20&%20finding%20the%20most%20common%20complaint%20type.ipynb <code>DataFrame</code> tüüpi objekt]

=== Andmete kirjeldus ===

Kõik atribuudid (ja lõplik klassifikatsioon) omavad järgnevaid väärtusi:

* 1 - Legitiimne
* 0 - kahtlane
* -1 - Pahatahtlik või iseloomulik pahatahtlikule URL-ile

Atribuudid:

* <code>SFH</code> kas veebilehel olevad vormid suunavad uuele domeenile
* <code>popUpWidnow</code> kas veebilehel on pop-up aknaid
* <code>SSLfinal_State</code> kas HTTPS on kasutuses ja kas sertifikaat on usaldusväärne
* <code>Request_URL</code> kas veebileht laadib pilte ja muid komponente teiselt domeenilt
* <code>URL_of_Anchor</code> kas veebileht sisaldab palju linke teisele domeenile
* <code>web_traffic</code> kas veebilehe külastatavus on kõrge, keskmine või madal (Alexa ranking)
* <code>URL_Length</code> ülipikk, pikk või tavaline URL
* <code>age_of_domain</code> domeeni on vana või värskelt registreeritud
* <code>having_IP_Address</code> URL sisaldab IP aadressi

Väli <code>Result</code> sisaldab lõplikku klassifikatsiooni treenimiseks ja testimiseks.

Näide:

...
1,-1,1,0,-1,-1,0,1,0,-1
1,-1,0,-1,-1,-1,0,1,0,1
1,0,1,1,1,-1,1,1,0,-1
1,1,1,-1,1,1,-1,-1,0,-1
...

== Otsustuspuu ==

Treeni otsustuspuu esialgu kõigi andmetega: [http://scikit-learn.org/stable/modules/tree.html#classification näited].

Proovi suvaliste treeningandmete ridadega klassifitseerimist. Tulemus peaks vastama treeningandmetele, muidu on midagi väga valesti :-)

== Krossvalideerimine ==

Nüüd huvitab meid, kui hästi meie otsustuspuu töötab. Kasuta selleks krossvalideerimist ja leia keskmine täpsus ja hinnangu viga, nagu [http://scikit-learn.org/stable/modules/cross_validation.html#computing-cross-validated-metrics siin näidetes].

Krossvalideerimise korral jäetakse osa andmeid puu treenimisest välja ning kasutatakse neid hoopis täpsuse testimiseks. Seejuures korratakse seda niiviisi, et kõiki sisendandmete ridu oleks lõpuks kasutatud nii treenimiseks kui testimiseks.

== Tulemuse parandamine ==

See on kõige keerulisem ja võib olla ka mahukam osa ülesandest.

Loe läbi [http://scikit-learn.org/stable/modules/tree.html#tips-on-practical-use otsustuspuu kasutamise nõuanded]. Proovi sealt midagi implementeerida ja vaata, kuidas see mõjutab krossvalideerimise tulemust.

Huvi võiks pakkuda:
* dimensionaalsuse vähendamine, s.h. atribuutide valik või kombineerimine
* puu parameetrite, eriti sügavuse muutmine
* treeningandmete balanseerimine klasside järgi

Seda osa võib teha nii pikalt ja põhjalikult, kui huvi on. Mingi üritus tulemuse kvaliteeti parandada peaks siiski olema tehtud.

Artiklis [1] saavutati täpsus üle 94% (mitte otsustuspuudega).

== Viited ==

1. ''Abdelhamid et al., Phishing Detection based Associative Classification Data Mining. Expert Systems With Applications (ESWA), 41 (2014) 5948-5959''

Iti0210lab11 - Redigeerimiste ajalugu

PriitJ: /* Krossvalideerimine */

PriitJ: Uus lehekülg: '= Otsustuspuu: ''phishing'' linkide tuvastamine = == Sissejuhatus == Kodutöö teemaks on e-mailides pahatahtlike (i.k. ''phishing'') linkide ära tundmine. Selleks on kasutada...'