Lehekülje Vorgurakendused 2 prax 1 variant b 2012 lähteteksti vaatamine

<table>
<tr>
<td>
[[Pilt:smithposter2.jpg|left|kloonid]]
</td>
<td>
Ülesandeks on ehitada masspäringute 
hajutamise rakendus, mis jaotab suure hulga
võrgupäringuid mitme iseenda <b>klooni</b> vahel ja
kogub <b>kloonidelt</b> saadud päringuvastused kokku.
</td>
</tr>
</table>



= Näitestsenaarium =

Minu programm X soovib teha 1000000 erinevat google
otsingut ja nende otsingutulemustega siis edasi
töötada. Siin tekkib mul mitu probleemi:

1) Google lubab ühelt IP-lt piiratud arvu
päringuid mingis ajaühikus, seega võtaks 1000000
päringu tegemine väga palju aega: kui teen päringuid
liiga suure tempoga, saab mu kvoot mõneks ajaks
täis ja google mõnda aega enam ei vasta.

2) Mõned API-d nõuavad kasutaja registeerimist ja kasutaja ID (ja vbl
ka parooli) andmist päringus. Igale kasutjale on siis eraldi
tõmbamiste kvoot mingis ajaühikus. Kui tahta kvooti ületada,
tuleb teha hulga kasutajaid ja hajutada päringud nii, et
tõmbamised oleks ühtlaselt jaotatud kõigi kasutajate vahel (konkreetselt siis eri päringutel on erinevad identifitseerivad 
osad a la ..&user=u1&pwd=p1 ... jne).

3) Üks protsess ei jõua korraga väga kiiresti 
päringuid teha, seega oleks hea kasutada mitut
klooni ka juhul, kui päringute arvu limiit
ei ole probleemiks.

4) Minu võrguühendus võib lõpuks ummistuda,
mistõttu oleks hea hajutada - võimaluse korral -
päringud mitme eri kohtvõrgus masina vahel.

= Funktsionaalsus =

Mida ma kasutajana päringute hajutamise rakendusest
ootan:

1) Teda peab olema lihtne panna käima eri 
laptoppidesse või serveritesse: soovitavalt lihtsalt
kopeerida masinasse ja otse käivitada. Seega
peaks ta töötama nii Windowsi kui Linuxi all ja
ei tohiks vajada keerukat "installeerimist" ja
keerukaid lisa-eelduspakette. Kindlasti ei tohi ta 
eeldada, et masinas töötab ntx veebiserver (ja kui töötab,
siis tuleks seda veebiserverit mitte kasutada).

Programeerimiskeeleks sobivad samadel põhjustel
* C (kompileerida Linuxi ja windowsi versioon ja anda source kaasa)
* Java (eeldame, et masinas on harilik jdk või jre)
* Python (pythonit on lihtne installida nii Linuxi kui Windowsi alla).

Selleks, et samas masinas saaks töötada mitu klooni, peab
iga kloon olema identifitseeritud IP ja pordiga: ta peab
konfifailist sisse lugema, et mis pordi peal ta ise töötama
peab ning konfifailides peab jällegi iga kloon olema määratud
IP ja pordiga. Üks võimalik IP peaks olema localhost, et oma
arvutisse kloone paigutades ei peaks ma iga korda seadma,
et mis mu IP parasjagu jälle on.

Samuti peab konf olema tehtav ühest tekstifailist
lihtsa süntaksiga (a la kus on fail, kuhu tulemusi
ajutiselt salvestatakse, mis IP-delt ja portidelt
leian teisi kloone).

2) Kõik kloonid on täpselt ühesugused, st minu
programm võib võtta ühendust millise klooniga
iganes, kes siis omakorda hakkab hajutama ja
koordineerima tööd teistel kloonidele. Ehk,
ei ole  eraldi "serverivarianti" ja 
"tõmbamisvarianti" kloonidest.

3) Minu päringud ehk ülesanded mida tahan anda, on kas 
* Lihtsalt URL-id, st GET päringud
* Või URLid pluss päringu kehad (stringid mistahes formaadis), st POST päringud.

4) See kloon, kellele ma ülesandeid saadan, peab
tööd ise ära hajutama teiste kloonide vahel ja
koguma neilt kokku päringutulemusi

Seega peab kloon salvestama kõik saadud
päringuvastused ja seostama nad originaalpäringuga,
salvestades nad mõlemad faili. Failil võiks 
olla selline formaat, et on öeldud, kus hakkab
originaalpäring ja kus kohe tema järel tuleb
vastus. Kõik saadud vastused võiks olla salvestatud
ühte suurde faili.

5) Kloon peab need päringutulemsed (suure faili)
mulle edastama. 
Edastamine
peab välja nägema nii, et ma kas
* annan kloonile lihtsa GET eripäringu (formaat mõtle ise välja) mille peale pakitakse tulemusfail kokku ja saadetakse GET  eripäringu vastusena mulle
* või login lihtsalt klooni masinasse sisse ja kopeeri endale vastuste faili.

6) Ma pean saama koordineerivalt kloonilt küsida,
et mitu vastust on juba saadud ja mitu on veel
saamata. Selleks peaks olema lihtne GET eripäring,
mis annab vastuseks kaks numbrit (näiteks jsoni
list).

7) Koordineeriv kloon peab arvestama võimalusega, et mõnele päringule
vastust ei saagi, st tulemusena tuleks salvestada
eriväärtus, mis ütleb, et vastust ei tulnud.

8) Iga kloon peaks olema võimeline ebaõnnestunud
päringut mingi aja järel üks või paar korda kordama
(võrk võib olla korraks maas või vastav server ei
vasta vms).

9) Koordineev kloon peab tuvastama, kui mõni tõmbav
kloon enam ei vasta (näiteks lülitati masin
välja) ja talle antud tööd tuleks
ümber suunata mõnele teisele kloonile.

10) Ma pean saama öelda koordineerivale
kloonile, et katkestame kõik tõmbamised ja
tühjendame (ajutised) tulemusfailid. Seepeale
peab koordineeriv kloon omakorda teatama 
teistele kloonidele, et jätame kõik 
tõmbamised katki ja tühjendame (ajutised)
tulemusfailid.

11) Vajalik oleks teha selline
funktsionaalsus, kus ma saan päringutele määrata mitu
erinevat kasutajat identifitseerivat stringijuppi (a la
..&user=u1&pwd=p1&.. ja ..&user=u2&pwd=p2&..) millega 
automaatselt asendatakse erimärgiga osa minu originaalpäringust
(a la ..&IDENTIFICATION& ..). Mõte selles, et mitmed APId nõuavad
registreeritud kasutajat ja panevad päringutele ajalise kvoodi
kasutajapõhiselt. Sel juhul on päringute läbilaske suurendamiseks
kasulik teha mitu kasutajat ja hajutada kasutajad jällegi päringute
vahel ära. Seda hajutamist peaks koordineeriv kloon automaatselt
tegema.

12) Koordineeriv kloon võiks püüda töid ühtlaselt
hajutada, arvestades, et mõni tõmbav kloon võib
osutuda aeglasemaks, kui teised: seega ei ole 
tingimata hea mõte jagada kõigile täpselt võrdselt.

13) Kui tahad erivinget funktsionaalsust teha,
siis oleks abiks (aga ei ole üldse kohustuslik)
teha teiste kloonide leidmine P2P meetodil 
analoogiliselt esimesele praksivariandile. Vaikimisi
standardviis on lihtsam: kloonidel on teiste
kloonide IP-d ja pordid lihtsalt konfifailis kirjas.

= Turvalisus =

Https ei ole otseselt nõutud, kuigi ta oleks
sisuliselt juhtimiseks hea mõte.

Samuti oleks hea mõte mõelda välja mingi paroolisüsteem,
kus kloonidel oleks konfis kõigil seesama parool
ja iga juhtpäring sisaldab selle parooli hashi,
kuhu on ntx hetke kuupäev ja tund sisse hashitud,
nii et kõrvalt mõnda päringu nähes ei õnnestuks
mul hakata neid kloone enda huvides lihtsalt 
kuritarvitama.


= Tehnoloogiast =

Lisaks keelevalikule (C, java, python) tuleks 
teha kõik juhtprotokollid ja käsud
lihtsate GET päringutena, et neid saaks anda minu programmist aga ka brauserist ja curliga käsurealt jne. 

Vastused oleks 
* kas lihtsalt infotekstid jsonis 
* või kodeeritud vastusfail (viimase formaat mõtle ise välja, aga lihtsuse mõttes on tungivalt soovitav teha reapõhine kodeering, st iga päringu algust ja vastuse algust markeerib spetsiaalne rida, mis tõenäoliselt mujal tekstides ei kordu.

= Soovitusi süsteemi ehitamiseks =

Esimese etapina on sul mõistlik realiseerida nö "baasrakendus",
mis sisaldab nii http klienti kui serverit (mitte siis suurt
veebiserverit) ja suudab 
* vastu võtta GET ja POST päringuid ja neile midagigi vastata
* ise teha mingeid GET ja POST päringuid