Vorgurakendused 2 prax 1 2014 - Redigeerimiste ajalugu

Tammet – 1. september 2015, kell 09:52

2015-09-01T09:52:59Z

←Vanem redaktsioon		Redaktsioon: 1. september 2015, kell 11:52
10. rida:		10. rida:

	</table>		</table>

			== <font color="red">NB! See on 2014 aasta praksi arhiiv, mitte hetkel kehtiv praks!</font> ==

	<b>UUS: 16. oktoober tulge kohale, kui tahate katsetada oma P2Net implementatsiooni ühilduvust teistega. 23. oktoober selleks tõenäoliselt eriti aega pole, kuna kaitsmistel on prioriteet.</b>		<b>UUS: 16. oktoober tulge kohale, kui tahate katsetada oma P2Net implementatsiooni ühilduvust teistega. 23. oktoober selleks tõenäoliselt eriti aega pole, kuna kaitsmistel on prioriteet.</b>

Priit: /* Üldkirjeldus */

2014-10-09T19:44:59Z

Üldkirjeldus

←Vanem redaktsioon		Redaktsioon: 9. oktoober 2014, kell 21:44
41. rida:		41. rida:
	</pre>		</pre>

	* Samamoodi saadab käivitus-päringu P2Net startlehel http://dijkstra.cs.ttu.ee/~~~tammet~~/P2Net.txt olevatele masinatele (startlehel on plaintekstina eelmises punktis näidatud formaadis json-fail)		* Samamoodi saadab käivitus-päringu P2Net startlehel http://dijkstra.cs.ttu.ee/~priit/P2Net.txt olevatele masinatele (startlehel on plaintekstina eelmises punktis näidatud formaadis json-fail)
	* Kui mingi masin saab minu päringu-käsurea kätte, siis ta paneb selle kohapeal käsureal käima ja saadab tulemuse päringu algatanud masinasse.		* Kui mingi masin saab minu päringu-käsurea kätte, siis ta paneb selle kohapeal käsureal käima ja saadab tulemuse päringu algatanud masinasse.
	* Iga võõras masin, mis algselt minu käest tulnud päringu saab, saadab ta omakorda kõigile talle teadaolevatele edasi, vähendades seejuures nn ttl (time to live) counti, et päringud lõpmatult rändama ei jääks.		* Iga võõras masin, mis algselt minu käest tulnud päringu saab, saadab ta omakorda kõigile talle teadaolevatele edasi, vähendades seejuures nn ttl (time to live) counti, et päringud lõpmatult rändama ei jääks.

Priit – 2. oktoober 2014, kell 20:29

2014-10-02T20:29:13Z

←Vanem redaktsioon		Redaktsioon: 2. oktoober 2014, kell 22:29
11. rida:		11. rida:
	</table>		</table>

	<b>~~UUENDATUD~~: ~~lisatud [[#Näiterakendus]]~~.</b>		<b>UUS: 16. oktoober tulge kohale, kui tahate katsetada oma P2Net implementatsiooni ühilduvust teistega. 23. oktoober selleks tõenäoliselt eriti aega pole, kuna kaitsmistel on prioriteet.</b>

	Ülesandeks on ehitada P2P rakendus P2Net programmide (käsurea kujul) käivitamiseks võõrastes masinates ja rehkendustulemuste kättesaamiseks, mis teeb laviinitaolise otsingu mööda P2Net klient/servereid, isetehtud P2P mehhanismi abil.		Ülesandeks on ehitada P2P rakendus P2Net programmide (käsurea kujul) käivitamiseks võõrastes masinates ja rehkendustulemuste kättesaamiseks, mis teeb laviinitaolise otsingu mööda P2Net klient/servereid, isetehtud P2P mehhanismi abil.

Priit: oops

2014-09-27T13:14:01Z

oops

←Vanem redaktsioon		Redaktsioon: 27. september 2014, kell 15:14
204. rida:		204. rida:
	* '''Sarnasuse arvutamine'''. Seda võib teha igat moodi, alates [http://en.wikipedia.org/wiki/Levenshtein_distance triviaalsest] kuni [http://en.wikipedia.org/wiki/List_of_natural_language_processing_toolkits#Natural_language_processing_tools põhjalikuni]; vt ka http://wordnet.princeton.edu/.		* '''Sarnasuse arvutamine'''. Seda võib teha igat moodi, alates [http://en.wikipedia.org/wiki/Levenshtein_distance triviaalsest] kuni [http://en.wikipedia.org/wiki/List_of_natural_language_processing_toolkits#Natural_language_processing_tools põhjalikuni]; vt ka http://wordnet.princeton.edu/.

	* <b>Tulemuste kokku korjamine</b>~~. See osa on ka algoritmiliselt äärmiselt lihtne~~. Iga masin saadab oma osalise mappingu päringu algatajale. See paneb need kokku umbes nii: kui ühest masinast saadi <code>{"~~koera~~": ["~~koer~~"]}</code> ja teisest <code>{"~~koera~~": ["~~koerad~~"]}</code>, siis kokku ~~võiks tulla~~ <code>{"koera":["koer", "koerad"]}</code>. Mismoodi tulemusi täpselt kokku panna, sõltub natuke, kas teie arust on sarnasuse seos sümmeetriline ja/või transitiivne.		* <b>Tulemuste kokku korjamine</b>. Iga masin saadab oma osalise mappingu päringu algatajale. See paneb need kokku umbes nii: kui ühest masinast saadi <code>{"koer": ["koera"]}</code> ja teisest <code>{"koerad": ["koera"]}</code>, siis me saaks sellest kokku järeldada ka midagi sellist: <code>{"koera":["koer", "koerad"]}</code>. Mismoodi tulemusi täpselt kokku panna, sõltub natuke, kas teie arust on sarnasuse seos sümmeetriline ja/või transitiivne.

	Tähelepanelikumal tudengil võib tekkida küsimus, mis siis saab kui hash collision tekib ning mõni tükk üleliia tehakse ning mõni mitte kordagi. Selle probleemi jätame koduülesandeks, vihjeks ainult, et 1.) P2P rakendustes ei ole niikuinii mõtet loota, et kõik masinad algusest lõpuni ilusti võrgus kättesaadavad on ja ei crashi töö jooksul 2.) partitsioneerimise meetod, mida kasutasime, tekitab teatud ülekattuvuse.		Tähelepanelikumal tudengil võib tekkida küsimus, mis siis saab kui hash collision tekib ning mõni tükk üleliia tehakse ning mõni mitte kordagi. Selle probleemi jätame koduülesandeks, vihjeks ainult, et 1.) P2P rakendustes ei ole niikuinii mõtet loota, et kõik masinad algusest lõpuni ilusti võrgus kättesaadavad on ja ei crashi töö jooksul 2.) partitsioneerimise meetod, mida kasutasime, tekitab teatud ülekattuvuse.

Priit: näiteülesanne

2014-09-27T13:08:26Z

näiteülesanne

←Vanem redaktsioon		Redaktsioon: 27. september 2014, kell 15:08
11. rida:		11. rida:
	</table>		</table>

	<b>~~JUHENDI SEIS~~: ~~Ülesande, s.h. protokolli kirjeldus paigas. Detailid võivad natuke muutuda, aga mitte nii et see juba alustatud tööd segaks~~.</b>		<b>UUENDATUD: lisatud [[#Näiterakendus]].</b>

	Ülesandeks on ehitada P2P rakendus P2Net programmide (käsurea kujul) käivitamiseks võõrastes masinates ja rehkendustulemuste kättesaamiseks, mis teeb laviinitaolise otsingu mööda P2Net klient/servereid, isetehtud P2P mehhanismi abil.		Ülesandeks on ehitada P2P rakendus P2Net programmide (käsurea kujul) käivitamiseks võõrastes masinates ja rehkendustulemuste kättesaamiseks, mis teeb laviinitaolise otsingu mööda P2Net klient/servereid, isetehtud P2P mehhanismi abil.
27. rida:		27. rida:
	* saada tagasi käsurea rehkendatud tulemus(tekst/binary vms blob).		* saada tagasi käsurea rehkendatud tulemus(tekst/binary vms blob).
	* idee on selle peale ehitada mingi rakendus, näit:		* idee on selle peale ehitada mingi rakendus, näit:
	** mingite mahukate arvutuste jaotamine masinate vahel		** mingite mahukate arvutuste jaotamine masinate vahel ([[#Näiterakendus]])
	** web scrapingu (näit google otsingu) load balancing		** web scrapingu (näit google otsingu) load balancing
	** kaugadministreerimine		** kaugadministreerimine
151. rida:		151. rida:
	* Lisada sinna kogu vajalik funktsionaalsus:		* Lisada sinna kogu vajalik funktsionaalsus:
	** P2Net protokolli implementatsioon		** P2Net protokolli implementatsioon
	** P2Net peale ehitatud rakendus (nagu data korjamine, web query hajutamine, lihtsustatud remote admin, ...)		** P2Net peale ehitatud rakendus (nagu data korjamine, web query hajutamine, lihtsustatud remote admin, ...). Vt ka [[#Näiterakendus]].

	Http protokolli järgimise võimet kontrollitakse praksi eduka läbimise tingimusena.		Http protokolli järgimise võimet kontrollitakse praksi eduka läbimise tingimusena.
189. rida:		189. rida:
	* [http://beej.us/guide/bgnet/ Väga põhjalik socketite/võrguprogrammeerimise õpetus]		* [http://beej.us/guide/bgnet/ Väga põhjalik socketite/võrguprogrammeerimise õpetus]
	<!-- * [http://heather.cs.ucdavis.edu/~matloff/Python/PyNet.pdf Pythoni socketiprogrammeerimise õpetus] -->		<!-- * [http://heather.cs.ucdavis.edu/~matloff/Python/PyNet.pdf Pythoni socketiprogrammeerimise õpetus] -->

			=== Näiterakendus ===

			Sisend on list sõnadest (näiteks faili kujul, kus igal real üks unikaalne sõna). Tahaks teada saada, millised neist sõnadest on üksteisega sarnased. Väljund võiks olla mapping, kus on sõna ning siis sellega sarnaste sõnade list. Sellist asja võib vaja minna juhul, kui ma tahan mingit sisenddatat, näiteks veebist scrapetud andmeid, normaliseerida - oletame et ma otsin sõna "serials", siis võiks mind tegelikult ka huvitada kohad, kus esineb sõna "serial" (süntaktiline sarnasus) või kui ma otsin sõna "truck", siis mind võib huvitada ka "lorry" (semantiline sarnasus, mida on küll tegelikult suht keeruline tuvastada).

			Kuidas sellist mappingut tekitada? Proovime kõiki sõnu üksteisega paarikaupa võrrelda. Näiteks oletame, et mul on sõnad: <code>["oma", "masinas", "mitut", "erinevat", "koopiat", "omaenda"]</code>. Hakkame võrdlema: <code>"oma"</code> ja <code>"masinas"</code> ei ole sarnased, <code>"oma"</code> ja <code>"mitut"</code> ei ole sarnased jne. kuni jõuame <code>"oma"</code> ja <code>"omaenda"</code> juurde, mis võiks olla sarnased (see sõltub täpselt sellest, kuidas sarnasus defineeritud on). Sellega on <code>"oma"</code> läbi vaadatud, järgmiseks võtame <code>"masinas"</code>. Sõnaga <code>"oma"</code> pole seda enam tarvis võrrelda, järelikult alustame paarist <code>"masinas"</code> ja <code>"mitut"</code> ja nõnda edasi kuni lõpuni. Väljund võiks olla näiteks mapping <code>{"oma" : ["omaenda"], "omaenda": ["oma"]}</code>.

			Selleks tuleb vaadata ''(n(n-1))/2'' paari, ehk sellel ülesandel on polünomiaalne keerukus ''O(n^2)''. Mida see tähendab? Kui ma võtan näitena toodud kuuesõnalise listi asemel mingi realistlikuma listi, kus on 6000 sõna, siis aeg, mis selle läbi töötamisele kulub, ei kasva mitte 1000 korda vaid umbkaudu 1000000 korda. Ehk siis suht kerge on jõuda kohta, kus me enam ei viitsi tulemust ära oodata, kuna selle leidmine võtab tunde.

			Antud ülesanne kuulub [http://en.wikipedia.org/wiki/Embarrassingly_parallel triviaalselt paralleelsete] ülesannete hulka. Kui meil on 60 masinat käepärast, siis saab töö nii jagada, et iga masin teeb ~1/60 vajaminevatest võrdlustest ning see võiks tuua tööaja tundidest jälle minutite peale tagasi. Kuidas asja võiks P2Neti peal teha:

			* '''Partitsioneerimine'''. Oletame, et me teame, kui palju meil masinaid täpselt P2Net-iga liitunud on. Kui neid masinaid on ''k'', siis iga masin võiks võtta ''1/k''-ndiku sõnadest ette ja võrrelda neid kõigi sõnadega. Näiteks kolme masina korral meie kuuesõnalisel näitel võiks üks masin võrrelda sõna <code>"oma"</code> ja <code>"masinas"</code> kõigi teiste vastu, teine teha seda sõnadega <code>"mitut"</code> ja <code>"erinevat"</code> jne. Natuke ressurssi läheb siin raisku selle peale, et ühte paari võrreldakse kaks korda: esimene masin teeb võrdluse <code>"oma"</code> ja <code>"mitut"</code>, teine teeb ka <code>"mitut"</code> ja <code>"oma"</code>. Selle vältimisega ei ole mõtet vaeva näha, see on pigem kasulik (sellest hiljem veel). Järgmiseks tekib küsimus, kuidas juhtida masinaid nii, et me ei peaks igaühele otse käsku andma. Seda võib lahendada nii: 1.) panen päringule kaasa parameetri ''k'' ja URL-i, kust sisendandmed saab alla tõmmata 2.) iga masin arvutab <code>h=hash(omaip,omaport) % k</code> ja saab numbri ''h'' mis on vahemikus 0 kuni ''k-1''. 3.) iga masin teeb sisendandmete listist täpselt iga ''k''-nda sõna, nihkega ''h'': kui mul ''h=0'' ja masinaid on kokku 7, siis ma võtan ette sõnad 1,8,15,... .

			* '''Sarnasuse arvutamine'''. Seda võib teha igat moodi, alates [http://en.wikipedia.org/wiki/Levenshtein_distance triviaalsest] kuni [http://en.wikipedia.org/wiki/List_of_natural_language_processing_toolkits#Natural_language_processing_tools põhjalikuni]; vt ka http://wordnet.princeton.edu/.

			* <b>Tulemuste kokku korjamine</b>. See osa on ka algoritmiliselt äärmiselt lihtne. Iga masin saadab oma osalise mappingu päringu algatajale. See paneb need kokku umbes nii: kui ühest masinast saadi <code>{"koera": ["koer"]}</code> ja teisest <code>{"koera": ["koerad"]}</code>, siis kokku võiks tulla <code>{"koera":["koer", "koerad"]}</code>. Mismoodi tulemusi täpselt kokku panna, sõltub natuke, kas teie arust on sarnasuse seos sümmeetriline ja/või transitiivne.

			Tähelepanelikumal tudengil võib tekkida küsimus, mis siis saab kui hash collision tekib ning mõni tükk üleliia tehakse ning mõni mitte kordagi. Selle probleemi jätame koduülesandeks, vihjeks ainult, et 1.) P2P rakendustes ei ole niikuinii mõtet loota, et kõik masinad algusest lõpuni ilusti võrgus kättesaadavad on ja ei crashi töö jooksul 2.) partitsioneerimise meetod, mida kasutasime, tekitab teatud ülekattuvuse.

			Juhul kui ka selle näiterakenduse uurimine mingeid ideid ei tekitanud, võib ka sellesama asja realiseerida. Tasub ainult tähele panna, et see on tõenäoliselt natuke töömahukam, kui mõni ise välja mõeldud rakendus.

	== Firewall ja NAT ==		== Firewall ja NAT ==

Tammet – 18. september 2014, kell 18:39

2014-09-18T18:39:05Z

←Vanem redaktsioon		Redaktsioon: 18. september 2014, kell 20:39
31. rida:		31. rida:
	** kaugadministreerimine		** kaugadministreerimine
	** ...		** ...

			Rakenduse tegemine P2Net protokolli peale on ka praksi osa.

	Võõraste masinate leidmiseks kasutab P2Net järgmist viisi:		Võõraste masinate leidmiseks kasutab P2Net järgmist viisi:
147. rida:		149. rida:

	* Teha http protokolli järgida suutev esmane rakendus.		* Teha http protokolli järgida suutev esmane rakendus.
	* Lisada sinna kogu vajalik funktsionaalsus.		* Lisada sinna kogu vajalik funktsionaalsus:
			** P2Net protokolli implementatsioon
			** P2Net peale ehitatud rakendus (nagu data korjamine, web query hajutamine, lihtsustatud remote admin, ...)

	Http protokolli järgimise võimet kontrollitakse praksi eduka läbimise tingimusena.		Http protokolli järgimise võimet kontrollitakse praksi eduka läbimise tingimusena.
203. rida:		207. rida:
	== Punktiarvestusest ==		== Punktiarvestusest ==

	Kui ~~kõik eelnimetatu~~ töötab vastu mõne teise grupi P2Net-i ja		Kui P2Net protokoll töötab vastu mõne teise grupi P2Net-i, sellele on realiseeritud mingi
	koodi suudetakse seletada, saab täispunktid.		rakendus ja koodi suudetakse seletada, saab täispunktid.

	Kui teiste P2Net-programmidega ei suuda suhelda, aga iseenda koopiatega siiski, siis päris täispunkte ei saa.		Kui teiste P2Net-programmidega ei suuda suhelda, aga iseenda koopiatega siiski, siis päris täispunkte ei saa.

Tammet – 17. september 2014, kell 16:25

2014-09-17T16:25:18Z

←Vanem redaktsioon		Redaktsioon: 17. september 2014, kell 18:25
2. rida:		2. rida:
	<tr>		<tr>
	<td>		<td>
			[[Pilt:Robot300.jpg\|Zombie robot attack]]
	</td>		</td>
	<td>		<td>

Tammet – 17. september 2014, kell 16:16

2014-09-17T16:16:55Z

←Vanem redaktsioon		Redaktsioon: 17. september 2014, kell 18:16
17. rida:		17. rida:
	Kasutajaliidese hea kvaliteet ei ole praksis oluline.		Kasutajaliidese hea kvaliteet ei ole praksis oluline.

	Huvi korral võid vaadata ka veidi sarnaseid vanu ülesandeid [[~~Võrgurakendused 2013~~ prax 1 \|2013 aasta arhiivis]] ning sealt edasi vanemaid.		Huvi korral võid vaadata ka veidi sarnaseid vanu ülesandeid [[Vorgurakendused 2 prax 1 2013 \|2013 aasta arhiivis]] ning sealt edasi vanemaid.

Tammet – 17. september 2014, kell 16:15

2014-09-17T16:15:54Z

←Vanem redaktsioon		Redaktsioon: 17. september 2014, kell 18:15
200. rida:		200. rida:
	Ekstra-lisapunktide saamise variant: realiseeri ja pane kõigile kasutatavaks firewalliprobleemi lahendamiseks sobiv vaheserver. Kirjuta kasutamise juhend ja näited, mida teised saaks soovi korral oma P2Net jaoks tarvitada (st panna nad sinu vaheserverit kasutama, nii et seda saaks ka arvutiklassist kasutada). Esimesed kaks gruppi, kes sellega hakkama saavad, saavad lisaks pooled praksipunktid!		Ekstra-lisapunktide saamise variant: realiseeri ja pane kõigile kasutatavaks firewalliprobleemi lahendamiseks sobiv vaheserver. Kirjuta kasutamise juhend ja näited, mida teised saaks soovi korral oma P2Net jaoks tarvitada (st panna nad sinu vaheserverit kasutama, nii et seda saaks ka arvutiklassist kasutada). Esimesed kaks gruppi, kes sellega hakkama saavad, saavad lisaks pooled praksipunktid!

	~~== Seda kohta pole vaja lugeda ==~~

	~~<pre>~~
	~~F3AA34~~

	~~base64~~

	~~utf-8 moodi????~~
	~~</pre>~~

	== Punktiarvestusest ==		== Punktiarvestusest ==

Priit – 11. september 2014, kell 23:30

2014-09-11T23:30:17Z

←Vanem redaktsioon		Redaktsioon: 12. september 2014, kell 01:30
26. rida:		26. rida:
	* kasutajal käivitada võõrastes masinatest käsurea.		* kasutajal käivitada võõrastes masinatest käsurea.
	* saada tagasi käsurea rehkendatud tulemus(tekst/binary vms blob).		* saada tagasi käsurea rehkendatud tulemus(tekst/binary vms blob).
			* idee on selle peale ehitada mingi rakendus, näit:
			** mingite mahukate arvutuste jaotamine masinate vahel
			** web scrapingu (näit google otsingu) load balancing
			** kaugadministreerimine
			** ...

	Võõraste masinate leidmiseks kasutab P2Net järgmist viisi:		Võõraste masinate leidmiseks kasutab P2Net järgmist viisi:
148. rida:		153. rida:
	== Soovitusi ja ideid ==		== Soovitusi ja ideid ==

	Arendamiseks ja testimiseks pead saama jooksutada oma masinas mitut erinevat koopiat omaenda P2Net-st, igaüks oma pordil, igaühel oma konfifail tuttavate masinatega ~~ja oma kataloog jagatavate failidega~~.		Arendamiseks ja testimiseks pead saama jooksutada oma masinas mitut erinevat koopiat omaenda P2Net-st, igaüks oma pordil, igaühel oma konfifail tuttavate masinatega.

	Hea mõte on teha P2Net käsurealt käivitavaks nii, et ta võtab kohe käsurealt pordinumbri parameetriks ning loeb siis oma konfifaili ~~ja jagatavaid faile~~ vastavast pordinumbrist tuletatud failipathist.		Hea mõte on teha P2Net käsurealt käivitavaks nii, et ta võtab kohe käsurealt pordinumbri parameetriks ning loeb siis oma konfifaili vastavast pordinumbrist tuletatud failipathist.

	P2Net peab päris kindlasti sisaldama või kasutama http serverit,		P2Net peab päris kindlasti sisaldama või kasutama http serverit,