Lambda - Kasutaja kaastöö [et]

Võrgurakendused II

2014-12-01T17:38:13Z

Priit: /* Praktilised tööd ja tähtajad */

<table>
<tr>
<td>
[[Pilt:Revolution_small.jpg|left|revolutsioon]]
</td>
<td>
Ainekood: ITV0120 
Täielik nimi: Võrgurakendused II - hajussüsteemide tehnoloogia 
Link: http://www.lambda.ee/index.php/V%C3%B5rgurakendused_II 
Punkte: 2.5 AP ehk 4 EAP 
Lektor: Tanel Tammet 
Kontakt: tanel.tammet@ttu.ee, 6203457 
Olemas on ka [[itv0040 2013 |2013 aasta materjalide arhiiv]].
</td>
</tr>
</table>


== Aeg, koht ==

Semester: sügis 
Tulemus: eksam 
Hindamise meetod: praktikumide tulemused (pool) pluss eksam (teine pool) 

Loeng: kolmapäeval 16:00-17:30 ruumis CYB-VEENUS 
Praktikum: neljapäeval 17:45-19:15 arvutiklassis ICT-501 (praktikumijuhendaja Priit Järv)

== Praktilised tööd ja tähtajad ==

Töid võib teha 1-3 inimesest grupina.

Kokku on töid 2. Kumbki praktikum täismahus tehtuna annab 25 punkti, sellele võivad lisanduda ekstrapunktid. Puudulikult tehtud töö punktiarv jääb alla 25 punkti. Hilinenud kodutöö eest saab pooled muidu saadaolevad punktid. Töid tuleb esitada praktikumi ajal, projektori abil, väikese ülevaatena kõigile tudengitele.

* 1. Tähtaeg 23. oktoober. Kaks alternatiivi, mille vahel võid ise valida:
** [[Vorgurakendused 2 prax 1 2014 | 1 praks]]
** Teha ise katseid või rakendus õppejõuga eelnevalt kokku lepitud teemal (apid, protokollid) ja teha väike loeng/ülevaade katsetest/rakendusest.

* 2. Tähtaeg 18. detsember. Kaks alternatiivi:
** [[Vorgurakendused 2 prax 2 2014| 2 praks: android ja google app engine]]
** Teha ise katseid või rakendus õppejõuga eelnevalt kokku lepitud teemal (mobiilirakendused ja pilvekeskkonnad) ja teha väike loeng/ülevaade katsetest/rakendusest.

NB! Novembris ja detsembris saab esimest praktikumi (hilinemisega) esitada: praksi võtab vastu Priit. Esialgu on selleks planeeritud kaks võimalust: 6 novembri praksis ja '''11 detsembri praksis'''.

== Kursus varasematel aastatel ==

* I periood: Tammet (hajutatud failisüst, dns, p2p, ...) http://deepthought.ttu.ee/it/vorgutarkvara/wav4101/
* II periood: Grauen (eelmise jätk) http://cs.ttu.ee/kursused/itv0040/
* III periood: Kadastik (sõnumivahetus) http://cs.ttu.ee/tiki-index.php?page=ITV0040-2008
* IV periood: Tammet http://www.lambda.ee/index/itv0040

== Esialgne loengukava ==

Kursus jaguneb laias laastus neljaks teemaks:

* Protokollid, P2P, andme-apid võrgus (neil teemadel esimene praks, autentimine
* Mobiilirakendused ja pilvekeskkonnad (neil teemadel teine praks)
* Paralleelrehkendused
* Andmete hajutamine ja hajutatud andmete koondamine

Loengute esialgne plaan:

=== Detailsem ülevaade kursuse sisust, sissejuhatus 1. praktikumi, protokollide algus, http, json ===

:Http ja json: [[võrgurakenduste protokollid 1]]
:Üldist materjali ja kursusi mujalt:
:http://en.wikipedia.org/wiki/Distributed_computing
:http://dcg.ethz.ch/lectures/podc_allstars/index.html
:http://www.eecs.harvard.edu/cs262/
:http://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-824-distributed-computer-systems-engineering-spring-2006/index.htm
:http://www.stanford.edu/class/cs244b/

=== Praktikumi lisadetaile, protokollide jätk, xml ja xml põhised protokollid xml-rpc ja soap ===
:xml protokollid xml-rpc, soap ja seotud tehnoloogiad: [[võrgurakenduste protokollid 2]]
:Probleemidest: [[veebiteenuste võlu ja valu]] ja [http://harmful.cat-v.org/software/xml/soap/simple s stands for simple]

=== Protokollide jätk ja P2P sissejuhatus ===
: REST, binary protokollid, XMPP: [[võrgurakenduste protokollid 3]]
:P2P sissejuhatus:
:[http://en.wikipedia.org/wiki/Peer-to-peer vikipeedia ülevaade]




: [[Media:P2p_overview.ppt|ülevaade eri P2P tehnoloogiatest]]

=== P2P jätk: DHT (distributed hash tables) ja bittorrent ===
:[http://en.wikipedia.org/wiki/Distributed_hash_table ülevaade wikipedias]
:Chord:
:Põhimaterjal - [http://pdos.csail.mit.edu/rtm/slides/harvard02.ppt Chordi põhimõtted] - lugeda kuni Ivy osani (Ivy on antud juhul teemaväline)

:Lisaks tasuks veidi uurida artikleid [http://en.wikipedia.org/wiki/Chord_%28peer-to-peer%29 wikipedia] sissekande lõpus (external links)
:Kademlia:
:Põhimaterjal [http://www.cs.uiowa.edu/~ghosh/kademlia.ppt presentatsioon autoritelt]
:Täiendavalt [http://pdos.csail.mit.edu/~petar/papers/maymounkov-kademlia-lncs.pdf autorite artikkel]
:Bittorrent:
:[http://www.cs.uiowa.edu/~ghosh/bittorrent.ppt bittorrenti protokoll ja ülevaade]
:[http://en.wikipedia.org/wiki/BitTorrent_%28protocol%29 täiendavalt wikipediast]
:TOR:
:[http://en.wikipedia.org/wiki/Tor_%28anonymity_network%29 TOR wikipedias]

=== Suured avalikud andme-apid. ===
: [[Andme-apide märkmed loengust]]

=== Autentimine: facebook, google, id-kaart. ===

:[[Autentimise märkmed: facebook ja google]]

=== Pilvekeskkonnad, eriti: Google appengine, database api, google bigtable and file system stack ===
:[[Hajutatud failisüsteemide märkmed loengust]]
:http://code.google.com/appengine/

=== Sissejuhatus 2. praktikumi ===

=== Mobiilirakenduste tegemine ===

:http://developer.android.com/index.html
:Mobi [[Media:Mobi android lecture.pdf|loengu pdf]]
:Mobi [https://github.com/madisp/PostimeesRss loengu koodi link]

=== Paralleelrehkendused. Andmebaasid, lukustamine ja transaktsioonid. ===
:Paralleelsus andmebaasides, [[Media:na2_ccdb.pdf|konspekt]] ja [[Media:na2_ccdb_slides.pdf|slaidid]]
:Transaktsioonide sissejuhatuse [[Media:11-transactions.pdf|alternatiivsed slaidid]]

=== Paralleelrehkendused jätkuvad. ===
:Sünkroniseerimisprimitiivid, [[Media:na2_sync.pdf|konspekt]] ja [[Media:na2_sync_slides.pdf|slaidid]]
:Lisaks [[Media:Locking_v2.ppt|T.Tammeti slaidid]]

=== Paralleliseerimine ja efektiivsus: ip/tcp, socketid, http jne ===
: http näited

=== Mapreduce framework for automating app parallelization + memcached ===
:Hea [http://www.google.com/url?sa=t&source=web&cd=2&ved=0CBkQxQEwAQ&url=http%3A%2F%2Fdocs.google.com%2Fviewer%3Fa%3Dv%26q%3Dcache%3AziVIMWHr2GsJ%3Anet.pku.edu.cn%2F~course%2Fcs501%2F2008%2Fresource%2Fmapreduce_in_a_week%2Fllm3-mapreduce.ppt%2Bgoogle%2Bmapreduce%2Btheory%2Band%2Bimplementation%2BChristophe%2BBisciglia%2C%2BAaron%2BKimball%2Bllm3%26hl%3Den%26pid%3Dbl%26srcid%3DADGEESiMwU-9htEZEAthU5bRtGGBQgkzwUf5vM549R-6QBooeBv10FFd-GLvrklDHx-RhI3OehhNio1E7m5GvwKyKK9ndM6oNbDO3LERl8M8YSZ5tdO4bRQ3PEs8sQ6_sdJVIF_Splx7%26sig%3DAHIEtbQVGyhnhEx0aTA0W7okwP8KdVqG1w&rct=j&q=google%20mapreduce%20theory%20and%20implementation%20Christophe%20Bisciglia%2C%20Aaron%20Kimball%20llm3&ei=plH_TPWOI4ay8gPVss2MCw&usg=AFQjCNE9y0GiXVo_hNWPmywfUjt_3ZhQqg&cad=rja Mapreduce sissejuhatus]
:Mapreduce [http://static.googleusercontent.com/external_content/untrusted_dlcp/labs.google.com/en//papers/mapreduce-osdi04.pdf klassikaline põhiartikkel]
:[http://www.majordojo.com/2007/03/memcached-howto.php memcached ülevaade]

=== Andmelaod. ===

=== Hajutatud andmekogude integreerimine. Vaata ka linke: ===

: [http://momjian.us/main/writings/pgsql/replication.pdf Postgres replication intro]
: [http://wiki.postgresql.org/wiki/Replication,_Clustering,_and_Connection_Pooling Postgres clustering and replication]
: [http://www.postgresql.org/docs/current/interactive/high-availability.html Postgres high availability]
: [http://goanna.cs.rmit.edu.au/~e76763/tiger_ref/lkmt10-dnis.pdf Integrating distributed sem web data]
: [http://docs.oracle.com/cd/B28359_01/server.111/b28318/integrat.htm Oracle information integration]

== Lisamaterjalid ==

* [[võrgurakendused 2: täiendavad lingid]]
* [[Sehke speci draft]]

[[Category:Kursus]]

Võrgurakendused I 2018

2014-11-28T22:07:36Z

Priit: /* Praktilised tööd */

<table>
<tr>
<td>
[[Pilt:Engine.jpg|left|mootor]]
</td>
<td>
Ainekood: ITV0110 
Link: http://www.lambda.ee/index.php/V%C3%B5rgurakendused_I ehk http://www.lambda.ee/index/itv0110 
Punkte: 3.5 AP ehk 5 EAP 
Lektor: [http://www.facebook.com/tanel.tammet Tanel Tammet] 
Kontakt: tanel.tammet@ttu.ee, 6203457 
olemas on ka [[Võrgurakendused_I 2013| 2013 aasta arhiiv]] koos kõigi eelmise aasta materjalidega. 
</td>
</tr>
</table>

== Aeg, koht, tulemus ==

Loenguid nädalas: 2 tundi (üks loeng) teisipäeviti 10:00-11:30 ruumis CYB - VEENUS

Praktikume nädalas: 2 tundi (üks praktikum). Praktikume juhendab Roger Kerse. Kui pole teisiti märgitud, toimuvad praktikumid:
* esmaspäeval 08:00-09:30 ruumis ICT-401 rühmadele IABB31, IABB32, IABB33
* teisipäeval 16:00-17:30 ruumis ICT-501 rühmadele IABB37, IAPB37, IATM11
* neljapäeval 10:00-11:30 ruumis ICT-501 rühmadele IAPB31, IAPB32
* reedel 08:00-09:30 ruumis ICT-501 rühmadele IAPB33, IAPB34, IAPB35

Kursus lõpeb hindelise arvestusega. Hinne sõltub kursuse jooksul tehtud praktikumide tulemustest (60%) pluss kursuse lõpus toimuva kontrolltöö tulemustest (40%).

== Kursuse eesmärk ==

Lihtsamate veebirakenduste põhimõtted ja nende kirjutamise oskus nii brauseri kui serveri poolel. Konkreetsemalt:
* html-i kirjutamise oskus, esmane tutvus CSS-i ja javascriptiga.
* serveripoolse rakenduse kirjutamise põhimõtted,
* node.js kasutamise sissejuhatus serverirakendustes.
* cgi protokoll, erinevate keelte (sh shell, C, php, python, java, javascript) kasutamise sissejuhatus serverirakendustes
* pythoni ja php kasutamise esmased oskused.
* lihtsamad SQLi kasutamise oskused.

Kursusel eeldatakse elementaarsete programmeerimisoskuste olemasolu. Kes programmeerimisega üldse kokku puutunud ei ole või seda paralleelselt ei õpi, ei suuda kursust läbida.

== Praktilised tööd ==

Kursusel on neli kohustuslikku praktilist ẗööd ja üks mittekohustuslik praktiline töö. Iga töö (sh mittekohustuslik töö) annab 0-12 punkti. Hilinenud tööd annavad poole punktidest. Töid võib (ja on soovitav) esitada enne tähtaega.

NB!
* Kui sinu praktikum on õigeaegselt arvestatud, siis saad esitada täiendusi (näiteks kolmanda praksi teist poolt) ka hiljem, ilma pooli punkte kaotamata.
* Esimest ja teist praksi saab esitada veel novembris, aga detsembris neid enam vastu ei võeta. Kaugõppe tudengid saavad erandina esitada ka neid prakse detsembris.
* Alates kolmandast praksist saad oma tööd esitada ainult oma rühma praksi ajal. Kui sa ei ole üheski rühmas, siis on aeg vaba. Lihtsalt nõu ja abi saad küsida ka teistel aegadel.

Kõik tööd tuleb esitada ise TTÜ arvutiklassis: emailiga saadetud töid ei arvestata. Kasutada võib nii klassi arvuteid kui oma arvutit, brauser ja operatsioonisüsteem on vabalt valitavad. Serverirakenduste tööde presenteerimiseks tuleb kasutada ülikooli serverit dijkstra.

Ülesanded:

* [[ITV0110 1. töö: Html põhioskused|Html põhioskused]]. Tähtaeg 15-19 septembri nädal, vastavalt sinu praktikumirühmale. Detsembris seda praksi enam esitada ei saa. Kaugõppe tähtaeg 20. sept.
* [[ITV0110 2. töö 2014: CSS, javascript, veebiserver|CSS, javascript, veebiserver]]. Tähtaeg 6-10 oktoobri nädal, vastavalt sinu praktikumirühmale. Detsembris seda praksi enam esitada ei saa. '''Erandina need kes 28.11 praksis ennast kirja panid saavad kaitsta P. Järve juures ICT-501 5.12'''. Kaugõppe tähtaeg on 18. oktoober.
* [[ITV0110 3. töö 2014: Serverirakendus: cgi pythonis|Serverirakendus: cgi pythonis]]. Tähtaeg 10-14 novembri nädal. Kaugõppe tähtaeg on 29. november.
* [[ITV0110 node.js töö| Serverirakendus node.js abil]]. Mittekohustuslik. Tähtaeg lükkus edasi 1. detsembrini. Kaugõppe tähtaeg on 29. november
* [[ITV0110 4. töö 2014: Andmebaasiga serverirakendus|Andmebaasiga serverirakendus php-s]]. Tähtaeg 18/19. detsember. Kaugõppe tähtaeg on kontrolltöö aeg jaanuaris.


Kursuse edukaks läbimiseks peavad kõik kohustuslikud praktilised tööd olema tehtud.

Lehtede kujundamise ja stiili osas lähtu [[htmli kujunduse üldpõhimõtted| sellest juhendist]].

== Leitud asju ==

Vaata seda: http://keithclark.co.uk/articles/creating-3d-worlds-with-html-and-css/

== Loengute plaan ja materjalid ==

Alltoodud teemad kaetakse igaüks ühe-kahe loenguga. Suur osa loengutest on pühendatud näidete läbitegemisele ning seletamisele, ette-programmeerimisele ja praktikumide osalisele realiseerimisele.

=== HTML põhioskused ===

Taustaks tasub
* meelde tuletada interneti baastehnoloogia IT sissejuhatusest: [[Media:Itsissejuhatus10o08.pdf|Itsissejuhatus10o08.pdf]].
Loe ja proovi läbi (st vaja põhimõtted selgeks õppida):
* [http://www.w3schools.com/html/default.asp w3schools html tutorial basic blokk].
Loe enne või sama-aegselt lisaks läbi ka
* [http://www.w3.org/MarkUp/Guide/ Raggetti vanaaegne mikrotutorial algajatele] ja selle [http://www.w3.org/MarkUp/Guide/Advanced.html teine osa]
* Hea eestikeelne, samuti natuke vana sissejuhatus [http://akadeemia.kakupesa.net/arhiiv/VR1/loengud/loeng3 Kaido Kikkaselt (html)]

Vanemates tutorialites toodud markup on reeglina endiselt pädev, v.a. xhtml ja päised: sina kasuta html5 standardit (päises <!DOCTYPE html>) ja ignoreeri xml teemat html-s.

Keerulisemat:
* [http://www.w3.org/TR/1999/REC-html401-19991224/ vana, siiani ametlik w3c standard]
* html 5: [http://www.w3.org/TR/html5/ w3c pooleli html 5] ja [http://www.whatwg.org/specs/web-apps/current-work/multipage/ whatwg living html 5] ja [http://www.w3schools.com/html/html5_intro.asp w3schools tutorial]
* [http://www.w3.org/TR/html401/struct/tables.html tabelite osa ametlikust 4.01 standardist]
* [http://www.w3schools.com/html/html_entities.asp html entities osa1] ja [http://www.w3schools.com/html/html_symbols.asp osa2] ja [http://en.wikipedia.org/wiki/UTF-8 utf-8] ja [http://en.wikipedia.org/wiki/Character_encodings_in_HTML charseti seadmine]
* [http://hsivonen.iki.fi/doctype/ !DOCTYPE prefix] ja html vanade versioonide kuvamine
* Kasulik tagide nimistu: [http://joshduck.com/periodic-table.html html 5 elementide perioodiline tabel]
* [http://www.w3schools.com/html/html_xhtml.asp html and xhtml] ja [http://en.wikipedia.org/wiki/HTML5 html 5]
* klassikaline salvestamine: [http://en.wikipedia.org/wiki/HTTP_cookie cookie] tutorial [http://www.w3schools.com/js/js_cookies.asp javascriptis]
* html 5 web storage [http://dev-test.nemikor.com/web-storage/support-test/ support]
* html 5 indexed db [http://en.wikipedia.org/wiki/Indexed_Database_API lühidalt], [http://caniuse.com/indexeddb support] ja [http://www.html5rocks.com/en/tutorials/webdatabase/websql-indexeddb/ kuidas kasutada] ja [http://www.html5rocks.com/en/tutorials/indexeddb/todo/ tutorial]
* html 5 [http://en.wikipedia.org/wiki/Canvas_element canvas]

=== CSSi põhioskused ===

Lugeda ja proovida läbi (st vaja põhimõtted selgeks õppida):
* [http://www.w3.org/MarkUp/Guide/Style.html First CSS intro]
* [http://www.w3schools.com/css/ w3schools'i css tutorial]: : kindlasti "basic", "styling" ja "box" blokid, huvi korral loe edasi (advanced jne) ka, kuid need viimased ei ole üleni kohustuslikud, välja arvatud järgmised eriti olulised osad advanced blokist:
** [http://www.w3schools.com/css/css_display_visibility.asp display and visibility]
** [http://www.w3schools.com/css/css_positioning.asp positioning]
** [http://www.w3schools.com/css/css_float.asp float]

* Väga kasulik abimaterjal on w3schoolsi [http://www.w3schools.com/cssref/default.asp css reference]
Abiks on tutvuda heade tutorialidega järgmistel teemadel:
* [http://www.thesitewizard.com/css/center-div-block.shtml centering div]
* [http://robertnyman.com/2010/02/24/css-display-inline-block-why-it-rocks-and-why-it-sucks/ inline block]
* [http://css.maxdesign.com.au/floatutorial/ floats]
* [http://css.maxdesign.com.au/listamatic/ listikasutus] ja sealtsamast [http://css.maxdesign.com.au/listutorial/index.htm listikasutuse tutorialid]
* [http://www.css3.info/preview/box-shadow/ css shadow]
* [http://webdesignerwall.com/tutorials/cross-browser-css-gradient css gradiendid]
Häid praktilisi soovitusi kujundusest css-ga:
* [http://webdesignerwall.com/tutorials/css3-gradient-buttons css nupud] ja [http://www.webdesignerwall.com/demo/css-buttons.html nupukataloog] ja [http://css-tricks.com/examples/ButtonMaker/# nuputegija1] ja [http://www.cssbuttongenerator.com/ nuputegija2]
* [http://smashinghub.com/9-amazing-css-rules-that-save-designers-and-developers.htm rounded corners, shadow, gradient fill jne]
* [http://www.script-tutorials.com/css3-metal-menu-with-icons/ multilevel metal menu with icons] pluss html/css alt muid häid css3 õpetusi
* [http://informationarchitects.net/blog/the-web-is-all-about-typography-period/ puhtast tüpograafia-kujundusest]
Vingeid graafilisi canvas+webgl asju:
* [http://www.clicktorelease.com/code/streetViewReflectionMapping/#59.4369400264884,24.743906027972344 street view + knot]
* [http://alteredqualia.com/three/examples/webgl_materials_skin.html pea]
* [http://robchadwick.com/TerrainEditor/ terrain editor]

=== Javascripti põhioskused ===

Kaks loengut: (a) sissejuhatus (b) reaalne kasutamine brauseris (html ja css muutmine, evendid jne)

Vaata soenduseks/demoks [http://www.chromeexperiments.com/ Google kogutud näiteid].

Seejärel loe läbi ja proovi järgi selles järjekorras:
* [http://en.wikipedia.org/wiki/JavaScript Wikipedia javascripti üldartikkel]: ülevaade, ajalugu jne. Keelt siit ei õpi!
* [http://www.w3schools.com/js/default.asp W3schools javascripti sissejuhatus]: JS Basic ja JS Objects osad. Mõned asjad jäävad siin veidi ebaselgeks!
* [http://en.wikipedia.org/wiki/JavaScript_syntax Wikipedia Javascripti keele kiirõpetus]: loe ja proovi paralleelselt w3schools-ga. Siit saab mõned asjad selgemaks kui ainult w3schoolsist.

NB! Selle tulemusena on sul baasettekujutus javascripti keelest, aga mitte reaalsest kasutusest (seda vaatame järgmises loengus).

Javascripti kasutamine brauseris: alustuseks on hea vaadata põhjalikku näidete loetelu

* [http://www.w3schools.com/js/js_ex_dom.asp html dom objektid]: põhiasjad
* [http://www.tizag.com/javascriptT/javascriptform.php form validation]: klassikaline rakendus
* [http://www.w3schools.com/js/js_ex_browser.asp brauseriobjektid]: vahel kah kasulikud

ja tingimata lugeda sinna juurde teegijuhendeid:

* [http://www.w3schools.com/jsref/dom_obj_all.asp html dom ülevaadet]
* [http://www.w3schools.com/jsref/dom_obj_event.asp html events ülevaadet]
* [http://www.w3schools.com/jsref/dom_obj_style.asp style lugemine/muutmine js-s: hädavajalik reference]

Javascripti ja css-i teegid: uurime veidi kõige populaarsemaid teeke

* [http://w3techs.com/technologies/overview/javascript_library/all populaarsed teegid]
* [http://www.jquery.com jquery] javascripti teek
* [http://getbootstrap.com bootstrap] css + javascript, widgetid jne

=== Veebirakenduse optimeerimine mobiilile ===

* [http://www.seabreezecomputers.com/tips/mobile-css.htm sissejuhatavaid punkte ja olulist]
* [http://www.luster.io/blog/9-29-14-mobile-web-checklist.html põhjalik checklist kogu värgist]: kindlasti vaata, aga kõige selle tegemine on päris töömahukas ja ei ole praksis üldse nõutud.

Täiendavalt spetsiifilisematest teemadest:

* [http://www.javascriptkit.com/dhtmltutors/cssmediaqueries.shtml css-i valik mobiilile] ja [http://css-tricks.com/snippets/css/media-queries-for-standard-devices/ sama teema selgitusteta]
* [http://webdesignerwall.com/tutorials/mobile-navigation-design-tutorial navigeerimine ja menüüd]
* [http://taylor.fausak.me/2013/11/01/ios-7-web-apps/ iOS nüansid]
* [https://www.youtube.com/watch?v=3Bq521dIjCM&feature=youtu.be&t=23m50s optimeeri sujuvust: video]
* [http://impulse.luster.io/ interaktsiooni-animatsioonide teek]
* [http://ionicframework.com/ huvitav mobiili-hübriid-veebirakenduste teek]



=== Cgi töötlemine eri keeltes (C, python, bash, java, ...) ===

Kõigepealt loe ja proovi tingimata ise läbi teha: [[pythoni cgi-d dijkstra serveris: kiire sissejuhatus]]

Seejärel vaata [[cgi examples|hulka näiteid]], mille täpsem seletus antakse loengus.

Tutvu linuxi shelli elementaarsete käskudega [http://www.freesoftwaremagazine.com/articles/command_line_intro siit alustades] ja [http://www.pixelbeat.org/cmdline.html selle lühiõpetusega jätkates.] Iga käsu juures on abiks man, näiteks <tt>man ls</tt>. Huvi korral googelda lisaks.

Seejärel loe neid materjale CGI protokollist ja CGI programmidest serveris:

* [http://www.jmarshall.com/easy/cgi/ lihtne sissejuhatus cgi-desse]
* [[Media:cgi.pdf|cgi.pdf: detailsem juhend]]
* [http://www.cs.tut.fi/~jkorpela/forms/cgic.html cgi C keeles]
* Pythonis cgi programmeerimise tutoriali [http://www.tutorialspoint.com/python/python_cgi_programming.htm leiad siit]
* [http://webpython.codepoint.net/cgi_tutorial cgi Pythonis]
* [http://www.yolinux.com/TUTORIALS/BashShellCgi.html cgi Bashis]

ning siis vaata lisaks loengus tehtud/proovitud [[lihtsaid cgi programminäiteid]] eri keeltes.

Cgi jaoks on olemas ka nö [http://www.rfc-editor.org/rfc/rfc3875.txt rfc-standard], mille lugemine on aga pisut vaevarikas (nagu enamikel standarditel) ja üldjuhul on praktilisem lugeda hoopis ülaltoodud õpetusi ja vaadata
näiteid.

=== Python ja näiteid kasutamisest serverirakendustes ===

Tutvumine kolmanda praktikumiga: [[ITV0110 3. töö: Serverirakendus: cgi pythonis]]. Praksi jaoks vajaliku koodi kirjutamise harjutamine (loengus etteprogrammeerimine).

Sealt leiad ka soovitused esmatutvuseks Pythoniga (praktikumi jaoks piisab kõige lihtsamatest Pythoni konstruktsioonidest ja cgi teegist, keerukamaid asju pole otseselt vaja):

* loe [http://docs.python.org/tutorial/ tutoriali] algust (keerulised andmestruktuurid, moodulite ja klasside värgi võid esialgu lugemata jätta)
* hea tutorial [http://www.tutorialspoint.com/python/python_cgi_programming.htm cgi programmide kohta pythonis]
* lisaks [http://docs.python.org/library/cgi.html cgi teegi õpetust].

Hea mõte on paralleelselt teha lahti Pythoni interpretaator ja katsetada kõrvale asju otse Pythoni käsureal. Kui su masinas Pythonit pole, siis installeeri! Kasulikke asju lisaks:

* [http://docs.python.org/library/index.html#library-index teegi dokumentatsioonis].
* [[Kasulikke pythoni näitejuppe cgi jaoks]]
* [http://www.makotemplates.org/ mako templates:] katsetame neid veidi loengus

=== Ajax ehk serveriga andmevahetus otse javascriptist ===

* Loe seotud tehnoloogiatest: [http://en.wikipedia.org/wiki/Ajax_%28programming%29 wikipedia ajax], [http://en.wikipedia.org/wiki/XMLHttpRequest wikipedia xmlhttprequest], [http://en.wikipedia.org/wiki/JSON wikipedia json]
* Vaata [[xmlhttprequest ja jsonile rakendatud eval näited]]

Lisaks võib abi olla:
* [http://www.w3schools.com/ajax/default.asp w3schoolsi ajaxi mikrotutorial]
* [http://api.jquery.com/jquery.ajax/ jquery mugavamad wrapperid xmlhttprequestile]

NB:
* Vanade IE-de erivariante ei ole mingit mõtet kasutada.
* Ajaxiga avatud urlilt võib tulla mis iganes tekst (ei pea olema xml).

=== node.js sissejuhatus ===

[http://nodejs.org/ node.js] on süsteem serverirakenduste kirjutamiseks javascriptis. Ta on ehitatud chrome javascripti mootori peale ja lisab sinna hulgem kasulikke teeke, veebiserveri jne.

Vaata:

* [http://nodejs.org/ node.js] ise
* node.js [http://en.wikipedia.org/wiki/Node.js wikipedias]

Seejärel installeeri enda arvutisse node.js ja alusta katsetamist:

* [http://nodeguide.com/beginner.html hea sissejuhatav tutorial]
* [http://www.nodebeginner.org/ järgmine ok tutorial]
* [http://nodeschool.io/#learnyounode hulk eri tutoriale] mis vajavad installeerimist

Hetkel ei ole dijkstras node.js installeeritud, aga lähiajal ta sinna ilmub. Seniks on soovitav kas

* Installeerida node.js oma arvutisse või
* Installeerida node.js arvutiklassi arvutisse (ta on olemas arvutiklassi standardpakettide hulgas, ei ole vaja olla admin)

=== Veebiserveri ehitusest ja konfigureerimisest ===

Kõigepealt tutvu või tuleta meelde http protokolli põhimõtteid:

* [http://en.wikipedia.org/wiki/Hypertext_Transfer_Protocol http wikipedias]
* [http://www.jmarshall.com/easy/http/ veel http-st]
* [http://www.factini.com/c/httpViewer/ headerite jms vaatamise veebiabivahend]

Veebiserverist paremaks arusaamiseks tasub veidi eksperimenteerida [[Media:Itsissejuhatus_tiny.zip|pisikese veebiserveriga]].

Enimkasutatav veebiserver Apache:

* [http://httpd.apache.org/ apache oma koduleht]
* [http://en.wikipedia.org/wiki/Apache_HTTP_Server wikipedia apachest]
* [http://news.netcraft.com/archives/category/web-server-survey/ veebiserverite kasutusstatistikat]

Apache konfigureerimisest:

* [http://www.jlk.net/apache/beginners.shtml sissejuhatus algajatele]
* [http://httpd.apache.org/docs/2.2/ ametlik juhend]

=== Serverirakendused PHP-s, näited ===

* Väikese ajaloolise ülevaate leiad [http://en.wikipedia.org/wiki/PHP wikipeediast]
* Põhiõpetus on [http://www.php.net/manual/en/ php oma saidil]: loe sealt kõigepealt [http://www.php.net/manual/en/tutorial.php sissejuhatavat tutoriali]
* [http://w3schools.com/php/default.asp W3school-si php tutorial] on samuti päris OK.

=== SQL ===

Loe selles järjekorras:

* [http://web.njit.edu/~song/courses/is698/SQL_tutorials.ppt hea esimene sissejuhatus]
* [http://www.w3schools.com/sql/default.asp w3schools'i tutorial]
* [http://dev.mysql.com/doc/refman/5.0/en/tutorial.html mysql esmane tutorial] ja [http://dev.mysql.com/doc/refman/5.0/en/index.html mysql manuaal]

=== SQL serverirakendustes ===

* [[Vorgurakendused 1 SQL naited loengust]]: alusta siit
* Vaata veel kombineeritult [[lihtsaid php ja mysql näiteid]] loengust.

Harilikud tutorialid ja tähelepanekud:

* [http://dmsa.concordia.ca/tutorial_files/shortsql.ppt mysql PHP-s: ppt]
* [http://www.tizag.com/mysqlTutorial/ mysql PHP-s: veebitutorial]
* [http://blogs.techrepublic.com.com/security/?p=2368 SQL injection] vt ka [http://lh6.ggpht.com/_5YF7KQZuZS0/S6dvFXu5OoI/AAAAAAAACWM/qTcVpMxcDnA/licence%20plate%20camera%20sql%20injection_2%5B3%5D.jpg?imgmax=800 seda] ja [http://www.schneier.com/blog/archives/2010/10/pen-and-paper_s.html seda] ja [http://alicebobandmallory.com/articles/2010/09/23/did-little-bobby-tables-migrate-to-sweden seda]
* [http://www.w3schools.com/php/default.asp w3schools PHP tutorial all vasakul Mysql blokk]

=== Sessioonid, cookied, sisselogimine, autentimine, web storage ===

Mõned lingid:

* basic authentication [http://en.wikipedia.org/wiki/Basic_access_authentication wikipedias], [http://httpd.apache.org/docs/2.0/howto/auth.html apache manuaalis] ja [[basic authentication näited]]
* cookie [http://en.wikipedia.org/wiki/HTTP_cookie wikipedias], php cookie handling [http://w3schools.com/PHP/php_cookies.asp w3schools-st] ja [http://www.php.net/manual/en/function.setcookie.php php manuaalist]
* [http://oreilly.com/catalog/webdbapps/chapter/ch08.html ok sessiooniõpetus]
* php sessioonihandling [http://w3schools.com/PHP/php_sessions.asp w3schools] ja siit [http://ee.php.net/manual/en/book.session.php php mahukas sessiooni-manuaal] ja siit [http://www.tizag.com/phpT/phpsessions.php eraldi tutorial]
* väike [http://www.secologic.org/downloads/web/051123_eurosec_course_material_on_web_application_session_management.ppt ok sessioonihalduse tutorial]
* [[autentimise näide php sessiooniga]]
* [http://www.w3schools.com/html/html5_webstorage.asp Web storage]: HTML5 parem ja lihtne alternatiiv cookiedele. Vaata kindlasti ka muid [http://www.html5rocks.com/en/tutorials/offline/storage/ HTML5 data-salvestus-mehhanisme], [http://www.html5rocks.com/en/tutorials/appcache/beginner/ HTML5 application cache] ja [http://diveintohtml5.info/storage.html seda detailsemat täiendavat juttu].

== Vajalikud tööriistad ==

Oma arvutiga töö tegemiseks peab seal olema vähemalt

* [http://notepad-plus-plus.org/ Notepad++] või [http://www.scintilla.org/SciTE.html scite] või [http://brackets.io/ brackets]
* [http://www.mozilla.com Mozilla Firefox] või [https://www.google.com/intl/en/chrome/browser/ Google Chrome]
* [http://www.mozilla.com Mozilla Firefoxi] kasutades installi endale [https://getfirebug.com/ firebug] plugin
* Windowsil [http://www.chiark.greenend.org.uk/~sgtatham/putty/download.html putty] või mõni sarnane sisselogimis-proge (Linuxil piisab ssh käsust). Hea erivariant Puttyst on [http://www.9bis.net/kitty/ kitty], mis laseb kasutajatunnuse ja parooli meelde jätta, et ei peaks igakord uuesti sisestama.
* Windowsil [http://winscp.net winscp] (vaata [http://winscp.net/eng/docs/ui_editor konfimisest!]) või mõni sarnane failide-üleslaadimis-proge (Linuxil piisab scp käsust)



[[Category:Kursus]]

ITV0110 3. töö 2014: Serverirakendus: cgi pythonis

2014-11-16T02:34:08Z

Priit: /* Dijkstra server */

[[Pilt:Python_logo.jpg|left|Python]]

== NB! ==

Kui sul on probleeme serveris pythoni programmide käimasaamisega, siis loe siit lõpust peatükki "Põhiprobleemid"

== Mis tuleb teha ==

Sinu ülesandeks on ehitada veebisüsteem, mille kaudu saab teises praksis realiseeritud pig'i üle võrgu mängida, ehk siis teise praktikumi teema edasiarendus veebirakendusena.

Mängida peab saama kahel viisil, kusjuures esimene variant on kõigile kohustuslik ja annab 6 punkti, teine ei ole kohustuslik ja annab lisaks 6 punkti.
* Üksi, kuid sedakorda tuleb mängu tulemus - punktid ja mänguaeg - iga kord salvestada serverisse ning serverisse kogunev tulemuste tabel tuleb kasutajale otsitaval/sorditaval viisil välja kuvada
* Teise inimese vastu, kus samuti tuleks iga mängu tulemused serverisse salvestada.

Pane tähele, et selles praktikumis on kõigi ülesannete realiseerimiseks vajalik koodihulk väga väike, samas nõuab tõsist pingutust välja mõelda, kuidas kõiki asju täpselt teha ja esitada ja kuidas nad omavahel kokku käivad. Samuti võtab päris päris palju aega katsetamine ja esmatutvus võõra progekeelega.

Hakka teise inimese vastu mängu tegema alles peale seda, kui üksi masina vastu mängimine on valmis.

== Kuidas serverisse tulemusi salvestada ja sealt kuvada ==

Serverisse andmete salvestamiseks kirjuta nad faili.

Kõigi mängude korral on vaja faili salvestada ka inimese nimi, kes mängis, samuti - kui on vastane - siis vastase nimi. Seega on mängu alustades vaja vormilt sisestada oma nimi, mis siis serveris mängufaili kirjutatakse ja mis mängu ajal ära ei muutu. Nime võib kasutaja valida vabalt, paroole, autentimist jne jne ei ole vaja teha (kuid ei ole ka otse keelatud, peaasi, et sa ei ehitaks seda enne, kui kõik muu valmis).

Mängude kuvamiseks peab sinu pig'i põhilehel olema link "kõik mängud", kuhu vajutades lähed mängude vaatamise lehele.

Mängude kuvamine on vaja teha nii, et saad sisestada (või boksist valida), kelle mänge ja mis vastasega tahad vaadata (üksi või konkreetse inimese vastu), ja siis kuvatakse ainult need. Ei ole keelatud lisaks ka kõigi mängude kuvamine ja muud täiendused.

Mängude kuvamisel võiksid olla sellised tulbad:

* mängu alustamise kuupäev/aeg
* mängija 1 nimi
* mängija 2 nimi: arvutiga mängides jäta see ära
* mängija 1 punktid
* mängija 2 punktid
* mänguaeg sekundites

Mängude sorteerimine on vaja teha nii, et saad tulba pealkirjale vajutada, ning server sorteerib tulemused selle tulba järgi.

Kogu filtreerimine ja sorteerimine tuleb teha serveris, mitte brauseris.

Selles osas on soovitav kasutada harilikku cgi protokolli, mitte ajaxit: samas ei ole ajax siin ka otseselt keelatud.

Täringu veeretamise võid teha brauseris, nagu teises praktikumis, aga võid teha ka serveris. Inimvastase vastu mängides (järgmine peatükk) tuleb täringut igal juhul serveris veeretada.

== Mismoodi käib teise inimese vastu mängimine ==

Teise mängija vastu mängimiseks on vaja teha järgmisi asju:
* Pead saama kuulutada välja, et soovid mängida (ehk, serveris kuulutuste faili tegema ja sinna inforea lisama).
* Pead saama vaadata, kes soovivad mängida ja valida neid mängu.
* Kui veeretad või annad mängukorra üle, siis server peab sinu tegevuse serverisse mängufaili talletama. Vastane ei tee seni midagi.
* Vastase brauser käib siis kogu aeg serverist ise uurimas, et kas on juba tema mängukord.
* Kui jah, siis algab tema oma mängukorraga ja kogu tsükkel käivitub uuesti.

Teise mängija vastu mängimise tehnoloogia peab baseeruma ajaxil ehk serveriga andmevahetusel otse javascriptist (vt selle praksi lehe lõpuosa).

Täringu veeretamine peab kindlasti toimuma serveris, mitte, nagu teises praksis, brauseris.

Üksikuid veeretamisi ei ole tingimata vaja serveris salvestada ja teisele mängijale kuvada: piisab veeretamiste ahela lõpptulemusest enne mängukorra üleandmist. Samas ei ole keelatud ka iga ükskiku täringuviske salvestamine ja kuvamine. Vali ise, kumba varianti eelistad kasutada.

== Praktikumi arvestamine ja hindamine ==

Praktikum annab maksimaalselt 12 punkti.

Esimene osa (üksi mängides mängude salvestamine serverisse ja seni mängitud mängude tulemuste kuvamine)
on kohustuslik osa praktikumist ja nende korralik realiseerimine annab 6 punkti. Praktikumi
ei arvestata, kui selles osas on suuremad puudujäägid.

Omavahelise mängu realiseerimine (teine osa praksist) annab lisaks kuni 6 punkti ja ei ole kohustuslik.

Pane tähele, et selles praktikumis on kõigi ülesannete realiseerimiseks vajalik koodihulk väga väike, samas nõuab tõsist pingutust välja mõelda, kuidas kõiki asju täpselt teha ja esitada ja kuidas nad omavahel kokku käivad. Samuti võtab päris päris palju aega katsetamine ja esmatutvus võõra progekeelega.

== Tehnoloogilised nõuded ==

* Kõik serverirakendused tuleb realiseerida [http://www.python.org/ Pythonis].
* Rakendus peab olema võrgus vabalt brauseriga ligipääsetav, mitte lihtsalt töötama näiteks sinu laptopis.
* Serverarvutina tuleb kasutada dijkstrat, rakenduse failid tuleb kopeerida kataloogidesse public_html/prax3 ja public_html/cgi-bin/prax3
* Serveris tuleb infot hoida ühes või mitmes mängutulemuste failis.
* Kasutada tuleb nimelt lihtsaid inimloetavaid faile, andmebaasimootoreid kasutada ei tohi (andmebaasimootorite jaoks on neljas praks).
* Loodud veebilehed peavad sisaldama html-i, css-i ja javascripti (pluss pilte), javat ja flashi jne kasutada ei tohi.
* Teise mängija vastu mängimine peab kasutama ajaxit ehk andmevahetust serveriga otse javascriptist. Üksi mängimine ei pea kasutama ajaxit, kuid keelatud see ei ole.

Turvaküsimustega ei pea selles praksis tegelema! Seega on täiesti ok, kui mängija
saab ise anda cgi-le parameetrid näiteks võõra mängu kohta ja sellega teiste
mängu ära rikkuda, pettusi teha jne. Turvaküsimused oleks selle praksi jaoks
lihtsalt liiga töö- ja tähelepanumahukad.

Miks skriptikeel (siin praksis Python) ja mitte C või Java? Eeskätt seepärast, et C ja Java jaoks juba on eraldi kursused, kus neid kasutatakse. Teiseks seepärast, et skriptikeeltes on väiksemaid/lihtsamaid veebirakendusi veidi mugavam kirjutada, kui kompileeritud keeltes.

Miks just Python? Vaata [http://www.tiobe.com/index.php/content/paperinfo/tpci/index.html Tiobe] progekeelte populaarsuse indeksit: kõige populaarsemad nn skriptikeeled on (peale Javascripti) PHP ja Python. Kummagi jaoks on meil üks praktikum. PHP ja Python on üksteisest ka väga erinevad (Perl ja PHP on hoopis sarnasemad), seega on nad sobivad näited skriptikeelte spektri eri otstest.

== Dijkstra server ==

Dijktra serverisse ligipääsu, failide laadimise ja linuxi käsureaga hakkamasaamise kohta loe pikemalt [[ITV0110 2. töö 2014: CSS, javascript, veebiserver|teise praktikumi materjalidest]] Dijkstra serveri peatükist, siin neid üle ei korrata.

Oma programmid pane kataloogi public_html/cgi-bin . Kõigepealt pead selle kataloogi tegema ja talle grupile ligipääsuõiguse andma, analoogiliselt teise praktikumiga. Mujale pandud programme Apache käima ei pane.

Kui töös taaskasutatakse teise praktikumi koodi, siis tee sellest uus koopia public_html/prax3 alla. Teise praktikumi töö peab ka alles jääma.

Samuti on sul vaja veidi tutvuda linuxi käsurea elementaarkäskudega (kopeerimine, kustutamine, õiguste muutmine jne) nagu teises praksis soovitatud.

== Soovitused programmeerimiseks ==

Kõigepeal tutvu [[pythoni cgi-d dijkstra serveris: kiire sissejuhatus | cgi programmide kirjutamise esmaste põhimõtetega loengumaterjalidest]] ja sisuliseks arusaamiseks loe cgi loengu materjalide alt teisi materjale lisaks.

=== Python ===

Kui sa ei ole varem Pythonis cgi-sid programmeerinud, tutvu kõigepealt Pythoni keele ja
cgi teegiga:

* loe [http://docs.python.org/tutorial/ Pythoni tutoriali] algust (keerulised andmestruktuurid, moodulite ja klasside värgi võid esialgu lugemata jätta)
* võib-olla parima pythonis cgi programmeerimise kiirtutoriali [http://www.tutorialspoint.com/python/python_cgi_programming.htm leiad siit]
* see [http://www.cs.virginia.edu/~lab2q/lesson_1/ pythoni cgi tutorial] annab ka pythoni keele jaoks ok sissejuhatuse
*lLisadetailide jaoks vaata [http://docs.python.org/library/cgi.html cgi teegi õpetust].

Hea mõte on paralleelselt teha lahti Pythoni interpretaator ja katsetada kõrvale asju
otse Pythoni käsureal. Kui su masinas Pythonit pole, siis installeeri!

Paljud kasulikud asjad on kirjas Pythoni
[http://docs.python.org/library/index.html#library-index teegi dokumentatsioonis].
Konkreetsete küsimuste korral aitab tihti googeldamine.

NB! Pythonil on väga palju teeke ja mitmeid mittetriviaalseid keelekonstruktsioone.
Sul ei lähe rõhuvat enamust nendest vaja, praktikumiks piisab väga esmastest asjadest (listid,
stringid, numbrid) ning teekidest ei lähe samuti muud vaja, kui failide lugemine/kirjutamine,
stringioperatsioonid ja cgi. Ära kuluta kohe aega kõigi Pythoni teekide ja detailide uurimisele,
pigem alusta peale esmast tutvust koodi kirjutamist.

Arvesta, et dijkstra serveris on installeeritud Python 2.7.3, seega väldi Python 3 spetsiifiliste
asjade kasutamist (vt [http://docs.python.org/py3k/whatsnew/3.0.html erinevusi 2 ja 3 sarja vahel]),
muidu võib tekkida komplikatsioone programmide viimisel dijkstrasse. Kui sa midagi eriti keerulist
ei tee, siis ei tohiks 3 sarja programmide ja 2 sarja interpretaatoriga siiski suuremaid probleeme tekkida.

Kirjuta mõni väike näiteprogramm ja katseta serveris, kuhu lõpuks süsteemi üles
paned (kas siis dijkstra või oma isiklik lemmikserver).

=== Kasulikud Pythoni näitejupid cgi jaoks ===

Vaata kindlasti [[Kasulikke pythoni näitejuppe cgi jaoks]]. Nendes näidetes toodud konstruktsioonidest ja funktsioonidest peaks kolmanda praksi jaoks piisama.

=== Python + CGI ===

Vormidelt saadetud data kasutamiseks on Pythonis tore imporditav moodul nimega cgi, mille funktsioonid aitavad vormiinfot söödavamal kujul sisse võtta.

Looge fail test2.py:

#!/usr/bin/python
import cgi

print "Content-type: text/html"
print

print "<html><head><title>test2.py</title></head><body><h1>Hello, World!</h1>Lisaparameeter oli "

formdata = cgi.FieldStorage()
if formdata.has_key("lisaparameeter"):
print formdata['lisaparameeter'].value
else:
print "puudu"

print ".</body>"

Vaadake faili brauseris: 
http://dijkstra.cs.ttu.ee/~t0XXX/cgi-bin/test2.py

Parandage faili õigused omaette kirudes, et seda unustati teile teisel korral öelda ja vaadake uuesti.

http://dijkstra.cs.ttu.ee/~t0XXX/cgi-bin/test2.py
http://dijkstra.cs.ttu.ee/~t0XXX/cgi-bin/test2.py?lisaparameeter=olemas

Tasub vaadata ka [[Kasulikke pythoni näitejuppe cgi jaoks]].

=== Arendamine oma või arvutiklassi arvutitel ===

Kuna sinu süsteem peab lõpuks töötama avalikul veebiserveril, kuid arendust teed
oma või arvutiklassi arvutitel, siis kuidas oleks mõistlik tööd korralda?

Peamised variandid on sellised (vaata jällegi lisadetaile [[ITV0110 2. töö: CSS, javascript, veebiserver|teise praktikumi materjalidest]] Dijkstra serveri peatükist):

* Kirjutad kõik otse serveris, kasutades sisselogimiseks Putty-t (windows) või ssh-d (linux) ja serveris kasutad redaktoriks näiteks vi-d. Aitab, kui teed lahti mitu akent. Kõige universaalsem viis, aga suhteliset ebamugav, samuti nõuab vi õppimist, mis võtab aega. Võimalik alternatiiv vi-le serveris on nano.

* Kirjutad faile oma masinas redaktoriga, mis lubab üle võrgu faile avada ja sulgeda, windowsis näiteks [http://winscp.net/eng/docs/ui_editor winscp] abil. Katsetamiseks ja testimiseks hoiad lahti sisse logitud aknaid nagu eelmises variandis. See on suhteliselt mugav viis kui sa ei taha järgmisena kirjeldatud meetodeid - mis veidi pikemas perspektiivis on paremad - kasutada.

* Arendad süsteemi võimalikult lõpuni windowsis valmis ja siis kannad üle serverisse ja teed vajalikke muutusi. Selleks installeeri oma arvutis [http://www.python.org/download/windows/ python windowsile], arvutiklassides peaks see juba olemas olema. Väga abiks oleks seejuures ka veebiserveri installeerimine, näiteks
** [http://www.editrocket.com/articles/python_apache_windows.html apache saab panna käima windowsile].
** Microsofti oma veebiserveri saab panna pythoni cgi-sid käivitama, vt [http://support.microsoft.com/kb/276494 siit]
** Mh on ka Pythoni teekide hulgas veebiserver olemas ja kasutatav: vaata [http://docs.python.org/library/simplehttpserver.html#module-SimpleHTTPServer SimpleHTTPServer] ja [http://docs.python.org/library/cgihttpserver.html cgihttpserver].

* Kui sul on oma arvutis windows ja põhiliselt kasutad seda, siis kõige soovitavam ja pikemas perspektiivis mõistlikum viis on installeerida windowsile lisaks [http://www.ubuntu.com/download/desktop ubuntu linux]

* Ja loomulikult on võimalik kasutada oma masinas mõnda standalone unixt: linuxit, mõnda bsd-d, mac os X vms kas ainsa süsteemina või dual bootina. Kui kirjutad palju ja tihti koodi linuxi serverite jaoks, siis on see tõenäoliselt kõige mõistlikum variant.

=== Tegelik koodikirjutamine ===

Kõige olulisem soovitus: alusta ülesande esimesest osast - oma mängu tulemuse salvestamine serverisse - ja tee seejärel
valmis salvestatud faili lihtne kuvamine brauseris.

Kui see korralikult käib,
siis täienda esialgset funktsionaalsust vastavalt nõuetele ülal.

Ära hakka korraga palju funktsionaalsust programmeerima: tee üks väike osa juurde, katseta
läbi ja paranda, ning alles seejärel lisa järgmine tükk funktsionaalsust jne.

Ehk, selles järjekorras:
* väike katseprogramm a la hello world (võid ta kopeerida ülal viidatud koodinäidetest)
* oma mängu tulemuse salvestamine serveris olevasse faili
* tulemusfaili kuvamine
* salvestamise/kuvamise integreerimine mängu põhilehega
* vastase vastu mängimine
* täringuviske genereerimine serveris pythoniga, mitte brauseris javascriptiga
* mängufailide kuvamise täiendamine vastasega variandi jaoks

Süsteemis on hulk funktsionaalsust, mis nõuaks justkui hulga erinevate cgi-de tegemist.
Üks variant süsteemi ehitada ongi teha mitu cgi-d, teine - üldiselt parem - variant on aga teha üks (või paar)
cgi-d, mis saavad vormidelt ette hidden väljale pandud operatsiooninime
(a la myprog.cgi?op=storetofile&name=John ...) ja siis kutsuvad välja operatsiooninimele
vastavat funktsiooni sellessamas cgi-s.

=== HTML tekst programmis või eraldi failides ===

Kuna sinu programm peab kokku panema ja lõpuks välja trükkima hulga html teksti, tekib küsimus, et kuidas seda paremini teha. Üldiselt on siin järgmised erinevad viisid või põhimõtted:
* Kõige lihtsam ja väga väikeste programmide korral kõige mugavam on panna html teksti jupid otse programmi muutujate väärtusteks umbes nii (näide on väga lihtsustatud, praktikas oleks juppe ja muutujaid rohkem):
<pre>
...
myresult=2
yourresult=1
header="<html><body>"
html1="minu tulemus on "
html2=" ja sinu tulemus on "
footer="</body></html>"
res=header+html1+str(myresult)+html2+str(yourresult)+footer
print res
</pre>
* Kui htmli on rohkem ja programm veidi keerulisem, siis on vastupidi, praktilisem mitte panna kõiki htmli juppe programmi sisse, vaid lugeda html tekst eraldi failist ja siis asendada hulga lõike/juppe hetkel vajalikuks. Asendamiseks mõtle lihtsalt välja endale meeldivad marker-tekstijupid, mida htmlis mujal ei esine, ja tee stringiasendusi. Näiteks, kui su html on failis kpktemplate.html ja oled sinna pannud markerid {myresult} ja {yourresult} siis näeks kasutus välja umbes nii:
<pre>
...
myresult=2
yourresult=1
f=open('kpktemplate.html','r')
template=f.read()
f.close()
template=template.replace("{myresult}",str(myresult))
template=template.replace("{yourresult}",str(yourresult))
print template
</pre>
* Sellise lihtsa stringiasenduse asemel võib kasutada pythonisse sisse ehitatud eraldi templatefunktsioone või ka keerulisemaid ja vägevamaid väliseid templateteeke (mako jms), mis teevad suurtes kogustes asendamisi efektiivsemalt ja mugavamalt ja lubavad template sisse programmijuppe kirjutada. Meie väikese praksiülesande jaoks oleks need vägevamad templatesüsteemid aga pigem overkill, st saadud lisamugavused asenduste tegemiseks tõenäoliselt ei kaaluks üles ajakulu/pingutust nende süsteemide uurimisele.

=== Andmete esitamine ja kasutamine serveris ===

Info salvestamise failid on soovitav luua õigustega, kus kõik võivad faili lugeda ja kirjutada. See on turvalisuse mõttes halb, aga arendamise/debugimise mõttes hea. Siis saad ligi ise ja saavad ligi sinu programmid. Käsurealt saad teha nii:

chmod a+rw myfile.txt

Täiesti võimalik on olukord, kus Apache poolt käivitatav cgi programm ei ole nõus sinu kataloogis uusi faile tegema: siis tuleks kas muuta oma kataloogi õigusi kõigile loetavaks/kirjutatavaks või teha failid
mõnda kataloogi, kus apachel on õigused (ntx /tmp, kuid siis tuleks nende nimele panna ntx sufiksiks sinu matriklinumber, et teistega segi ei läheks).

Failile kirje lisamiseks võid kirjutada uue kirje lihtsalt faili lõppu uueks reaks. Vanu
kirjeid pole kunagi vaja muuta!

Igale kirjele võib panna lisaväljana (ntx esimeseks) kaasa kirje loomise aeg.

Faili lugemisel on üldiselt hea mõte kasutada
[http://docs.python.org/tutorial/inputoutput.html#reading-and-writing-files f.readline()]
funktsiooni, võid soovi korral kasutada ka
[http://docs.python.org/library/csv.html csv] teeki, mille abil faili tabeliks lahti hakkimine
nõuab veidi vähem koodikirjutamist (aga mitte tingimata palju vähem sinu aega).

Aja määramisel on sul kõige praktilisem kasutada time.time() funktsiooni (otsi see
[http://docs.python.org/library/time.html mahukast ajateegist] välja: see annab lihtsalt
aja ühe numbrina, sekundites peale aastat 1970 vms. Selle numbri saad siis lihtsalt faili
kirjutada, kui tahad aega salvestada. Lugemisel on seda samuti lihtne võrrelda (ja liita/lahutada) hetkeajaga.

NB! Ära hakka jändama keerukate aasta/minuti/ajatsooni jne jne meetoditega: need
on keerulised, nende uurimine võtab hulga aega ja praksis neid vaja ei lähe (mis ei tähenda,
et huvi korral ei võiks neid uurida :).

Stringi muutmine numbriks on lihtne (int("12") või float("12")) ning samamoodi on lihtne
numbri muutmine stringiks (string(12) või string(12.5)).

=== Vastane: tema leidmine, tema käigu ootamine jms ===

Selle osa lahendamiseks tuleks - tehnoloogia mõttes - kasutada ajaxit ehk andmete saatmist serverile ja sealt lugemist otse javascriptist.

Seletused, ideed ja soovitused lisanduvad selle osa kohta loengute ja praktikumide käigus.

* Loe seotud tehnoloogiatest: [http://en.wikipedia.org/wiki/Ajax_%28programming%29 wikipedia ajax], [http://en.wikipedia.org/wiki/XMLHttpRequest wikipedia xmlhttprequest], [http://en.wikipedia.org/wiki/JSON wikipedia json]
* [[xmlhttprequest ja jsonile rakendatud eval näited]]

= Põhiprobleemid =

Esimese asjana pane serveris käima väike katseprogramm, näiteks copy-paste see jupp kataloogi public_html/cgi-bin nime all test.py:

#!/usr/bin/python
print "Content-type: text/html"
print
print "tere!"

Logi serverisse sisse, pane ta prooviks käsurealt käima ja siis vaata brauserist ka, urlilt http://dijkstra.cs.ttu.ee/~Eesnimi.Perenimi/cgi-bin/test.py

Kui see ei õnnestu, on sul tõenäoliselt juhtunud mõni - või mitu - järgmistest vigadest:

a) Debugimiseks on vaja serverisse sisse logida ja käsurealt programm käima panna.

Sisse logimiseks loe [[ITV0110 2. töö 2014: CSS, javascript, veebiserver|CSS, javascript, veebiserver]] Dijkstra serveri peatükki. Käimapanekuks:

cd public_html/cgi-bin
./test.py

Kas läks käima?
Kas trükkis content-type: text/html ja tühja rea
selle järel?

Esimese asjana logi serverisse ja pane programm käsurealt käima!

b) Kui EI lähe üldse käima, st saate vea

-bash: ./test.py: Permission denied

siis tuleb õigused panna proge jaoks õigeks:

chmod a+x test.py

c) Annab sellise vea:

-bash: ./test.py: /usr/bin/python^M: bad interpreter:
No such file or directory

Siis on sul rea lõpus lisaks line-feed sümbolile ka carriage-return. Korista ta niimoodi ära:

1. Ava scite menüüs View -> End of line
või Notepad++ menüüs View -> Show symbol -> show end of line

2. Vaata, kas esimese rea lõpus on ainult LF (õige) või CR/LF (vale).

Viimasel juhul:

Scite jaoks:

1) Options -> Line end characters -> LF
2) Options -> Convert line end characters
3) OK? Kui jah, keera View -> end of line maha

Notepad++ jaoks:

1) Edit -> EOL conversion -> Unix/osX format
2) OK? Kui jah, keera View -> Show symbol -> show end of line maha

d) Annab mõne muu vea, millest paistab, et python käima ei läinud.

Sul võib olla rea alguses mingi veider sümbol, mida redaktor välja ei näita.

Kontrolli serveri poolelt vaadates, st olles serveris progega samas kataloogis, ütle

less test.py

ja vaata, kas esimene rida paistab ok või on seal midagi veidrat. Kui on midagi veidrat, kustuta oma redaktoris esimene rida üldse maha või tee nullist pisi-katsefail ja lae uuesti üles. Siis vaata uuesti less-ga.

less-ga vaatamisest saad välja, kui vajutad tähte q (nagu quit)

e) Annab vea, mille teksti sees on "SyntaxError: invalid syntax"

Siis ongi sinu koodis süntaksiviga. Sama veateade ütleb mh, kus viga on (mitmendal real) ja näitab lühidalt kahtlast kohta koodis, umbes nii:

File "./try.py", line 4
if 1==2
^
SyntaxError: invalid syntax

Süntaksiveaga programm kuvab veebist vaadates "Internal server error" (sest ta ei trüki "content-type: ..." rida)

Paranda süntaksiviga ära ja katseta käsurealt uuesti!

f) Annab sellise vea

File "./test3.py", line 4
SyntaxError: Non-ASCII character '\xfc' in file ./test3.py
on line 4, but no encoding declared; see
http://www.python.org
/peps/pep-0263.html for details

Pythonile tuleb öelda täpitähtede kodeering:

Pane algusse nii:

#!/usr/bin/python
# -*- coding: iso-8859-1 -*-

või

#!/usr/bin/python
# -*- coding: utf-8 -*-

g) Käsurealt läheb OK käima, Content-type: text/html on olemas, järgmine rida on tühi, aga brauseris kuvatakse programmi source!

Sel juhul oled pannud programmi otse public_html või public_html/prax3/ alla vms, aga peaks olema public_html/cgi-bin või public_html/cgi-bin/prax3/ all. Tõsta ta õigesse kataloogi!

h) Käsurealt läheb OK käima,aga brauseris kuvatakse "Internal server error"

Kui varasemad võimalikud probleemid on lahendatud (panid käsurealt käima?) siis võiboll ei trüki programm kohe esimese reana "content-type: text/html" (ilma jutumärkideta) või ei trüki selle järele tühja rida.

i) Käsurealt läks käima, aga brauserist näen viga tekstiga "Forbidden .."

Umbes nii:

Forbidden:
You don't have permission to access /~Eesnimi.Perenimi/cgi-bin/test.py on this server.

Sel juhul ei ole sa - tõenäoliselt - oma programmi pannud kataloogi public_html/cgi-bin/ või on ta seal teise nimega: st, teda lihtsalt ei leita selle urli pealt. Teine variant, et sa ei ole teinud

chmod a+x test.py



= Eelmiste aastate versioonid =

Eelmiste aastate versiooni, mis on mitmes osas sarnased, kuid mitmes osas erinevad: [[ITV0110 3. töö: Serverirakendus: cgi pythonis|2013 aasta]] [[ITV0110 3. töö 2012: Lihtne serverirakendus: vormid ja cgi| 2012 aasta]] ja
[[ITV0110 3. töö: Lihtne serverirakendus: vormid ja cgi| 2011 aasta]].

Vorgurakendused 2 prax 1 2014

2014-10-09T19:44:59Z

Priit: /* Üldkirjeldus */

<table>
<tr>
<td>
[[Pilt:Robot300.jpg|Zombie robot attack]]
</td>
<td>
P2Net - P2P botnet
</td>
</tr>

</table>

UUS: 16. oktoober tulge kohale, kui tahate katsetada oma P2Net implementatsiooni ühilduvust teistega. 23. oktoober selleks tõenäoliselt eriti aega pole, kuna kaitsmistel on prioriteet.

Ülesandeks on ehitada P2P rakendus P2Net programmide (käsurea kujul) käivitamiseks võõrastes masinates ja rehkendustulemuste kättesaamiseks, mis teeb laviinitaolise otsingu mööda P2Net klient/servereid, isetehtud P2P mehhanismi abil.

Kasutajaliidese hea kvaliteet ei ole praksis oluline.

Huvi korral võid vaadata ka veidi sarnaseid vanu ülesandeid [[Vorgurakendused 2 prax 1 2013 |2013 aasta arhiivis]] ning sealt edasi vanemaid.

== Üldkirjeldus ==

P2Net võimaldab:

* kasutajal käivitada võõrastes masinatest käsurea.
* saada tagasi käsurea rehkendatud tulemus(tekst/binary vms blob).
* idee on selle peale ehitada mingi rakendus, näit:
** mingite mahukate arvutuste jaotamine masinate vahel ([[#Näiterakendus]])
** web scrapingu (näit google otsingu) load balancing
** kaugadministreerimine
** ...

Rakenduse tegemine P2Net protokolli peale on ka praksi osa.

Võõraste masinate leidmiseks kasutab P2Net järgmist viisi:

* Saadab tema oma masinas oleva faili machines.txt masinatele käsu. machines.txt sees on masinate ip ja pordid json listina kujul
<pre>
[["11.22.33.44","2345"],...,["111.222.333.444","23456"]]
</pre>

* Samamoodi saadab käivitus-päringu P2Net startlehel http://dijkstra.cs.ttu.ee/~priit/P2Net.txt olevatele masinatele (startlehel on plaintekstina eelmises punktis näidatud formaadis json-fail)
* Kui mingi masin saab minu päringu-käsurea kätte, siis ta paneb selle kohapeal käsureal käima ja saadab tulemuse päringu algatanud masinasse.
* Iga võõras masin, mis algselt minu käest tulnud päringu saab, saadab ta omakorda kõigile talle teadaolevatele edasi, vähendades seejuures nn ttl (time to live) counti, et päringud lõpmatult rändama ei jääks.

Ehk, masinad saadavad minu antud päringut rekursiivselt ise edasi.

Pane tähele, et sinu P2Net ei pea üldse salvestama võõraste P2Net-ide ip-sid ja porte! Samas ei ole ka kuidagi keelatud (debugimiseks või niisama huvi pärast vms) salvestada teiste P2Net-ide ip-sid, mida saab teada näiteks sulle tulnud päringutest, sulle vastajate ip-dest ja miks mitte ka portscannides :)

== Miks just selline päringu edasisaatmisviis? ==

Põhimõtteliselt saab päringut massidesse P2P meetoditega laiali saata kahel viisil:

* Iteratiivne meetod (antud praksis seda ei kasuta): algne masin küsib tuttavatelt neile tuttavate masinate faile, ja suurendab seeläbi endale teadaolevate masinate hulka. Igalt uuelt teadasaadud masinalt küsib ta jälle selle masina tuttavate faile jne. Teised masinad algset päringut ise kuhugi edasi ei saada. Meetodi pluss on see, et algne masin saab lihtsalt tagada, et päringut ei saadetaks kaks korda samale masinale. Meetodi miinus on see, et kõik masinad võrgus saadavad lõpuks terve neile tuttavate masinate faili algsele masinale: see tähendab väga suurt hulka väga suurte failide saatmisi, mis hakkavad jõhkralt ummistama võrku, ja algse masina väike kanal tõenäoliselt ummistub varsti. Saadud failide ühisosad on väga suured. Halvemal juhul saab algne masin N identset sõnumit, kus igaühes on N ip-d, kus N on kõigi masinate arv, kus jookseb P2Net.

* Rekursiivne meetod (antud praksis nõutud): algne masin saadab oma päringu tuttavatele masinatele, kes selle omakorda enda tuttavatele edasi saadavad jne. Igüks, kes leiab enda failide hulgast vajaliku faili, saadab info algsele masinale (vastasel korral ei saada ta algsele masinale midagi). Algne masin ei suurenda endale teadaolevate masinate hulka. Meetodi pluss on see, et algsele masinale saadetakse tagasi infot ainult siis, kui vajalik info leitakse (väga väike protsent masinaid) ja see info on lühike. Koormus võrgule langeb tugevasti ja algse masina kanal tõenäoliselt ei ummistu. Meetodi miinus on asjaolu, et üks ja sama masin võib saada algse päringu mitu korda eri suundadest, mis jällegi kasvatab võrgu koormust. Seda viimast probleemi saab mitmel moel leevendada (kuigi mitte täielikult kaotada), eeskätt päringu ttl (time to live) parameetrit kasutades, päringu ahela masinate lisamises päringu parameetrite hulka jne.

Gnutella kasutab rekursiivset meetodit, nii ka meie P2Net. Lihtsakoeline rekursiivne meetod ummistab suure klientide arvu korral võrgu ja sele asemel kasutavad suured P2P süsteemid kas:
* struktureeritud nn superpeeride süsteemi a la Kazaa ja esialgne Skype, kus rekursiivne päring toimub ainult superpeeride vahel, ja neid on vähe, või
* väga kavalat nn distributed hash tables (DHT) mehhanismi, a la freenet ja (osaliselt) bittorrent. DHT on üks mitmest bittorrenti poolt kasutatud meetodist, kuigi bittorrenti põhifookus on hoopis faili paralleelse allatõmbamise optimeerimisel mitme masina koostöös, mitte masinate/failide leidmisel. Või:
* kasutavad masinate leidmiseks eeskätt tsentraalseid servereid, a la esialgne Napster või kaasaegne Skype

== Tehnilised nõuded ==

Programmeerimiskeele ja muu tehnoloogia valik on vaba, kuid rakendus peab vastama neile tingimustele:

* Kogu programm peab töötama kas ITC-maja klassi arvutis või sinu oma läptopis, mis ITC maja klassis kaasas. Mingit kaugel asuvat serverit põhirakenduse jaoks kasutada ei tohi. Arusaadavalt võib aga panna P2Net lisaks käima ka suvalistesse välistesse masinatesse.
* Http protokolli jms realisatsioon peab olema teie oma programmi osa, mingit "suurt" http serverit a la apache kasutada ei või. Kõikvõimalike võrguteekide (versus eraldiseisvad veebiserverid) kasutamine on ok, mikroserverite koodi integreerimine oma programmi on ok.

== Protokoll ==

=== Otsipäringu saatmine ja edasisaatmine ===

Konkreetsele masinale 11.22.33.44 (kus P2Net jookseb pordis 2345) käsu saatmine

<pre>
http://11.22.33.44:2345/run?prog=käsurida&sendip=55.66.77.88&sendport=6788&ttl=5&id=wqeqwe23&noask=11.22.33.44_111.222.333.444 ...
</pre>

kus parameetritel on järgmine sisu:

* prog: käsk
* sendip: esialgse saatja ip
* sendport: esialgse saatja port
* ttl: kui mitu otsingu-hopi veel teha (iga edasiküsimine vähendab ühe võrra)
* id: optsionaalne päringu identifikaator
* noask: optsionaalne list masinatest, kellele pole mõtet edastada (eraldajaks alakriips)

Päringu identifikaator ei pea tingimata üle terve võrgu unikaalne olema - lihtsam on ja ajab asja ära, kui
on saatva masina piires unikaalne.

prog parameeter peab ilmselt olema urlencoded, näit. midagi taolist:

<pre>
...&prog=ipconfig%20/displaydns&...
</pre>

GET-päringu vastuseks on õnnestunud päringu korral number 0,
ebaõnnestunud päringu korral muu (vea)number. Vastuse mõte on eeskätt debugimise lihtsustamine ja vastust peaks pärija üldiselt ignoreerima. P2Net peaks töötama edukalt ka juhul, kui ta saatmise peale ühenduse lihtsalt kinni paneb ja vastust kuulama ei hakka.

P2Net-le tulnud päringu edasisaatmine käib täpselt sama protokolliga, kuid edasi saadetakse veidi muudetud päring:

* ttl vähendatakse ühe võrra
* optionaalselt: lisatakse oma masina ip noask parameetrile otsa

Seejuures ei saadeta päringut edasi, kui sissetulnud ttl oli 1 võ i vähem (st ttl=0 päringuid enam kuhugi ei saadeta)

Seda päringut saab ka brauserist katsetada, kuigi brauser ei saa vastuseks midagi huvitavat peale debugimis-vastuse 0 või mingi veakoodi.

Klientide filtreerimine (juhul kui soovitakse juhtida mingit alamhulka masinatest) toimub programmi
käsurea kaudu. See osa ei ole kohustuslik vaid tuleneb konkreetsest rakendusest; protokollis see funktsionaalsus ei sisaldu.

=== Tulemuse tagastamine algsele pärijale ===

Vastus oleks http post meetodiga käivitatud programmi kogu väljundi saatmine algsele küsijale muutmata kujul
koos lisainfoga

<pre>
http://11.22.33.44:2345/result
</pre>

POST-itatud data:

<pre>
{"sendip": "55.66.77.88",
"sendport": "6788",
"id": "asasasas",
"encoding": "ascii" või "base64",
"content": "failisisustring"}
</pre>

id peaks vastama esialgse saatja antud id-le, juhul kui seda kasutatakse.
* id: esialgse päringu id (kui oli algselt antud)
* content: käsureaprogrammi väljund (kui ei ole plaintext, peaks olema base64-encodetud)
* encoding: mis formaadis content on
* sendip: tulemuse saatnud masina ip
* sendport: tulemuse saatnud masina port

Programm võiks ka mitte crashida, kui id puudu on, kuna id on optional (aga praktiline ja mõtekas on lisada).

Postituse saaja vastab eduka kättesaamise korral arvu 0,
arusaamatuste korral mõne muu (vea) numbri. Jällegi, vastuse mõte on eeskätt debugimise lihtsustamine ja vastust peaks pärija üldiselt ignoreerima. P2Net peaks töötama edukalt ka juhul, kui ta saatmise peale ühenduse lihtsalt kinni paneb ja vastust kuulama ei hakka.

== Praksi kaks osa ==

Väga soovitav on teha praks kahes osas ja esitada kaks korda ülevaatamiseks:

* Teha http protokolli järgida suutev esmane rakendus.
* Lisada sinna kogu vajalik funktsionaalsus:
** P2Net protokolli implementatsioon
** P2Net peale ehitatud rakendus (nagu data korjamine, web query hajutamine, lihtsustatud remote admin, ...). Vt ka [[#Näiterakendus]].

Http protokolli järgimise võimet kontrollitakse praksi eduka läbimise tingimusena.

== Soovitusi ja ideid ==

Arendamiseks ja testimiseks pead saama jooksutada oma masinas mitut erinevat koopiat omaenda P2Net-st, igaüks oma pordil, igaühel oma konfifail tuttavate masinatega.

Hea mõte on teha P2Net käsurealt käivitavaks nii, et ta võtab kohe käsurealt pordinumbri parameetriks ning loeb siis oma konfifaili vastavast pordinumbrist tuletatud failipathist.

P2Net peab päris kindlasti sisaldama või kasutama http serverit,
muidu ei ole temaga võimalik väljast ühendust võtta. NB! See ei tähenda mingit nö suurt veebiserverit a la apache, vaid pigem ise kirjutatud väikest minimaalset serverit, mis pealegi ei pea veebilehti serveerima ja cgi-sid käivitama, vaid ainult teatud käskudele/parameetritele reageerima.

Server tuleb realiseerida ise, kasutades võrgust leitavaid näiteid mikro-http-serveri jaoks (tüüpiliselt paar lehekülge koodi). Selliseid näitekoode võib täiesti otse kasutada.

C jaoks on sobiv mikroserver näiteks [http://www.lambda.ee/images/8/89/Itsissejuhatus_tiny.zip tiny], java jaoks
on [http://www.java2s.com/Code/Java/Tiny-Application/HttpServer.htm see server] väga hea väike näide, aga selgitava tekstita,
ning selgitavate tekstidega servereid leiad mh [http://onjava.com/pub/a/onjava/2003/04/23/java_webserver.html siit] ja
[http://fragments.turtlemeat.com/javawebserver.php siit].Loe java socketitest põhjalikumalt [http://download.oracle.com/javase/tutorial/networking/sockets/ siit]. Pythoni serverinäite [http://muharem.wordpress.com/2007/05/29/roll-your-own-server-in-50-lines-of-code/ saad siit]. Http kohta võib lugeda [http://www.jmarshall.com/easy/http/ näiteks siit].

Kasutajaliides võib olla tehtud aknaga, aga see ei ole kohustuslik: võib teha ka puhtalt käsurea rakenduse.

Rakendus on mõistlik teha nii, et annad käivitamisel ette pordi, millel ta räägib, ning kui seda porti ei ole antud, siis kasutad vaikimisi porti 1215 (1214 on Kazaa port).

Häid selgeid näiteid ja õpetusi socketite ja serveri tegemise kohta leiad veel siit:

* [http://www.prasannatech.net/2008/07/socket-programming-tutorial.html socketite kasutamise õpetus ja source C-s, javas ja pythonis]
* [http://www.jbox.dk/sanos/webserver.htm lihtne veebiserver C-s (eksootilise sanosi all)]
* [http://www.ibm.com/developerworks/systems/library/es-nweb/index.html lihtne veebiserver/klient C-s (ibm-i tutorial ja source)]
* [http://www.lambda.ee/images/8/89/Itsissejuhatus_tiny.zip tiny webserver C-s]
* [http://download.oracle.com/javase/tutorial/networking/sockets/ java socketid: klassikaline tutorial]
* [http://www.tud.ttu.ee/material/kallik/JOOP/Jutukas/ Kaarel Alliku kursuse näite-jutukas (java)]
* [http://www.rgagnon.com/javadetails/java-have-a-simple-http-server.html java http teegi kasutamine, mis kasutab socketeid sisemiselt]
* [http://tomayko.com/writings/unicorn-is-unix ruby]
* [http://jacobian.org/writing/python-is-unix/ python]
* [http://docs.python.org/library/socketserver.html pythoni üks serversocketi-teek]
* [http://beej.us/guide/bgnet/ Väga põhjalik socketite/võrguprogrammeerimise õpetus]


=== Näiterakendus ===

Sisend on list sõnadest (näiteks faili kujul, kus igal real üks unikaalne sõna). Tahaks teada saada, millised neist sõnadest on üksteisega sarnased. Väljund võiks olla mapping, kus on sõna ning siis sellega sarnaste sõnade list. Sellist asja võib vaja minna juhul, kui ma tahan mingit sisenddatat, näiteks veebist scrapetud andmeid, normaliseerida - oletame et ma otsin sõna "serials", siis võiks mind tegelikult ka huvitada kohad, kus esineb sõna "serial" (süntaktiline sarnasus) või kui ma otsin sõna "truck", siis mind võib huvitada ka "lorry" (semantiline sarnasus, mida on küll tegelikult suht keeruline tuvastada).

Kuidas sellist mappingut tekitada? Proovime kõiki sõnu üksteisega paarikaupa võrrelda. Näiteks oletame, et mul on sõnad: <code>["oma", "masinas", "mitut", "erinevat", "koopiat", "omaenda"]</code>. Hakkame võrdlema: <code>"oma"</code> ja <code>"masinas"</code> ei ole sarnased, <code>"oma"</code> ja <code>"mitut"</code> ei ole sarnased jne. kuni jõuame <code>"oma"</code> ja <code>"omaenda"</code> juurde, mis võiks olla sarnased (see sõltub täpselt sellest, kuidas sarnasus defineeritud on). Sellega on <code>"oma"</code> läbi vaadatud, järgmiseks võtame <code>"masinas"</code>. Sõnaga <code>"oma"</code> pole seda enam tarvis võrrelda, järelikult alustame paarist <code>"masinas"</code> ja <code>"mitut"</code> ja nõnda edasi kuni lõpuni. Väljund võiks olla näiteks mapping <code>{"oma" : ["omaenda"], "omaenda": ["oma"]}</code>.

Selleks tuleb vaadata ''(n(n-1))/2'' paari, ehk sellel ülesandel on polünomiaalne keerukus ''O(n^2)''. Mida see tähendab? Kui ma võtan näitena toodud kuuesõnalise listi asemel mingi realistlikuma listi, kus on 6000 sõna, siis aeg, mis selle läbi töötamisele kulub, ei kasva mitte 1000 korda vaid umbkaudu 1000000 korda. Ehk siis suht kerge on jõuda kohta, kus me enam ei viitsi tulemust ära oodata, kuna selle leidmine võtab tunde.

Antud ülesanne kuulub [http://en.wikipedia.org/wiki/Embarrassingly_parallel triviaalselt paralleelsete] ülesannete hulka. Kui meil on 60 masinat käepärast, siis saab töö nii jagada, et iga masin teeb ~1/60 vajaminevatest võrdlustest ning see võiks tuua tööaja tundidest jälle minutite peale tagasi. Kuidas asja võiks P2Neti peal teha:

* '''Partitsioneerimine'''. Oletame, et me teame, kui palju meil masinaid täpselt P2Net-iga liitunud on. Kui neid masinaid on ''k'', siis iga masin võiks võtta ''1/k''-ndiku sõnadest ette ja võrrelda neid kõigi sõnadega. Näiteks kolme masina korral meie kuuesõnalisel näitel võiks üks masin võrrelda sõna <code>"oma"</code> ja <code>"masinas"</code> kõigi teiste vastu, teine teha seda sõnadega <code>"mitut"</code> ja <code>"erinevat"</code> jne. Natuke ressurssi läheb siin raisku selle peale, et ühte paari võrreldakse kaks korda: esimene masin teeb võrdluse <code>"oma"</code> ja <code>"mitut"</code>, teine teeb ka <code>"mitut"</code> ja <code>"oma"</code>. Selle vältimisega ei ole mõtet vaeva näha, see on pigem kasulik (sellest hiljem veel). Järgmiseks tekib küsimus, kuidas juhtida masinaid nii, et me ei peaks igaühele otse käsku andma. Seda võib lahendada nii: 1.) panen päringule kaasa parameetri ''k'' ja URL-i, kust sisendandmed saab alla tõmmata 2.) iga masin arvutab <code>h=hash(omaip,omaport) % k</code> ja saab numbri ''h'' mis on vahemikus 0 kuni ''k-1''. 3.) iga masin teeb sisendandmete listist täpselt iga ''k''-nda sõna, nihkega ''h'': kui mul ''h=0'' ja masinaid on kokku 7, siis ma võtan ette sõnad 1,8,15,... .

* '''Sarnasuse arvutamine'''. Seda võib teha igat moodi, alates [http://en.wikipedia.org/wiki/Levenshtein_distance triviaalsest] kuni [http://en.wikipedia.org/wiki/List_of_natural_language_processing_toolkits#Natural_language_processing_tools põhjalikuni]; vt ka http://wordnet.princeton.edu/.

* Tulemuste kokku korjamine. Iga masin saadab oma osalise mappingu päringu algatajale. See paneb need kokku umbes nii: kui ühest masinast saadi <code>{"koer": ["koera"]}</code> ja teisest <code>{"koerad": ["koera"]}</code>, siis me saaks sellest kokku järeldada ka midagi sellist: <code>{"koera":["koer", "koerad"]}</code>. Mismoodi tulemusi täpselt kokku panna, sõltub natuke, kas teie arust on sarnasuse seos sümmeetriline ja/või transitiivne.

Tähelepanelikumal tudengil võib tekkida küsimus, mis siis saab kui hash collision tekib ning mõni tükk üleliia tehakse ning mõni mitte kordagi. Selle probleemi jätame koduülesandeks, vihjeks ainult, et 1.) P2P rakendustes ei ole niikuinii mõtet loota, et kõik masinad algusest lõpuni ilusti võrgus kättesaadavad on ja ei crashi töö jooksul 2.) partitsioneerimise meetod, mida kasutasime, tekitab teatud ülekattuvuse.

Juhul kui ka selle näiterakenduse uurimine mingeid ideid ei tekitanud, võib ka sellesama asja realiseerida. Tasub ainult tähele panna, et see on tõenäoliselt natuke töömahukam, kui mõni ise välja mõeldud rakendus.

== Firewall ja NAT ==

Firewallist läbi murdmise ja kinniste portidega ühendamise probleemiga ei pea selles praksis tegelema. Samas tähendab see, et ei ole kuigi lihtne teise masinaga tegelikult ühendust saada (ühes masinas debugimise võimaldamine ongi seepärast kriitiline).

Kes P2Net käima saab, võib mõelda välja ja realiseerida probleemi lahendamiseks sobiva vaheserveri: selle eest saab ekstrapunkte.

Võrgust infot otsides leiad kahte liiki teemasid, meie jaoks oluline on siit listist teine:
* Tunneldamise artiklid, loe näiteks [http://en.wikipedia.org/wiki/HTTP_tunnel http tunnel] artiklit wikipediast ja [http://sebsauvage.net/punching/ seda artiklit] firewallist läbipääsemisest.
* UDP/TCP hole punching ja NAT traversal: arusaadava sissejuhatusena loe [http://www.h-online.com/security/features/How-Skype-Co-get-round-firewalls-747197.html Skype jms süsteemide meetoditest], sellele [http://www.portugal-a-programar.org/forum/index.php?topic=7852.0 väike täiendus]. Vaata ka [http://en.wikipedia.org/wiki/Session_Traversal_Utilities_for_NAT wikipedia utiliitide artiklit ja viiteid]. Detailsemalt/lisaks [http://www.brynosaurus.com/pub/net/p2pnat/ siit] ja [http://nutss.gforge.cis.cornell.edu/pub/imc05-tcpnat/ siit] ja [http://www.jdrosen.net/midcom_turn.html siit] ja [http://www.ietf.org/rfc/rfc3489.txt siit], keerulise vahendi leiab [http://natblaster.sourceforge.net/ siit]

NB! Seda kõike ei ole väga lihtne teha ja sinu P2Net (ja ka selle inimese P2Net, kellega suhtled) peab ka oskama seda vaheserverit kasutada. Ära hakka seda ehitama, kui nö lihtne P2Net veel ei tööta!

Ekstra-lisapunktide saamise variant: realiseeri ja pane kõigile kasutatavaks firewalliprobleemi lahendamiseks sobiv vaheserver. Kirjuta kasutamise juhend ja näited, mida teised saaks soovi korral oma P2Net jaoks tarvitada (st panna nad sinu vaheserverit kasutama, nii et seda saaks ka arvutiklassist kasutada). Esimesed kaks gruppi, kes sellega hakkama saavad, saavad lisaks pooled praksipunktid!

== Punktiarvestusest ==

Kui P2Net protokoll töötab vastu mõne teise grupi P2Net-i, sellele on realiseeritud mingi
rakendus ja koodi suudetakse seletada, saab täispunktid.

Kui teiste P2Net-programmidega ei suuda suhelda, aga iseenda koopiatega siiski, siis päris täispunkte ei saa.

Vorgurakendused 2 prax 1 2014

2014-10-02T20:29:13Z

Priit:

<table>
<tr>
<td>
[[Pilt:Robot300.jpg|Zombie robot attack]]
</td>
<td>
P2Net - P2P botnet
</td>
</tr>

</table>

UUS: 16. oktoober tulge kohale, kui tahate katsetada oma P2Net implementatsiooni ühilduvust teistega. 23. oktoober selleks tõenäoliselt eriti aega pole, kuna kaitsmistel on prioriteet.

Ülesandeks on ehitada P2P rakendus P2Net programmide (käsurea kujul) käivitamiseks võõrastes masinates ja rehkendustulemuste kättesaamiseks, mis teeb laviinitaolise otsingu mööda P2Net klient/servereid, isetehtud P2P mehhanismi abil.

Kasutajaliidese hea kvaliteet ei ole praksis oluline.

Huvi korral võid vaadata ka veidi sarnaseid vanu ülesandeid [[Vorgurakendused 2 prax 1 2013 |2013 aasta arhiivis]] ning sealt edasi vanemaid.

== Üldkirjeldus ==

P2Net võimaldab:

* kasutajal käivitada võõrastes masinatest käsurea.
* saada tagasi käsurea rehkendatud tulemus(tekst/binary vms blob).
* idee on selle peale ehitada mingi rakendus, näit:
** mingite mahukate arvutuste jaotamine masinate vahel ([[#Näiterakendus]])
** web scrapingu (näit google otsingu) load balancing
** kaugadministreerimine
** ...

Rakenduse tegemine P2Net protokolli peale on ka praksi osa.

Võõraste masinate leidmiseks kasutab P2Net järgmist viisi:

* Saadab tema oma masinas oleva faili machines.txt masinatele käsu. machines.txt sees on masinate ip ja pordid json listina kujul
<pre>
[["11.22.33.44","2345"],...,["111.222.333.444","23456"]]
</pre>

* Samamoodi saadab käivitus-päringu P2Net startlehel http://dijkstra.cs.ttu.ee/~tammet/P2Net.txt olevatele masinatele (startlehel on plaintekstina eelmises punktis näidatud formaadis json-fail)
* Kui mingi masin saab minu päringu-käsurea kätte, siis ta paneb selle kohapeal käsureal käima ja saadab tulemuse päringu algatanud masinasse.
* Iga võõras masin, mis algselt minu käest tulnud päringu saab, saadab ta omakorda kõigile talle teadaolevatele edasi, vähendades seejuures nn ttl (time to live) counti, et päringud lõpmatult rändama ei jääks.

Ehk, masinad saadavad minu antud päringut rekursiivselt ise edasi.

Pane tähele, et sinu P2Net ei pea üldse salvestama võõraste P2Net-ide ip-sid ja porte! Samas ei ole ka kuidagi keelatud (debugimiseks või niisama huvi pärast vms) salvestada teiste P2Net-ide ip-sid, mida saab teada näiteks sulle tulnud päringutest, sulle vastajate ip-dest ja miks mitte ka portscannides :)

== Miks just selline päringu edasisaatmisviis? ==

Põhimõtteliselt saab päringut massidesse P2P meetoditega laiali saata kahel viisil:

* Iteratiivne meetod (antud praksis seda ei kasuta): algne masin küsib tuttavatelt neile tuttavate masinate faile, ja suurendab seeläbi endale teadaolevate masinate hulka. Igalt uuelt teadasaadud masinalt küsib ta jälle selle masina tuttavate faile jne. Teised masinad algset päringut ise kuhugi edasi ei saada. Meetodi pluss on see, et algne masin saab lihtsalt tagada, et päringut ei saadetaks kaks korda samale masinale. Meetodi miinus on see, et kõik masinad võrgus saadavad lõpuks terve neile tuttavate masinate faili algsele masinale: see tähendab väga suurt hulka väga suurte failide saatmisi, mis hakkavad jõhkralt ummistama võrku, ja algse masina väike kanal tõenäoliselt ummistub varsti. Saadud failide ühisosad on väga suured. Halvemal juhul saab algne masin N identset sõnumit, kus igaühes on N ip-d, kus N on kõigi masinate arv, kus jookseb P2Net.

* Rekursiivne meetod (antud praksis nõutud): algne masin saadab oma päringu tuttavatele masinatele, kes selle omakorda enda tuttavatele edasi saadavad jne. Igüks, kes leiab enda failide hulgast vajaliku faili, saadab info algsele masinale (vastasel korral ei saada ta algsele masinale midagi). Algne masin ei suurenda endale teadaolevate masinate hulka. Meetodi pluss on see, et algsele masinale saadetakse tagasi infot ainult siis, kui vajalik info leitakse (väga väike protsent masinaid) ja see info on lühike. Koormus võrgule langeb tugevasti ja algse masina kanal tõenäoliselt ei ummistu. Meetodi miinus on asjaolu, et üks ja sama masin võib saada algse päringu mitu korda eri suundadest, mis jällegi kasvatab võrgu koormust. Seda viimast probleemi saab mitmel moel leevendada (kuigi mitte täielikult kaotada), eeskätt päringu ttl (time to live) parameetrit kasutades, päringu ahela masinate lisamises päringu parameetrite hulka jne.

Gnutella kasutab rekursiivset meetodit, nii ka meie P2Net. Lihtsakoeline rekursiivne meetod ummistab suure klientide arvu korral võrgu ja sele asemel kasutavad suured P2P süsteemid kas:
* struktureeritud nn superpeeride süsteemi a la Kazaa ja esialgne Skype, kus rekursiivne päring toimub ainult superpeeride vahel, ja neid on vähe, või
* väga kavalat nn distributed hash tables (DHT) mehhanismi, a la freenet ja (osaliselt) bittorrent. DHT on üks mitmest bittorrenti poolt kasutatud meetodist, kuigi bittorrenti põhifookus on hoopis faili paralleelse allatõmbamise optimeerimisel mitme masina koostöös, mitte masinate/failide leidmisel. Või:
* kasutavad masinate leidmiseks eeskätt tsentraalseid servereid, a la esialgne Napster või kaasaegne Skype

== Tehnilised nõuded ==

Programmeerimiskeele ja muu tehnoloogia valik on vaba, kuid rakendus peab vastama neile tingimustele:

* Kogu programm peab töötama kas ITC-maja klassi arvutis või sinu oma läptopis, mis ITC maja klassis kaasas. Mingit kaugel asuvat serverit põhirakenduse jaoks kasutada ei tohi. Arusaadavalt võib aga panna P2Net lisaks käima ka suvalistesse välistesse masinatesse.
* Http protokolli jms realisatsioon peab olema teie oma programmi osa, mingit "suurt" http serverit a la apache kasutada ei või. Kõikvõimalike võrguteekide (versus eraldiseisvad veebiserverid) kasutamine on ok, mikroserverite koodi integreerimine oma programmi on ok.

== Protokoll ==

=== Otsipäringu saatmine ja edasisaatmine ===

Konkreetsele masinale 11.22.33.44 (kus P2Net jookseb pordis 2345) käsu saatmine

<pre>
http://11.22.33.44:2345/run?prog=käsurida&sendip=55.66.77.88&sendport=6788&ttl=5&id=wqeqwe23&noask=11.22.33.44_111.222.333.444 ...
</pre>

kus parameetritel on järgmine sisu:

* prog: käsk
* sendip: esialgse saatja ip
* sendport: esialgse saatja port
* ttl: kui mitu otsingu-hopi veel teha (iga edasiküsimine vähendab ühe võrra)
* id: optsionaalne päringu identifikaator
* noask: optsionaalne list masinatest, kellele pole mõtet edastada (eraldajaks alakriips)

Päringu identifikaator ei pea tingimata üle terve võrgu unikaalne olema - lihtsam on ja ajab asja ära, kui
on saatva masina piires unikaalne.

prog parameeter peab ilmselt olema urlencoded, näit. midagi taolist:

<pre>
...&prog=ipconfig%20/displaydns&...
</pre>

GET-päringu vastuseks on õnnestunud päringu korral number 0,
ebaõnnestunud päringu korral muu (vea)number. Vastuse mõte on eeskätt debugimise lihtsustamine ja vastust peaks pärija üldiselt ignoreerima. P2Net peaks töötama edukalt ka juhul, kui ta saatmise peale ühenduse lihtsalt kinni paneb ja vastust kuulama ei hakka.

P2Net-le tulnud päringu edasisaatmine käib täpselt sama protokolliga, kuid edasi saadetakse veidi muudetud päring:

* ttl vähendatakse ühe võrra
* optionaalselt: lisatakse oma masina ip noask parameetrile otsa

Seejuures ei saadeta päringut edasi, kui sissetulnud ttl oli 1 võ i vähem (st ttl=0 päringuid enam kuhugi ei saadeta)

Seda päringut saab ka brauserist katsetada, kuigi brauser ei saa vastuseks midagi huvitavat peale debugimis-vastuse 0 või mingi veakoodi.

Klientide filtreerimine (juhul kui soovitakse juhtida mingit alamhulka masinatest) toimub programmi
käsurea kaudu. See osa ei ole kohustuslik vaid tuleneb konkreetsest rakendusest; protokollis see funktsionaalsus ei sisaldu.

=== Tulemuse tagastamine algsele pärijale ===

Vastus oleks http post meetodiga käivitatud programmi kogu väljundi saatmine algsele küsijale muutmata kujul
koos lisainfoga

<pre>
http://11.22.33.44:2345/result
</pre>

POST-itatud data:

<pre>
{"sendip": "55.66.77.88",
"sendport": "6788",
"id": "asasasas",
"encoding": "ascii" või "base64",
"content": "failisisustring"}
</pre>

id peaks vastama esialgse saatja antud id-le, juhul kui seda kasutatakse.
* id: esialgse päringu id (kui oli algselt antud)
* content: käsureaprogrammi väljund (kui ei ole plaintext, peaks olema base64-encodetud)
* encoding: mis formaadis content on
* sendip: tulemuse saatnud masina ip
* sendport: tulemuse saatnud masina port

Programm võiks ka mitte crashida, kui id puudu on, kuna id on optional (aga praktiline ja mõtekas on lisada).

Postituse saaja vastab eduka kättesaamise korral arvu 0,
arusaamatuste korral mõne muu (vea) numbri. Jällegi, vastuse mõte on eeskätt debugimise lihtsustamine ja vastust peaks pärija üldiselt ignoreerima. P2Net peaks töötama edukalt ka juhul, kui ta saatmise peale ühenduse lihtsalt kinni paneb ja vastust kuulama ei hakka.

== Praksi kaks osa ==

Väga soovitav on teha praks kahes osas ja esitada kaks korda ülevaatamiseks:

* Teha http protokolli järgida suutev esmane rakendus.
* Lisada sinna kogu vajalik funktsionaalsus:
** P2Net protokolli implementatsioon
** P2Net peale ehitatud rakendus (nagu data korjamine, web query hajutamine, lihtsustatud remote admin, ...). Vt ka [[#Näiterakendus]].

Http protokolli järgimise võimet kontrollitakse praksi eduka läbimise tingimusena.

== Soovitusi ja ideid ==

Arendamiseks ja testimiseks pead saama jooksutada oma masinas mitut erinevat koopiat omaenda P2Net-st, igaüks oma pordil, igaühel oma konfifail tuttavate masinatega.

Hea mõte on teha P2Net käsurealt käivitavaks nii, et ta võtab kohe käsurealt pordinumbri parameetriks ning loeb siis oma konfifaili vastavast pordinumbrist tuletatud failipathist.

P2Net peab päris kindlasti sisaldama või kasutama http serverit,
muidu ei ole temaga võimalik väljast ühendust võtta. NB! See ei tähenda mingit nö suurt veebiserverit a la apache, vaid pigem ise kirjutatud väikest minimaalset serverit, mis pealegi ei pea veebilehti serveerima ja cgi-sid käivitama, vaid ainult teatud käskudele/parameetritele reageerima.

Server tuleb realiseerida ise, kasutades võrgust leitavaid näiteid mikro-http-serveri jaoks (tüüpiliselt paar lehekülge koodi). Selliseid näitekoode võib täiesti otse kasutada.

C jaoks on sobiv mikroserver näiteks [http://www.lambda.ee/images/8/89/Itsissejuhatus_tiny.zip tiny], java jaoks
on [http://www.java2s.com/Code/Java/Tiny-Application/HttpServer.htm see server] väga hea väike näide, aga selgitava tekstita,
ning selgitavate tekstidega servereid leiad mh [http://onjava.com/pub/a/onjava/2003/04/23/java_webserver.html siit] ja
[http://fragments.turtlemeat.com/javawebserver.php siit].Loe java socketitest põhjalikumalt [http://download.oracle.com/javase/tutorial/networking/sockets/ siit]. Pythoni serverinäite [http://muharem.wordpress.com/2007/05/29/roll-your-own-server-in-50-lines-of-code/ saad siit]. Http kohta võib lugeda [http://www.jmarshall.com/easy/http/ näiteks siit].

Kasutajaliides võib olla tehtud aknaga, aga see ei ole kohustuslik: võib teha ka puhtalt käsurea rakenduse.

Rakendus on mõistlik teha nii, et annad käivitamisel ette pordi, millel ta räägib, ning kui seda porti ei ole antud, siis kasutad vaikimisi porti 1215 (1214 on Kazaa port).

Häid selgeid näiteid ja õpetusi socketite ja serveri tegemise kohta leiad veel siit:

* [http://www.prasannatech.net/2008/07/socket-programming-tutorial.html socketite kasutamise õpetus ja source C-s, javas ja pythonis]
* [http://www.jbox.dk/sanos/webserver.htm lihtne veebiserver C-s (eksootilise sanosi all)]
* [http://www.ibm.com/developerworks/systems/library/es-nweb/index.html lihtne veebiserver/klient C-s (ibm-i tutorial ja source)]
* [http://www.lambda.ee/images/8/89/Itsissejuhatus_tiny.zip tiny webserver C-s]
* [http://download.oracle.com/javase/tutorial/networking/sockets/ java socketid: klassikaline tutorial]
* [http://www.tud.ttu.ee/material/kallik/JOOP/Jutukas/ Kaarel Alliku kursuse näite-jutukas (java)]
* [http://www.rgagnon.com/javadetails/java-have-a-simple-http-server.html java http teegi kasutamine, mis kasutab socketeid sisemiselt]
* [http://tomayko.com/writings/unicorn-is-unix ruby]
* [http://jacobian.org/writing/python-is-unix/ python]
* [http://docs.python.org/library/socketserver.html pythoni üks serversocketi-teek]
* [http://beej.us/guide/bgnet/ Väga põhjalik socketite/võrguprogrammeerimise õpetus]


=== Näiterakendus ===

Sisend on list sõnadest (näiteks faili kujul, kus igal real üks unikaalne sõna). Tahaks teada saada, millised neist sõnadest on üksteisega sarnased. Väljund võiks olla mapping, kus on sõna ning siis sellega sarnaste sõnade list. Sellist asja võib vaja minna juhul, kui ma tahan mingit sisenddatat, näiteks veebist scrapetud andmeid, normaliseerida - oletame et ma otsin sõna "serials", siis võiks mind tegelikult ka huvitada kohad, kus esineb sõna "serial" (süntaktiline sarnasus) või kui ma otsin sõna "truck", siis mind võib huvitada ka "lorry" (semantiline sarnasus, mida on küll tegelikult suht keeruline tuvastada).

Kuidas sellist mappingut tekitada? Proovime kõiki sõnu üksteisega paarikaupa võrrelda. Näiteks oletame, et mul on sõnad: <code>["oma", "masinas", "mitut", "erinevat", "koopiat", "omaenda"]</code>. Hakkame võrdlema: <code>"oma"</code> ja <code>"masinas"</code> ei ole sarnased, <code>"oma"</code> ja <code>"mitut"</code> ei ole sarnased jne. kuni jõuame <code>"oma"</code> ja <code>"omaenda"</code> juurde, mis võiks olla sarnased (see sõltub täpselt sellest, kuidas sarnasus defineeritud on). Sellega on <code>"oma"</code> läbi vaadatud, järgmiseks võtame <code>"masinas"</code>. Sõnaga <code>"oma"</code> pole seda enam tarvis võrrelda, järelikult alustame paarist <code>"masinas"</code> ja <code>"mitut"</code> ja nõnda edasi kuni lõpuni. Väljund võiks olla näiteks mapping <code>{"oma" : ["omaenda"], "omaenda": ["oma"]}</code>.

Selleks tuleb vaadata ''(n(n-1))/2'' paari, ehk sellel ülesandel on polünomiaalne keerukus ''O(n^2)''. Mida see tähendab? Kui ma võtan näitena toodud kuuesõnalise listi asemel mingi realistlikuma listi, kus on 6000 sõna, siis aeg, mis selle läbi töötamisele kulub, ei kasva mitte 1000 korda vaid umbkaudu 1000000 korda. Ehk siis suht kerge on jõuda kohta, kus me enam ei viitsi tulemust ära oodata, kuna selle leidmine võtab tunde.

Antud ülesanne kuulub [http://en.wikipedia.org/wiki/Embarrassingly_parallel triviaalselt paralleelsete] ülesannete hulka. Kui meil on 60 masinat käepärast, siis saab töö nii jagada, et iga masin teeb ~1/60 vajaminevatest võrdlustest ning see võiks tuua tööaja tundidest jälle minutite peale tagasi. Kuidas asja võiks P2Neti peal teha:

* '''Partitsioneerimine'''. Oletame, et me teame, kui palju meil masinaid täpselt P2Net-iga liitunud on. Kui neid masinaid on ''k'', siis iga masin võiks võtta ''1/k''-ndiku sõnadest ette ja võrrelda neid kõigi sõnadega. Näiteks kolme masina korral meie kuuesõnalisel näitel võiks üks masin võrrelda sõna <code>"oma"</code> ja <code>"masinas"</code> kõigi teiste vastu, teine teha seda sõnadega <code>"mitut"</code> ja <code>"erinevat"</code> jne. Natuke ressurssi läheb siin raisku selle peale, et ühte paari võrreldakse kaks korda: esimene masin teeb võrdluse <code>"oma"</code> ja <code>"mitut"</code>, teine teeb ka <code>"mitut"</code> ja <code>"oma"</code>. Selle vältimisega ei ole mõtet vaeva näha, see on pigem kasulik (sellest hiljem veel). Järgmiseks tekib küsimus, kuidas juhtida masinaid nii, et me ei peaks igaühele otse käsku andma. Seda võib lahendada nii: 1.) panen päringule kaasa parameetri ''k'' ja URL-i, kust sisendandmed saab alla tõmmata 2.) iga masin arvutab <code>h=hash(omaip,omaport) % k</code> ja saab numbri ''h'' mis on vahemikus 0 kuni ''k-1''. 3.) iga masin teeb sisendandmete listist täpselt iga ''k''-nda sõna, nihkega ''h'': kui mul ''h=0'' ja masinaid on kokku 7, siis ma võtan ette sõnad 1,8,15,... .

* '''Sarnasuse arvutamine'''. Seda võib teha igat moodi, alates [http://en.wikipedia.org/wiki/Levenshtein_distance triviaalsest] kuni [http://en.wikipedia.org/wiki/List_of_natural_language_processing_toolkits#Natural_language_processing_tools põhjalikuni]; vt ka http://wordnet.princeton.edu/.

* Tulemuste kokku korjamine. Iga masin saadab oma osalise mappingu päringu algatajale. See paneb need kokku umbes nii: kui ühest masinast saadi <code>{"koer": ["koera"]}</code> ja teisest <code>{"koerad": ["koera"]}</code>, siis me saaks sellest kokku järeldada ka midagi sellist: <code>{"koera":["koer", "koerad"]}</code>. Mismoodi tulemusi täpselt kokku panna, sõltub natuke, kas teie arust on sarnasuse seos sümmeetriline ja/või transitiivne.

Tähelepanelikumal tudengil võib tekkida küsimus, mis siis saab kui hash collision tekib ning mõni tükk üleliia tehakse ning mõni mitte kordagi. Selle probleemi jätame koduülesandeks, vihjeks ainult, et 1.) P2P rakendustes ei ole niikuinii mõtet loota, et kõik masinad algusest lõpuni ilusti võrgus kättesaadavad on ja ei crashi töö jooksul 2.) partitsioneerimise meetod, mida kasutasime, tekitab teatud ülekattuvuse.

Juhul kui ka selle näiterakenduse uurimine mingeid ideid ei tekitanud, võib ka sellesama asja realiseerida. Tasub ainult tähele panna, et see on tõenäoliselt natuke töömahukam, kui mõni ise välja mõeldud rakendus.

== Firewall ja NAT ==

Firewallist läbi murdmise ja kinniste portidega ühendamise probleemiga ei pea selles praksis tegelema. Samas tähendab see, et ei ole kuigi lihtne teise masinaga tegelikult ühendust saada (ühes masinas debugimise võimaldamine ongi seepärast kriitiline).

Kes P2Net käima saab, võib mõelda välja ja realiseerida probleemi lahendamiseks sobiva vaheserveri: selle eest saab ekstrapunkte.

Võrgust infot otsides leiad kahte liiki teemasid, meie jaoks oluline on siit listist teine:
* Tunneldamise artiklid, loe näiteks [http://en.wikipedia.org/wiki/HTTP_tunnel http tunnel] artiklit wikipediast ja [http://sebsauvage.net/punching/ seda artiklit] firewallist läbipääsemisest.
* UDP/TCP hole punching ja NAT traversal: arusaadava sissejuhatusena loe [http://www.h-online.com/security/features/How-Skype-Co-get-round-firewalls-747197.html Skype jms süsteemide meetoditest], sellele [http://www.portugal-a-programar.org/forum/index.php?topic=7852.0 väike täiendus]. Vaata ka [http://en.wikipedia.org/wiki/Session_Traversal_Utilities_for_NAT wikipedia utiliitide artiklit ja viiteid]. Detailsemalt/lisaks [http://www.brynosaurus.com/pub/net/p2pnat/ siit] ja [http://nutss.gforge.cis.cornell.edu/pub/imc05-tcpnat/ siit] ja [http://www.jdrosen.net/midcom_turn.html siit] ja [http://www.ietf.org/rfc/rfc3489.txt siit], keerulise vahendi leiab [http://natblaster.sourceforge.net/ siit]

NB! Seda kõike ei ole väga lihtne teha ja sinu P2Net (ja ka selle inimese P2Net, kellega suhtled) peab ka oskama seda vaheserverit kasutada. Ära hakka seda ehitama, kui nö lihtne P2Net veel ei tööta!

Ekstra-lisapunktide saamise variant: realiseeri ja pane kõigile kasutatavaks firewalliprobleemi lahendamiseks sobiv vaheserver. Kirjuta kasutamise juhend ja näited, mida teised saaks soovi korral oma P2Net jaoks tarvitada (st panna nad sinu vaheserverit kasutama, nii et seda saaks ka arvutiklassist kasutada). Esimesed kaks gruppi, kes sellega hakkama saavad, saavad lisaks pooled praksipunktid!

== Punktiarvestusest ==

Kui P2Net protokoll töötab vastu mõne teise grupi P2Net-i, sellele on realiseeritud mingi
rakendus ja koodi suudetakse seletada, saab täispunktid.

Kui teiste P2Net-programmidega ei suuda suhelda, aga iseenda koopiatega siiski, siis päris täispunkte ei saa.

Vorgurakendused 2 prax 1 2014

2014-09-27T13:14:01Z

Priit: oops

<table>
<tr>
<td>
[[Pilt:Robot300.jpg|Zombie robot attack]]
</td>
<td>
P2Net - P2P botnet
</td>
</tr>

</table>

UUENDATUD: lisatud [[#Näiterakendus]].

Ülesandeks on ehitada P2P rakendus P2Net programmide (käsurea kujul) käivitamiseks võõrastes masinates ja rehkendustulemuste kättesaamiseks, mis teeb laviinitaolise otsingu mööda P2Net klient/servereid, isetehtud P2P mehhanismi abil.

Kasutajaliidese hea kvaliteet ei ole praksis oluline.

Huvi korral võid vaadata ka veidi sarnaseid vanu ülesandeid [[Vorgurakendused 2 prax 1 2013 |2013 aasta arhiivis]] ning sealt edasi vanemaid.

== Üldkirjeldus ==

P2Net võimaldab:

* kasutajal käivitada võõrastes masinatest käsurea.
* saada tagasi käsurea rehkendatud tulemus(tekst/binary vms blob).
* idee on selle peale ehitada mingi rakendus, näit:
** mingite mahukate arvutuste jaotamine masinate vahel ([[#Näiterakendus]])
** web scrapingu (näit google otsingu) load balancing
** kaugadministreerimine
** ...

Rakenduse tegemine P2Net protokolli peale on ka praksi osa.

Võõraste masinate leidmiseks kasutab P2Net järgmist viisi:

* Saadab tema oma masinas oleva faili machines.txt masinatele käsu. machines.txt sees on masinate ip ja pordid json listina kujul
<pre>
[["11.22.33.44","2345"],...,["111.222.333.444","23456"]]
</pre>

* Samamoodi saadab käivitus-päringu P2Net startlehel http://dijkstra.cs.ttu.ee/~tammet/P2Net.txt olevatele masinatele (startlehel on plaintekstina eelmises punktis näidatud formaadis json-fail)
* Kui mingi masin saab minu päringu-käsurea kätte, siis ta paneb selle kohapeal käsureal käima ja saadab tulemuse päringu algatanud masinasse.
* Iga võõras masin, mis algselt minu käest tulnud päringu saab, saadab ta omakorda kõigile talle teadaolevatele edasi, vähendades seejuures nn ttl (time to live) counti, et päringud lõpmatult rändama ei jääks.

Ehk, masinad saadavad minu antud päringut rekursiivselt ise edasi.

Pane tähele, et sinu P2Net ei pea üldse salvestama võõraste P2Net-ide ip-sid ja porte! Samas ei ole ka kuidagi keelatud (debugimiseks või niisama huvi pärast vms) salvestada teiste P2Net-ide ip-sid, mida saab teada näiteks sulle tulnud päringutest, sulle vastajate ip-dest ja miks mitte ka portscannides :)

== Miks just selline päringu edasisaatmisviis? ==

Põhimõtteliselt saab päringut massidesse P2P meetoditega laiali saata kahel viisil:

* Iteratiivne meetod (antud praksis seda ei kasuta): algne masin küsib tuttavatelt neile tuttavate masinate faile, ja suurendab seeläbi endale teadaolevate masinate hulka. Igalt uuelt teadasaadud masinalt küsib ta jälle selle masina tuttavate faile jne. Teised masinad algset päringut ise kuhugi edasi ei saada. Meetodi pluss on see, et algne masin saab lihtsalt tagada, et päringut ei saadetaks kaks korda samale masinale. Meetodi miinus on see, et kõik masinad võrgus saadavad lõpuks terve neile tuttavate masinate faili algsele masinale: see tähendab väga suurt hulka väga suurte failide saatmisi, mis hakkavad jõhkralt ummistama võrku, ja algse masina väike kanal tõenäoliselt ummistub varsti. Saadud failide ühisosad on väga suured. Halvemal juhul saab algne masin N identset sõnumit, kus igaühes on N ip-d, kus N on kõigi masinate arv, kus jookseb P2Net.

* Rekursiivne meetod (antud praksis nõutud): algne masin saadab oma päringu tuttavatele masinatele, kes selle omakorda enda tuttavatele edasi saadavad jne. Igüks, kes leiab enda failide hulgast vajaliku faili, saadab info algsele masinale (vastasel korral ei saada ta algsele masinale midagi). Algne masin ei suurenda endale teadaolevate masinate hulka. Meetodi pluss on see, et algsele masinale saadetakse tagasi infot ainult siis, kui vajalik info leitakse (väga väike protsent masinaid) ja see info on lühike. Koormus võrgule langeb tugevasti ja algse masina kanal tõenäoliselt ei ummistu. Meetodi miinus on asjaolu, et üks ja sama masin võib saada algse päringu mitu korda eri suundadest, mis jällegi kasvatab võrgu koormust. Seda viimast probleemi saab mitmel moel leevendada (kuigi mitte täielikult kaotada), eeskätt päringu ttl (time to live) parameetrit kasutades, päringu ahela masinate lisamises päringu parameetrite hulka jne.

Gnutella kasutab rekursiivset meetodit, nii ka meie P2Net. Lihtsakoeline rekursiivne meetod ummistab suure klientide arvu korral võrgu ja sele asemel kasutavad suured P2P süsteemid kas:
* struktureeritud nn superpeeride süsteemi a la Kazaa ja esialgne Skype, kus rekursiivne päring toimub ainult superpeeride vahel, ja neid on vähe, või
* väga kavalat nn distributed hash tables (DHT) mehhanismi, a la freenet ja (osaliselt) bittorrent. DHT on üks mitmest bittorrenti poolt kasutatud meetodist, kuigi bittorrenti põhifookus on hoopis faili paralleelse allatõmbamise optimeerimisel mitme masina koostöös, mitte masinate/failide leidmisel. Või:
* kasutavad masinate leidmiseks eeskätt tsentraalseid servereid, a la esialgne Napster või kaasaegne Skype

== Tehnilised nõuded ==

Programmeerimiskeele ja muu tehnoloogia valik on vaba, kuid rakendus peab vastama neile tingimustele:

* Kogu programm peab töötama kas ITC-maja klassi arvutis või sinu oma läptopis, mis ITC maja klassis kaasas. Mingit kaugel asuvat serverit põhirakenduse jaoks kasutada ei tohi. Arusaadavalt võib aga panna P2Net lisaks käima ka suvalistesse välistesse masinatesse.
* Http protokolli jms realisatsioon peab olema teie oma programmi osa, mingit "suurt" http serverit a la apache kasutada ei või. Kõikvõimalike võrguteekide (versus eraldiseisvad veebiserverid) kasutamine on ok, mikroserverite koodi integreerimine oma programmi on ok.

== Protokoll ==

=== Otsipäringu saatmine ja edasisaatmine ===

Konkreetsele masinale 11.22.33.44 (kus P2Net jookseb pordis 2345) käsu saatmine

<pre>
http://11.22.33.44:2345/run?prog=käsurida&sendip=55.66.77.88&sendport=6788&ttl=5&id=wqeqwe23&noask=11.22.33.44_111.222.333.444 ...
</pre>

kus parameetritel on järgmine sisu:

* prog: käsk
* sendip: esialgse saatja ip
* sendport: esialgse saatja port
* ttl: kui mitu otsingu-hopi veel teha (iga edasiküsimine vähendab ühe võrra)
* id: optsionaalne päringu identifikaator
* noask: optsionaalne list masinatest, kellele pole mõtet edastada (eraldajaks alakriips)

Päringu identifikaator ei pea tingimata üle terve võrgu unikaalne olema - lihtsam on ja ajab asja ära, kui
on saatva masina piires unikaalne.

prog parameeter peab ilmselt olema urlencoded, näit. midagi taolist:

<pre>
...&prog=ipconfig%20/displaydns&...
</pre>

GET-päringu vastuseks on õnnestunud päringu korral number 0,
ebaõnnestunud päringu korral muu (vea)number. Vastuse mõte on eeskätt debugimise lihtsustamine ja vastust peaks pärija üldiselt ignoreerima. P2Net peaks töötama edukalt ka juhul, kui ta saatmise peale ühenduse lihtsalt kinni paneb ja vastust kuulama ei hakka.

P2Net-le tulnud päringu edasisaatmine käib täpselt sama protokolliga, kuid edasi saadetakse veidi muudetud päring:

* ttl vähendatakse ühe võrra
* optionaalselt: lisatakse oma masina ip noask parameetrile otsa

Seejuures ei saadeta päringut edasi, kui sissetulnud ttl oli 1 võ i vähem (st ttl=0 päringuid enam kuhugi ei saadeta)

Seda päringut saab ka brauserist katsetada, kuigi brauser ei saa vastuseks midagi huvitavat peale debugimis-vastuse 0 või mingi veakoodi.

Klientide filtreerimine (juhul kui soovitakse juhtida mingit alamhulka masinatest) toimub programmi
käsurea kaudu. See osa ei ole kohustuslik vaid tuleneb konkreetsest rakendusest; protokollis see funktsionaalsus ei sisaldu.

=== Tulemuse tagastamine algsele pärijale ===

Vastus oleks http post meetodiga käivitatud programmi kogu väljundi saatmine algsele küsijale muutmata kujul
koos lisainfoga

<pre>
http://11.22.33.44:2345/result
</pre>

POST-itatud data:

<pre>
{"sendip": "55.66.77.88",
"sendport": "6788",
"id": "asasasas",
"encoding": "ascii" või "base64",
"content": "failisisustring"}
</pre>

id peaks vastama esialgse saatja antud id-le, juhul kui seda kasutatakse.
* id: esialgse päringu id (kui oli algselt antud)
* content: käsureaprogrammi väljund (kui ei ole plaintext, peaks olema base64-encodetud)
* encoding: mis formaadis content on
* sendip: tulemuse saatnud masina ip
* sendport: tulemuse saatnud masina port

Programm võiks ka mitte crashida, kui id puudu on, kuna id on optional (aga praktiline ja mõtekas on lisada).

Postituse saaja vastab eduka kättesaamise korral arvu 0,
arusaamatuste korral mõne muu (vea) numbri. Jällegi, vastuse mõte on eeskätt debugimise lihtsustamine ja vastust peaks pärija üldiselt ignoreerima. P2Net peaks töötama edukalt ka juhul, kui ta saatmise peale ühenduse lihtsalt kinni paneb ja vastust kuulama ei hakka.

== Praksi kaks osa ==

Väga soovitav on teha praks kahes osas ja esitada kaks korda ülevaatamiseks:

* Teha http protokolli järgida suutev esmane rakendus.
* Lisada sinna kogu vajalik funktsionaalsus:
** P2Net protokolli implementatsioon
** P2Net peale ehitatud rakendus (nagu data korjamine, web query hajutamine, lihtsustatud remote admin, ...). Vt ka [[#Näiterakendus]].

Http protokolli järgimise võimet kontrollitakse praksi eduka läbimise tingimusena.

== Soovitusi ja ideid ==

Arendamiseks ja testimiseks pead saama jooksutada oma masinas mitut erinevat koopiat omaenda P2Net-st, igaüks oma pordil, igaühel oma konfifail tuttavate masinatega.

Hea mõte on teha P2Net käsurealt käivitavaks nii, et ta võtab kohe käsurealt pordinumbri parameetriks ning loeb siis oma konfifaili vastavast pordinumbrist tuletatud failipathist.

P2Net peab päris kindlasti sisaldama või kasutama http serverit,
muidu ei ole temaga võimalik väljast ühendust võtta. NB! See ei tähenda mingit nö suurt veebiserverit a la apache, vaid pigem ise kirjutatud väikest minimaalset serverit, mis pealegi ei pea veebilehti serveerima ja cgi-sid käivitama, vaid ainult teatud käskudele/parameetritele reageerima.

Server tuleb realiseerida ise, kasutades võrgust leitavaid näiteid mikro-http-serveri jaoks (tüüpiliselt paar lehekülge koodi). Selliseid näitekoode võib täiesti otse kasutada.

C jaoks on sobiv mikroserver näiteks [http://www.lambda.ee/images/8/89/Itsissejuhatus_tiny.zip tiny], java jaoks
on [http://www.java2s.com/Code/Java/Tiny-Application/HttpServer.htm see server] väga hea väike näide, aga selgitava tekstita,
ning selgitavate tekstidega servereid leiad mh [http://onjava.com/pub/a/onjava/2003/04/23/java_webserver.html siit] ja
[http://fragments.turtlemeat.com/javawebserver.php siit].Loe java socketitest põhjalikumalt [http://download.oracle.com/javase/tutorial/networking/sockets/ siit]. Pythoni serverinäite [http://muharem.wordpress.com/2007/05/29/roll-your-own-server-in-50-lines-of-code/ saad siit]. Http kohta võib lugeda [http://www.jmarshall.com/easy/http/ näiteks siit].

Kasutajaliides võib olla tehtud aknaga, aga see ei ole kohustuslik: võib teha ka puhtalt käsurea rakenduse.

Rakendus on mõistlik teha nii, et annad käivitamisel ette pordi, millel ta räägib, ning kui seda porti ei ole antud, siis kasutad vaikimisi porti 1215 (1214 on Kazaa port).

Häid selgeid näiteid ja õpetusi socketite ja serveri tegemise kohta leiad veel siit:

* [http://www.prasannatech.net/2008/07/socket-programming-tutorial.html socketite kasutamise õpetus ja source C-s, javas ja pythonis]
* [http://www.jbox.dk/sanos/webserver.htm lihtne veebiserver C-s (eksootilise sanosi all)]
* [http://www.ibm.com/developerworks/systems/library/es-nweb/index.html lihtne veebiserver/klient C-s (ibm-i tutorial ja source)]
* [http://www.lambda.ee/images/8/89/Itsissejuhatus_tiny.zip tiny webserver C-s]
* [http://download.oracle.com/javase/tutorial/networking/sockets/ java socketid: klassikaline tutorial]
* [http://www.tud.ttu.ee/material/kallik/JOOP/Jutukas/ Kaarel Alliku kursuse näite-jutukas (java)]
* [http://www.rgagnon.com/javadetails/java-have-a-simple-http-server.html java http teegi kasutamine, mis kasutab socketeid sisemiselt]
* [http://tomayko.com/writings/unicorn-is-unix ruby]
* [http://jacobian.org/writing/python-is-unix/ python]
* [http://docs.python.org/library/socketserver.html pythoni üks serversocketi-teek]
* [http://beej.us/guide/bgnet/ Väga põhjalik socketite/võrguprogrammeerimise õpetus]


=== Näiterakendus ===

Sisend on list sõnadest (näiteks faili kujul, kus igal real üks unikaalne sõna). Tahaks teada saada, millised neist sõnadest on üksteisega sarnased. Väljund võiks olla mapping, kus on sõna ning siis sellega sarnaste sõnade list. Sellist asja võib vaja minna juhul, kui ma tahan mingit sisenddatat, näiteks veebist scrapetud andmeid, normaliseerida - oletame et ma otsin sõna "serials", siis võiks mind tegelikult ka huvitada kohad, kus esineb sõna "serial" (süntaktiline sarnasus) või kui ma otsin sõna "truck", siis mind võib huvitada ka "lorry" (semantiline sarnasus, mida on küll tegelikult suht keeruline tuvastada).

Kuidas sellist mappingut tekitada? Proovime kõiki sõnu üksteisega paarikaupa võrrelda. Näiteks oletame, et mul on sõnad: <code>["oma", "masinas", "mitut", "erinevat", "koopiat", "omaenda"]</code>. Hakkame võrdlema: <code>"oma"</code> ja <code>"masinas"</code> ei ole sarnased, <code>"oma"</code> ja <code>"mitut"</code> ei ole sarnased jne. kuni jõuame <code>"oma"</code> ja <code>"omaenda"</code> juurde, mis võiks olla sarnased (see sõltub täpselt sellest, kuidas sarnasus defineeritud on). Sellega on <code>"oma"</code> läbi vaadatud, järgmiseks võtame <code>"masinas"</code>. Sõnaga <code>"oma"</code> pole seda enam tarvis võrrelda, järelikult alustame paarist <code>"masinas"</code> ja <code>"mitut"</code> ja nõnda edasi kuni lõpuni. Väljund võiks olla näiteks mapping <code>{"oma" : ["omaenda"], "omaenda": ["oma"]}</code>.

Selleks tuleb vaadata ''(n(n-1))/2'' paari, ehk sellel ülesandel on polünomiaalne keerukus ''O(n^2)''. Mida see tähendab? Kui ma võtan näitena toodud kuuesõnalise listi asemel mingi realistlikuma listi, kus on 6000 sõna, siis aeg, mis selle läbi töötamisele kulub, ei kasva mitte 1000 korda vaid umbkaudu 1000000 korda. Ehk siis suht kerge on jõuda kohta, kus me enam ei viitsi tulemust ära oodata, kuna selle leidmine võtab tunde.

Antud ülesanne kuulub [http://en.wikipedia.org/wiki/Embarrassingly_parallel triviaalselt paralleelsete] ülesannete hulka. Kui meil on 60 masinat käepärast, siis saab töö nii jagada, et iga masin teeb ~1/60 vajaminevatest võrdlustest ning see võiks tuua tööaja tundidest jälle minutite peale tagasi. Kuidas asja võiks P2Neti peal teha:

* '''Partitsioneerimine'''. Oletame, et me teame, kui palju meil masinaid täpselt P2Net-iga liitunud on. Kui neid masinaid on ''k'', siis iga masin võiks võtta ''1/k''-ndiku sõnadest ette ja võrrelda neid kõigi sõnadega. Näiteks kolme masina korral meie kuuesõnalisel näitel võiks üks masin võrrelda sõna <code>"oma"</code> ja <code>"masinas"</code> kõigi teiste vastu, teine teha seda sõnadega <code>"mitut"</code> ja <code>"erinevat"</code> jne. Natuke ressurssi läheb siin raisku selle peale, et ühte paari võrreldakse kaks korda: esimene masin teeb võrdluse <code>"oma"</code> ja <code>"mitut"</code>, teine teeb ka <code>"mitut"</code> ja <code>"oma"</code>. Selle vältimisega ei ole mõtet vaeva näha, see on pigem kasulik (sellest hiljem veel). Järgmiseks tekib küsimus, kuidas juhtida masinaid nii, et me ei peaks igaühele otse käsku andma. Seda võib lahendada nii: 1.) panen päringule kaasa parameetri ''k'' ja URL-i, kust sisendandmed saab alla tõmmata 2.) iga masin arvutab <code>h=hash(omaip,omaport) % k</code> ja saab numbri ''h'' mis on vahemikus 0 kuni ''k-1''. 3.) iga masin teeb sisendandmete listist täpselt iga ''k''-nda sõna, nihkega ''h'': kui mul ''h=0'' ja masinaid on kokku 7, siis ma võtan ette sõnad 1,8,15,... .

* '''Sarnasuse arvutamine'''. Seda võib teha igat moodi, alates [http://en.wikipedia.org/wiki/Levenshtein_distance triviaalsest] kuni [http://en.wikipedia.org/wiki/List_of_natural_language_processing_toolkits#Natural_language_processing_tools põhjalikuni]; vt ka http://wordnet.princeton.edu/.

* Tulemuste kokku korjamine. Iga masin saadab oma osalise mappingu päringu algatajale. See paneb need kokku umbes nii: kui ühest masinast saadi <code>{"koer": ["koera"]}</code> ja teisest <code>{"koerad": ["koera"]}</code>, siis me saaks sellest kokku järeldada ka midagi sellist: <code>{"koera":["koer", "koerad"]}</code>. Mismoodi tulemusi täpselt kokku panna, sõltub natuke, kas teie arust on sarnasuse seos sümmeetriline ja/või transitiivne.

Tähelepanelikumal tudengil võib tekkida küsimus, mis siis saab kui hash collision tekib ning mõni tükk üleliia tehakse ning mõni mitte kordagi. Selle probleemi jätame koduülesandeks, vihjeks ainult, et 1.) P2P rakendustes ei ole niikuinii mõtet loota, et kõik masinad algusest lõpuni ilusti võrgus kättesaadavad on ja ei crashi töö jooksul 2.) partitsioneerimise meetod, mida kasutasime, tekitab teatud ülekattuvuse.

Juhul kui ka selle näiterakenduse uurimine mingeid ideid ei tekitanud, võib ka sellesama asja realiseerida. Tasub ainult tähele panna, et see on tõenäoliselt natuke töömahukam, kui mõni ise välja mõeldud rakendus.

== Firewall ja NAT ==

Firewallist läbi murdmise ja kinniste portidega ühendamise probleemiga ei pea selles praksis tegelema. Samas tähendab see, et ei ole kuigi lihtne teise masinaga tegelikult ühendust saada (ühes masinas debugimise võimaldamine ongi seepärast kriitiline).

Kes P2Net käima saab, võib mõelda välja ja realiseerida probleemi lahendamiseks sobiva vaheserveri: selle eest saab ekstrapunkte.

Võrgust infot otsides leiad kahte liiki teemasid, meie jaoks oluline on siit listist teine:
* Tunneldamise artiklid, loe näiteks [http://en.wikipedia.org/wiki/HTTP_tunnel http tunnel] artiklit wikipediast ja [http://sebsauvage.net/punching/ seda artiklit] firewallist läbipääsemisest.
* UDP/TCP hole punching ja NAT traversal: arusaadava sissejuhatusena loe [http://www.h-online.com/security/features/How-Skype-Co-get-round-firewalls-747197.html Skype jms süsteemide meetoditest], sellele [http://www.portugal-a-programar.org/forum/index.php?topic=7852.0 väike täiendus]. Vaata ka [http://en.wikipedia.org/wiki/Session_Traversal_Utilities_for_NAT wikipedia utiliitide artiklit ja viiteid]. Detailsemalt/lisaks [http://www.brynosaurus.com/pub/net/p2pnat/ siit] ja [http://nutss.gforge.cis.cornell.edu/pub/imc05-tcpnat/ siit] ja [http://www.jdrosen.net/midcom_turn.html siit] ja [http://www.ietf.org/rfc/rfc3489.txt siit], keerulise vahendi leiab [http://natblaster.sourceforge.net/ siit]

NB! Seda kõike ei ole väga lihtne teha ja sinu P2Net (ja ka selle inimese P2Net, kellega suhtled) peab ka oskama seda vaheserverit kasutada. Ära hakka seda ehitama, kui nö lihtne P2Net veel ei tööta!

Ekstra-lisapunktide saamise variant: realiseeri ja pane kõigile kasutatavaks firewalliprobleemi lahendamiseks sobiv vaheserver. Kirjuta kasutamise juhend ja näited, mida teised saaks soovi korral oma P2Net jaoks tarvitada (st panna nad sinu vaheserverit kasutama, nii et seda saaks ka arvutiklassist kasutada). Esimesed kaks gruppi, kes sellega hakkama saavad, saavad lisaks pooled praksipunktid!

== Punktiarvestusest ==

Kui P2Net protokoll töötab vastu mõne teise grupi P2Net-i, sellele on realiseeritud mingi
rakendus ja koodi suudetakse seletada, saab täispunktid.

Kui teiste P2Net-programmidega ei suuda suhelda, aga iseenda koopiatega siiski, siis päris täispunkte ei saa.

Vorgurakendused 2 prax 1 2014

2014-09-27T13:08:26Z

Priit: näiteülesanne

<table>
<tr>
<td>
[[Pilt:Robot300.jpg|Zombie robot attack]]
</td>
<td>
P2Net - P2P botnet
</td>
</tr>

</table>

UUENDATUD: lisatud [[#Näiterakendus]].

Ülesandeks on ehitada P2P rakendus P2Net programmide (käsurea kujul) käivitamiseks võõrastes masinates ja rehkendustulemuste kättesaamiseks, mis teeb laviinitaolise otsingu mööda P2Net klient/servereid, isetehtud P2P mehhanismi abil.

Kasutajaliidese hea kvaliteet ei ole praksis oluline.

Huvi korral võid vaadata ka veidi sarnaseid vanu ülesandeid [[Vorgurakendused 2 prax 1 2013 |2013 aasta arhiivis]] ning sealt edasi vanemaid.

== Üldkirjeldus ==

P2Net võimaldab:

* kasutajal käivitada võõrastes masinatest käsurea.
* saada tagasi käsurea rehkendatud tulemus(tekst/binary vms blob).
* idee on selle peale ehitada mingi rakendus, näit:
** mingite mahukate arvutuste jaotamine masinate vahel ([[#Näiterakendus]])
** web scrapingu (näit google otsingu) load balancing
** kaugadministreerimine
** ...

Rakenduse tegemine P2Net protokolli peale on ka praksi osa.

Võõraste masinate leidmiseks kasutab P2Net järgmist viisi:

* Saadab tema oma masinas oleva faili machines.txt masinatele käsu. machines.txt sees on masinate ip ja pordid json listina kujul
<pre>
[["11.22.33.44","2345"],...,["111.222.333.444","23456"]]
</pre>

* Samamoodi saadab käivitus-päringu P2Net startlehel http://dijkstra.cs.ttu.ee/~tammet/P2Net.txt olevatele masinatele (startlehel on plaintekstina eelmises punktis näidatud formaadis json-fail)
* Kui mingi masin saab minu päringu-käsurea kätte, siis ta paneb selle kohapeal käsureal käima ja saadab tulemuse päringu algatanud masinasse.
* Iga võõras masin, mis algselt minu käest tulnud päringu saab, saadab ta omakorda kõigile talle teadaolevatele edasi, vähendades seejuures nn ttl (time to live) counti, et päringud lõpmatult rändama ei jääks.

Ehk, masinad saadavad minu antud päringut rekursiivselt ise edasi.

Pane tähele, et sinu P2Net ei pea üldse salvestama võõraste P2Net-ide ip-sid ja porte! Samas ei ole ka kuidagi keelatud (debugimiseks või niisama huvi pärast vms) salvestada teiste P2Net-ide ip-sid, mida saab teada näiteks sulle tulnud päringutest, sulle vastajate ip-dest ja miks mitte ka portscannides :)

== Miks just selline päringu edasisaatmisviis? ==

Põhimõtteliselt saab päringut massidesse P2P meetoditega laiali saata kahel viisil:

* Iteratiivne meetod (antud praksis seda ei kasuta): algne masin küsib tuttavatelt neile tuttavate masinate faile, ja suurendab seeläbi endale teadaolevate masinate hulka. Igalt uuelt teadasaadud masinalt küsib ta jälle selle masina tuttavate faile jne. Teised masinad algset päringut ise kuhugi edasi ei saada. Meetodi pluss on see, et algne masin saab lihtsalt tagada, et päringut ei saadetaks kaks korda samale masinale. Meetodi miinus on see, et kõik masinad võrgus saadavad lõpuks terve neile tuttavate masinate faili algsele masinale: see tähendab väga suurt hulka väga suurte failide saatmisi, mis hakkavad jõhkralt ummistama võrku, ja algse masina väike kanal tõenäoliselt ummistub varsti. Saadud failide ühisosad on väga suured. Halvemal juhul saab algne masin N identset sõnumit, kus igaühes on N ip-d, kus N on kõigi masinate arv, kus jookseb P2Net.

* Rekursiivne meetod (antud praksis nõutud): algne masin saadab oma päringu tuttavatele masinatele, kes selle omakorda enda tuttavatele edasi saadavad jne. Igüks, kes leiab enda failide hulgast vajaliku faili, saadab info algsele masinale (vastasel korral ei saada ta algsele masinale midagi). Algne masin ei suurenda endale teadaolevate masinate hulka. Meetodi pluss on see, et algsele masinale saadetakse tagasi infot ainult siis, kui vajalik info leitakse (väga väike protsent masinaid) ja see info on lühike. Koormus võrgule langeb tugevasti ja algse masina kanal tõenäoliselt ei ummistu. Meetodi miinus on asjaolu, et üks ja sama masin võib saada algse päringu mitu korda eri suundadest, mis jällegi kasvatab võrgu koormust. Seda viimast probleemi saab mitmel moel leevendada (kuigi mitte täielikult kaotada), eeskätt päringu ttl (time to live) parameetrit kasutades, päringu ahela masinate lisamises päringu parameetrite hulka jne.

Gnutella kasutab rekursiivset meetodit, nii ka meie P2Net. Lihtsakoeline rekursiivne meetod ummistab suure klientide arvu korral võrgu ja sele asemel kasutavad suured P2P süsteemid kas:
* struktureeritud nn superpeeride süsteemi a la Kazaa ja esialgne Skype, kus rekursiivne päring toimub ainult superpeeride vahel, ja neid on vähe, või
* väga kavalat nn distributed hash tables (DHT) mehhanismi, a la freenet ja (osaliselt) bittorrent. DHT on üks mitmest bittorrenti poolt kasutatud meetodist, kuigi bittorrenti põhifookus on hoopis faili paralleelse allatõmbamise optimeerimisel mitme masina koostöös, mitte masinate/failide leidmisel. Või:
* kasutavad masinate leidmiseks eeskätt tsentraalseid servereid, a la esialgne Napster või kaasaegne Skype

== Tehnilised nõuded ==

Programmeerimiskeele ja muu tehnoloogia valik on vaba, kuid rakendus peab vastama neile tingimustele:

* Kogu programm peab töötama kas ITC-maja klassi arvutis või sinu oma läptopis, mis ITC maja klassis kaasas. Mingit kaugel asuvat serverit põhirakenduse jaoks kasutada ei tohi. Arusaadavalt võib aga panna P2Net lisaks käima ka suvalistesse välistesse masinatesse.
* Http protokolli jms realisatsioon peab olema teie oma programmi osa, mingit "suurt" http serverit a la apache kasutada ei või. Kõikvõimalike võrguteekide (versus eraldiseisvad veebiserverid) kasutamine on ok, mikroserverite koodi integreerimine oma programmi on ok.

== Protokoll ==

=== Otsipäringu saatmine ja edasisaatmine ===

Konkreetsele masinale 11.22.33.44 (kus P2Net jookseb pordis 2345) käsu saatmine

<pre>
http://11.22.33.44:2345/run?prog=käsurida&sendip=55.66.77.88&sendport=6788&ttl=5&id=wqeqwe23&noask=11.22.33.44_111.222.333.444 ...
</pre>

kus parameetritel on järgmine sisu:

* prog: käsk
* sendip: esialgse saatja ip
* sendport: esialgse saatja port
* ttl: kui mitu otsingu-hopi veel teha (iga edasiküsimine vähendab ühe võrra)
* id: optsionaalne päringu identifikaator
* noask: optsionaalne list masinatest, kellele pole mõtet edastada (eraldajaks alakriips)

Päringu identifikaator ei pea tingimata üle terve võrgu unikaalne olema - lihtsam on ja ajab asja ära, kui
on saatva masina piires unikaalne.

prog parameeter peab ilmselt olema urlencoded, näit. midagi taolist:

<pre>
...&prog=ipconfig%20/displaydns&...
</pre>

GET-päringu vastuseks on õnnestunud päringu korral number 0,
ebaõnnestunud päringu korral muu (vea)number. Vastuse mõte on eeskätt debugimise lihtsustamine ja vastust peaks pärija üldiselt ignoreerima. P2Net peaks töötama edukalt ka juhul, kui ta saatmise peale ühenduse lihtsalt kinni paneb ja vastust kuulama ei hakka.

P2Net-le tulnud päringu edasisaatmine käib täpselt sama protokolliga, kuid edasi saadetakse veidi muudetud päring:

* ttl vähendatakse ühe võrra
* optionaalselt: lisatakse oma masina ip noask parameetrile otsa

Seejuures ei saadeta päringut edasi, kui sissetulnud ttl oli 1 võ i vähem (st ttl=0 päringuid enam kuhugi ei saadeta)

Seda päringut saab ka brauserist katsetada, kuigi brauser ei saa vastuseks midagi huvitavat peale debugimis-vastuse 0 või mingi veakoodi.

Klientide filtreerimine (juhul kui soovitakse juhtida mingit alamhulka masinatest) toimub programmi
käsurea kaudu. See osa ei ole kohustuslik vaid tuleneb konkreetsest rakendusest; protokollis see funktsionaalsus ei sisaldu.

=== Tulemuse tagastamine algsele pärijale ===

Vastus oleks http post meetodiga käivitatud programmi kogu väljundi saatmine algsele küsijale muutmata kujul
koos lisainfoga

<pre>
http://11.22.33.44:2345/result
</pre>

POST-itatud data:

<pre>
{"sendip": "55.66.77.88",
"sendport": "6788",
"id": "asasasas",
"encoding": "ascii" või "base64",
"content": "failisisustring"}
</pre>

id peaks vastama esialgse saatja antud id-le, juhul kui seda kasutatakse.
* id: esialgse päringu id (kui oli algselt antud)
* content: käsureaprogrammi väljund (kui ei ole plaintext, peaks olema base64-encodetud)
* encoding: mis formaadis content on
* sendip: tulemuse saatnud masina ip
* sendport: tulemuse saatnud masina port

Programm võiks ka mitte crashida, kui id puudu on, kuna id on optional (aga praktiline ja mõtekas on lisada).

Postituse saaja vastab eduka kättesaamise korral arvu 0,
arusaamatuste korral mõne muu (vea) numbri. Jällegi, vastuse mõte on eeskätt debugimise lihtsustamine ja vastust peaks pärija üldiselt ignoreerima. P2Net peaks töötama edukalt ka juhul, kui ta saatmise peale ühenduse lihtsalt kinni paneb ja vastust kuulama ei hakka.

== Praksi kaks osa ==

Väga soovitav on teha praks kahes osas ja esitada kaks korda ülevaatamiseks:

* Teha http protokolli järgida suutev esmane rakendus.
* Lisada sinna kogu vajalik funktsionaalsus:
** P2Net protokolli implementatsioon
** P2Net peale ehitatud rakendus (nagu data korjamine, web query hajutamine, lihtsustatud remote admin, ...). Vt ka [[#Näiterakendus]].

Http protokolli järgimise võimet kontrollitakse praksi eduka läbimise tingimusena.

== Soovitusi ja ideid ==

Arendamiseks ja testimiseks pead saama jooksutada oma masinas mitut erinevat koopiat omaenda P2Net-st, igaüks oma pordil, igaühel oma konfifail tuttavate masinatega.

Hea mõte on teha P2Net käsurealt käivitavaks nii, et ta võtab kohe käsurealt pordinumbri parameetriks ning loeb siis oma konfifaili vastavast pordinumbrist tuletatud failipathist.

P2Net peab päris kindlasti sisaldama või kasutama http serverit,
muidu ei ole temaga võimalik väljast ühendust võtta. NB! See ei tähenda mingit nö suurt veebiserverit a la apache, vaid pigem ise kirjutatud väikest minimaalset serverit, mis pealegi ei pea veebilehti serveerima ja cgi-sid käivitama, vaid ainult teatud käskudele/parameetritele reageerima.

Server tuleb realiseerida ise, kasutades võrgust leitavaid näiteid mikro-http-serveri jaoks (tüüpiliselt paar lehekülge koodi). Selliseid näitekoode võib täiesti otse kasutada.

C jaoks on sobiv mikroserver näiteks [http://www.lambda.ee/images/8/89/Itsissejuhatus_tiny.zip tiny], java jaoks
on [http://www.java2s.com/Code/Java/Tiny-Application/HttpServer.htm see server] väga hea väike näide, aga selgitava tekstita,
ning selgitavate tekstidega servereid leiad mh [http://onjava.com/pub/a/onjava/2003/04/23/java_webserver.html siit] ja
[http://fragments.turtlemeat.com/javawebserver.php siit].Loe java socketitest põhjalikumalt [http://download.oracle.com/javase/tutorial/networking/sockets/ siit]. Pythoni serverinäite [http://muharem.wordpress.com/2007/05/29/roll-your-own-server-in-50-lines-of-code/ saad siit]. Http kohta võib lugeda [http://www.jmarshall.com/easy/http/ näiteks siit].

Kasutajaliides võib olla tehtud aknaga, aga see ei ole kohustuslik: võib teha ka puhtalt käsurea rakenduse.

Rakendus on mõistlik teha nii, et annad käivitamisel ette pordi, millel ta räägib, ning kui seda porti ei ole antud, siis kasutad vaikimisi porti 1215 (1214 on Kazaa port).

Häid selgeid näiteid ja õpetusi socketite ja serveri tegemise kohta leiad veel siit:

* [http://www.prasannatech.net/2008/07/socket-programming-tutorial.html socketite kasutamise õpetus ja source C-s, javas ja pythonis]
* [http://www.jbox.dk/sanos/webserver.htm lihtne veebiserver C-s (eksootilise sanosi all)]
* [http://www.ibm.com/developerworks/systems/library/es-nweb/index.html lihtne veebiserver/klient C-s (ibm-i tutorial ja source)]
* [http://www.lambda.ee/images/8/89/Itsissejuhatus_tiny.zip tiny webserver C-s]
* [http://download.oracle.com/javase/tutorial/networking/sockets/ java socketid: klassikaline tutorial]
* [http://www.tud.ttu.ee/material/kallik/JOOP/Jutukas/ Kaarel Alliku kursuse näite-jutukas (java)]
* [http://www.rgagnon.com/javadetails/java-have-a-simple-http-server.html java http teegi kasutamine, mis kasutab socketeid sisemiselt]
* [http://tomayko.com/writings/unicorn-is-unix ruby]
* [http://jacobian.org/writing/python-is-unix/ python]
* [http://docs.python.org/library/socketserver.html pythoni üks serversocketi-teek]
* [http://beej.us/guide/bgnet/ Väga põhjalik socketite/võrguprogrammeerimise õpetus]


=== Näiterakendus ===

Sisend on list sõnadest (näiteks faili kujul, kus igal real üks unikaalne sõna). Tahaks teada saada, millised neist sõnadest on üksteisega sarnased. Väljund võiks olla mapping, kus on sõna ning siis sellega sarnaste sõnade list. Sellist asja võib vaja minna juhul, kui ma tahan mingit sisenddatat, näiteks veebist scrapetud andmeid, normaliseerida - oletame et ma otsin sõna "serials", siis võiks mind tegelikult ka huvitada kohad, kus esineb sõna "serial" (süntaktiline sarnasus) või kui ma otsin sõna "truck", siis mind võib huvitada ka "lorry" (semantiline sarnasus, mida on küll tegelikult suht keeruline tuvastada).

Kuidas sellist mappingut tekitada? Proovime kõiki sõnu üksteisega paarikaupa võrrelda. Näiteks oletame, et mul on sõnad: <code>["oma", "masinas", "mitut", "erinevat", "koopiat", "omaenda"]</code>. Hakkame võrdlema: <code>"oma"</code> ja <code>"masinas"</code> ei ole sarnased, <code>"oma"</code> ja <code>"mitut"</code> ei ole sarnased jne. kuni jõuame <code>"oma"</code> ja <code>"omaenda"</code> juurde, mis võiks olla sarnased (see sõltub täpselt sellest, kuidas sarnasus defineeritud on). Sellega on <code>"oma"</code> läbi vaadatud, järgmiseks võtame <code>"masinas"</code>. Sõnaga <code>"oma"</code> pole seda enam tarvis võrrelda, järelikult alustame paarist <code>"masinas"</code> ja <code>"mitut"</code> ja nõnda edasi kuni lõpuni. Väljund võiks olla näiteks mapping <code>{"oma" : ["omaenda"], "omaenda": ["oma"]}</code>.

Selleks tuleb vaadata ''(n(n-1))/2'' paari, ehk sellel ülesandel on polünomiaalne keerukus ''O(n^2)''. Mida see tähendab? Kui ma võtan näitena toodud kuuesõnalise listi asemel mingi realistlikuma listi, kus on 6000 sõna, siis aeg, mis selle läbi töötamisele kulub, ei kasva mitte 1000 korda vaid umbkaudu 1000000 korda. Ehk siis suht kerge on jõuda kohta, kus me enam ei viitsi tulemust ära oodata, kuna selle leidmine võtab tunde.

Antud ülesanne kuulub [http://en.wikipedia.org/wiki/Embarrassingly_parallel triviaalselt paralleelsete] ülesannete hulka. Kui meil on 60 masinat käepärast, siis saab töö nii jagada, et iga masin teeb ~1/60 vajaminevatest võrdlustest ning see võiks tuua tööaja tundidest jälle minutite peale tagasi. Kuidas asja võiks P2Neti peal teha:

* '''Partitsioneerimine'''. Oletame, et me teame, kui palju meil masinaid täpselt P2Net-iga liitunud on. Kui neid masinaid on ''k'', siis iga masin võiks võtta ''1/k''-ndiku sõnadest ette ja võrrelda neid kõigi sõnadega. Näiteks kolme masina korral meie kuuesõnalisel näitel võiks üks masin võrrelda sõna <code>"oma"</code> ja <code>"masinas"</code> kõigi teiste vastu, teine teha seda sõnadega <code>"mitut"</code> ja <code>"erinevat"</code> jne. Natuke ressurssi läheb siin raisku selle peale, et ühte paari võrreldakse kaks korda: esimene masin teeb võrdluse <code>"oma"</code> ja <code>"mitut"</code>, teine teeb ka <code>"mitut"</code> ja <code>"oma"</code>. Selle vältimisega ei ole mõtet vaeva näha, see on pigem kasulik (sellest hiljem veel). Järgmiseks tekib küsimus, kuidas juhtida masinaid nii, et me ei peaks igaühele otse käsku andma. Seda võib lahendada nii: 1.) panen päringule kaasa parameetri ''k'' ja URL-i, kust sisendandmed saab alla tõmmata 2.) iga masin arvutab <code>h=hash(omaip,omaport) % k</code> ja saab numbri ''h'' mis on vahemikus 0 kuni ''k-1''. 3.) iga masin teeb sisendandmete listist täpselt iga ''k''-nda sõna, nihkega ''h'': kui mul ''h=0'' ja masinaid on kokku 7, siis ma võtan ette sõnad 1,8,15,... .

* '''Sarnasuse arvutamine'''. Seda võib teha igat moodi, alates [http://en.wikipedia.org/wiki/Levenshtein_distance triviaalsest] kuni [http://en.wikipedia.org/wiki/List_of_natural_language_processing_toolkits#Natural_language_processing_tools põhjalikuni]; vt ka http://wordnet.princeton.edu/.

* Tulemuste kokku korjamine. See osa on ka algoritmiliselt äärmiselt lihtne. Iga masin saadab oma osalise mappingu päringu algatajale. See paneb need kokku umbes nii: kui ühest masinast saadi <code>{"koera": ["koer"]}</code> ja teisest <code>{"koera": ["koerad"]}</code>, siis kokku võiks tulla <code>{"koera":["koer", "koerad"]}</code>. Mismoodi tulemusi täpselt kokku panna, sõltub natuke, kas teie arust on sarnasuse seos sümmeetriline ja/või transitiivne.

Tähelepanelikumal tudengil võib tekkida küsimus, mis siis saab kui hash collision tekib ning mõni tükk üleliia tehakse ning mõni mitte kordagi. Selle probleemi jätame koduülesandeks, vihjeks ainult, et 1.) P2P rakendustes ei ole niikuinii mõtet loota, et kõik masinad algusest lõpuni ilusti võrgus kättesaadavad on ja ei crashi töö jooksul 2.) partitsioneerimise meetod, mida kasutasime, tekitab teatud ülekattuvuse.

Juhul kui ka selle näiterakenduse uurimine mingeid ideid ei tekitanud, võib ka sellesama asja realiseerida. Tasub ainult tähele panna, et see on tõenäoliselt natuke töömahukam, kui mõni ise välja mõeldud rakendus.

== Firewall ja NAT ==

Firewallist läbi murdmise ja kinniste portidega ühendamise probleemiga ei pea selles praksis tegelema. Samas tähendab see, et ei ole kuigi lihtne teise masinaga tegelikult ühendust saada (ühes masinas debugimise võimaldamine ongi seepärast kriitiline).

Kes P2Net käima saab, võib mõelda välja ja realiseerida probleemi lahendamiseks sobiva vaheserveri: selle eest saab ekstrapunkte.

Võrgust infot otsides leiad kahte liiki teemasid, meie jaoks oluline on siit listist teine:
* Tunneldamise artiklid, loe näiteks [http://en.wikipedia.org/wiki/HTTP_tunnel http tunnel] artiklit wikipediast ja [http://sebsauvage.net/punching/ seda artiklit] firewallist läbipääsemisest.
* UDP/TCP hole punching ja NAT traversal: arusaadava sissejuhatusena loe [http://www.h-online.com/security/features/How-Skype-Co-get-round-firewalls-747197.html Skype jms süsteemide meetoditest], sellele [http://www.portugal-a-programar.org/forum/index.php?topic=7852.0 väike täiendus]. Vaata ka [http://en.wikipedia.org/wiki/Session_Traversal_Utilities_for_NAT wikipedia utiliitide artiklit ja viiteid]. Detailsemalt/lisaks [http://www.brynosaurus.com/pub/net/p2pnat/ siit] ja [http://nutss.gforge.cis.cornell.edu/pub/imc05-tcpnat/ siit] ja [http://www.jdrosen.net/midcom_turn.html siit] ja [http://www.ietf.org/rfc/rfc3489.txt siit], keerulise vahendi leiab [http://natblaster.sourceforge.net/ siit]

NB! Seda kõike ei ole väga lihtne teha ja sinu P2Net (ja ka selle inimese P2Net, kellega suhtled) peab ka oskama seda vaheserverit kasutada. Ära hakka seda ehitama, kui nö lihtne P2Net veel ei tööta!

Ekstra-lisapunktide saamise variant: realiseeri ja pane kõigile kasutatavaks firewalliprobleemi lahendamiseks sobiv vaheserver. Kirjuta kasutamise juhend ja näited, mida teised saaks soovi korral oma P2Net jaoks tarvitada (st panna nad sinu vaheserverit kasutama, nii et seda saaks ka arvutiklassist kasutada). Esimesed kaks gruppi, kes sellega hakkama saavad, saavad lisaks pooled praksipunktid!

== Punktiarvestusest ==

Kui P2Net protokoll töötab vastu mõne teise grupi P2Net-i, sellele on realiseeritud mingi
rakendus ja koodi suudetakse seletada, saab täispunktid.

Kui teiste P2Net-programmidega ei suuda suhelda, aga iseenda koopiatega siiski, siis päris täispunkte ei saa.

Võrgurakendused II

2014-09-20T12:27:09Z

Priit:

<table>
<tr>
<td>
[[Pilt:Revolution_small.jpg|left|revolutsioon]]
</td>
<td>
Ainekood: ITV0120 
Täielik nimi: Võrgurakendused II - hajussüsteemide tehnoloogia 
Link: http://www.lambda.ee/index.php/V%C3%B5rgurakendused_II 
Punkte: 2.5 AP ehk 4 EAP 
Lektor: Tanel Tammet 
Kontakt: tanel.tammet@ttu.ee, 6203457 
Olemas on ka [[itv0040 2013 |2013 aasta materjalide arhiiv]].
</td>
</tr>
</table>

== NB! Uus aine ==

Sellest sügisest käivitus uus aine, mida saab hetkel deklareerida ja mis kehtib valikainena moodulis "Eriala valikud":
teda arvestatakse kõigil reaalselt kui selle bloki valikainet, kuigi ta ei ole (vanemates)
õppekavaversioonides nähtavalt sees.

Vaata lähemalt http://lambda.ee/wiki/Tarkvaraarenduse_meeskonnaprojekt

== Aeg, koht ==

Semester: sügis 
Tulemus: eksam 
Hindamise meetod: praktikumide tulemused (pool) pluss eksam (teine pool) 

Loeng: kolmapäeval 16:00-17:30 ruumis CYB-VEENUS 
Praktikum: neljapäeval 17:45-19:15 arvutiklassis ICT-501 (praktikumijuhendaja Priit Järv)

== Praktilised tööd ja tähtajad ==

Töid võib teha 1-3 inimesest grupina.

Kokku on töid 2. Kumbki praktikum täismahus tehtuna annab 25 punkti, sellele võivad lisanduda ekstrapunktid. Puudulikult tehtud töö punktiarv jääb alla 25 punkti. Hilinenud kodutöö eest saab pooled muidu saadaolevad punktid. Töid tuleb esitada praktikumi ajal, projektori abil, väikese ülevaatena kõigile tudengitele.

* 1. Tähtaeg 23. oktoober. Kaks alternatiivi, mille vahel võid ise valida:
** [[Vorgurakendused 2 prax 1 2014 | 1 praks]]
** Teha ise katseid või rakendus õppejõuga eelnevalt kokku lepitud teemal (apid, protokollid) ja teha väike loeng/ülevaade katsetest/rakendusest.

Järgmine ülesanne on aastast 2013, neid ei tule teha! Uued ülesanded tulevad veidi sarnased ja ilmuvad siia
oktoobri keskel.

* 2. Tähtaeg 18. detsember. Kaks alternatiivi:
** [[Vorgurakendused 2 prax 2 2013 | 2 praks: android ja google app engine]]. NB! Hea kogumiku teemadeks jaotatud tutorialitest [https://github.com/thecodepath/android_guides/wiki leiad siit].
** Teha ise katseid või rakendus õppejõuga eelnevalt kokku lepitud teemal (mobiilirakendused ja pilvekeskkonnad) ja teha väike loeng/ülevaade katsetest/rakendusest.

== Kursus varasematel aastatel ==

* I periood: Tammet (hajutatud failisüst, dns, p2p, ...) http://deepthought.ttu.ee/it/vorgutarkvara/wav4101/
* II periood: Grauen (eelmise jätk) http://cs.ttu.ee/kursused/itv0040/
* III periood: Kadastik (sõnumivahetus) http://cs.ttu.ee/tiki-index.php?page=ITV0040-2008
* IV periood: Tammet http://www.lambda.ee/index/itv0040

== Esialgne loengukava ==

Kursus jaguneb laias laastus neljaks teemaks:

* Protokollid, P2P, andme-apid võrgus (neil teemadel esimene praks, autentimine
* Mobiilirakendused ja pilvekeskkonnad (neil teemadel teine praks)
* Paralleelrehkendused
* Andmete hajutamine ja hajutatud andmete koondamine

Loengute esialgne plaan:

*1. Detailsem ülevaade kursuse sisust, sissejuhatus 1. praktikumi, protokollide algus, http, json

:Http ja json: [[võrgurakenduste protokollid 1]]
:Üldist materjali ja kursusi mujalt:
:http://en.wikipedia.org/wiki/Distributed_computing
:http://dcg.ethz.ch/lectures/podc_allstars/index.html
:http://www.eecs.harvard.edu/cs262/
:http://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-824-distributed-computer-systems-engineering-spring-2006/index.htm
:http://www.stanford.edu/class/cs244b/

*2. Praktikumi lisadetaile, protokollide jätk, xml ja xml põhised protokollid xml-rpc ja soap
:xml protokollid xml-rpc, soap ja seotud tehnoloogiad: [[võrgurakenduste protokollid 2]]
:Probleemidest: [[veebiteenuste võlu ja valu]] ja [http://harmful.cat-v.org/software/xml/soap/simple s stands for simple]

*3. Protokollide jätk ja P2P sissejuhatus
: REST, binary protokollid, XMPP: [[võrgurakenduste protokollid 3]]
:P2P sissejuhatus:
:[http://en.wikipedia.org/wiki/Peer-to-peer vikipeedia ülevaade]



:[http://www14.in.tum.de/personen/schmiste/dynamo08.ppt hea detailne ülevaade eri P2P tehnoloogiatest]

*4. P2P jätk: DHT (distributed hash tables) ja bittorrent
:[http://en.wikipedia.org/wiki/Distributed_hash_table ülevaade wikipedias]
:Chord:
:Põhimaterjal - [http://pdos.csail.mit.edu/rtm/slides/harvard02.ppt Chordi põhimõtted] - lugeda kuni Ivy osani (Ivy on antud juhul teemaväline)

:Lisaks tasuks veidi uurida artikleid [http://en.wikipedia.org/wiki/Chord_%28peer-to-peer%29 wikipedia] sissekande lõpus (external links)
:Kademlia:
:Põhimaterjal [http://www.cs.uiowa.edu/~ghosh/kademlia.ppt presentatsioon autoritelt]
:Täiendavalt [http://pdos.csail.mit.edu/~petar/papers/maymounkov-kademlia-lncs.pdf autorite artikkel]
:Bittorrent:
:[http://www.cs.uiowa.edu/~ghosh/bittorrent.ppt bittorrenti protokoll ja ülevaade]
:[http://en.wikipedia.org/wiki/BitTorrent_%28protocol%29 täiendavalt wikipediast]

*5. Suured avalikud andme-apid.
: [[Andme-apide märkmed loengust]]

*6. Autentimine: facebook, google, id-kaart.

*7. Pilvekeskkonnad, eriti: Google appengine, database api, google bigtable and file system stack
:http://code.google.com/appengine/

*8: Sissejuhatus 2. praktikumi, Androidi rakenduste ehitamine
:http://developer.android.com/index.html

*9. Mobiilirakenduste tegemine üldisemalt
:Mobi [[Media:Mobi android lecture.pdf|loengu pdf]]
:Mobi [https://github.com/madisp/PostimeesRss loengu koodi link]

*10. Paralleliseerimine ja efektiivsus: ip/tcp, socketid, http jne
: http näited

*11. Mmapreduce framework for automating app parallelization + memcached
:Hea [http://www.google.com/url?sa=t&source=web&cd=2&ved=0CBkQxQEwAQ&url=http%3A%2F%2Fdocs.google.com%2Fviewer%3Fa%3Dv%26q%3Dcache%3AziVIMWHr2GsJ%3Anet.pku.edu.cn%2F~course%2Fcs501%2F2008%2Fresource%2Fmapreduce_in_a_week%2Fllm3-mapreduce.ppt%2Bgoogle%2Bmapreduce%2Btheory%2Band%2Bimplementation%2BChristophe%2BBisciglia%2C%2BAaron%2BKimball%2Bllm3%26hl%3Den%26pid%3Dbl%26srcid%3DADGEESiMwU-9htEZEAthU5bRtGGBQgkzwUf5vM549R-6QBooeBv10FFd-GLvrklDHx-RhI3OehhNio1E7m5GvwKyKK9ndM6oNbDO3LERl8M8YSZ5tdO4bRQ3PEs8sQ6_sdJVIF_Splx7%26sig%3DAHIEtbQVGyhnhEx0aTA0W7okwP8KdVqG1w&rct=j&q=google%20mapreduce%20theory%20and%20implementation%20Christophe%20Bisciglia%2C%20Aaron%20Kimball%20llm3&ei=plH_TPWOI4ay8gPVss2MCw&usg=AFQjCNE9y0GiXVo_hNWPmywfUjt_3ZhQqg&cad=rja Mapreduce sissejuhatus]
:Mapreduce [http://static.googleusercontent.com/external_content/untrusted_dlcp/labs.google.com/en//papers/mapreduce-osdi04.pdf klassikaline põhiartikkel]
:[http://www.majordojo.com/2007/03/memcached-howto.php memcached ülevaade]

*12. Paralleelrehkendused. Andmebaasid, lukustamine ja transaktsioonid.
:Paralleelsus andmebaasides, [[Media:na2_ccdb.pdf|konspekt]] ja [[Media:na2_ccdb_slides.pdf|slaidid]]
:Transaktsioonide sissejuhatuse [[Media:11-transactions.pdf|alternatiivsed slaidid]]

*13. Paralleelrehkendused jätkuvad.
:Sünkroniseerimisprimitiivid, [[Media:na2_sync.pdf|konspekt]] ja [[Media:na2_sync_slides.pdf|slaidid]]
:Lisaks [[Media:Locking_v2.ppt|T.Tammeti slaidid]]

*14. Andmelaod.

*15. Hajutatud andmekogude integreerimine. Vaata ka linke:
: [http://momjian.us/main/writings/pgsql/replication.pdf Postgres replication intro]
: [http://wiki.postgresql.org/wiki/Replication,_Clustering,_and_Connection_Pooling Postgres clustering and replication]
: [http://www.postgresql.org/docs/current/interactive/high-availability.html Postgres high availability]
: [http://goanna.cs.rmit.edu.au/~e76763/tiger_ref/lkmt10-dnis.pdf Integrating distributed sem web data]
: [http://docs.oracle.com/cd/B28359_01/server.111/b28318/integrat.htm Oracle information integration]

*16. Lisamaterjalidena [[võrgurakendused 2: täiendavad lingid]], [[Sehke speci draft]]

[[Category:Kursus]]

Fail:Na2 sync slides.pdf

2014-09-20T12:24:59Z

Priit:

Fail:Na2 sync.pdf

2014-09-20T12:24:21Z

Priit:

Fail:Na2 ccdb slides.pdf

2014-09-20T12:23:25Z

Priit:

Fail:Na2 ccdb.pdf

2014-09-20T12:22:47Z

Priit:

Võrgurakendused II

2014-09-20T12:22:04Z

Priit: uued materjalid lukustamine/spinlock

<table>
<tr>
<td>
[[Pilt:Revolution_small.jpg|left|revolutsioon]]
</td>
<td>
Ainekood: ITV0120 
Täielik nimi: Võrgurakendused II - hajussüsteemide tehnoloogia 
Link: http://www.lambda.ee/index.php/V%C3%B5rgurakendused_II 
Punkte: 2.5 AP ehk 4 EAP 
Lektor: Tanel Tammet 
Kontakt: tanel.tammet@ttu.ee, 6203457 
Olemas on ka [[itv0040 2013 |2013 aasta materjalide arhiiv]].
</td>
</tr>
</table>

== NB! Uus aine ==

Sellest sügisest käivitus uus aine, mida saab hetkel deklareerida ja mis kehtib valikainena moodulis "Eriala valikud":
teda arvestatakse kõigil reaalselt kui selle bloki valikainet, kuigi ta ei ole (vanemates)
õppekavaversioonides nähtavalt sees.

Vaata lähemalt http://lambda.ee/wiki/Tarkvaraarenduse_meeskonnaprojekt

== Aeg, koht ==

Semester: sügis 
Tulemus: eksam 
Hindamise meetod: praktikumide tulemused (pool) pluss eksam (teine pool) 

Loeng: kolmapäeval 16:00-17:30 ruumis CYB-VEENUS 
Praktikum: neljapäeval 17:45-19:15 arvutiklassis ICT-501 (praktikumijuhendaja Priit Järv)

== Praktilised tööd ja tähtajad ==

Töid võib teha 1-3 inimesest grupina.

Kokku on töid 2. Kumbki praktikum täismahus tehtuna annab 25 punkti, sellele võivad lisanduda ekstrapunktid. Puudulikult tehtud töö punktiarv jääb alla 25 punkti. Hilinenud kodutöö eest saab pooled muidu saadaolevad punktid. Töid tuleb esitada praktikumi ajal, projektori abil, väikese ülevaatena kõigile tudengitele.

* 1. Tähtaeg 23. oktoober. Kaks alternatiivi, mille vahel võid ise valida:
** [[Vorgurakendused 2 prax 1 2014 | 1 praks]]
** Teha ise katseid või rakendus õppejõuga eelnevalt kokku lepitud teemal (apid, protokollid) ja teha väike loeng/ülevaade katsetest/rakendusest.

Järgmine ülesanne on aastast 2013, neid ei tule teha! Uued ülesanded tulevad veidi sarnased ja ilmuvad siia
oktoobri keskel.

* 2. Tähtaeg 18. detsember. Kaks alternatiivi:
** [[Vorgurakendused 2 prax 2 2013 | 2 praks: android ja google app engine]]. NB! Hea kogumiku teemadeks jaotatud tutorialitest [https://github.com/thecodepath/android_guides/wiki leiad siit].
** Teha ise katseid või rakendus õppejõuga eelnevalt kokku lepitud teemal (mobiilirakendused ja pilvekeskkonnad) ja teha väike loeng/ülevaade katsetest/rakendusest.

== Kursus varasematel aastatel ==

* I periood: Tammet (hajutatud failisüst, dns, p2p, ...) http://deepthought.ttu.ee/it/vorgutarkvara/wav4101/
* II periood: Grauen (eelmise jätk) http://cs.ttu.ee/kursused/itv0040/
* III periood: Kadastik (sõnumivahetus) http://cs.ttu.ee/tiki-index.php?page=ITV0040-2008
* IV periood: Tammet http://www.lambda.ee/index/itv0040

== Esialgne loengukava ==

Kursus jaguneb laias laastus neljaks teemaks:

* Protokollid, P2P, andme-apid võrgus (neil teemadel esimene praks, autentimine
* Mobiilirakendused ja pilvekeskkonnad (neil teemadel teine praks)
* Paralleelrehkendused
* Andmete hajutamine ja hajutatud andmete koondamine

Loengute esialgne plaan:

*1. Detailsem ülevaade kursuse sisust, sissejuhatus 1. praktikumi, protokollide algus, http, json

:Http ja json: [[võrgurakenduste protokollid 1]]
:Üldist materjali ja kursusi mujalt:
:http://en.wikipedia.org/wiki/Distributed_computing
:http://dcg.ethz.ch/lectures/podc_allstars/index.html
:http://www.eecs.harvard.edu/cs262/
:http://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-824-distributed-computer-systems-engineering-spring-2006/index.htm
:http://www.stanford.edu/class/cs244b/

*2. Praktikumi lisadetaile, protokollide jätk, xml ja xml põhised protokollid xml-rpc ja soap
:xml protokollid xml-rpc, soap ja seotud tehnoloogiad: [[võrgurakenduste protokollid 2]]
:Probleemidest: [[veebiteenuste võlu ja valu]] ja [http://harmful.cat-v.org/software/xml/soap/simple s stands for simple]

*3. Protokollide jätk ja P2P sissejuhatus
: REST, binary protokollid, XMPP: [[võrgurakenduste protokollid 3]]
:P2P sissejuhatus:
:[http://en.wikipedia.org/wiki/Peer-to-peer vikipeedia ülevaade]



:[http://www14.in.tum.de/personen/schmiste/dynamo08.ppt hea detailne ülevaade eri P2P tehnoloogiatest]

*4. P2P jätk: DHT (distributed hash tables) ja bittorrent
:[http://en.wikipedia.org/wiki/Distributed_hash_table ülevaade wikipedias]
:Chord:
:Põhimaterjal - [http://pdos.csail.mit.edu/rtm/slides/harvard02.ppt Chordi põhimõtted] - lugeda kuni Ivy osani (Ivy on antud juhul teemaväline)

:Lisaks tasuks veidi uurida artikleid [http://en.wikipedia.org/wiki/Chord_%28peer-to-peer%29 wikipedia] sissekande lõpus (external links)
:Kademlia:
:Põhimaterjal [http://www.cs.uiowa.edu/~ghosh/kademlia.ppt presentatsioon autoritelt]
:Täiendavalt [http://pdos.csail.mit.edu/~petar/papers/maymounkov-kademlia-lncs.pdf autorite artikkel]
:Bittorrent:
:[http://www.cs.uiowa.edu/~ghosh/bittorrent.ppt bittorrenti protokoll ja ülevaade]
:[http://en.wikipedia.org/wiki/BitTorrent_%28protocol%29 täiendavalt wikipediast]

*5. Suured avalikud andme-apid.
: [[Andme-apide märkmed loengust]]

*6. Autentimine: facebook, google, id-kaart.

*7. Pilvekeskkonnad, eriti: Google appengine, database api, google bigtable and file system stack
:http://code.google.com/appengine/

*8: Sissejuhatus 2. praktikumi, Androidi rakenduste ehitamine
:http://developer.android.com/index.html

*9. Mobiilirakenduste tegemine üldisemalt
:Mobi [[Media:Mobi android lecture.pdf|loengu pdf]]
:Mobi [https://github.com/madisp/PostimeesRss loengu koodi link]

*10. Paralleliseerimine ja efektiivsus: ip/tcp, socketid, http jne
: http näited

*11. Mmapreduce framework for automating app parallelization + memcached
:Hea [http://www.google.com/url?sa=t&source=web&cd=2&ved=0CBkQxQEwAQ&url=http%3A%2F%2Fdocs.google.com%2Fviewer%3Fa%3Dv%26q%3Dcache%3AziVIMWHr2GsJ%3Anet.pku.edu.cn%2F~course%2Fcs501%2F2008%2Fresource%2Fmapreduce_in_a_week%2Fllm3-mapreduce.ppt%2Bgoogle%2Bmapreduce%2Btheory%2Band%2Bimplementation%2BChristophe%2BBisciglia%2C%2BAaron%2BKimball%2Bllm3%26hl%3Den%26pid%3Dbl%26srcid%3DADGEESiMwU-9htEZEAthU5bRtGGBQgkzwUf5vM549R-6QBooeBv10FFd-GLvrklDHx-RhI3OehhNio1E7m5GvwKyKK9ndM6oNbDO3LERl8M8YSZ5tdO4bRQ3PEs8sQ6_sdJVIF_Splx7%26sig%3DAHIEtbQVGyhnhEx0aTA0W7okwP8KdVqG1w&rct=j&q=google%20mapreduce%20theory%20and%20implementation%20Christophe%20Bisciglia%2C%20Aaron%20Kimball%20llm3&ei=plH_TPWOI4ay8gPVss2MCw&usg=AFQjCNE9y0GiXVo_hNWPmywfUjt_3ZhQqg&cad=rja Mapreduce sissejuhatus]
:Mapreduce [http://static.googleusercontent.com/external_content/untrusted_dlcp/labs.google.com/en//papers/mapreduce-osdi04.pdf klassikaline põhiartikkel]
:[http://www.majordojo.com/2007/03/memcached-howto.php memcached ülevaade]

*12. Paralleelrehkendused. Andmebaasid, lukustamine ja transaktsioonid.
:[[Media:na2_ccdb.pdf|Konspekt]] ja [[Media:na2_ccdb_slides.pdf|slaidid]]
:Transaktsioonide sissejuhatuse [[Media:11-transactions.pdf|alternatiivsed slaidid]]

*13. Paralleelrehkendused jätkuvad.
:[[Media:na2_sync.pdf|Konspekt]] ja [[Media:na2_sync_slides.pdf|slaidid]]
:Lisaks [[Media:Locking_v2.ppt|T.Tammeti slaidid]]

*14. Andmelaod.

*15. Hajutatud andmekogude integreerimine. Vaata ka linke:
: [http://momjian.us/main/writings/pgsql/replication.pdf Postgres replication intro]
: [http://wiki.postgresql.org/wiki/Replication,_Clustering,_and_Connection_Pooling Postgres clustering and replication]
: [http://www.postgresql.org/docs/current/interactive/high-availability.html Postgres high availability]
: [http://goanna.cs.rmit.edu.au/~e76763/tiger_ref/lkmt10-dnis.pdf Integrating distributed sem web data]
: [http://docs.oracle.com/cd/B28359_01/server.111/b28318/integrat.htm Oracle information integration]

*16. Lisamaterjalidena [[võrgurakendused 2: täiendavad lingid]], [[Sehke speci draft]]

[[Category:Kursus]]

Vorgurakendused 2 prax 1 2014

2014-09-11T23:30:17Z

Priit:

<table>
<tr>
<td>

</td>
<td>
P2Net - P2P botnet
</td>
</tr>

</table>

JUHENDI SEIS: Ülesande, s.h. protokolli kirjeldus paigas. Detailid võivad natuke muutuda, aga mitte nii et see juba alustatud tööd segaks.

Ülesandeks on ehitada P2P rakendus P2Net programmide (käsurea kujul) käivitamiseks võõrastes masinates ja rehkendustulemuste kättesaamiseks, mis teeb laviinitaolise otsingu mööda P2Net klient/servereid, isetehtud P2P mehhanismi abil.

Kasutajaliidese hea kvaliteet ei ole praksis oluline.

Huvi korral võid vaadata ka veidi sarnaseid vanu ülesandeid [[Võrgurakendused 2013 prax 1 |2013 aasta arhiivis]] ning sealt edasi vanemaid.

== Üldkirjeldus ==

P2Net võimaldab:

* kasutajal käivitada võõrastes masinatest käsurea.
* saada tagasi käsurea rehkendatud tulemus(tekst/binary vms blob).
* idee on selle peale ehitada mingi rakendus, näit:
** mingite mahukate arvutuste jaotamine masinate vahel
** web scrapingu (näit google otsingu) load balancing
** kaugadministreerimine
** ...

Võõraste masinate leidmiseks kasutab P2Net järgmist viisi:

* Saadab tema oma masinas oleva faili machines.txt masinatele käsu. machines.txt sees on masinate ip ja pordid json listina kujul
<pre>
[["11.22.33.44","2345"],...,["111.222.333.444","23456"]]
</pre>

* Samamoodi saadab käivitus-päringu P2Net startlehel http://dijkstra.cs.ttu.ee/~tammet/P2Net.txt olevatele masinatele (startlehel on plaintekstina eelmises punktis näidatud formaadis json-fail)
* Kui mingi masin saab minu päringu-käsurea kätte, siis ta paneb selle kohapeal käsureal käima ja saadab tulemuse päringu algatanud masinasse.
* Iga võõras masin, mis algselt minu käest tulnud päringu saab, saadab ta omakorda kõigile talle teadaolevatele edasi, vähendades seejuures nn ttl (time to live) counti, et päringud lõpmatult rändama ei jääks.

Ehk, masinad saadavad minu antud päringut rekursiivselt ise edasi.

Pane tähele, et sinu P2Net ei pea üldse salvestama võõraste P2Net-ide ip-sid ja porte! Samas ei ole ka kuidagi keelatud (debugimiseks või niisama huvi pärast vms) salvestada teiste P2Net-ide ip-sid, mida saab teada näiteks sulle tulnud päringutest, sulle vastajate ip-dest ja miks mitte ka portscannides :)

== Miks just selline päringu edasisaatmisviis? ==

Põhimõtteliselt saab päringut massidesse P2P meetoditega laiali saata kahel viisil:

* Iteratiivne meetod (antud praksis seda ei kasuta): algne masin küsib tuttavatelt neile tuttavate masinate faile, ja suurendab seeläbi endale teadaolevate masinate hulka. Igalt uuelt teadasaadud masinalt küsib ta jälle selle masina tuttavate faile jne. Teised masinad algset päringut ise kuhugi edasi ei saada. Meetodi pluss on see, et algne masin saab lihtsalt tagada, et päringut ei saadetaks kaks korda samale masinale. Meetodi miinus on see, et kõik masinad võrgus saadavad lõpuks terve neile tuttavate masinate faili algsele masinale: see tähendab väga suurt hulka väga suurte failide saatmisi, mis hakkavad jõhkralt ummistama võrku, ja algse masina väike kanal tõenäoliselt ummistub varsti. Saadud failide ühisosad on väga suured. Halvemal juhul saab algne masin N identset sõnumit, kus igaühes on N ip-d, kus N on kõigi masinate arv, kus jookseb P2Net.

* Rekursiivne meetod (antud praksis nõutud): algne masin saadab oma päringu tuttavatele masinatele, kes selle omakorda enda tuttavatele edasi saadavad jne. Igüks, kes leiab enda failide hulgast vajaliku faili, saadab info algsele masinale (vastasel korral ei saada ta algsele masinale midagi). Algne masin ei suurenda endale teadaolevate masinate hulka. Meetodi pluss on see, et algsele masinale saadetakse tagasi infot ainult siis, kui vajalik info leitakse (väga väike protsent masinaid) ja see info on lühike. Koormus võrgule langeb tugevasti ja algse masina kanal tõenäoliselt ei ummistu. Meetodi miinus on asjaolu, et üks ja sama masin võib saada algse päringu mitu korda eri suundadest, mis jällegi kasvatab võrgu koormust. Seda viimast probleemi saab mitmel moel leevendada (kuigi mitte täielikult kaotada), eeskätt päringu ttl (time to live) parameetrit kasutades, päringu ahela masinate lisamises päringu parameetrite hulka jne.

Gnutella kasutab rekursiivset meetodit, nii ka meie P2Net. Lihtsakoeline rekursiivne meetod ummistab suure klientide arvu korral võrgu ja sele asemel kasutavad suured P2P süsteemid kas:
* struktureeritud nn superpeeride süsteemi a la Kazaa ja esialgne Skype, kus rekursiivne päring toimub ainult superpeeride vahel, ja neid on vähe, või
* väga kavalat nn distributed hash tables (DHT) mehhanismi, a la freenet ja (osaliselt) bittorrent. DHT on üks mitmest bittorrenti poolt kasutatud meetodist, kuigi bittorrenti põhifookus on hoopis faili paralleelse allatõmbamise optimeerimisel mitme masina koostöös, mitte masinate/failide leidmisel. Või:
* kasutavad masinate leidmiseks eeskätt tsentraalseid servereid, a la esialgne Napster või kaasaegne Skype

== Tehnilised nõuded ==

Programmeerimiskeele ja muu tehnoloogia valik on vaba, kuid rakendus peab vastama neile tingimustele:

* Kogu programm peab töötama kas ITC-maja klassi arvutis või sinu oma läptopis, mis ITC maja klassis kaasas. Mingit kaugel asuvat serverit põhirakenduse jaoks kasutada ei tohi. Arusaadavalt võib aga panna P2Net lisaks käima ka suvalistesse välistesse masinatesse.
* Http protokolli jms realisatsioon peab olema teie oma programmi osa, mingit "suurt" http serverit a la apache kasutada ei või. Kõikvõimalike võrguteekide (versus eraldiseisvad veebiserverid) kasutamine on ok, mikroserverite koodi integreerimine oma programmi on ok.

== Protokoll ==

=== Otsipäringu saatmine ja edasisaatmine ===

Konkreetsele masinale 11.22.33.44 (kus P2Net jookseb pordis 2345) käsu saatmine

<pre>
http://11.22.33.44:2345/run?prog=käsurida&sendip=55.66.77.88&sendport=6788&ttl=5&id=wqeqwe23&noask=11.22.33.44_111.222.333.444 ...
</pre>

kus parameetritel on järgmine sisu:

* prog: käsk
* sendip: esialgse saatja ip
* sendport: esialgse saatja port
* ttl: kui mitu otsingu-hopi veel teha (iga edasiküsimine vähendab ühe võrra)
* id: optsionaalne päringu identifikaator
* noask: optsionaalne list masinatest, kellele pole mõtet edastada (eraldajaks alakriips)

Päringu identifikaator ei pea tingimata üle terve võrgu unikaalne olema - lihtsam on ja ajab asja ära, kui
on saatva masina piires unikaalne.

prog parameeter peab ilmselt olema urlencoded, näit. midagi taolist:

<pre>
...&prog=ipconfig%20/displaydns&...
</pre>

GET-päringu vastuseks on õnnestunud päringu korral number 0,
ebaõnnestunud päringu korral muu (vea)number. Vastuse mõte on eeskätt debugimise lihtsustamine ja vastust peaks pärija üldiselt ignoreerima. P2Net peaks töötama edukalt ka juhul, kui ta saatmise peale ühenduse lihtsalt kinni paneb ja vastust kuulama ei hakka.

P2Net-le tulnud päringu edasisaatmine käib täpselt sama protokolliga, kuid edasi saadetakse veidi muudetud päring:

* ttl vähendatakse ühe võrra
* optionaalselt: lisatakse oma masina ip noask parameetrile otsa

Seejuures ei saadeta päringut edasi, kui sissetulnud ttl oli 1 võ i vähem (st ttl=0 päringuid enam kuhugi ei saadeta)

Seda päringut saab ka brauserist katsetada, kuigi brauser ei saa vastuseks midagi huvitavat peale debugimis-vastuse 0 või mingi veakoodi.

Klientide filtreerimine (juhul kui soovitakse juhtida mingit alamhulka masinatest) toimub programmi
käsurea kaudu. See osa ei ole kohustuslik vaid tuleneb konkreetsest rakendusest; protokollis see funktsionaalsus ei sisaldu.

=== Tulemuse tagastamine algsele pärijale ===

Vastus oleks http post meetodiga käivitatud programmi kogu väljundi saatmine algsele küsijale muutmata kujul
koos lisainfoga

<pre>
http://11.22.33.44:2345/result
</pre>

POST-itatud data:

<pre>
{"sendip": "55.66.77.88",
"sendport": "6788",
"id": "asasasas",
"encoding": "ascii" või "base64",
"content": "failisisustring"}
</pre>

id peaks vastama esialgse saatja antud id-le, juhul kui seda kasutatakse.
* id: esialgse päringu id (kui oli algselt antud)
* content: käsureaprogrammi väljund (kui ei ole plaintext, peaks olema base64-encodetud)
* encoding: mis formaadis content on
* sendip: tulemuse saatnud masina ip
* sendport: tulemuse saatnud masina port

Programm võiks ka mitte crashida, kui id puudu on, kuna id on optional (aga praktiline ja mõtekas on lisada).

Postituse saaja vastab eduka kättesaamise korral arvu 0,
arusaamatuste korral mõne muu (vea) numbri. Jällegi, vastuse mõte on eeskätt debugimise lihtsustamine ja vastust peaks pärija üldiselt ignoreerima. P2Net peaks töötama edukalt ka juhul, kui ta saatmise peale ühenduse lihtsalt kinni paneb ja vastust kuulama ei hakka.

== Praksi kaks osa ==

Väga soovitav on teha praks kahes osas ja esitada kaks korda ülevaatamiseks:

* Teha http protokolli järgida suutev esmane rakendus.
* Lisada sinna kogu vajalik funktsionaalsus.

Http protokolli järgimise võimet kontrollitakse praksi eduka läbimise tingimusena.

== Soovitusi ja ideid ==

Arendamiseks ja testimiseks pead saama jooksutada oma masinas mitut erinevat koopiat omaenda P2Net-st, igaüks oma pordil, igaühel oma konfifail tuttavate masinatega.

Hea mõte on teha P2Net käsurealt käivitavaks nii, et ta võtab kohe käsurealt pordinumbri parameetriks ning loeb siis oma konfifaili vastavast pordinumbrist tuletatud failipathist.

P2Net peab päris kindlasti sisaldama või kasutama http serverit,
muidu ei ole temaga võimalik väljast ühendust võtta. NB! See ei tähenda mingit nö suurt veebiserverit a la apache, vaid pigem ise kirjutatud väikest minimaalset serverit, mis pealegi ei pea veebilehti serveerima ja cgi-sid käivitama, vaid ainult teatud käskudele/parameetritele reageerima.

Server tuleb realiseerida ise, kasutades võrgust leitavaid näiteid mikro-http-serveri jaoks (tüüpiliselt paar lehekülge koodi). Selliseid näitekoode võib täiesti otse kasutada.

C jaoks on sobiv mikroserver näiteks [http://www.lambda.ee/images/8/89/Itsissejuhatus_tiny.zip tiny], java jaoks
on [http://www.java2s.com/Code/Java/Tiny-Application/HttpServer.htm see server] väga hea väike näide, aga selgitava tekstita,
ning selgitavate tekstidega servereid leiad mh [http://onjava.com/pub/a/onjava/2003/04/23/java_webserver.html siit] ja
[http://fragments.turtlemeat.com/javawebserver.php siit].Loe java socketitest põhjalikumalt [http://download.oracle.com/javase/tutorial/networking/sockets/ siit]. Pythoni serverinäite [http://muharem.wordpress.com/2007/05/29/roll-your-own-server-in-50-lines-of-code/ saad siit]. Http kohta võib lugeda [http://www.jmarshall.com/easy/http/ näiteks siit].

Kasutajaliides võib olla tehtud aknaga, aga see ei ole kohustuslik: võib teha ka puhtalt käsurea rakenduse.

Rakendus on mõistlik teha nii, et annad käivitamisel ette pordi, millel ta räägib, ning kui seda porti ei ole antud, siis kasutad vaikimisi porti 1215 (1214 on Kazaa port).

Häid selgeid näiteid ja õpetusi socketite ja serveri tegemise kohta leiad veel siit:

* [http://www.prasannatech.net/2008/07/socket-programming-tutorial.html socketite kasutamise õpetus ja source C-s, javas ja pythonis]
* [http://www.jbox.dk/sanos/webserver.htm lihtne veebiserver C-s (eksootilise sanosi all)]
* [http://www.ibm.com/developerworks/systems/library/es-nweb/index.html lihtne veebiserver/klient C-s (ibm-i tutorial ja source)]
* [http://www.lambda.ee/images/8/89/Itsissejuhatus_tiny.zip tiny webserver C-s]
* [http://download.oracle.com/javase/tutorial/networking/sockets/ java socketid: klassikaline tutorial]
* [http://www.tud.ttu.ee/material/kallik/JOOP/Jutukas/ Kaarel Alliku kursuse näite-jutukas (java)]
* [http://www.rgagnon.com/javadetails/java-have-a-simple-http-server.html java http teegi kasutamine, mis kasutab socketeid sisemiselt]
* [http://tomayko.com/writings/unicorn-is-unix ruby]
* [http://jacobian.org/writing/python-is-unix/ python]
* [http://docs.python.org/library/socketserver.html pythoni üks serversocketi-teek]
* [http://beej.us/guide/bgnet/ Väga põhjalik socketite/võrguprogrammeerimise õpetus]


== Firewall ja NAT ==

Firewallist läbi murdmise ja kinniste portidega ühendamise probleemiga ei pea selles praksis tegelema. Samas tähendab see, et ei ole kuigi lihtne teise masinaga tegelikult ühendust saada (ühes masinas debugimise võimaldamine ongi seepärast kriitiline).

Kes P2Net käima saab, võib mõelda välja ja realiseerida probleemi lahendamiseks sobiva vaheserveri: selle eest saab ekstrapunkte.

Võrgust infot otsides leiad kahte liiki teemasid, meie jaoks oluline on siit listist teine:
* Tunneldamise artiklid, loe näiteks [http://en.wikipedia.org/wiki/HTTP_tunnel http tunnel] artiklit wikipediast ja [http://sebsauvage.net/punching/ seda artiklit] firewallist läbipääsemisest.
* UDP/TCP hole punching ja NAT traversal: arusaadava sissejuhatusena loe [http://www.h-online.com/security/features/How-Skype-Co-get-round-firewalls-747197.html Skype jms süsteemide meetoditest], sellele [http://www.portugal-a-programar.org/forum/index.php?topic=7852.0 väike täiendus]. Vaata ka [http://en.wikipedia.org/wiki/Session_Traversal_Utilities_for_NAT wikipedia utiliitide artiklit ja viiteid]. Detailsemalt/lisaks [http://www.brynosaurus.com/pub/net/p2pnat/ siit] ja [http://nutss.gforge.cis.cornell.edu/pub/imc05-tcpnat/ siit] ja [http://www.jdrosen.net/midcom_turn.html siit] ja [http://www.ietf.org/rfc/rfc3489.txt siit], keerulise vahendi leiab [http://natblaster.sourceforge.net/ siit]

NB! Seda kõike ei ole väga lihtne teha ja sinu P2Net (ja ka selle inimese P2Net, kellega suhtled) peab ka oskama seda vaheserverit kasutada. Ära hakka seda ehitama, kui nö lihtne P2Net veel ei tööta!

Ekstra-lisapunktide saamise variant: realiseeri ja pane kõigile kasutatavaks firewalliprobleemi lahendamiseks sobiv vaheserver. Kirjuta kasutamise juhend ja näited, mida teised saaks soovi korral oma P2Net jaoks tarvitada (st panna nad sinu vaheserverit kasutama, nii et seda saaks ka arvutiklassist kasutada). Esimesed kaks gruppi, kes sellega hakkama saavad, saavad lisaks pooled praksipunktid!

== Seda kohta pole vaja lugeda ==

<pre>
F3AA34

base64

utf-8 moodi????
</pre>

== Punktiarvestusest ==

Kui kõik eelnimetatu töötab vastu mõne teise grupi P2Net-i ja
koodi suudetakse seletada, saab täispunktid.

Kui teiste P2Net-programmidega ei suuda suhelda, aga iseenda koopiatega siiski, siis päris täispunkte ei saa.

Vorgurakendused 2 prax 1 2014

2014-09-11T23:23:46Z

Priit:

<table>
<tr>
<td>

</td>
<td>
P2Net - P2P botnet
</td>
</tr>

</table>

JUHENDI SEIS: Ülesande, s.h. protokolli kirjeldus paigas. Detailid võivad natuke muutuda, aga mitte nii et see juba alustatud tööd segaks.

Ülesandeks on ehitada P2P rakendus P2Net programmide (käsurea kujul) käivitamiseks võõrastes masinates ja rehkendustulemuste kättesaamiseks, mis teeb laviinitaolise otsingu mööda P2Net klient/servereid, isetehtud P2P mehhanismi abil.

Kasutajaliidese hea kvaliteet ei ole praksis oluline.

Huvi korral võid vaadata ka veidi sarnaseid vanu ülesandeid [[Võrgurakendused 2013 prax 1 |2013 aasta arhiivis]] ning sealt edasi vanemaid.

== Üldkirjeldus ==

P2Net võimaldab:

* kasutajal käivitada võõrastes masinatest käsurea.
* saada tagasi käsurea rehkendatud tulemus(tekst/binary vms blob).

Võõraste masinate leidmiseks kasutab P2Net järgmist viisi:

* Saadab tema oma masinas oleva faili machines.txt masinatele käsu. machines.txt sees on masinate ip ja pordid json listina kujul
<pre>
[["11.22.33.44","2345"],...,["111.222.333.444","23456"]]
</pre>

* Samamoodi saadab käivitus-päringu P2Net startlehel http://dijkstra.cs.ttu.ee/~tammet/P2Net.txt olevatele masinatele (startlehel on plaintekstina eelmises punktis näidatud formaadis json-fail)
* Kui mingi masin saab minu päringu-käsurea kätte, siis ta paneb selle kohapeal käsureal käima ja saadab tulemuse päringu algatanud masinasse.
* Iga võõras masin, mis algselt minu käest tulnud päringu saab, saadab ta omakorda kõigile talle teadaolevatele edasi, vähendades seejuures nn ttl (time to live) counti, et päringud lõpmatult rändama ei jääks.

Ehk, masinad saadavad minu antud päringut rekursiivselt ise edasi.

Pane tähele, et sinu P2Net ei pea üldse salvestama võõraste P2Net-ide ip-sid ja porte! Samas ei ole ka kuidagi keelatud (debugimiseks või niisama huvi pärast vms) salvestada teiste P2Net-ide ip-sid, mida saab teada näiteks sulle tulnud päringutest, sulle vastajate ip-dest ja miks mitte ka portscannides :)

== Miks just selline päringu edasisaatmisviis? ==

Põhimõtteliselt saab päringut massidesse P2P meetoditega laiali saata kahel viisil:

* Iteratiivne meetod (antud praksis seda ei kasuta): algne masin küsib tuttavatelt neile tuttavate masinate faile, ja suurendab seeläbi endale teadaolevate masinate hulka. Igalt uuelt teadasaadud masinalt küsib ta jälle selle masina tuttavate faile jne. Teised masinad algset päringut ise kuhugi edasi ei saada. Meetodi pluss on see, et algne masin saab lihtsalt tagada, et päringut ei saadetaks kaks korda samale masinale. Meetodi miinus on see, et kõik masinad võrgus saadavad lõpuks terve neile tuttavate masinate faili algsele masinale: see tähendab väga suurt hulka väga suurte failide saatmisi, mis hakkavad jõhkralt ummistama võrku, ja algse masina väike kanal tõenäoliselt ummistub varsti. Saadud failide ühisosad on väga suured. Halvemal juhul saab algne masin N identset sõnumit, kus igaühes on N ip-d, kus N on kõigi masinate arv, kus jookseb P2Net.

* Rekursiivne meetod (antud praksis nõutud): algne masin saadab oma päringu tuttavatele masinatele, kes selle omakorda enda tuttavatele edasi saadavad jne. Igüks, kes leiab enda failide hulgast vajaliku faili, saadab info algsele masinale (vastasel korral ei saada ta algsele masinale midagi). Algne masin ei suurenda endale teadaolevate masinate hulka. Meetodi pluss on see, et algsele masinale saadetakse tagasi infot ainult siis, kui vajalik info leitakse (väga väike protsent masinaid) ja see info on lühike. Koormus võrgule langeb tugevasti ja algse masina kanal tõenäoliselt ei ummistu. Meetodi miinus on asjaolu, et üks ja sama masin võib saada algse päringu mitu korda eri suundadest, mis jällegi kasvatab võrgu koormust. Seda viimast probleemi saab mitmel moel leevendada (kuigi mitte täielikult kaotada), eeskätt päringu ttl (time to live) parameetrit kasutades, päringu ahela masinate lisamises päringu parameetrite hulka jne.

Gnutella kasutab rekursiivset meetodit, nii ka meie P2Net. Lihtsakoeline rekursiivne meetod ummistab suure klientide arvu korral võrgu ja sele asemel kasutavad suured P2P süsteemid kas:
* struktureeritud nn superpeeride süsteemi a la Kazaa ja esialgne Skype, kus rekursiivne päring toimub ainult superpeeride vahel, ja neid on vähe, või
* väga kavalat nn distributed hash tables (DHT) mehhanismi, a la freenet ja (osaliselt) bittorrent. DHT on üks mitmest bittorrenti poolt kasutatud meetodist, kuigi bittorrenti põhifookus on hoopis faili paralleelse allatõmbamise optimeerimisel mitme masina koostöös, mitte masinate/failide leidmisel. Või:
* kasutavad masinate leidmiseks eeskätt tsentraalseid servereid, a la esialgne Napster või kaasaegne Skype

== Tehnilised nõuded ==

Programmeerimiskeele ja muu tehnoloogia valik on vaba, kuid rakendus peab vastama neile tingimustele:

* Kogu programm peab töötama kas ITC-maja klassi arvutis või sinu oma läptopis, mis ITC maja klassis kaasas. Mingit kaugel asuvat serverit põhirakenduse jaoks kasutada ei tohi. Arusaadavalt võib aga panna P2Net lisaks käima ka suvalistesse välistesse masinatesse.
* Http protokolli jms realisatsioon peab olema teie oma programmi osa, mingit "suurt" http serverit a la apache kasutada ei või. Kõikvõimalike võrguteekide (versus eraldiseisvad veebiserverid) kasutamine on ok, mikroserverite koodi integreerimine oma programmi on ok.

== Protokoll ==

=== Otsipäringu saatmine ja edasisaatmine ===

Konkreetsele masinale 11.22.33.44 (kus P2Net jookseb pordis 2345) käsu saatmine

<pre>
http://11.22.33.44:2345/run?prog=käsurida&sendip=55.66.77.88&sendport=6788&ttl=5&id=wqeqwe23&noask=11.22.33.44_111.222.333.444 ...
</pre>

kus parameetritel on järgmine sisu:

* prog: käsk
* sendip: esialgse saatja ip
* sendport: esialgse saatja port
* ttl: kui mitu otsingu-hopi veel teha (iga edasiküsimine vähendab ühe võrra)
* id: optsionaalne päringu identifikaator
* noask: optsionaalne list masinatest, kellele pole mõtet edastada (eraldajaks alakriips)

Päringu identifikaator ei pea tingimata üle terve võrgu unikaalne olema - lihtsam on ja ajab asja ära, kui
on saatva masina piires unikaalne.

prog parameeter peab ilmselt olema urlencoded, näit. midagi taolist:

<pre>
...&prog=ipconfig%20/displaydns&...
</pre>

GET-päringu vastuseks on õnnestunud päringu korral number 0,
ebaõnnestunud päringu korral muu (vea)number. Vastuse mõte on eeskätt debugimise lihtsustamine ja vastust peaks pärija üldiselt ignoreerima. P2Net peaks töötama edukalt ka juhul, kui ta saatmise peale ühenduse lihtsalt kinni paneb ja vastust kuulama ei hakka.

P2Net-le tulnud päringu edasisaatmine käib täpselt sama protokolliga, kuid edasi saadetakse veidi muudetud päring:

* ttl vähendatakse ühe võrra
* optionaalselt: lisatakse oma masina ip noask parameetrile otsa

Seejuures ei saadeta päringut edasi, kui sissetulnud ttl oli 1 võ i vähem (st ttl=0 päringuid enam kuhugi ei saadeta)

Seda päringut saab ka brauserist katsetada, kuigi brauser ei saa vastuseks midagi huvitavat peale debugimis-vastuse 0 või mingi veakoodi.

Klientide filtreerimine (juhul kui soovitakse juhtida mingit alamhulka masinatest) toimub programmi
käsurea kaudu. See osa ei ole kohustuslik vaid tuleneb konkreetsest rakendusest; protokollis see funktsionaalsus ei sisaldu.

=== Tulemuse tagastamine algsele pärijale ===

Vastus oleks http post meetodiga käivitatud programmi kogu väljundi saatmine algsele küsijale muutmata kujul
koos lisainfoga

<pre>
http://11.22.33.44:2345/result
</pre>

POST-itatud data:

<pre>
{"sendip": "55.66.77.88",
"sendport": "6788",
"id": "asasasas",
"encoding": "ascii" või "base64",
"content": "failisisustring"}
</pre>

id peaks vastama esialgse saatja antud id-le, juhul kui seda kasutatakse.
* id: esialgse päringu id (kui oli algselt antud)
* content: käsureaprogrammi väljund (kui ei ole plaintext, peaks olema base64-encodetud)
* encoding: mis formaadis content on
* sendip: tulemuse saatnud masina ip
* sendport: tulemuse saatnud masina port

Programm võiks ka mitte crashida, kui id puudu on, kuna id on optional (aga praktiline ja mõtekas on lisada).

Postituse saaja vastab eduka kättesaamise korral arvu 0,
arusaamatuste korral mõne muu (vea) numbri. Jällegi, vastuse mõte on eeskätt debugimise lihtsustamine ja vastust peaks pärija üldiselt ignoreerima. P2Net peaks töötama edukalt ka juhul, kui ta saatmise peale ühenduse lihtsalt kinni paneb ja vastust kuulama ei hakka.

== Praksi kaks osa ==

Väga soovitav on teha praks kahes osas ja esitada kaks korda ülevaatamiseks:

* Teha http protokolli järgida suutev esmane rakendus.
* Lisada sinna kogu vajalik funktsionaalsus.

Http protokolli järgimise võimet kontrollitakse praksi eduka läbimise tingimusena.

== Soovitusi ja ideid ==

Arendamiseks ja testimiseks pead saama jooksutada oma masinas mitut erinevat koopiat omaenda P2Net-st, igaüks oma pordil, igaühel oma konfifail tuttavate masinatega ja oma kataloog jagatavate failidega.

Hea mõte on teha P2Net käsurealt käivitavaks nii, et ta võtab kohe käsurealt pordinumbri parameetriks ning loeb siis oma konfifaili ja jagatavaid faile vastavast pordinumbrist tuletatud failipathist.

P2Net peab päris kindlasti sisaldama või kasutama http serverit,
muidu ei ole temaga võimalik väljast ühendust võtta. NB! See ei tähenda mingit nö suurt veebiserverit a la apache, vaid pigem ise kirjutatud väikest minimaalset serverit, mis pealegi ei pea veebilehti serveerima ja cgi-sid käivitama, vaid ainult teatud käskudele/parameetritele reageerima.

Server tuleb realiseerida ise, kasutades võrgust leitavaid näiteid mikro-http-serveri jaoks (tüüpiliselt paar lehekülge koodi). Selliseid näitekoode võib täiesti otse kasutada.

C jaoks on sobiv mikroserver näiteks [http://www.lambda.ee/images/8/89/Itsissejuhatus_tiny.zip tiny], java jaoks
on [http://www.java2s.com/Code/Java/Tiny-Application/HttpServer.htm see server] väga hea väike näide, aga selgitava tekstita,
ning selgitavate tekstidega servereid leiad mh [http://onjava.com/pub/a/onjava/2003/04/23/java_webserver.html siit] ja
[http://fragments.turtlemeat.com/javawebserver.php siit].Loe java socketitest põhjalikumalt [http://download.oracle.com/javase/tutorial/networking/sockets/ siit]. Pythoni serverinäite [http://muharem.wordpress.com/2007/05/29/roll-your-own-server-in-50-lines-of-code/ saad siit]. Http kohta võib lugeda [http://www.jmarshall.com/easy/http/ näiteks siit].

Kasutajaliides võib olla tehtud aknaga, aga see ei ole kohustuslik: võib teha ka puhtalt käsurea rakenduse.

Rakendus on mõistlik teha nii, et annad käivitamisel ette pordi, millel ta räägib, ning kui seda porti ei ole antud, siis kasutad vaikimisi porti 1215 (1214 on Kazaa port).

Häid selgeid näiteid ja õpetusi socketite ja serveri tegemise kohta leiad veel siit:

* [http://www.prasannatech.net/2008/07/socket-programming-tutorial.html socketite kasutamise õpetus ja source C-s, javas ja pythonis]
* [http://www.jbox.dk/sanos/webserver.htm lihtne veebiserver C-s (eksootilise sanosi all)]
* [http://www.ibm.com/developerworks/systems/library/es-nweb/index.html lihtne veebiserver/klient C-s (ibm-i tutorial ja source)]
* [http://www.lambda.ee/images/8/89/Itsissejuhatus_tiny.zip tiny webserver C-s]
* [http://download.oracle.com/javase/tutorial/networking/sockets/ java socketid: klassikaline tutorial]
* [http://www.tud.ttu.ee/material/kallik/JOOP/Jutukas/ Kaarel Alliku kursuse näite-jutukas (java)]
* [http://www.rgagnon.com/javadetails/java-have-a-simple-http-server.html java http teegi kasutamine, mis kasutab socketeid sisemiselt]
* [http://tomayko.com/writings/unicorn-is-unix ruby]
* [http://jacobian.org/writing/python-is-unix/ python]
* [http://docs.python.org/library/socketserver.html pythoni üks serversocketi-teek]
* [http://beej.us/guide/bgnet/ Väga põhjalik socketite/võrguprogrammeerimise õpetus]


== Firewall ja NAT ==

Firewallist läbi murdmise ja kinniste portidega ühendamise probleemiga ei pea selles praksis tegelema. Samas tähendab see, et ei ole kuigi lihtne teise masinaga tegelikult ühendust saada (ühes masinas debugimise võimaldamine ongi seepärast kriitiline).

Kes P2Net käima saab, võib mõelda välja ja realiseerida probleemi lahendamiseks sobiva vaheserveri: selle eest saab ekstrapunkte.

Võrgust infot otsides leiad kahte liiki teemasid, meie jaoks oluline on siit listist teine:
* Tunneldamise artiklid, loe näiteks [http://en.wikipedia.org/wiki/HTTP_tunnel http tunnel] artiklit wikipediast ja [http://sebsauvage.net/punching/ seda artiklit] firewallist läbipääsemisest.
* UDP/TCP hole punching ja NAT traversal: arusaadava sissejuhatusena loe [http://www.h-online.com/security/features/How-Skype-Co-get-round-firewalls-747197.html Skype jms süsteemide meetoditest], sellele [http://www.portugal-a-programar.org/forum/index.php?topic=7852.0 väike täiendus]. Vaata ka [http://en.wikipedia.org/wiki/Session_Traversal_Utilities_for_NAT wikipedia utiliitide artiklit ja viiteid]. Detailsemalt/lisaks [http://www.brynosaurus.com/pub/net/p2pnat/ siit] ja [http://nutss.gforge.cis.cornell.edu/pub/imc05-tcpnat/ siit] ja [http://www.jdrosen.net/midcom_turn.html siit] ja [http://www.ietf.org/rfc/rfc3489.txt siit], keerulise vahendi leiab [http://natblaster.sourceforge.net/ siit]

NB! Seda kõike ei ole väga lihtne teha ja sinu P2Net (ja ka selle inimese P2Net, kellega suhtled) peab ka oskama seda vaheserverit kasutada. Ära hakka seda ehitama, kui nö lihtne P2Net veel ei tööta!

Ekstra-lisapunktide saamise variant: realiseeri ja pane kõigile kasutatavaks firewalliprobleemi lahendamiseks sobiv vaheserver. Kirjuta kasutamise juhend ja näited, mida teised saaks soovi korral oma P2Net jaoks tarvitada (st panna nad sinu vaheserverit kasutama, nii et seda saaks ka arvutiklassist kasutada). Esimesed kaks gruppi, kes sellega hakkama saavad, saavad lisaks pooled praksipunktid!

== Seda kohta pole vaja lugeda ==

<pre>
F3AA34

base64

utf-8 moodi????
</pre>

== Punktiarvestusest ==

Kui kõik eelnimetatu töötab vastu mõne teise grupi P2Net-i ja
koodi suudetakse seletada, saab täispunktid.

Kui teiste P2Net-programmidega ei suuda suhelda, aga iseenda koopiatega siiski, siis päris täispunkte ei saa.

Vorgurakendused 2 prax 1 2014

2014-09-11T23:21:40Z

Priit:

<table>
<tr>
<td>

</td>
<td>
P2Net - P2P botnet
</td>
</tr>

</table>

JUHENDI SEIS: Ülesande, s.h. protokolli kirjeldus paigas. Detailid võivad natuke muutuda, aga mitte nii et see juba alustatud tööd segaks.

Ülesandeks on ehitada P2P rakendus P2Net programmide (käsurea kujul) käivitamiseks võõrastes masinates ja rehkendustulemuste kättesaamiseks, mis teeb laviinitaolise otsingu mööda P2Net klient/servereid, isetehtud P2P mehhanismi abil.

Kasutajaliidese hea kvaliteet ei ole praksis oluline.

Huvi korral võid vaadata ka veidi sarnaseid vanu ülesandeid [[Võrgurakendused 2013 prax 1 |2013 aasta arhiivis]] ning sealt edasi vanemaid.

== Üldkirjeldus ==

P2Net võimaldab:

* kasutajal käivitada võõrastes masinatest käsurea.
* saada tagasi käsurea rehkendatud tulemus(tekst/binary vms blob).

Võõraste masinate leidmiseks kasutab P2Net järgmist viisi:

* Saadab tema oma masinas oleva faili machines.txt masinatele käsu. machines.txt sees on masinate ip ja pordid json listina kujul
<pre>
[["11.22.33.44","2345"],...,["111.222.333.444","23456"]]
</pre>

* Samamoodi saadab käivitus-päringu P2Net startlehel http://dijkstra.cs.ttu.ee/~tammet/P2Net.txt olevatele masinatele (startlehel on plaintekstina eelmises punktis näidatud formaadis json-fail)
* Kui mingi masin saab minu päringu-käsurea kätte, siis ta paneb selle kohapeal käsureal käima ja saadab tulemuse päringu algatanud masinasse.
* Iga võõras masin, mis algselt minu käest tulnud päringu saab, saadab ta omakorda kõigile talle teadaolevatele edasi, vähendades seejuures nn ttl (time to live) counti, et päringud lõpmatult rändama ei jääks.

Ehk, masinad saadavad minu antud päringut rekursiivselt ise edasi.

Pane tähele, et sinu P2Net ei pea üldse salvestama võõraste P2Net-ide ip-sid ja porte! Samas ei ole ka kuidagi keelatud (debugimiseks või niisama huvi pärast vms) salvestada teiste P2Net-ide ip-sid, mida saab teada näiteks sulle tulnud päringutest, sulle vastajate ip-dest ja miks mitte ka portscannides :)

== Miks just selline päringu edasisaatmisviis? ==

Põhimõtteliselt saab päringut massidesse P2P meetoditega laiali saata kahel viisil:

* Iteratiivne meetod (antud praksis seda ei kasuta): algne masin küsib tuttavatelt neile tuttavate masinate faile, ja suurendab seeläbi endale teadaolevate masinate hulka. Igalt uuelt teadasaadud masinalt küsib ta jälle selle masina tuttavate faile jne. Teised masinad algset päringut ise kuhugi edasi ei saada. Meetodi pluss on see, et algne masin saab lihtsalt tagada, et päringut ei saadetaks kaks korda samale masinale. Meetodi miinus on see, et kõik masinad võrgus saadavad lõpuks terve neile tuttavate masinate faili algsele masinale: see tähendab väga suurt hulka väga suurte failide saatmisi, mis hakkavad jõhkralt ummistama võrku, ja algse masina väike kanal tõenäoliselt ummistub varsti. Saadud failide ühisosad on väga suured. Halvemal juhul saab algne masin N identset sõnumit, kus igaühes on N ip-d, kus N on kõigi masinate arv, kus jookseb P2Net.

* Rekursiivne meetod (antud praksis nõutud): algne masin saadab oma päringu tuttavatele masinatele, kes selle omakorda enda tuttavatele edasi saadavad jne. Igüks, kes leiab enda failide hulgast vajaliku faili, saadab info algsele masinale (vastasel korral ei saada ta algsele masinale midagi). Algne masin ei suurenda endale teadaolevate masinate hulka. Meetodi pluss on see, et algsele masinale saadetakse tagasi infot ainult siis, kui vajalik info leitakse (väga väike protsent masinaid) ja see info on lühike. Koormus võrgule langeb tugevasti ja algse masina kanal tõenäoliselt ei ummistu. Meetodi miinus on asjaolu, et üks ja sama masin võib saada algse päringu mitu korda eri suundadest, mis jällegi kasvatab võrgu koormust. Seda viimast probleemi saab mitmel moel leevendada (kuigi mitte täielikult kaotada), eeskätt päringu ttl (time to live) parameetrit kasutades, päringu ahela masinate lisamises päringu parameetrite hulka jne.

Gnutella kasutab rekursiivset meetodit, nii ka meie P2Net. Lihtsakoeline rekursiivne meetod ummistab suure klientide arvu korral võrgu ja sele asemel kasutavad suured P2P süsteemid kas:
* struktureeritud nn superpeeride süsteemi a la Kazaa ja esialgne Skype, kus rekursiivne päring toimub ainult superpeeride vahel, ja neid on vähe, või
* väga kavalat nn distributed hash tables (DHT) mehhanismi, a la freenet ja (osaliselt) bittorrent. DHT on üks mitmest bittorrenti poolt kasutatud meetodist, kuigi bittorrenti põhifookus on hoopis faili paralleelse allatõmbamise optimeerimisel mitme masina koostöös, mitte masinate/failide leidmisel. Või:
* kasutavad masinate leidmiseks eeskätt tsentraalseid servereid, a la esialgne Napster või kaasaegne Skype

== Tehnilised nõuded ==

Programmeerimiskeele ja muu tehnoloogia valik on vaba, kuid rakendus peab vastama neile tingimustele:

* Kogu programm peab töötama kas ITC-maja klassi arvutis või sinu oma läptopis, mis ITC maja klassis kaasas. Mingit kaugel asuvat serverit põhirakenduse jaoks kasutada ei tohi. Arusaadavalt võib aga panna P2Net lisaks käima ka suvalistesse välistesse masinatesse.
* Http protokolli jms realisatsioon peab olema teie oma programmi osa, mingit "suurt" http serverit a la apache kasutada ei või. Kõikvõimalike võrguteekide (versus eraldiseisvad veebiserverid) kasutamine on ok, mikroserverite koodi integreerimine oma programmi on ok.

== Protokoll ==

=== Otsipäringu saatmine ja edasisaatmine ===

Konkreetsele masinale 11.22.33.44 (kus P2Net jookseb pordis 2345) käsu saatmine

<pre>
http://11.22.33.44:2345/run?prog=käsurida&sendip=55.66.77.88&sendport=6788&ttl=5&id=wqeqwe23&noask=11.22.33.44_111.222.333.444 ...
</pre>

kus parameetritel on järgmine sisu:

* prog: käsk
* sendip: esialgse saatja ip
* sendport: esialgse saatja port
* ttl: kui mitu otsingu-hopi veel teha (iga edasiküsimine vähendab ühe võrra)
* id: optsionaalne päringu identifikaator
* noask: optsionaalne list masinatest, kellele pole mõtet edastada (eraldajaks alakriips)

Päringu identifikaator ei pea tingimata üle terve võrgu unikaalne olema - lihtsam on ja ajab asja ära, kui
on saatva masina piires unikaalne.

prog parameeter peab ilmselt olema urlencoded, näit. midagi taolist:

<pre>
...&prog=ipconfig%20/displaydns&...
</pre>

GET-päringu vastuseks on õnnestunud päringu korral number 0,
ebaõnnestunud päringu korral muu (vea)number. Vastuse mõte on eeskätt debugimise lihtsustamine ja vastust peaks pärija üldiselt ignoreerima. P2Net peaks töötama edukalt ka juhul, kui ta saatmise peale ühenduse lihtsalt kinni paneb ja vastust kuulama ei hakka.

P2Net-le tulnud päringu edasisaatmine käib täpselt sama protokolliga, kuid edasi saadetakse veidi muudetud päring:

* ttl vähendatakse ühe võrra
* optionaalselt: lisatakse oma masina ip noask parameetrile otsa

Seejuures ei saadeta päringut edasi, kui sissetulnud ttl oli 1 võ i vähem (st ttl=0 päringuid enam kuhugi ei saadeta)

Seda päringut saab ka brauserist katsetada, kuigi brauser ei saa vastuseks midagi huvitavat peale debugimis-vastuse 0 või mingi veakoodi.

Klientide filtreerimine (juhul kui soovitakse juhtida mingit alamhulka masinatest) toimub programmi
käsurea kaudu. See osa ei ole kohustuslik vaid tuleneb konkreetsest rakendusest; protokollis see funktsionaalsus ei sisaldu.

=== Tulemuse tagastamine algsele pärijale ===

Vastus oleks http post meetodiga käivitatud programmi kogu väljundi saatmine algsele küsijale muutmata kujul
koos lisainfoga

<pre>
http://11.22.33.44:2345/result
</pre>

POST-itatud data:

<pre>
{"sendip": "55.66.77.88",
"sendport": "6788",
"id": "asasasas",
"encoding": "ascii" või "base64",
"content": "failisisustring"}
</pre>

id peaks vastama esialgse saatja antud id-le, juhul kui seda kasutatakse.
* id: esialgse päringu id (kui oli algselt antud)
* content: käsureaprogrammi väljund (kui ei ole plaintext, peaks olema base64-encodetud)
* encoding: mis formaadis content on
* sendip: tulemuse saatnud masina ip
* sendport: tulemuse saatnud masina port

Programm võiks ka mitte crashida, kui id puudu on, kuna id on optional (aga praktiline ja mõtekas on lisada).

Postituse saaja vastab eduka kättesaamise korral arvu 0,
arusaamatuste korral mõne muu (vea) numbri. Jällegi, vastuse mõte on eeskätt debugimise lihtsustamine ja vastust peaks pärija üldiselt ignoreerima. P2Net peaks töötama edukalt ka juhul, kui ta saatmise peale ühenduse lihtsalt kinni paneb ja vastust kuulama ei hakka.

== Praksi kaks osa ==

Väga soovitav on teha praks kahes osas ja esitada kaks korda ülevaatamiseks:

* Teha http protokolli järgida suutev esmane rakendus.
* Lisada sinna kogu vajalik funktsionaalsus.

Http protokolli järgimise võimet kontrollitakse praksi eduka läbimise tingimusena.

== Soovitusi ja ideid ==

Arendamiseks ja testimiseks pead saama jooksutada oma masinas mitut erinevat koopiat omaenda P2Net-st, igaüks oma pordil, igaühel oma konfifail tuttavate masinatega ja oma kataloog jagatavate failidega.

Hea mõte on teha P2Net käsurealt käivitavaks nii, et ta võtab kohe käsurealt pordinumbri parameetriks ning loeb siis oma konfifaili ja jagatavaid faile vastavast pordinumbrist tuletatud failipathist.

Wazaa peab päris kindlasti sisaldama või kasutama http serverit,
muidu ei ole temaga võimalik väljast ühendust võtta. NB! See ei tähenda mingit nö suurt veebiserverit a la apache, vaid pigem ise kirjutatud väikest minimaalset serverit, mis pealegi ei pea veebilehti serveerima ja cgi-sid käivitama, vaid ainult teatud käskudele/parameetritele reageerima.

Server tuleb realiseerida ise, kasutades võrgust leitavaid näiteid mikro-http-serveri jaoks (tüüpiliselt paar lehekülge koodi). Selliseid näitekoode võib täiesti otse kasutada.

C jaoks on sobiv mikroserver näiteks [http://www.lambda.ee/images/8/89/Itsissejuhatus_tiny.zip tiny], java jaoks
on [http://www.java2s.com/Code/Java/Tiny-Application/HttpServer.htm see server] väga hea väike näide, aga selgitava tekstita,
ning selgitavate tekstidega servereid leiad mh [http://onjava.com/pub/a/onjava/2003/04/23/java_webserver.html siit] ja
[http://fragments.turtlemeat.com/javawebserver.php siit].Loe java socketitest põhjalikumalt [http://download.oracle.com/javase/tutorial/networking/sockets/ siit]. Pythoni serverinäite [http://muharem.wordpress.com/2007/05/29/roll-your-own-server-in-50-lines-of-code/ saad siit]. Http kohta võib lugeda [http://www.jmarshall.com/easy/http/ näiteks siit].

Kasutajaliides võib olla tehtud aknaga, aga see ei ole kohustuslik: võib teha ka puhtalt käsurea rakenduse.

Rakendus on mõistlik teha nii, et annad käivitamisel ette pordi, millel ta räägib, ning kui seda porti ei ole antud, siis kasutad vaikimisi porti 1215 (1214 on Kazaa port).

Häid selgeid näiteid ja õpetusi socketite ja serveri tegemise kohta leiad veel siit:

* [http://www.prasannatech.net/2008/07/socket-programming-tutorial.html socketite kasutamise õpetus ja source C-s, javas ja pythonis]
* [http://www.jbox.dk/sanos/webserver.htm lihtne veebiserver C-s (eksootilise sanosi all)]
* [http://www.ibm.com/developerworks/systems/library/es-nweb/index.html lihtne veebiserver/klient C-s (ibm-i tutorial ja source)]
* [http://www.lambda.ee/images/8/89/Itsissejuhatus_tiny.zip tiny webserver C-s]
* [http://download.oracle.com/javase/tutorial/networking/sockets/ java socketid: klassikaline tutorial]
* [http://www.tud.ttu.ee/material/kallik/JOOP/Jutukas/ Kaarel Alliku kursuse näite-jutukas (java)]
* [http://www.rgagnon.com/javadetails/java-have-a-simple-http-server.html java http teegi kasutamine, mis kasutab socketeid sisemiselt]
* [http://tomayko.com/writings/unicorn-is-unix ruby]
* [http://jacobian.org/writing/python-is-unix/ python]
* [http://docs.python.org/library/socketserver.html pythoni üks serversocketi-teek]
* [http://beej.us/guide/bgnet/ Väga põhjalik socketite/võrguprogrammeerimise õpetus]


== Firewall ja NAT ==

Firewallist läbi murdmise ja kinniste portidega ühendamise probleemiga ei pea selles praksis tegelema. Samas tähendab see, et ei ole kuigi lihtne teise masinaga tegelikult ühendust saada (ühes masinas debugimise võimaldamine ongi seepärast kriitiline).

Kes P2Net käima saab, võib mõelda välja ja realiseerida probleemi lahendamiseks sobiva vaheserveri: selle eest saab ekstrapunkte.

Võrgust infot otsides leiad kahte liiki teemasid, meie jaoks oluline on siit listist teine:
* Tunneldamise artiklid, loe näiteks [http://en.wikipedia.org/wiki/HTTP_tunnel http tunnel] artiklit wikipediast ja [http://sebsauvage.net/punching/ seda artiklit] firewallist läbipääsemisest.
* UDP/TCP hole punching ja NAT traversal: arusaadava sissejuhatusena loe [http://www.h-online.com/security/features/How-Skype-Co-get-round-firewalls-747197.html Skype jms süsteemide meetoditest], sellele [http://www.portugal-a-programar.org/forum/index.php?topic=7852.0 väike täiendus]. Vaata ka [http://en.wikipedia.org/wiki/Session_Traversal_Utilities_for_NAT wikipedia utiliitide artiklit ja viiteid]. Detailsemalt/lisaks [http://www.brynosaurus.com/pub/net/p2pnat/ siit] ja [http://nutss.gforge.cis.cornell.edu/pub/imc05-tcpnat/ siit] ja [http://www.jdrosen.net/midcom_turn.html siit] ja [http://www.ietf.org/rfc/rfc3489.txt siit], keerulise vahendi leiab [http://natblaster.sourceforge.net/ siit]

NB! Seda kõike ei ole väga lihtne teha ja sinu P2Net (ja ka selle inimese P2Net, kellega suhtled) peab ka oskama seda vaheserverit kasutada. Ära hakka seda ehitama, kui nö lihtne P2Net veel ei tööta!

Ekstra-lisapunktide saamise variant: realiseeri ja pane kõigile kasutatavaks firewalliprobleemi lahendamiseks sobiv vaheserver. Kirjuta kasutamise juhend ja näited, mida teised saaks soovi korral oma P2Net jaoks tarvitada (st panna nad sinu vaheserverit kasutama, nii et seda saaks ka arvutiklassist kasutada). Esimesed kaks gruppi, kes sellega hakkama saavad, saavad lisaks pooled praksipunktid!

== Seda kohta pole vaja lugeda ==

<pre>
F3AA34

base64

utf-8 moodi????
</pre>

== Punktiarvestusest ==

Kui kõik eelnimetatu töötab vastu mõne teise grupi P2Net-i ja
koodi suudetakse seletada, saab täispunktid.

Kui teiste P2Net-programmidega ei suuda suhelda, aga iseenda koopiatega siiski, siis päris täispunkte ei saa.

Vorgurakendused 2 prax 1 2014

2014-09-11T23:20:53Z

Priit:

<table>
<tr>
<td>

</td>
<td>
P2Net - P2P botnet
</td>
</tr>

</table>

JUHENDI SEIS: Ülesande, s.h. protokolli kirjeldus paigas. Detailid võivad natuke muutuda, aga mitte nii et see juba alustatud tööd segaks.

Ülesandeks on ehitada P2P rakendus P2Net programmide (käsurea kujul) käivitamiseks võõrastes masinates ja rehkendustulemuste kättesaamiseks, mis teeb laviinitaolise otsingu mööda P2Net klient/servereid, isetehtud P2P mehhanismi abil.

Kasutajaliidese hea kvaliteet ei ole praksis oluline.

Huvi korral võid vaadata ka veidi sarnaseid vanu ülesandeid [[Võrgurakendused 2013 prax 1 |2013 aasta arhiivis]] ning sealt edasi vanemaid.

== Üldkirjeldus ==

P2Net võimaldab:

* kasutajal käivitada võõrastes masinatest käsurea.
* saada tagasi käsurea rehkendatud tulemus(tekst/binary vms blob).

Võõraste masinate leidmiseks kasutab P2Net järgmist viisi:

* Saadab tema oma masinas oleva faili machines.txt masinatele käsu. machines.txt sees on masinate ip ja pordid json listina kujul
<pre>
[["11.22.33.44","2345"],...,["111.222.333.444","23456"]]
</pre>

* Samamoodi saadab käivitus-päringu P2Net startlehel http://dijkstra.cs.ttu.ee/~tammet/P2Net.txt olevatele masinatele (startlehel on plaintekstina eelmises punktis näidatud formaadis json-fail)
* Kui mingi masin saab minu päringu-käsurea kätte, siis ta paneb selle kohapeal käsureal käima ja saadab tulemuse päringu algatanud masinasse.
leiab minu otsitud faili, siis ta saadab mulle teate, et mis IP ja pordiga masin ja mis täisnimega fail on.
* Iga võõras masin, mis algselt minu käest tulnud päringu saab, saadab ta omakorda kõigile talle teadaolevatele edasi, vähendades seejuures nn ttl (time to live) counti, et päringud lõpmatult rändama ei jääks.

Ehk, masinad saadavad minu antud päringut rekursiivselt ise edasi.

Pane tähele, et sinu P2Net ei pea üldse salvestama võõraste P2Net-ide ip-sid ja porte! Samas ei ole ka kuidagi keelatud (debugimiseks või niisama huvi pärast vms) salvestada teiste P2Net-ide ip-sid, mida saab teada näiteks sulle tulnud päringutest, sulle vastajate ip-dest ja miks mitte ka portscannides :)

== Miks just selline päringu edasisaatmisviis? ==

Põhimõtteliselt saab päringut massidesse P2P meetoditega laiali saata kahel viisil:

* Iteratiivne meetod (antud praksis seda ei kasuta): algne masin küsib tuttavatelt neile tuttavate masinate faile, ja suurendab seeläbi endale teadaolevate masinate hulka. Igalt uuelt teadasaadud masinalt küsib ta jälle selle masina tuttavate faile jne. Teised masinad algset päringut ise kuhugi edasi ei saada. Meetodi pluss on see, et algne masin saab lihtsalt tagada, et päringut ei saadetaks kaks korda samale masinale. Meetodi miinus on see, et kõik masinad võrgus saadavad lõpuks terve neile tuttavate masinate faili algsele masinale: see tähendab väga suurt hulka väga suurte failide saatmisi, mis hakkavad jõhkralt ummistama võrku, ja algse masina väike kanal tõenäoliselt ummistub varsti. Saadud failide ühisosad on väga suured. Halvemal juhul saab algne masin N identset sõnumit, kus igaühes on N ip-d, kus N on kõigi masinate arv, kus jookseb P2Net.

* Rekursiivne meetod (antud praksis nõutud): algne masin saadab oma päringu tuttavatele masinatele, kes selle omakorda enda tuttavatele edasi saadavad jne. Igüks, kes leiab enda failide hulgast vajaliku faili, saadab info algsele masinale (vastasel korral ei saada ta algsele masinale midagi). Algne masin ei suurenda endale teadaolevate masinate hulka. Meetodi pluss on see, et algsele masinale saadetakse tagasi infot ainult siis, kui vajalik info leitakse (väga väike protsent masinaid) ja see info on lühike. Koormus võrgule langeb tugevasti ja algse masina kanal tõenäoliselt ei ummistu. Meetodi miinus on asjaolu, et üks ja sama masin võib saada algse päringu mitu korda eri suundadest, mis jällegi kasvatab võrgu koormust. Seda viimast probleemi saab mitmel moel leevendada (kuigi mitte täielikult kaotada), eeskätt päringu ttl (time to live) parameetrit kasutades, päringu ahela masinate lisamises päringu parameetrite hulka jne.

Gnutella kasutab rekursiivset meetodit, nii ka meie P2Net. Lihtsakoeline rekursiivne meetod ummistab suure klientide arvu korral võrgu ja sele asemel kasutavad suured P2P süsteemid kas:
* struktureeritud nn superpeeride süsteemi a la Kazaa ja esialgne Skype, kus rekursiivne päring toimub ainult superpeeride vahel, ja neid on vähe, või
* väga kavalat nn distributed hash tables (DHT) mehhanismi, a la freenet ja (osaliselt) bittorrent. DHT on üks mitmest bittorrenti poolt kasutatud meetodist, kuigi bittorrenti põhifookus on hoopis faili paralleelse allatõmbamise optimeerimisel mitme masina koostöös, mitte masinate/failide leidmisel. Või:
* kasutavad masinate leidmiseks eeskätt tsentraalseid servereid, a la esialgne Napster või kaasaegne Skype

== Tehnilised nõuded ==

Programmeerimiskeele ja muu tehnoloogia valik on vaba, kuid rakendus peab vastama neile tingimustele:

* Kogu programm peab töötama kas ITC-maja klassi arvutis või sinu oma läptopis, mis ITC maja klassis kaasas. Mingit kaugel asuvat serverit põhirakenduse jaoks kasutada ei tohi. Arusaadavalt võib aga panna P2Net lisaks käima ka suvalistesse välistesse masinatesse.
* Http protokolli jms realisatsioon peab olema teie oma programmi osa, mingit "suurt" http serverit a la apache kasutada ei või. Kõikvõimalike võrguteekide (versus eraldiseisvad veebiserverid) kasutamine on ok, mikroserverite koodi integreerimine oma programmi on ok.

== Protokoll ==

=== Otsipäringu saatmine ja edasisaatmine ===

Konkreetsele masinale 11.22.33.44 (kus P2Net jookseb pordis 2345) käsu saatmine

<pre>
http://11.22.33.44:2345/run?prog=käsurida&sendip=55.66.77.88&sendport=6788&ttl=5&id=wqeqwe23&noask=11.22.33.44_111.222.333.444 ...
</pre>

kus parameetritel on järgmine sisu:

* prog: käsk
* sendip: esialgse saatja ip
* sendport: esialgse saatja port
* ttl: kui mitu otsingu-hopi veel teha (iga edasiküsimine vähendab ühe võrra)
* id: optsionaalne päringu identifikaator
* noask: optsionaalne list masinatest, kellele pole mõtet edastada (eraldajaks alakriips)

Päringu identifikaator ei pea tingimata üle terve võrgu unikaalne olema - lihtsam on ja ajab asja ära, kui
on saatva masina piires unikaalne.

prog parameeter peab ilmselt olema urlencoded, näit. midagi taolist:

<pre>
...&prog=ipconfig%20/displaydns&...
</pre>

GET-päringu vastuseks on õnnestunud päringu korral number 0,
ebaõnnestunud päringu korral muu (vea)number. Vastuse mõte on eeskätt debugimise lihtsustamine ja vastust peaks pärija üldiselt ignoreerima. P2Net peaks töötama edukalt ka juhul, kui ta saatmise peale ühenduse lihtsalt kinni paneb ja vastust kuulama ei hakka.

P2Net-le tulnud päringu edasisaatmine käib täpselt sama protokolliga, kuid edasi saadetakse veidi muudetud päring:

* ttl vähendatakse ühe võrra
* optionaalselt: lisatakse oma masina ip noask parameetrile otsa

Seejuures ei saadeta päringut edasi, kui sissetulnud ttl oli 1 võ i vähem (st ttl=0 päringuid enam kuhugi ei saadeta)

Seda päringut saab ka brauserist katsetada, kuigi brauser ei saa vastuseks midagi huvitavat peale debugimis-vastuse 0 või mingi veakoodi.

Klientide filtreerimine (juhul kui soovitakse juhtida mingit alamhulka masinatest) toimub programmi
käsurea kaudu. See osa ei ole kohustuslik vaid tuleneb konkreetsest rakendusest; protokollis see funktsionaalsus ei sisaldu.

=== Tulemuse tagastamine algsele pärijale ===

Vastus oleks http post meetodiga käivitatud programmi kogu väljundi saatmine algsele küsijale muutmata kujul
koos lisainfoga

<pre>
http://11.22.33.44:2345/result
</pre>

POST-itatud data:

<pre>
{"sendip": "55.66.77.88",
"sendport": "6788",
"id": "asasasas",
"encoding": "ascii" või "base64",
"content": "failisisustring"}
</pre>

id peaks vastama esialgse saatja antud id-le, juhul kui seda kasutatakse.
* id: esialgse päringu id (kui oli algselt antud)
* content: käsureaprogrammi väljund (kui ei ole plaintext, peaks olema base64-encodetud)
* encoding: mis formaadis content on
* sendip: tulemuse saatnud masina ip
* sendport: tulemuse saatnud masina port

Programm võiks ka mitte crashida, kui id puudu on, kuna id on optional (aga praktiline ja mõtekas on lisada).

Postituse saaja vastab eduka kättesaamise korral arvu 0,
arusaamatuste korral mõne muu (vea) numbri. Jällegi, vastuse mõte on eeskätt debugimise lihtsustamine ja vastust peaks pärija üldiselt ignoreerima. P2Net peaks töötama edukalt ka juhul, kui ta saatmise peale ühenduse lihtsalt kinni paneb ja vastust kuulama ei hakka.

== Praksi kaks osa ==

Väga soovitav on teha praks kahes osas ja esitada kaks korda ülevaatamiseks:

* Teha http protokolli järgida suutev esmane rakendus.
* Lisada sinna kogu vajalik funktsionaalsus.

Http protokolli järgimise võimet kontrollitakse praksi eduka läbimise tingimusena.

== Soovitusi ja ideid ==

Arendamiseks ja testimiseks pead saama jooksutada oma masinas mitut erinevat koopiat omaenda P2Net-st, igaüks oma pordil, igaühel oma konfifail tuttavate masinatega ja oma kataloog jagatavate failidega.

Hea mõte on teha P2Net käsurealt käivitavaks nii, et ta võtab kohe käsurealt pordinumbri parameetriks ning loeb siis oma konfifaili ja jagatavaid faile vastavast pordinumbrist tuletatud failipathist.

Wazaa peab päris kindlasti sisaldama või kasutama http serverit,
muidu ei ole temaga võimalik väljast ühendust võtta. NB! See ei tähenda mingit nö suurt veebiserverit a la apache, vaid pigem ise kirjutatud väikest minimaalset serverit, mis pealegi ei pea veebilehti serveerima ja cgi-sid käivitama, vaid ainult teatud käskudele/parameetritele reageerima.

Server tuleb realiseerida ise, kasutades võrgust leitavaid näiteid mikro-http-serveri jaoks (tüüpiliselt paar lehekülge koodi). Selliseid näitekoode võib täiesti otse kasutada.

C jaoks on sobiv mikroserver näiteks [http://www.lambda.ee/images/8/89/Itsissejuhatus_tiny.zip tiny], java jaoks
on [http://www.java2s.com/Code/Java/Tiny-Application/HttpServer.htm see server] väga hea väike näide, aga selgitava tekstita,
ning selgitavate tekstidega servereid leiad mh [http://onjava.com/pub/a/onjava/2003/04/23/java_webserver.html siit] ja
[http://fragments.turtlemeat.com/javawebserver.php siit].Loe java socketitest põhjalikumalt [http://download.oracle.com/javase/tutorial/networking/sockets/ siit]. Pythoni serverinäite [http://muharem.wordpress.com/2007/05/29/roll-your-own-server-in-50-lines-of-code/ saad siit]. Http kohta võib lugeda [http://www.jmarshall.com/easy/http/ näiteks siit].

Kasutajaliides võib olla tehtud aknaga, aga see ei ole kohustuslik: võib teha ka puhtalt käsurea rakenduse.

Rakendus on mõistlik teha nii, et annad käivitamisel ette pordi, millel ta räägib, ning kui seda porti ei ole antud, siis kasutad vaikimisi porti 1215 (1214 on Kazaa port).

Häid selgeid näiteid ja õpetusi socketite ja serveri tegemise kohta leiad veel siit:

* [http://www.prasannatech.net/2008/07/socket-programming-tutorial.html socketite kasutamise õpetus ja source C-s, javas ja pythonis]
* [http://www.jbox.dk/sanos/webserver.htm lihtne veebiserver C-s (eksootilise sanosi all)]
* [http://www.ibm.com/developerworks/systems/library/es-nweb/index.html lihtne veebiserver/klient C-s (ibm-i tutorial ja source)]
* [http://www.lambda.ee/images/8/89/Itsissejuhatus_tiny.zip tiny webserver C-s]
* [http://download.oracle.com/javase/tutorial/networking/sockets/ java socketid: klassikaline tutorial]
* [http://www.tud.ttu.ee/material/kallik/JOOP/Jutukas/ Kaarel Alliku kursuse näite-jutukas (java)]
* [http://www.rgagnon.com/javadetails/java-have-a-simple-http-server.html java http teegi kasutamine, mis kasutab socketeid sisemiselt]
* [http://tomayko.com/writings/unicorn-is-unix ruby]
* [http://jacobian.org/writing/python-is-unix/ python]
* [http://docs.python.org/library/socketserver.html pythoni üks serversocketi-teek]
* [http://beej.us/guide/bgnet/ Väga põhjalik socketite/võrguprogrammeerimise õpetus]


== Firewall ja NAT ==

Firewallist läbi murdmise ja kinniste portidega ühendamise probleemiga ei pea selles praksis tegelema. Samas tähendab see, et ei ole kuigi lihtne teise masinaga tegelikult ühendust saada (ühes masinas debugimise võimaldamine ongi seepärast kriitiline).

Kes P2Net käima saab, võib mõelda välja ja realiseerida probleemi lahendamiseks sobiva vaheserveri: selle eest saab ekstrapunkte.

Võrgust infot otsides leiad kahte liiki teemasid, meie jaoks oluline on siit listist teine:
* Tunneldamise artiklid, loe näiteks [http://en.wikipedia.org/wiki/HTTP_tunnel http tunnel] artiklit wikipediast ja [http://sebsauvage.net/punching/ seda artiklit] firewallist läbipääsemisest.
* UDP/TCP hole punching ja NAT traversal: arusaadava sissejuhatusena loe [http://www.h-online.com/security/features/How-Skype-Co-get-round-firewalls-747197.html Skype jms süsteemide meetoditest], sellele [http://www.portugal-a-programar.org/forum/index.php?topic=7852.0 väike täiendus]. Vaata ka [http://en.wikipedia.org/wiki/Session_Traversal_Utilities_for_NAT wikipedia utiliitide artiklit ja viiteid]. Detailsemalt/lisaks [http://www.brynosaurus.com/pub/net/p2pnat/ siit] ja [http://nutss.gforge.cis.cornell.edu/pub/imc05-tcpnat/ siit] ja [http://www.jdrosen.net/midcom_turn.html siit] ja [http://www.ietf.org/rfc/rfc3489.txt siit], keerulise vahendi leiab [http://natblaster.sourceforge.net/ siit]

NB! Seda kõike ei ole väga lihtne teha ja sinu P2Net (ja ka selle inimese P2Net, kellega suhtled) peab ka oskama seda vaheserverit kasutada. Ära hakka seda ehitama, kui nö lihtne P2Net veel ei tööta!

Ekstra-lisapunktide saamise variant: realiseeri ja pane kõigile kasutatavaks firewalliprobleemi lahendamiseks sobiv vaheserver. Kirjuta kasutamise juhend ja näited, mida teised saaks soovi korral oma P2Net jaoks tarvitada (st panna nad sinu vaheserverit kasutama, nii et seda saaks ka arvutiklassist kasutada). Esimesed kaks gruppi, kes sellega hakkama saavad, saavad lisaks pooled praksipunktid!

== Seda kohta pole vaja lugeda ==

<pre>
F3AA34

base64

utf-8 moodi????
</pre>

== Punktiarvestusest ==

Kui kõik eelnimetatu töötab vastu mõne teise grupi P2Net-i ja
koodi suudetakse seletada, saab täispunktid.

Kui teiste P2Net-programmidega ei suuda suhelda, aga iseenda koopiatega siiski, siis päris täispunkte ei saa.