http://www.lambda.ee/w/index.php?action=history&feed=atom&title=Lnotes2Lnotes2 - Redigeerimiste ajalugu2026-10-28T11:44:50ZSelle lehekülje redigeerimiste ajaluguMediaWiki 1.43.11http://www.lambda.ee/w/index.php?title=Lnotes2&diff=15800&oldid=prevTammet: Uus lehekülg: '<pre> Hajutatud andmekogud Mis sorti teemad seal on? * integreerimine ettevõttes hirmus palju osakondi, rakendusi, värke, igaüks eraldi seega mingeid joine ei saa teha war...'2019-04-17T16:22:09Z<p>Uus lehekülg: '<pre> Hajutatud andmekogud Mis sorti teemad seal on? * integreerimine ettevõttes hirmus palju osakondi, rakendusi, värke, igaüks eraldi seega mingeid joine ei saa teha war...'</p>
<p><b>Uus lehekülg</b></p><div><pre><br />
Hajutatud andmekogud<br />
<br />
Mis sorti teemad seal on?<br />
<br />
* integreerimine<br />
<br />
ettevõttes hirmus palju osakondi,<br />
rakendusi, värke, igaüks eraldi<br />
seega mingeid joine ei saa teha<br />
<br />
warehouse: teeme iga baasi külge<br />
proge, mis ööseti pumpab päeva<br />
data kesksesse baasi ühisesse<br />
schemasse: <br />
<br />
- sellelt saab teha joine <br />
- tekivad päevased snapshotid<br />
<br />
data warehouse tekiks:<br />
- extract proged<br />
- transform proge: teisendab<br />
data ühise schema jaoks<br />
- load: pumpad transformitud<br />
data warehouse andmebaasi<br />
<br />
- põhieesmärk: ülevaateraportid<br />
<br />
* machine-readable web<br />
semantic web project<br />
<br />
pushiks rdf-i kasutamist<br />
universaalse dataformaadina<br />
<br />
- hajutamine: miks?<br />
<br />
* üks server ei suuda vbl teenindada <br />
* ühte serverisse data ei mahu<br />
* CDN-i idee, data oleks kasutajatele<br />
füüsiliselt lähedal<br />
<br />
skypes läks kohe alguses vaja<br />
<br />
----------<br />
<br />
<br />
<br />
Memcached is an in-memory <br />
key-value store for small <br />
chunks of arbitrary data <br />
(strings, objects) from <br />
results of database calls, <br />
API calls, or page rendering.<br />
<br />
key-value baas<br />
{"http://xx.com/api/people":23,<br />
"bsesd": "dfsdfsdf",<br />
...<br />
} <br />
põhirakendus: päringute cachimine<br />
API päringud<br />
<br />
- keyd<br />
- aega, millal salvestati<br />
- data<br />
<br />
memcachedit on lihtne panna<br />
korraga mitme masina peale<br />
10 serverit, igaühes jookseb<br />
<br />
variandid mis oleks:<br />
- (memcached ei tee seda)<br />
iga server sisaldab kogu datat<br />
<br />
- iga server sisaldab osa datat<br />
<br />
uus data tuleb mingi key "k1":<br />
- peame otsustama mis serverisse<br />
panna<br />
- päring otsib "k1"-te: peame teadma<br />
mis serveris ta on ja sealt<br />
küsima<br />
arvutad key hashi <br />
hash("k1") oleks ntx 192202<br />
jagad serverite arvuga, saad<br />
jäägi: see on serveri nr<br />
<br />
- alternatiiv: redis<br />
veidi keerulisem datastruktuur<br />
ja päringud<br />
<br />
<br />
* Replikeerimine baasides:<br />
<br />
põhiststsenaarium:<br />
<br />
- ei mahu ära, ei jaksa<br />
vastata päringutele<br />
<br />
jagame osa datat ühte serverisse<br />
teise osa teise, kolmanda <br />
kolmandasse jne<br />
<br />
- mis põhimõtte järgi?<br />
<br />
* jagame väga suured tabelid<br />
a la memcachedi moodi<br />
ridade kaupa<br />
<br />
kasutajanime esitäht:<br />
a-c: server 1<br />
d-k: server 2.<br />
...<br />
x-z: server N<br />
<br />
osa datat replitseerida,<br />
osa jagada<br />
<br />
* osa tabeleid serverisse 1,<br />
osa serverisse 2, <br />
<br />
* eksootiline: osa tulpasid<br />
suurest tabelist server 1,<br />
osa server 2,<br />
<br />
<br />
- kuidas tehniliselt saadad<br />
ja päringuid ruudid?<br />
<br />
<br />
<br />
<br />
<br />
--------<br />
x-tee<br />
------<br />
<br />
mida ta teeb? <br />
<br />
- põhimõtted:<br />
<br />
- P2P:<br />
asutused suhtlevad apide kaudu<br />
omavahel, mingit keskust pole<br />
kust data läbi jookseks<br />
<br />
- API-de autentimine:<br />
kokkulepe ja keskne süsteem<br />
sertidega majandamiseks ehk<br />
tuvastamiseks, et kas saatja/<br />
saaja on ikka see asutus,<br />
kes ta ütleb ennast olevat<br />
Seda majandamist teeb x-tee<br />
keskus.<br />
<br />
<br />
- on olemas spec, et kuidas <br />
konkreetselt teha SOAP apisid<br />
et datat küsida ja saata<br />
<br />
- SOAP<br />
- kohustuslikud väljad headeris<br />
<br />
- mismoodi datat tegelikult<br />
kodeerid, on suuresti igaühe<br />
oma teha<br />
<br />
- tarkvaratükk nimega<br />
x-tee turvaserver <br />
<br />
reeglina pannakse eraldi linuxi<br />
purki<br />
<br />
kogu liiklus nii küsijalt kui<br />
saajalt läheb läbi nende oma<br />
x-tee turvaserver<br />
<br />
optsioon:<br />
- oma masinasse (võib virtual olla)<br />
- kasutad mingit turvaserveri<br />
hostingut<br />
<br />
mida turvaserver veel teeb?<br />
<br />
- logib enda kõhtu liikluse<br />
metainfot ja osa liikluse<br />
sisu, ca ühe kuu jagu<br />
<br />
seda detailinfot ei saadeta<br />
kuhugile<br />
<br />
- nö basic metainfo, et kellega<br />
on ühendust võetud ja mis<br />
ajal, selle saadab turvaserver<br />
keskusesse: <br />
st keskuses on piiratud logi<br />
logis on näha osapooled<br />
ja aeg ja api calli nimi<br />
<br />
<br />
<br />
- mis on x-tee lisaväärtus versus<br />
harilik https?<br />
<br />
Lisaväärtus on korrektne ja<br />
kontrollitud autentimine, ehk<br />
sertidega majandamine.<br />
<br />
- tähelepanek: turvaserverit<br />
ei ole väga lihtne konfida<br />
<br />
- ajalugu:<br />
<br />
- kui x-tee algas, siis tegid<br />
softi kaks firmat:<br />
Cybernetica<br />
Assert .... Fujitsu<br />
.... Aktors<br />
<br />
- algul oli x-tee xml-rpc-ga<br />
siis oli paralleelselt juures<br />
soap<br />
- lõpuks ainult soap<br />
<br />
- regulaarselt iga paari aasta<br />
tagant (ca 4-5 a) uued versioonid<br />
<br />
Uusim x-tee versioon<br />
- väiksed kasulikud headeri<br />
muutused<br />
- selle asemel et öelda <br />
organisatsiooni id, <br />
on nüüd ka alamorganisatsiooni<br />
id<br />
- hakati nõudma riistvaralist<br />
turvat, st eriseadet arvuti<br />
küljes sertidega kindlamaks<br />
majandamiseks<br />
<br />
- uuemale üleminek venis <br />
planeeritust 1.5 a hiljemaks<br />
ja praegu on käimas mõlemid<br />
paralleelselt<br />
<br />
RIA <br />
<br />
https://www.x-tee.ee/docs/live/xroad/pr-mess_x-road_message_protocol.html<br />
<br />
<br />
<br />
<br />
<br />
<br />
</pre></div>Tammet