Integreerimise lühimärkmed

Allikas: Lambda
Redaktsioon seisuga 22. aprill 2019, kell 12:11 kasutajalt Tammet (arutelu | kaastöö)
Mine navigeerimisribale Mine otsikasti

Integreerimise standardpõhjus:

ettevõttes hirmus palju osakondi, rakendusi, värke, igaüks eraldi seega mingeid joine ei saa teha

Lahendus data warehouse: teeme iga baasi külge proge, mis ööseti pumpab päeva data kesksesse baasi ühisesse schemasse:

  • sellelt saab teha joine
  • tekivad päevased snapshotid

Et data warehouse tekiks, on vaja teha nn ETL proged:

  • Extract proged
  • Transform proged: teisendab data ühise schema jaoks
  • Load: pumpad transformituddata warehouse andmebaasi

Põhieesmärk data warehousel: regulaarne ülevaateraportite tegemine.

Teine suund/eesmärk integreerimiseks:

Andmete scrapemine webist ja kogumine apidest ehk machine-readable web.

Selle ideoloogiline fookus läks "semantic web" projekti, mis muutus akadeemiliseks ja ebapraktiliseks. Põhiefekt oli push kasutada rdf-i universaalse dataformaadina. Tim Berners-Lee rebrandis ja refokuseeris oma tegevuse ses suunas hiljem kui "Linked Data" .