Harvestointi

Harvestoinnilla tarkoitetaan datan automaattista keräämistä eri sivustoilta yhteen paikkaan, kuten avoindata.fi:hin. Harvestoitavan lähteen tietoaineistot löytyvät siis ajantasaisina paitsi lähteen omasta palvelusta, myös avoindata.fi:stä. Harvestointi helpottaa datan löytämistä, sillä käyttäjä voi etsiä dataa keskitetysti yhdestä paikasta monen eri sivuston sijaan.

Harvestointi kannattaa erityisesti, jos organisaatiollasi on useita avoimen datan tietoaineistoja, varsinkin jos nämä tietoaineistot päivittyvät edes muutaman kerran vuodessa. Mitä enemmän päivitettäviä tietoaineistoja organisaatiollasi on ja mitä useammin ne päivittyvät, sitä kannattavampaa harvestointi on. Harvestoinnin ansiosta voit hoitaa tietoaineistojen ylläpidon omassa palvelussasi, mutta saada silti kaikki avoindata.fi:n hyödyt. Samalla vältytään siltä ikävältä tilanteelta, että jokin tietoaineisto jää päivittämättä avoindata.fi:ssä ja data vanhenee.
Avoindata.fi:tä harvestoidaan Euroopan unionin yhteiseen avoimen datan portaaliin, joten jos harvestoimme organisaatiotasi, päätyvät myös organisaatiosi tietoaineistot kansainväliseen palveluun.

Harvestoitavan datan ylläpitäminen

Harvesteri kopioi palveluumme vain tietoaineistojen metatiedot sekä linkit data-aineistoihin. Varsinaisen datan ylläpitämisen voit siis edelleen hoitaa omassa palvelussasi, eikä avoindata.fi:ssä ole ylläpidettäviä kopioita datastasi.

Näet kaikki harvestoimamme lähteet Harvestointi-sivultamme. Emme koskaan harvestoi lähteitä ilman sopimusta lähteen ylläpitäjän kanssa. Jos haluat, että alamme harvestoida organisaatiotasi, ota yhteyttä ja kerro meille toiveestasi. Kerro yhteydenotossa mielellään seuraavat seikat:

  • Keitä olette: millä alalla toimitte ja miltä aihealueelta tuotatte dataa
  • Minkälaista dataa avaatte (tietoaineistoja, rajapintoja vai molempia) ja kuinka usein se päivittyy
  • Jos organisaatiollasi on alaorganisaatioita, haluatteko organisaatiohierarkian näkyviin avoindata.fi:hin (lue lisää alaorganisaatioista Tuottajan hallinta -osiosta)
  • Kuinka usein haluatte, että avoindata.fi harvestoi teitä (yleensä harvestointi suoritetaan kerran vuorokaudessa)
  • Koska haluatte aloittaa harvestoinnin

Jos harvestoimme palveluasi, voit ylläpitää tietoaineistoja omassa palvelussasi. Ota kuitenkin huomioon, että sinun täytyy avoindata.fi-palvelussa edelleen huolehtia seuraavista seikoista:

  • Organisaatio: organisaation nimi, kuvaus ja logo tulee päivittää avoindata.fi:hin manuaalisesti
  • Organisaatiohierarkia: jos organisaatiollasi on alaorganisaatioita, tulee hierarkiaa ja kaikkia organisaatioita ylläpitää avoindata.fi:ssä

Lue näistä tarkemmin alta Harvestoinnin vaikutukset -osiosta.

Harvestoinnin vaikutukset

Jos organisaatiotasi harvestoidaan, datan ja organisaatioiden hallinnointi eroaa hieman normaalista hallinnoinnista. Ota alla esitellyt seikat huomioon, kun hallinnoit organisaatiotasi ja sen tietoaineistoja.

Harvestoinnin vaikutukset datan hallinnointiin

Jos avoindata.fi harvestoi organisaatiotasi, uudet tietoaineistot sekä vanhoihin tietoaineistoihin tehdyt muokkaukset päivittyvät automaattisesti palveluumme. Harvesteri kopioi yleensä kerran vuorokaudessa organisaation omasta palvelusta löytyvien tietoaineistojen uusimmat versiot avoindata.fi:hin. Näet organisaatiosi harvestointiraporteista edellisten harvestointiajojen tilanteet ja mahdolliset virheet. Lue lisää harvestointiraportista ja harvesterin hallinnoinnista alempaa.

Harvestoitaessa kaikki avoindata.fi:ssä tietoaineistoihin tehdyt muutokset poistuvat, eli älä lisää tietoaineistoja suoraan avoindata.fi-palveluun tai muuten muokkaa niitä palvelussamme, jos organisaatiotasi harvestoidaan, vaan tee muutokset omassa palvelussasi.

Harvestoinnin vaikutukset organisaation hallinnointiin ja alaorganisaatioihin

Sinun täytyy avoindata.fi:ssä huolehtia organisaatiosi nimestä, kuvauksesta, logosta sekä jäsenistä ja heidän oikeuksistaan. Lue lisää organisaation hallinnasta. Lue myös jäsenten hallinnasta.

  • Tuottajalla on alaorganisaatioita: Sovi organisaatiohierarkian luomisesta avoindata.fi:n ylläpitäjien kanssa, jos haluat, että tietoaineistot harvestoituvat alaorganisaatioihin myös avoindata.fi:ssä. Muuten kaikki organisaatiosi tietoaineistot harvestoituvat yläorganisaation alle. Tietoaineistojen harvestoituminen oikeiden alaorganisaatioden alle helpottaa myös datan löytämistä palvelusta. Lue lisää organisaation luomisesta oppaasta.

    Avoindata.fi:hin luomasi organisaatiohierarkian tulee olla identtinen omasta palvelustasi löytyvän organisaatiorakenteen kanssa. Muuten tietoaineistot eivät harvestoidu oikeisiin organisaatioihin. Muista päivittää kaikki muutokset organisaatiohierarkiassa myös avoindata.fi:hin.

  • Haluat siirtää tietoaineistoja yhdeltä alaorganisaatiolta toiselle: Siirrä tietoaineistot omassa palvelussasi. Harvesteri huomaa muutoksen, ja tietoaineistot päivittyvät oikean organisaation alle avoindata.fi:ssäkin seuraavan harvestointiajon yhteydessä.
  • Tietoaineiston ylimmän tason ylläpitäjäorganisaatio muuttuu esimerkiksi yhdistymisen seurauksena: Ota yhteyttä avoindata.fi:n ylläpitäjiin. Näin vältämme mahdollisten kopioiden syntymisen.
  • Organisaatiosi nimi muuttuu: Päivitä uusi nimi myös avoindata.fi:hin. Sama koskee myös kaikkia organisaatiosi alaorganisaatioita. Jos sinulla ei ole oikeuksia muuttaa organisaation nimeä, voit hakea ylläpitäjäjäsenyyttä organisaatioosi joko jäsenhakemuksella tai ottamalla meihin yhteyttä yhteydenottolomakkeella. Lue lisää organisaation jäsenyyksistä.

Harvesterin hallinnointi

Harvesteri linkitetään aina johonkin organisaatioon, ja kyseisen organisaation ylläpitäjä voi hallinnoida myös harvesterin toimintaa.

Harvesterin hallinnointi

Harvesterin ylläpidosta vastaa pääasiassa palvelun ylläpito. Vaikka pääsetkin harvestoitavan organisaation ylläpitäjä-jäsenenä muokkaamaan harvesteria, älä tee mitään muutoksia, ellet ole täysin varma siitä mitä teet. Ota ongelmatapauksissa yhteys palvelun ylläpitäjiin.

Näet harvesterisi ja sen tiedot Harvestointi-sivulla. Jos haluat nähdä tarkempia tietoja harvesterista, navigoi Harvestointi-sivulla oman organisaatiosi kohdalle ja valitse Ylläpitäjä - Admin.

Yhteenveto-välilehdeltä näet harvesterin tiedot ja voit hallinnoida sen toimintaa. Näet, milloin harvesteri on viimeksi ajettu ja onko harvestointi suoritettu onnistuneesti vai onko se jäänyt päälle. Lisäksi näet viimeisimmän harvestointiajon virheiden määrän. Lue lisää virheistä Harvestointiraportti-osiosta.

Kuva havainnollistaa painikkeiden sijainteja harvestointinäkymässä.

  • Reharvest-painikkeella voit käynnistää harvestoinnin manuaalisesti. Tätä tuskin tarvitsee käyttää, ellet pysäytä harvesteria manuaalisesti.
  • Stop-painike pysäyttää harvesterin. Toisinaan harvesteri jää jumiin, eikä saa ajoa päätökseen onnistuneesti. Tällöin harvesterin manuaalinen pysäytys ja uudelleenharvestointi saattaa auttaa. Jos harvesteri ei korjaudu tällä, ota yhteys palvelun ylläpitäjiin.
  • Clear-painike poistaa kaikki harvestointitulokset. Älä koske tähän!
  • View harvest source -painikkeella voit palata takaisin normaaliin harvesterinäkymään, jossa näet harvestoidut tietoaineistot sekä harvesterin tiedot.

Jobs-välilehdellä näet kaikki harvestointiajot ja niiden aikana tapahtuneet virheet. Lue lisää virheistä Harvestointiraportit-osiosta.

Muokkaa-välilehdellä voit muokata harvesterin tietoja. Näihin ei kuvausta ja nimeä lukuun ottamatta kannata koskea, ellet ole täysin varma siitä, mitä teet. Harvesterin ylläpidon hoitaa pääasiassa palvelun ylläpito.

Harvestointiraportit

Harvesteri tekee jokaisesta harvestointiajosta raportin, joka näyttää muun muassa ajon aikana tapahtuneet virheet. Näet harvestointiraportit oman harvestointilähteesi sivulta valitsemalla Ylläpitäjä - Admin > Jobs.

Kaikki harvestointiajot näet Harvestoinnit-välilehdeltä. Näet jokaisen ajon aloitus- ja päättymisajankohdan sekä kyseisen ajon tapahtumat. Tapahtumilla tarkoitetaan lisättyjen, muokattujen ja poistettujen tietoaineistojen määrää sekä ajon aikana tapahtuneiden virheiden määrää. Valitsemalla harvestointiajon näet tarkempaa tietoa kyseisen ajon tilasta ja sen aikana tapahtuneista virheistä.

Harvestoinnin aikana tapahtuvat virheet ja niiden korjaaminen

Harvestointiraportti kertoo ajon aikana tapahtuneen virheitä, kun palvelumme käyttämän CKAN-alustan harvesteri tulkitsee jonkin tapahtuman virheelliseksi.

Virheellinen tietoaineisto

Jos harvestoinnin aikana tapahtuu virhe, ei virheellistä tietoaineistoa päivitetä palveluun. Jos siis jossakin tietoaineistossasi on virheellinen metatietokenttä, ei tietoaineisto koskaan päädy palveluun.

Jos tietty virhe toistuu usein, korjaa virhe tai ota yhteys palvelun ylläpitäjiin. Satunnaisista yksittäisistä virheistä ei tarvitse välittää. Satunnaiset virheet voivat johtua esimerkiksi palvelinten katkoksista. Toistuvat virheet johtuvat usein esimerkiksi virheellisistä, avoindata.fi:n tietomalliin sopimattomista metatiedoista. Tällainen virhe voi johtua esimerkiksi siitä, että sähköpostikentässä on tekstipätkä, jota harvesteri ei tunnista sähköpostiosoitteeksi esimerkiksi koska siinä on käytetty @-merkin sijaan [a]-merkintää.

Osa virheistä saattaa kuitenkin olla monimutkaisia, ja niille voi olla monta syytä. Välillä virheet voivat johtua esimerkiksi hetkellisistä yhteyskatkoksista, mutta jos virhe toistuu, on syytä selvittää, mistä se johtuu ja korjata se. Korjaa virheet paikallisesti omassa palvelussasi, niin ne päivittyvät seuraavassa harvestointiajossa myös avoindata.fi:hin.

Jos et ymmärrä harvestointiraportin virhetietoja tai et osaa korjata virheitä, ota yhteyttä avoindata.fi:n ylläpitäjiin.