Harvestointi

Haluatko, että avoindata.fi alkaa harvestoida organisaatiotasi?

Ota yhteyttä avoindata.fi:n ylläpitoon ja kerro seuraavat asiat:

  • Keitä olette: millä alalla toimitte ja miltä aihealueelta tuotatte dataa.
  • Missä muodossa avaatte dataa (tietoaineistoja, rajapintoja vai molempia) ja kuinka usein se päivittyy.
  • Jos organisaatiollasi on alaorganisaatioita, haluatteko organisaatiohierarkian näkyviin avoindata.fi:hin (lue lisää alaorganisaatioista).
  • Kuinka usein haluatte, että avoindata.fi harvestoi teitä (yleensä harvestointi suoritetaan kerran vuorokaudessa).
  • Koska haluatte aloittaa harvestoinnin.

Mitä harvestointi tarkoittaa?

Harvestoinnilla tarkoitetaan datan, tai datan kuvailutietojen, automaattista keräämistä eri sivustoilta yhteen paikkaan, kuten avoindata.fi:hin. Harvestoitavan organisaation tietoaineistot löytyvät siis ajantasaisina paitsi sen omasta palvelusta, myös avoindata.fi:stä.

Avoindata.fi:n tietoaineistojen metatiedot harvestoidaan Euroopan unionin yhteiseen avoimen datan portaaliin, dataeuropa.eu:hun. Jos harvestoimme organisaatiotasi, päätyvät organisaatiosi tietoaineistojen metatiedot nähtäville myös kansainväliseen palveluun.

Harvestointi helpottaa datan löytämistä, sillä käyttäjä voi etsiä dataa keskitetysti yhdestä paikasta monen eri sivuston sijaan. Avoindata.fi:hin harvestoidaan eri organisaatioista vain tietoaineistojen kuvailutiedot eli metatiedot eikä itse dataa. Näet kaikki harvestoimamme organisaatiot Harvestointi-sivultamme. Emme koskaan harvestoi tietoaineistoja ilman sopimusta.

Harvestointi kannattaa erityisesti, jos organisaatiollasi on useita avoimen datan tietoaineistoja, varsinkin jos nämä tietoaineistot päivittyvät edes muutaman kerran vuodessa. Mitä enemmän päivitettäviä tietoaineistoja organisaatiollasi on ja mitä useammin ne päivittyvät, sitä kannattavampaa harvestointi on. Harvestoinnin ansiosta voit hoitaa tietoaineistojen ylläpidon omassa palvelussasi, mutta saada silti kaikki avoindata.fi:n hyödyt. Samalla vältytään siltä ikävältä tilanteelta, että jokin tietoaineisto jää päivittämättä avoindata.fi:ssä ja data vanhenee.

Harvestoitavan datan ylläpitäminen​​​​

Harvesteri kopioi palveluumme vain tietoaineistojen metatiedot sekä linkit data-aineistoihin. Varsinaisen datan ylläpitäminen hoidetaan siis edelleen omassa palvelussasi, eikä avoindata.fi:ssä ole ylläpidettäviä kopioita datastasi.

Vastuut ja velvollisuudet harvestoinnissa

    Avoindata.fi:n velvollisuudet:

    • Pyrkiä mahdollisimman korkean palvelulupaukseen.
    • Tarjota käyttöliittymä, josta voi tarkastella virheitä harvestoinnissa ja uudelleenharvestoida organisaation datan.
    • Päivittää säännöllisesti metatietojen tietomallia (DCAT-AP) ja varmistaa tietomallin yhteentoimivuus EU:n kanssa. Tutustu DCAT-AP-metatietomalliin

    Harvestoitavan organisaation velvollisuudet:

    • Ilmoittaa kaksi kuukautta etukäteen teknisistä muutoksista, jotka voivat vaikuttaa harvestointiin.
    • Päivittää oman tietoaineistojen metatietojen kuvailumallinsa yhteentoimivaksi avoindata.fi-palvelun metatietomallin (DCAT-AP) kanssa
    • Nimetä yhteyshenkilö, kehen avoindata.fi:n ylläpitäjät voivat olla yhteydessä harvestointiin liittyvistä asioista.
    • Osallistua mahdollisuuksien mukaan kansallisen tietomallin suunnittelutyöhön.
    • Vastata omia tietoaineistoja ja ohjelmointirajapintoja (API) koskevaan palautteeseen ja kysymyksiin avoindata.fi:ssä.
    • Lisensoida harvestoitavat tietoaineistot, ohjelmointirajapinnat ja niiden kuvaukset avoimen datan lisensseillä: Creative Commons Nimeä 4.0 tai Creative Commons CC0 1.0

    Kun tietoaineistot harvestoidaan avoindata.fi:hin, niiden ylläpito hoidetaan edelleen alkuperäisessä palvelussa. Avoindata.fi-palvelussa täytyy silti huolehtia seuraavista:

    • Organisaatio: organisaation nimi, kuvaus ja logo tulee päivittää avoindata.fi:hin manuaalisesti
    • Organisaatiohierarkia: jos organisaatiollasi on alaorganisaatioita, tulee hierarkiaa ja kaikkia organisaatioita ylläpitää avoindata.fi:ssä

    Lue näistä tarkemmin alta Harvestoitavan datan ylläpito -osiosta.

    Harvestoitavan datan ylläpito

    Jos organisaatiotasi harvestoidaan, datan ja organisaatioiden hallinnointi eroaa hieman normaalista hallinnoinnista. Ota alla esitellyt seikat huomioon, kun hallinnoit organisaatiotasi ja sen tietoaineistoja.

    Harvestoinnin vaikutukset datan hallinnointiin

    Jos avoindata.fi harvestoi organisaatiotasi, uudet tietoaineistot sekä vanhoihin tietoaineistoihin tehdyt muokkaukset päivittyvät automaattisesti palveluumme. Harvesteri kopioi yleensä kerran vuorokaudessa organisaation omasta palvelusta löytyvien tietoaineistojen uusimmat versiot avoindata.fi:hin. Näet organisaatiosi harvestointiraporteista edellisten harvestointiajojen tilanteet ja mahdolliset virheet. Lue lisää harvestointiraportista ja harvesterin hallinnoinnista alempaa.

    Tietoaineistojen lisääminen ja muokkaaminen

    Harvestoitaessa kaikki avoindata.fi:ssä tietoaineistoihin tehdyt muutokset poistuvat, eli älä lisää tietoaineistoja suoraan avoindata.fi-palveluun tai muuten muokkaa niitä palvelussamme, jos organisaatiotasi harvestoidaan, vaan tee muutokset omassa palvelussasi.

    Harvestoinnin vaikutukset organisaation hallinnointiin ja alaorganisaatioihin

    Sinun täytyy avoindata.fi:ssä huolehtia organisaatiosi nimestä, kuvauksesta, logosta sekä jäsenistä ja heidän oikeuksistaan. Lue lisää jäsenten hallinnasta.

    • Tuottajalla on alaorganisaatioita: Sovi organisaatiohierarkian luomisesta avoindata.fi:n ylläpitäjien kanssa, jos haluat, että tietoaineistot harvestoituvat alaorganisaatioihin myös avoindata.fi:ssä. Muuten kaikki organisaatiosi tietoaineistot harvestoituvat yläorganisaation alle. Tietoaineistojen harvestoituminen oikeiden alaorganisaatioden alle helpottaa myös datan löytämistä palvelusta. Lue lisää organisaation luomisesta Tuottajan lisääminen ja ylläpitäminen -osiosta. Avoindata.fi:hin luomasi organisaatiohierarkian tulee olla identtinen omasta palvelustasi löytyvän organisaatiorakenteen kanssa. Muuten tietoaineistot eivät harvestoidu oikeisiin organisaatioihin. Muista päivittää kaikki muutokset organisaatiohierarkiassa myös avoindata.fi:hin.
    • Haluat siirtää tietoaineistoja yhdeltä alaorganisaatiolta toiselle: Siirrä tietoaineistot omassa palvelussasi. Harvesteri huomaa muutoksen, ja tietoaineistot päivittyvät oikean organisaation alle avoindata.fi:ssäkin seuraavan harvestointiajon yhteydessä.
    • Tietoaineiston ylimmän tason ylläpitäjäorganisaatio muuttuu esimerkiksi yhdistymisen seurauksena: Ota yhteyttä avoindata.fi:n ylläpitäjiin. Näin vältämme mahdollisten kopioiden syntymisen.
    • Organisaatiosi nimi muuttuu: Päivitä uusi nimi myös avoindata.fi:hin. Sama koskee myös kaikkia organisaatiosi alaorganisaatioita. Jos sinulla ei ole oikeuksia muuttaa organisaation nimeä, voit hakea ylläpitäjäjäsenyyttä organisaatioosi joko jäsenhakemuksella tai ottamalla meihin yhteyttä yhteydenottolomakkeella.

    Harvesterin ylläpito

    Harvesteri, jolla data kerätään organisaation palvelusta on organisaatiokohtainen. Harvestoitavan organisaation ylläpitäjälle annetaan oikeus hallinnoida myös harvesterin toimintaa.

    Harvesterin hallinnointi

    Harvesterin ylläpidosta vastaa pääasiassa palvelun ylläpito. Vaikka pääsetkin harvestoitavan organisaation ylläpitäjä-jäsenenä muokkaamaan harvesteria, älä tee mitään muutoksia, ellet ole täysin varma siitä mitä teet. Ota ongelmatapauksissa yhteys palvelun ylläpitäjiin. 

    Harvestointiajojen seuraaminen

    Harvestoitavan organisaation tehtävänä on seurata harvestointiajojen onnistumista. Tarkastele harvesteria ja tietoa harvestointiajoista navigoimalla Harvestointi-sivulle, valitsemalla organisaatiosi ja valitsemalla Ylläpitäjä - Admin.

    Harvesterin ylläpitonäkymään pääsee sivustolla olevan sinisen Ylläpitäjä-Admin -painikkeen kautta

    • Yhteenveto-välilehdellä voi tarkastella, milloin harvesteri on viimeksi ajettu ja onko harvestointi suoritettu onnistuneesti.
    • View full job report -painikkeen kautta voit tarkastella viimeisintä ajoa ja sen virheitä tarkemmin.
    • Valitse Jobs-välilehti, jos haluat tarkastella kaikkia ajoja ja niissä mahdollisesti tapahtuneita virheitä. Lue lisää virheistä Harvestointiraportit-osiosta.
    • Muokkaa-välilehdellä hallinnoidaan harvesteria, joten sitä ei yleensä ole tarpeen käyttää. 

    Harvesterin ylläpito-sivulla on eri toiminnallisuuksia, joiden kautta voi tarkastella harvesterin toimintaa ja mahdollisia virheitä.

    Harvesterin uudelleenkäynnistys

    • Reharvest-painikkeella voit käynnistää harvestoinnin manuaalisesti. 
    • Stop-painike pysäyttää harvesterin. 
    • Clear-painike poistaa kaikki harvestointitulokset.
    • View harvest source -painikkeella voit palata takaisin normaaliin harvesterinäkymään, jossa näet harvestoidut tietoaineistot sekä harvesterin tiedot.

    Harvesterin voi käynnistää, pysäyttää tai tyhjätä sen harvestointituloksista sivulla olevien painikkeiden avulla.

      Jos harvesteri on jäänyt jumiin running tilaan, pysäytä se Stop-painikkeella ja harvestoi tietoaineistot uudelleen valitsemalla Reharvest. Jos harvesteri ei korjaudu tällä, ota yhteys palvelun ylläpitäjiin.

      Jos olet tehnyt muutoksia omassa palvelussasi esimerkiksi virheellisen tiedon vuoksi ja haluat päivittää muutokset heti myös avoindata.fi:hin, käynnistä tietoaineistojen uudelleenharvestointi valitsemalla Reharvest

      Harvestointiraportit ja virheet harvestoinnissa

      Harvesteri tekee jokaisesta harvestointiajosta raportin, joka näyttää muun muassa ajon aikana tapahtuneet virheet.

      • Valitse Ylläpitäjä - Admin
      • Valitse Jobs-välilehti sekä haluamasi harvestointiajo tarkastellaksesi kyseistä ajoa ja sen aikana tapahtuneita virheitä.

      Harvestoinnin aikana tapahtuvat virheet ja niiden korjaaminen

      Harvestointiraportti kertoo ajon aikana tapahtuneen virheitä, kun palvelumme käyttämän CKAN-alustan harvesteri tulkitsee jonkin tapahtuman virheelliseksi. 

      ​​Yleensä virheet johtuvat metatiedoista, joita harvesteri ei tunnista. ​​​​Jos tietty virhe toistuu usein etkä osaa korjata virhettä, ota yhteys palvelun ylläpitäjiin. Satunnaisista yksittäisistä virheistä ei tarvitse välittää.

      Jos sähköpostiosoitteessa on käytetty @-merkin sijaan [a]-merkintää, harvesteri ei tunnista sähköpostiosoitetta. Korjaa virheet paikallisesti omassa palvelussasi, niin ne päivittyvät seuraavassa harvestointiajossa myös avoindata.fi:hin.

      Virheellisten tietoaineistojen harvestointi

      Jos harvestoinnin aikana tapahtuu virhe, ei virheellistä tietoaineistoa päivitetä palveluun. Jos siis jossakin tietoaineistossasi on virheellinen metatietokenttä, ei tietoaineisto koskaan päädy avoindata.fi:hin.

      Jos et ymmärrä harvestointiraportin virhetietoja tai et saa korjattua virheitä, ota yhteyttä avoindata.fi:n ylläpitäjiin.