Kysy kirjastonhoitajalta


Aineisto koostuu koneoppimisessa käytettäväksi tarkoitetuista TF-IDF-datamatriiseista, jotka on koostettu "Kysy kirjastonhoitajalta" -kysymys/vastauskorpuksesta. Korpus on suomenkielinen. Datamatriisit soveltuvat erityisesti hyvin paljon luokkia sisältävien nk. Extreme Multi-label Text Classification (XMTC)-koneoppimismallien koulutukseen.

Alkuperäinen korpus sisältää 3150 suomenkielistä lyhyehköä dokumenttia Kysy kirjastonhoitajalta -palvelusta. Jokainen dokumentti on yleisön esittämä kysymys, johon kirjastonhoitaja on vastannut.

Korpus poimittiin yli 25000 kysymys/vastaus-parin kokoelmasta rajaten niin, että dokumentissa on oltava vähintään 4 subjektia.

Korpus on jaettu seuraaviin hakemistoihin:

all: sisältää kaikki dokumentit (N = 3150)
train: sisältää ennen vuotta 2016 esitetyt kysymykset (N = 2625), jotka on tarkoitettu koulutukseen
maui-train: satunnainen otosjoukko (N = 200) train-hakemistosta, joka on tarkoitettu Maui-mallin kouluttamiseen
validate: sisältää vuonna 2016 esitettyjä kysymyksiä (N = 213), jotka on tarkoitettu validointiin (esim. hyperparametrien valitsemiseen luokittelijalle)
test: sisältää vuonna 2017 esitetyt kysymykset (N = 312), jotka on tarkoitettu lopulliseen arviointiin

Alkuperäinen korpus on saatavissa osoitteesta https://github.com/NatLibFi/Annif-corpora/tree/master/fulltext/kirjastonhoitaja

Data-aineistot (1)

Lisätiedot

Kenttä Arvo
Avainsanat
Tietoaineiston näkyvyys
Vanhentunut Ei
Lisätietoa lisenssistä

Koulutusmatriisit on tuottanut CSC - Tieteen tietotekniikan keskus Oy. Alkuperäisen datan on kerännyt Kansalliskirjasto.

Maantieteellinen kattavuus
Päivitystiheys
Voimassa alkaen
Voimassa päättyen
Lisätietoa verkossa
  1. https://github.com/NatLibFi/Annif-corpora/tree/master/fulltext/kirjastonhoitaja
Tietoaineiston tyyppi Open data
Kansainväliset vertailut
Tila Aktiivinen
Tietoaineiston ylläpitäjä Analytiikkaryhmä
Ylläpitäjän sähköpostiosoite analytics@csc.fi
Ylläpitäjän verkkosivu
comments powered by Disqus