Kysy kirjastonhoitajalta

Aineisto koostuu koneoppimisessa käytettäväksi tarkoitetuista TF-IDF-datamatriiseista, jotka on koostettu "Kysy kirjastonhoitajalta" -kysymys/vastauskorpuksesta. Korpus on suomenkielinen. Datamatriisit soveltuvat erityisesti hyvin paljon luokkia sisältävien nk. Extreme Multi-label Text Classification (XMTC)-koneoppimismallien koulutukseen.

Alkuperäinen korpus sisältää 3150 suomenkielistä lyhyehköä dokumenttia Kysy kirjastonhoitajalta -palvelusta. Jokainen dokumentti on yleisön esittämä kysymys, johon kirjastonhoitaja on vastannut.

Korpus poimittiin yli 25000 kysymys/vastaus-parin kokoelmasta rajaten niin, että dokumentissa on oltava vähintään 4 subjektia.

Korpus on jaettu seuraaviin hakemistoihin:

all: sisältää kaikki dokumentit (N = 3150)
train: sisältää ennen vuotta 2016 esitetyt kysymykset (N = 2625), jotka on tarkoitettu koulutukseen
maui-train: satunnainen otosjoukko (N = 200) train-hakemistosta, joka on tarkoitettu Maui-mallin kouluttamiseen
validate: sisältää vuonna 2016 esitettyjä kysymyksiä (N = 213), jotka on tarkoitettu validointiin (esim. hyperparametrien valitsemiseen luokittelijalle)
test: sisältää vuonna 2017 esitetyt kysymykset (N = 312), jotka on tarkoitettu lopulliseen arviointiin

Alkuperäinen korpus on saatavissa osoitteesta https://github.com/NatLibFi/Annif-corpora/tree/master/fulltext/kirjastonhoitaja