LatvAI-Corpus — Latviešu valodas tekstu datu kopa AI apmācībai

Apraksts

LatvAI-Corpus ir atvērts akadēmiskais datasets, kuru var izmantot NLP modelūu apmācībai latviešu valodā. Tas satur:

• 2.4 milj. tekstu fragmentu
• 18 kategorijas (ziņas, juridiskais, mācību, kultūras u.c.)
• Anotācijas: nosakaņojums, NER, POS tāgi

Datu avoti

• Latvijas Nacionālā bibliotēka (ar atļauju)
• Publiskie valdības dokumenti (MK, Saeima)
• Ziņu portāli (LSM, TVNET) ar licenci
• Wikipedia latviešu versija

Formaāti

JSON · CSV · Parquet · HuggingFace Dataset format

Izmantojums

1. Valodas modelūu apmācība
2. Sentimenta analīzes pētījumi
3. NER un teksta klasifikācija
4. Mācību materīālu ģenerēšana

Licence

CC-BY 4.0 — braīva lietošana ar atsauci.