Valodu tehnoloģiju pamati (DatZB022)

LU Eksakto zinātņu un tehnoloģiju fakultātes Datorikas nodaļas Bakalaura studiju programmas kurss.

Kursā izmantotie termini; sk. arī Termini.gov.lv.

Praktiskie darbi

Rīkkopas valodas resursu priekšapstrādei

1. Teksta izgūšana: TextExtraction.ipynb
2. Teksta priekšapstrāde: TextPreprocessing.ipynb
3. Dinamiski ielādēta daudzvalodu satura apstrāde: DW_scrape.ipynb

Galīgie automāti un pārveidotāji

4. Morfoloģiskā analīze un sintēze: HFST.ipynb
5. Teksta izvēršana un savēršana: Thrax.ipynb, Pynini.ipynb

Gramatiskā analīze

6. Latviešu valodas morfoloģiskais analizators un sintezators: TezaursAPI.ipynb
7. Rīkkopas universālo atkarību parsēšanai: ParsingUD.ipynb

Statistiskie valodas modeļi

8. N-grammu modeļi: NGram.ipynb
9. Word2vec apmācība un lietojums: Word2vec.ipynb
10. Teksta klasificēšana: LangID.ipynb, NaiveBayes.ipynb

Neironu valodas modeļi

11. Teksta klasificēšana: fastText.ipynb (1-layer, linear) → BERT.ipynb (deep, non-linear)
12. Modeļi un demonstrācijas Hugging Face platformā:

• Skatīt Tasks, piemēram:
  • Feature Extraction: AiLab-IMCS-UL/lvbert
  • Fill-Mask: google-bert/bert-base-cased
  • Sentence Similarity: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

13. Vārdšķiru un morfoloģiskā marķēšana (Part of Speech (POS) Tagging): POS_tagging.ipynb
14. Nosaukto entitāšu marķēšana (Named entity recognition): NER.ipynb

BSSDH 2024 Workshop 4

1. Introduction: slides
2. Hands-on session: notebook (draft)
3. Initial results: corpus (draft)

Ievads datorlingvistikā (SDSKM018)

LU HZF maģistra studiju programmas kurss:

1. Teksta korpusa izveide: notebook
2. Teksta korpusa marķēšana: notebook, korpuss

Autori

prof. Inguna Skadiņa
asoc. prof. Normunds Grūzītis
asistents Viesturs Jūlijs Lasmanis

Atbalsts

Kursa izstrādi finansē Eiropas Savienības Atveseļošanas un noturības mehānisma investīcija un valsts budžets projekta “Valodu tehnoloģiju iniciatīva” (2.3.1.1.i.0/1/22/I/CFLA/002) ietvaros.