Advanced Natural Language Processing (ANLP)

Wenn Computer Sprache verstehen: Du arbeitest mit moderner KI, entwickelst Anwendungen wie Chatbots oder Übersetzer und verstehst, wie Maschinen Texte analysieren und generieren.

Inhalte

• Klassische Verfahren des NLP als Vergleichsbasis: Textrepräsentation, N-Gramm-Sprachmodelle, Klassifikation und Evaluation
• Deep Learning für Natural Language Processing: neuronale Sprachmodelle, Word Embeddings, Sequenzmodelle und Attention
• Transformer-Architektur und Pre-Training großer Sprachmodelle (Large Language Models)
• Anpassung von Sprachmodellen: Fine-Tuning, parameter-effizientes Training, Instruction Tuning und Alignment
• Nutzung von Sprachmodellen: Inferenz und Dekodierung, Prompting und In-Context Learning
• Aufbau von Systemen mit Sprachmodellen: Retrieval-Augmented Generation und werkzeugnutzende Agenten
• Evaluation von Systemen mit Sprachmodellen: eigene Testdaten, Metriken jenseits der Accuracy, Fehleranalyse
• Ethik, Sicherheit und Regulierung beim Einsatz von NLP- und KI-Systemen
• Aktuelle Entwicklungen des Feldes
• Praktische Übungen zu jedem Themenblock sowie ein über das Semester laufendes Projekt in Gruppen

Lernziele/Kompetenzen

• die Grundlagen von Deep Learning für Natural Language Processing anzuwenden,
• die Funktionsweise und die Grenzen von Sprachmodellen zu erklären,
• ein System auf Basis von Sprachmodellen für eine konkrete Aufgabe zu entwickeln,
• dessen Ergebnisse gegen klassische Referenzverfahren belastbar zu evaluieren,
• typische Fehlermodi von Sprachmodellen zu erkennen und ihre Ursachen zu analysieren,
• aktuelle wissenschaftliche Veröffentlichungen aus dem Bereich NLP zu lesen.

Literatur

• D. Jurafsky and J. H. Martin, Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models, 3rd ed., draft released Jan. 6, 2026. [Online]. Available: https://web.stanford.edu/~jurafsky/slp3/ [Accessed: 19-Aug-2026].
• J. Eisenstein, Introduction to Natural Language Processing. Cambridge, MA, USA: The MIT Press, 2019.
• Y. Zhang and Z. Teng, Natural Language Processing: A Machine Learning Perspective. Cambridge, U.K.: Cambridge University Press, 2021.

Dozentinnen / Dozenten

• Prof. Dr. Kai Eckert

Empfohlene Vorkenntnisse 

• Grundlagen in NLP (z.B. Bachelor-Kurs Natural Language Processing — Reguläre Ausdrücke, N-Grams, Probabilistic Language Modeling, Vector Space Model)
• Grundlagen in Machine Learning (grundsätzliche Methodik, Neuronale Netze, Arbeit mit Trainings- und Testdaten, Evaluation, ...)
• Programmieren in Python (Jupyter Lab, Frameworks wie Pandas, NumPy, PyTorch, ...)

Daten zum Modul

Semesterwochenstunden (SWS) 

Arbeitsaufwand (Workload)