Ole Meiners: Evaluation von Named Entity Recognition-Modellen für historische deutschsprachige Texte am Beispiel frühneuzeitlicher Ego-Dokumente (Abschlussarbeit)

Named Entity Recognition (NER), die automatisierte Erkennung und Klassifizierung von Named Entities in digitalen Texten, hat in letzter Zeit durch die Nutzung von Deep Learning-Architekturen große Fortschritte erzielt. Dies gilt insbesondere für weit verbreitete Gegenwartssprachen wie Englisch und Deutsch, zu denen ausreichend große Mengen an Trainingsdaten verfügbar sind. Auch für historische deutsche Texte wurden auf Grundlage dieser Technologie Modelle trainiert, die etwa für die Erkennung von Personen- und Ortsnamen sehr gute Ergebnisse liefern. Datengrundlage und Anwendungsszenario sind hierbei historische Zeitungen, vorrangig des 19. und 20. Jahrhunderts, die in großem Umfang digitalisiert vorliegen. Anders sieht die Situation für frühere Epochen aus: Für die Frühneuzeit und das Spätmittelalter stehen noch keine deutschen Sprach- oder NER-Modelle zur Verfügung, die von den aktuellen technischen Möglichkeiten Gebrauch machen. Ebenso fehlt es an Textkorpora frühneuzeitlicher deutscher Texte zum Training entsprechender Modelle sowie zu deren Evaluation. Der Einsatz etwa von NER-Modellen auf Basis von Deep-Learning ist jedoch auch für Texte aus diesem Zeitraum vielversprechend.

Frühneuzeitliche Texte unterscheiden sich in vielerlei Hinsicht von modernen Texten und bringen somit spezifische Herausforderungen für die NER mit sich. So sind Texte aus diesem Zeitraum gleichermaßen als Handschriften wie auch als Drucke in großer Zahl überliefert. NER-Modelle für frühneuzeitliches Deutsch sollten idealerweise mit beiden Medien und ihren Eigenheiten zurechtkommen. Eine zentrale Herausforderung stellt die sich über den Zeitraum 1500 bis 1800 verändernde Sprache dar, die zudem durch zahlreiche Regio- und Soziolekte geprägt ist. Im Unterschied zur genormten Gegenwartssprache ist frühneuzeitliches (Hoch-)Deutsch in deutlich geringerem Maß vereinheitlicht, was etwa Schreibweisen, Orthografie oder auch Grammatik betrifft. Nicht zuletzt sind auch kulturelle Entstehungs- und Verwendungskontexte der Texte sowie der in ihnen genannten Named Entities zu berücksichtigen, etwa hinsichtlich der Frage, was einen Namen in der Wahrnehmung der Zeitgenossen ausgemacht hat bzw. was als Name verwendet wurde und was als Bestandteil eines Namens zu verstehen ist.

Ziel der im Vortrag vorgestellten Arbeit war es daher, ein besseres Verständnis zu entwickeln für die Herausforderungen, die frühneuzeitliche Texte für NER mit sich bringen. Besteht ein Zusammenhang zwischen dem Alter der Texte und der Performance der NER-Modelle? Liefern die Modelle auf Drucken bessere Ergebnisse als auf Handschriften? Unterscheiden sich die Entitätentypen hinsichtlich ihrer Erkennungsgenauigkeit? Stellen die Boundaries der Entitäten eine besondere Herausforderung dar? Um diese Fragen zu beantworten, wurde zunächst ein Evaluationskorpus aus frühneuzeitlichen Ego-Dokumenten erstellt. Dieses umfasst Samples aus vier hochdeutschen Texten des 15. bis 18. Jahrhunderts und beinhaltet sowohl Drucke als auch Handschriften. Mit Hilfe dieses Korpus wurden drei State-of-the-Art NER-Modelle für historisches Deutsch des 19.-20. Jahrhunderts evaluiert.

Zentrale Ergebnisse der Arbeit sind, (1) dass es angepasster NE-Annotationsrichtlinien bedarf, um frühneuzeitliche Texte adäquat auszeichnen zu können. (2) Hinsichtlich der Performance der Modelle auf den einzelnen Texten lassen sich weder für die Textmedien (Druck vs. Handschrift) noch für die Textalter eindeutige Zusammenhänge mit der Erkennungsgenauigkeit bestätigen. Stattdessen überwiegen textspezifische Faktoren. (3) Darüber hinaus stellen frühneuzeitliche Texte bzw. ihre digitalen Repräsentationen NER vor grundsätzliche Herausforderungen etwa bei der Tokenisierung. Diese betreffen nicht nur die Modelle, sondern zum Teil auch die Frameworks, die den NER-Modellen zugrunde liegen.

Die Arbeit und ihre Ergebnisse sind explorativ zu verstehen und bedürfen in verschiedener Hinsicht weiterer Vertiefung und Überprüfung. Insbesondere die erstellten Annotationsrichtlinien sind lediglich als erster Vorschlag zu verstehen. Hier, wie auch bei der Transkription frühneuzeitlicher Texte, wäre eine Etablierung einheitlicher Standards durch die Fachcommunities wünschenswert, um die für eigene NER-Modelle benötigten großen Mengen an Trainingsdaten in möglichst einheitlicher Form bereitzustellen.

Den Abstract zum zweiten Vortrag am 26. Oktober finden Sie unter:
Fabian Dombrowski: Der analoge Graph im Digitalen. Niklas Luhmanns Zettelkasten mit Distant Reading erschließen

Vortrag im Rahmen des „Digital History“-Forschungskolloquiums
Zeit: Mittwoch, 26. Oktober 2022, 16-18 Uhr
Ort: Zoom-Konferenz (Zugang auf Anfrage oder via Mailingliste)

---

---