Digital resources in the Social Sciences and Humanities OpenEdition Our platforms OpenEdition Books OpenEdition Journals Hypotheses Calenda Libraries OpenEdition Freemium Follow us

Hiltmann et al.: NER, aber prompto! Named Entity Recognition mit Large Language Models für historische Texte

Projektteam: Torsten Hiltmann, Martin Dröge, Nicole Dresselhaus, Sophie Eckenstaler, Till Grallert, Jascha Schmitz, Philipp Schneider, Melanie Althage
(Humboldt-Universität zu Berlin, NFDI4Memory)

Als mit der Veröffentlichung von ChatGPT die Aufmerksamkeit in einem verstärkten Maße auf Large Language Models gelenkt wurde, wusste man zwar, dass sich damit vieles verändern würde, doch die konkreten Auswirkungen waren noch nicht absehbar. Mit unserem Vortrag wollen wir für die Geschichtswissenschaften aufzeigen, was diese neue Technologie ganz konkret für unser Fach leisten kann. Am Beispiel der Named Entity Recognition (NER), also der Erkennung und Klassifikation von Eigennamen bzw. von jenen Textstellen, die namentlich auf Entitäten wie Personen, Orte oder Institutionen verweisen, wollen wir zeigen, inwieweit mit dieser Technologie auch in den Geschichtswissenschaften neue Wege beschritten werden können.

NER ist dabei keineswegs so klar und eindeutig, wie es manchmal den Anschein haben mag – was in besonderer Weise für die Anwendung in den Geschichtswissenschaften gilt. Denn anders als z.B. in der Medizin oder der Biologie, wo diese Techniken in der Regel auf die immer gleichen Textgattungen (zumeist wissenschaftliche Publikationen) angewendet werden, ist die Bandbreite der möglichen Formen und Formate der Quellen in den Geschichtswissenschaften ungleich größer. Sowohl unterschiedliche Sprachen, wie unterschiedliche Textgattungen (von Zeitungsartikeln über Verwaltungsdokumente bis hin zu Briefen oder Tagebucheinträgen), als auch wechselnde Themenbereiche, Sprachebenen wie auch sich historisch wandelnde kulturelle Praktiken und das frühere Fehlen von Rechtschreibregeln bis hin zu unterschiedlichen Ebenen der editorischen Bearbeitung von Quellen bei deren Erschließung erschweren die Aufgabe der Named Entity Recognition erheblich. Zumal hier zuletzt vor allem Methoden ausschlaggebend waren, die auf maschinelles Lernen und damit vor allem auf umfangreich annotierte Trainingsdaten basieren. Für die Geschichtswissenschaften aber ist dies schwierig, da der Aufwand, entsprechende Korpora zu erstellen, äußerst ressourcenintensiv ist und am Ende der Aufwand, eigene Modelle zu trainieren, deren Nutzen übersteigt.

Im Rahmen des Vortrags werden wir zeigen, dass – im Gegensatz zu den bisherigen Behauptungen in der Forschung – LLMs zumindest im Bereich der NER in den Geschichtswissenschaften ein Game Changer sein können. Wir werden zeigen, dass es unter Berücksichtigung der besonderen Eigenschaften der LLM nun möglich ist, ohne den Einsatz spezifischer Modelle oder die aufwändige Aufbereitung von Trainingsdaten und das Training spezifischer Modelle, allein durch geschicktes Prompting, deutlich bessere Ergebnisse zu erzielen als mit den aktuellen Modellen beispielsweise von spaCy und flair. Dabei ist unsere Methode auf jede Textgattung, Domäne und Sprachebene anwendbar.

Um dies zu veranschaulichen, haben wir als Evaluationskorpus den Baedeker-Reiseführer für Berlin aus dem Jahr 1921 aufbereitet, der durch zahlreiche Nennungen von Named Entities sowie durch komplexe Textformen im Wechsel von Fließtext und Listen sowie zahlreiche Abkürzungen als besonders herausfordernd gelten kann. Während mit dem aktuellen Modell von flair 78% der im Text zu erkennenden Named Entities entdeckt werden (Recall), können wir mit unserem Verfahren insgesamt 91% der Named Entities auszeichnen. Die Auswertung der einzelnen Fehler zeigt, dass das Modell in einigen Bereichen sogar noch besser und konsistenter auszeichnet als der Mensch. Gerade bei der Anwendung von LLM entstehen jedoch auch verschiedene Kosten, auf die wir ebenfalls eingehen werden.

Unser Vortrag, der in Kooperation zwischen dem 4Memory Methods Innovation Lab und der Professur für Digital History an der Humboldt-Universität zu Berlin entstanden ist, soll aufzeigen, welche Potenziale die neuen datengetriebenen Methoden für die Geschichtswissenschaften aufweisen. Doch soll in diesem Rahmen zugleich auch exemplarisch aufgezeigt werden, inwiefern diese neuen Methoden auch eine neue Kultur der Methodenkritik und -evaluation und des kollaborativen Arbeitens erfordern, um adäquat eingesetzt werden zu können. Neben der Vorstellung einer neuen Methode, welche die NER in den Geschichtswissenschaften grundlegend voranbringen kann, möchten wir zugleich einen Beitrag zur Weiterentwicklung der Datenkultur in den Geschichtswissenschaften leisten.

Vortrag im Rahmen des „Digital History“-Forschungskolloquiums
Zeit: Mittwoch, 26. Juni 2024, 16-18 Uhr
Ort: Zoom-Konferenz (Zugang auf Anfrage oder via Mailingliste)


OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Digital History Berlin (Redaktion) (24. Juni 2024). Hiltmann et al.: NER, aber prompto! Named Entity Recognition mit Large Language Models für historische Texte. Digital History Berlin. Abgerufen am 12. Februar 2025 von https://doi.org/10.58079/11vni


Eine Antwort auf „Hiltmann et al.: NER, aber prompto! Named Entity Recognition mit Large Language Models für historische Texte“

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.