Digital resources in the Social Sciences and Humanities OpenEdition Our platforms OpenEdition Books OpenEdition Journals Hypotheses Calenda Libraries OpenEdition Freemium Follow us

Isabell Trilling: Die Anwendung von LLMs zur Identifikation und Klassifikation von Naturkatastrophen in mittelalterlichen Stadtchroniken

Large Language Modelle (LLMs) benötigen in der Regel keine große Menge an zusätzlichen Trainingsdaten, um in unterschiedlichen NLP-Aufgaben eine gute Leistung zu erzielen. Ausgehend von den vielversprechenden Ergebnissen, die LLMs in dem Bereich der Named Entity Recognition (NER) in Auszügen des Baedekers erzielt hat[1], untersucht diese Masterarbeit empirisch, welchen Nutzen LLMs für die automatisierte Annotationen von abstrakteren Konzepten in historischen Quellen haben.

„Isabell Trilling: Die Anwendung von LLMs zur Identifikation und Klassifikation von Naturkatastrophen in mittelalterlichen Stadtchroniken“ weiterlesen

Preprint published: NER4all or Context is All You Need


The Chair for Digital History is happy to announce that we published our first preprint on arXiv:

Torsten Hiltmann, Martin Dröge, Nicole Dresselhaus, Till Grallert, Melanie Althage, Paul Bayer, Sophie Eckenstaler, Koray Mendi, Jascha Marijn Schmitz, Philipp Schneider, Wiebke Sczeponik, Anica Skibba, NER4all or Context is All You Need: Using LLMs for low-effort, high-performance NER on historical texts. A humanities informed approach, arXiv (4.02.2025), DOI: https://doi.org/10.48550/arXiv.2502.04351

Abstract:
Named entity recognition (NER) is a core task for historical research in automatically establishing all references to people, places, events and the like. Yet, due to the high linguistic and genre diversity of sources, only limited canonisation of spellings, the level of required historical domain knowledge, and the scarcity of annotated training data, established approaches to natural language processing (NLP) have been both extremely expensive and yielded only unsatisfactory results in terms of recall and precision. Our paper introduces a new approach. We demonstrate how readily-available, state-of-the-art LLMs significantly outperform two leading NLP frameworks, spaCy and flair, for NER in historical documents by seven to twentytwo percent higher F1-Scores. Our ablation study shows how providing historical context to the task and a bit of persona modelling that turns focus away from a purely linguistic approach are core to a successful prompting strategy. We also demonstrate that, contrary to our expectations, providing increasing numbers of examples in few-shot approaches does not improve recall or precision below a threshold of 16-shot. In consequence, our approach democratises access to NER for all historians by removing the barrier of scripting languages and computational skills required for established NLP tools and instead leveraging natural language prompts and consumer-grade tools and frontends.

Yannick Haas: NS-Sprachgebrauch im Nachrichtenmagazin DER SPIEGEL: Eine NLP-Analyse „latenter“ sprachlicher Kontinuitäten in den 1950er und 1960er Jahren

Die Frage, ob nationalsozialistisches Gedankengut in der Nachkriegszeit fortlebte, ist ein zentrales Thema der deutschen Geschichtsforschung. Während bisherige Arbeiten hauptsächlich personelle Kontinuitäten beleuchten, gibt es bislang nur wenige quantitative Untersuchungen, die sich gezielt mit sprachlichen Kontinuitäten in der Presse auseinandersetzen.

„Yannick Haas: NS-Sprachgebrauch im Nachrichtenmagazin DER SPIEGEL: Eine NLP-Analyse „latenter“ sprachlicher Kontinuitäten in den 1950er und 1960er Jahren“ weiterlesen

Hiltmann et al.: NER, aber prompto! Named Entity Recognition mit Large Language Models für historische Texte

Projektteam: Torsten Hiltmann, Martin Dröge, Nicole Dresselhaus, Sophie Eckenstaler, Till Grallert, Jascha Schmitz, Philipp Schneider, Melanie Althage
(Humboldt-Universität zu Berlin, NFDI4Memory)

Als mit der Veröffentlichung von ChatGPT die Aufmerksamkeit in einem verstärkten Maße auf Large Language Models gelenkt wurde, wusste man zwar, dass sich damit vieles verändern würde, doch die konkreten Auswirkungen waren noch nicht absehbar. Mit unserem Vortrag wollen wir für die Geschichtswissenschaften aufzeigen, was diese neue Technologie ganz konkret für unser Fach leisten kann. Am Beispiel der Named Entity Recognition (NER), also der Erkennung und Klassifikation von Eigennamen bzw. von jenen Textstellen, die namentlich auf Entitäten wie Personen, Orte oder Institutionen verweisen, wollen wir zeigen, inwieweit mit dieser Technologie auch in den Geschichtswissenschaften neue Wege beschritten werden können.

„Hiltmann et al.: NER, aber prompto! Named Entity Recognition mit Large Language Models für historische Texte“ weiterlesen

Nina Rastinger: Kleine Texte, dichte Daten. Listen in historischen Zeitungen als Schatz für die Digital Humanities

Historische (deutschsprachige) Zeitungen haben in den letzten Jahrzehnten eine Massendigitalisierung erfahren und stehen aktuell bereits über eine Vielzahl digitaler Ressourcen zur Verfügung, etwa über AustriaN Newspapers Online, das Deutsche Textarchiv, das Deutsche Zeitungsportal, zeit.punkt NRW, impresso, digipress, Tessmann-digital, e-Luxemburgensia oder das Digitale Forum Mittel- und Osteuropa. Als „Textsortennetz[e]“ (Pfefferkorn/Riecke/Schuster 2017: 5) vereinen Zeitungen verschiedenste Textsorten in sich und zeichnen sich wesentlich durch formale und inhaltliche Heterogenität aus.

„Nina Rastinger: Kleine Texte, dichte Daten. Listen in historischen Zeitungen als Schatz für die Digital Humanities“ weiterlesen

Dominique Stutzmann: In Wort und Bild. Zur Analyse mittelalterlicher Schriftquellen mit digitalen Methoden am Beispiel von Stundenbüchern und Urkundenregistern

Seit einigen Jahren hat sich die Analyse der mittelalterlichen Schriftquellen durch die Anwendung digitaler Methoden, insb. der Bildverarbeitung durch Künstliche Intelligenz bzw. Maschinelles Lernen, stark verändert. Der Zugang zu Texten wurde durch Verfahren wie die Volltextindexierung, automatische Texterkennung (Handwritten Text Recognition) sowie durch Text-Mining-Werkzeuge wie die Eigennamenerkennung (Named Entity Recognition), Stilometrie oder die Identifizierung textueller Übernahmen (Text Reuse Detection) grundsätzlich erweitert. An der Schnittstelle zwischen Computer Vision und digitalen Bildern der Textquellen haben sich zudem weitere Forschungsfelder entwickelt, wie die Analyse des Layouts und der mise-en-page oder die Erforschung der Schrift als Bild von der Schreiberidentifizierung bis hin zur Schriftklassifizierung.

„Dominique Stutzmann: In Wort und Bild. Zur Analyse mittelalterlicher Schriftquellen mit digitalen Methoden am Beispiel von Stundenbüchern und Urkundenregistern“ weiterlesen

Ole Meiners: Evaluation von Named Entity Recognition-Modellen für historische deutschsprachige Texte am Beispiel frühneuzeitlicher Ego-Dokumente (Abschlussarbeit)

Named Entity Recognition (NER), die automatisierte Erkennung und Klassifizierung von Named Entities in digitalen Texten, hat in letzter Zeit durch die Nutzung von Deep Learning-Architekturen große Fortschritte erzielt. Dies gilt insbesondere für weit verbreitete Gegenwartssprachen wie Englisch und Deutsch, zu denen ausreichend große Mengen an Trainingsdaten verfügbar sind. Auch für historische deutsche Texte wurden auf Grundlage dieser Technologie Modelle trainiert, die etwa für die Erkennung von Personen- und Ortsnamen sehr gute Ergebnisse liefern. Datengrundlage und Anwendungsszenario sind hierbei historische Zeitungen, vorrangig des 19. und 20. Jahrhunderts, die in großem Umfang digitalisiert vorliegen. Anders sieht die Situation für frühere Epochen aus: Für die Frühneuzeit und das Spätmittelalter stehen noch keine deutschen Sprach- oder NER-Modelle zur Verfügung, die von den aktuellen technischen Möglichkeiten Gebrauch machen. Ebenso fehlt es an Textkorpora frühneuzeitlicher deutscher Texte zum Training entsprechender Modelle sowie zu deren Evaluation. Der Einsatz etwa von NER-Modellen auf Basis von Deep-Learning ist jedoch auch für Texte aus diesem Zeitraum vielversprechend.

„Ole Meiners: Evaluation von Named Entity Recognition-Modellen für historische deutschsprachige Texte am Beispiel frühneuzeitlicher Ego-Dokumente (Abschlussarbeit)“ weiterlesen

Nadine Butigan / Anica Skibba / Jasper Stange: Digitale Kuratierung

Die Menge der Daten nimmt beständig zu – ob in der freien Wirtschaft, in der Forschung oder im Privaten. Um diese Mengen zu organisieren, können die (digitalen) Informationen und Daten über Content-Management-Systeme (CMS) gesammelt, gespeichert, angereichert und dargestellt werden. Diese auch für die Forschung relevanten Daten können dann weitergehend durch semi-automatische Verfahren verknüpft werden. Dadurch werden inhaltliche Zusammenhänge sichtbar und untereinander verlinkt. Dieser Verbund aus Informationserhebung, Datengenerierung und Wissensaufbereitung aus unterschiedlichen Quellen wird als Digitale Kuratierung bezeichnet. Am Beispiel des Forschungsprojekts Qurator, und aus der Perspektive der Staatsbibliothek zu Berlin – Preußischer Kulturbesitz, erhielten die Teilnehmenden der Übung „Digitalisierung historischer Schriftquellen in der Praxis“ einen Überblick über das Projekt sowie die Mittel der Qualitätsverbesserung, Layouterkennung und inhaltlichen Erschließung der stetig wachsenden Datenmengen, aus denen wir auch als Historiker:innen Wissen gewinnen wollen.

„Nadine Butigan / Anica Skibba / Jasper Stange: Digitale Kuratierung“ weiterlesen

Zusätzliche Übung im praxisbezogenen Workshopformat: Natural Language Processing für Historiker:innen mit den Python Frameworks Flair und SpaCy

Für unsere Studierenden im Master-Schwerpunkt “Digital History” bieten wir noch eine zusätzliche Veranstaltung an: Named Entity Recognition und Word Embeddings sind grundlegende Methoden des Natural Language Processing, die auch für die Digital History von zentraler Bedeutung sind, bislang jedoch noch selten verwendet werden.

„Zusätzliche Übung im praxisbezogenen Workshopformat: Natural Language Processing für Historiker:innen mit den Python Frameworks Flair und SpaCy“ weiterlesen