Digital resources in the Social Sciences and Humanities OpenEdition Our platforms OpenEdition Books OpenEdition Journals Hypotheses Calenda Libraries OpenEdition Freemium Follow us

Preprint published: NER4all or Context is All You Need


The Chair for Digital History is happy to announce that we published our first preprint on arXiv:

Torsten Hiltmann, Martin Dröge, Nicole Dresselhaus, Till Grallert, Melanie Althage, Paul Bayer, Sophie Eckenstaler, Koray Mendi, Jascha Marijn Schmitz, Philipp Schneider, Wiebke Sczeponik, Anica Skibba, NER4all or Context is All You Need: Using LLMs for low-effort, high-performance NER on historical texts. A humanities informed approach, arXiv (4.02.2025), DOI: https://doi.org/10.48550/arXiv.2502.04351

Abstract:
Named entity recognition (NER) is a core task for historical research in automatically establishing all references to people, places, events and the like. Yet, due to the high linguistic and genre diversity of sources, only limited canonisation of spellings, the level of required historical domain knowledge, and the scarcity of annotated training data, established approaches to natural language processing (NLP) have been both extremely expensive and yielded only unsatisfactory results in terms of recall and precision. Our paper introduces a new approach. We demonstrate how readily-available, state-of-the-art LLMs significantly outperform two leading NLP frameworks, spaCy and flair, for NER in historical documents by seven to twentytwo percent higher F1-Scores. Our ablation study shows how providing historical context to the task and a bit of persona modelling that turns focus away from a purely linguistic approach are core to a successful prompting strategy. We also demonstrate that, contrary to our expectations, providing increasing numbers of examples in few-shot approaches does not improve recall or precision below a threshold of 16-shot. In consequence, our approach democratises access to NER for all historians by removing the barrier of scripting languages and computational skills required for established NLP tools and instead leveraging natural language prompts and consumer-grade tools and frontends.

Mila Oiva: Chasing Leninism with AI. Using Computational Methods to Trace Cultural Phenomena through Historical Audiovisual Materials

How can we trace intangible historical phenomena, such as worldviews, cultural representations, or cultural-political movements through large-scale audiovisual archives? While the hermeneutic tradition of close reading has long provided a foundation for analyzing small-scale historical materials, the rise of digital sources presents new challenges and opportunities. When engaging with vast datasets, the intuitive processes of qualitative analysis must be made explicit, translating human insights into computational terms. This requires us to define the phenomenon under study more explicitly, identify its measurable units within the data, and critically evaluate how both the available data and applied methods allow us to address the research question.

„Mila Oiva: Chasing Leninism with AI. Using Computational Methods to Trace Cultural Phenomena through Historical Audiovisual Materials“ weiterlesen

Hiltmann et al.: NER, aber prompto! Named Entity Recognition mit Large Language Models für historische Texte

Projektteam: Torsten Hiltmann, Martin Dröge, Nicole Dresselhaus, Sophie Eckenstaler, Till Grallert, Jascha Schmitz, Philipp Schneider, Melanie Althage
(Humboldt-Universität zu Berlin, NFDI4Memory)

Als mit der Veröffentlichung von ChatGPT die Aufmerksamkeit in einem verstärkten Maße auf Large Language Models gelenkt wurde, wusste man zwar, dass sich damit vieles verändern würde, doch die konkreten Auswirkungen waren noch nicht absehbar. Mit unserem Vortrag wollen wir für die Geschichtswissenschaften aufzeigen, was diese neue Technologie ganz konkret für unser Fach leisten kann. Am Beispiel der Named Entity Recognition (NER), also der Erkennung und Klassifikation von Eigennamen bzw. von jenen Textstellen, die namentlich auf Entitäten wie Personen, Orte oder Institutionen verweisen, wollen wir zeigen, inwieweit mit dieser Technologie auch in den Geschichtswissenschaften neue Wege beschritten werden können.

„Hiltmann et al.: NER, aber prompto! Named Entity Recognition mit Large Language Models für historische Texte“ weiterlesen

Olga Mlynarczyk: Learning to think like the past. Applicability of retrieval augmented LLMs in historical research

With the advent of ChatGPT, the potential of Large Language Models (LLMs) to facilitate various academic, industrial and even everyday processes became evident to the general public. In its aftermath, publications proposing custom-made integrations of LLMs proliferated in wide range of disciplines far beyond the IT, from genetics and finance to the humanities. What they share in common is hope that LLMs can facilitate advances in their disciplines. But how does a historian turn the models to their advantage?

„Olga Mlynarczyk: Learning to think like the past. Applicability of retrieval augmented LLMs in historical research“ weiterlesen

ChatGPT in der universitären Lehre: Fluch oder Segen? Eine Informations- und Austauschveranstaltung

OpenAIs Chatbot ChatGPT ist in aller Munde. Beschworen werden die Potenziale, beklagt die Herausforderungen – dabei geht es nicht nur um die Auswirkungen auf die Arbeitswelt wie wir sie heute kennen, sondern auch um die schulische und universitäre Lehre. Unklar ist, ob und wie wir Verfahren der „Künstlichen Intelligenz“ sinnvoll in die Lehre einbinden können. Was bleibt, wenn Maschinen das Schreiben von komplexen Texten übernehmen? Ist damit das Ende von schriftlichen Hausarbeiten eingeleitet? Oder befreit uns die „KI“ vielleicht auch von ermüdenden, repetitiven Arbeiten und schafft uns Raum für tiefergehenden Kompetenzerwerb?

Diesen und ähnlichen Fragen widmete sich die Informations- und Austauschveranstaltung „ChatGPT – Fluch oder Segen generativer KIs für die universitäre Lehre?“, die von AI-SKILLS, dem Scholarly Makerspace (FuReSH II) und der Professur für Digital History mit freundlicher Unterstützung des Berliner Zentrums für Hochschullehre am 17. Januar 2023 an der Humboldt-Universität zu Berlin ausgerichtet wurde. An die 250 Teilnehmer:innen fanden sich virtuell und vor Ort ein, um über die neuen technologischen Entwicklungen zu diskutieren. Dass auch ein Team des RBB zugegen war, zeigt eindrücklich, wie groß das Interesse und der Bedarf an einem Austausch ist.

„ChatGPT in der universitären Lehre: Fluch oder Segen? Eine Informations- und Austauschveranstaltung“ weiterlesen