Digital resources in the Social Sciences and Humanities OpenEdition Our platforms OpenEdition Books OpenEdition Journals Hypotheses Calenda Libraries OpenEdition Freemium Follow us

Große Sprachmodelle in den Geschichtswissenschaften. Ein Überblick und Ausblick zu Ansätzen aus der Praxis

von Alexandra Gawlitza und Anselm König

Anwendung großer Sprachmodelle in der geschichtswissenschaftlichen Praxis

Im Rahmen zahlreicher Forschungsprojekte wird der Einsatz großer Sprachmodelle (LLMs), die sich bereits im alltäglichen Gebrauch und zunehmend auch in wissenschaftlichen Kontexten bewähren, verstärkt auch für die Analyse historischer Quellen erprobt – beispielsweise bei der Auswertung umfangreicher, unstrukturierter Textbestände wie Briefen, Zeitungen, Nachlässen oder amtlichem Schriftgut. Hierdurch entsteht zwar der Eindruck, dass LLMs bereits Einzug in die Geschichtswissenschaften gehalten haben, jedoch stammen die wesentlichen Impulse bislang überwiegend aus dem Bereich der Informatik und der Informationswissenschaften. Historiker*innen sind derweil nur selten direkt an solchen Vorhaben beteiligt und begegnen dem Einsatz von LLMs noch vielfach kritisch. Diese Zurückhaltung gründet sich u. a. auf zentrale Prinzipien historischer Forschung wie z. B. Quellenkritik, Kontextualisierung und die reflektierte Auseinandersetzung mit Mehrdeutigkeiten. Der kanadische Experte für digitale Archäologie und digitale Geisteswissenschaften Shawn Graham warnt etwa in seinem Vortrag „Do It Yourself Digital Golems“[1] vor einem unreflektierten Umgang mit KI-Systemen, die er als moderne „Golems“ beschreibt – mächtige, aber potenziell unkontrollierbare Werkzeuge. Der Einsatz von Large Language Modellen eröffnet zwar neue Perspektiven, erfordert aber zugleich eine kritische Auseinandersetzung mit ihren epistemologischen und ethischen Implikationen. Zugleich zeigt sich in ersten Anwendungen, dass große Sprachmodelle – bei reflektierter Nutzung – Historiker*innen durchaus neue methodische Wege erschließen.

So eröffnen große Sprachmodelle Historiker*innen etwa die Möglichkeit, umfassende Quellenbestände zusammenzufassen, indem zunächst relevante Teile eines Textkorpus identifiziert und zusammengeführt werden. Anschließend wird eine Zusammenfassung generiert, wobei gerade Retrieval Augmented Generation (RAG) einen großen Mehrwert bringt.[2] Weiterhin kann es auch für quellenübergreifende Recherchen zu zentralen Themen mithilfe von semantischer Textanalyse und dem Natural Language Understanding (NLU) genutzt werden.

Ebenfalls werden die Möglichkeiten einer umfassenden Textanalyse und Interpretation in verschiedenen Projekten auf die Probe gestellt wobei etablierte Methoden wie Named Entity Recognition (NER),[3] Sentiment Analysis[4] und Topic Modeling[5] mit großen Sprachmodellen umgesetzt werden. Bei der NER werden mit benannten Entitäten wie Personen und Orten relevante Elemente von Texten extrahiert, während Topic Modeling überhängende Themenkomplexe über mehrere Dokumente hinweg identifizieren kann. Die Sentiment Analysis versucht dagegen, in Texten kodierte Gefühle und Stimmungen zu analysieren. Mit diesen Verfahren lassen sich unter Berücksichtigung verschiedener Eigenschaften von Texten mit großen Sprachmodellen tiefere Einblicke in historische Kontexte gewinnen, wie sie in den Quellen überliefert sind.

Ein wesentlicher Teil der historischen Überlieferung liegt entweder in handschriftlicher oder gedruckter Form vor. Forschungsprojekte und -initiativen beschäftigen sich daher auch vermehrt mit dem Potenzial großer Sprachmodelle für die Transkription. Die fortschreitende Digitalisierung von historischen Quellen ermöglichte schon zuvor den Einsatz von Technologie wie Optical Character Recognition (OCR) und Handwritten Text Recognition (HTR), jedoch stellen die Ergebnisse herkömmlicher Verfahren immer noch ein erhebliches Hindernis für die geisteswissenschaftliche Forschung dar. Gründe dafür sind u. a. die Qualität der Originale und der Digitalisate. Zeitlich und lokal abhängende Schriftvariationen und sprachliche Besonderheiten führen zudem dazu, dass die Erstellung eines ausreichenden Trainingsdatensatzes für die automatische Transkription herausfordernd ist. Die post-correction von OCR und HTR (sei es manuell, wortweise oder kontextabhängig) ist äußerst zeitaufwendig, weshalb verstärkt Versuche unternommen werden, große Sprachmodelle in die OCR- und HTR-Prozesse zu integrieren. LLMs versprechen, besonders dazu geeignet zu sein die Grammatik, Syntax und die Semantik des extrahierten Textes zu korrigieren oder um Lücken in der generierten Transkription zu füllen. In einigen Tests konnte mit extensivem Training der Modelle bereits Verbesserungen in einigen Vorhaben erzielt werden, dennoch bleibt der Bedarf an umfassender Nachbearbeitung weiterhin bestehen, um beispielsweise Halluzinationen – das Erzeugen plausibel klingender, aber faktisch inkorrekter Informationen durch das LLM – zu vermeiden.[6]

Authentizität historischer Dokumente mittels LLMs prüfen – Ein Anwendungsbeispiel mit Wikipedia-Artikeln

In dieser Fülle an Beiträgen fehlen jedoch oft diejenigen Ansätze, in denen Historiker*innen geschichtswissenschaftliche Fragestellungen und Methoden gewinnbringend ins Digitale überführen. Im Seminar „Wie verändern große Sprachmodelle die Geisteswissenschaften“ haben wir uns dazu mit einzelnen Beiträgen intensiver auseinandergesetzt.[7] Mit Schimmenti et al. 2024 soll einer dieser Beiträge hier näher beleuchtet werden.

Der Artikel „Structuring Authenticity Assessments on Historical Documents using LLMs“ (2024) von Andrea Schimmenti u. a. stellt einen Ansatz vor, mit dem Authentizitätsaussagen zu einzelnen Quellen aus Fließtexten in Wissensgraphen überführt werden sollen.[8] Im Detail wurde ausgehend von der Konstantinischen Schenkung als Beispiel ein Subkorpus von Wikipedia-Artikeln erstellt, aus denen jeweils die Beschreibung von Dokumenten und Abschnitte über die Echtheitsdebatte extrahiert wurden. Basierend auf diesen Texten wurden dann mit einem großen Sprachmodell (getestet wurden GPT-4 von OpenAI und Llama-2-70b von Meta) in drei Schritten 1.) die Metadaten zu den hier besprochenen Dokumenten aus den Texten extrahiert, 2.) die benannten Entitäten extrahiert und 3.) die Bewertung im Text einer der drei Kategorien „Authentic“, „Forgery“ oder „Suspicious“ zugeordnet.

Das Autor*innenteam stammt aus den Computer Sciences und der digital arbeitenden Klassischen Philologie. Eine dezidiert geschichtswissenschaftliche Perspektive ist personell also nicht gegeben. Stattdessen spiegelt der gesamte Ansatz mit einer Unterteilung in Problem/Ausgansfrage, Ansatz, und Evaluation einen Ursprung in den Computer Sciences wider. Eine für die Geschichtswissenschaften notwendige kritische Außeinandersetzung mit den epistemologischen Konsequenzen des Ansatzes fehlt dagegen.

Wikipedia als Quelle und Datenkorpus kritisch betrachet

Aus der Perspektive von Historiker*innen irritieren daher auch einige Punkte, die besonders die Verwendung von Wikipedia als Material für die Erstellung der Wissensgraphen betreffen. Denn Wikipedia spiegelt nicht die geschichtswissenschaftliche oder historischer Debatte der Echtheit eines Dokumentes wider. So zeigen sich bei genauerem Hinschauen schnell Mängel. Ein Beispiel: Ulrich von Hutten und Martin Luther haben keine eigene Beurteilung der Echtheit der Urkunde durchgeführt, sondern das Werk von Lorenzo Valla für den deutschsprachigen Raum ediert, beziehungsweise übersetzt. Der Aufmerksamkeit, welche die Fälschung dadurch in reformatorischen Kreisen erlangte, folgten reaktionäre Maßnahmen des Vatikans, darunter die Indizierung der Schrift Vallas und die Aufnahme der Schenkung in das Bildprogramm des Papstpalastes, also ein politisch motiviertes Beharren auf der Echtheit der Urkunde.[9] Diese Entwicklung ist für eine geschichtswissenschaftliche Betrachtung wichtig, wird bei Wikipedia jedoch nicht beschrieben, weshalb sie auch nicht im Wissensgraphen präsent ist.[10]

Das liegt daran, dass Einträge bei Wikipedia keine objektiven und allumfassenden Nachschlagewerke sind, sondern schon eine narrative oder kuratierende Funktion besitzen. So will der beispielhafte Abschnitt des Wikipedia-Eintrages keinen lückenlosen Abriss über die Echtheitsdebatte geben, sondern aus einer community-basierten Perspektive heraus eine Chronologie darüber vermitteln. Das führt dazu, dass zentrale historische Personen in dem Abschnitt vorkommen, jedoch nicht zwangsläufig wichtige geschichtswissenschaftliche Beiträge. Deutlich wird das bei einem Vergleich zwischen den Abschnitten „Investigation“ und „Further Reading“, wo dann auch fachlich relevante Beiträge auftauchen.

Außerdem fehlt dem Abschnitt das (hier nicht unbedingt notwendige) geschichtswissenschaftliche Feingefühl. Ein Beispiel dafür ist die Nennung von Papst Pius II. Dieser hat nicht als Papst, sondern einige Jahre vor diesem Amt über die Fälschung gewusst, und wahrscheinlich Friedrich III. an seinem Wissen teilhaben lassen. (Fried 2011, S. 306) Veröffentlicht hatte er diese Annahme jedoch nicht, so zumindest der Wikipedia-Artikel.

Echtheitsdebatte in Wikipedia-Artikeln aufspüren

Der Ansatz basiert in der Praxis also zu großen Teilen auf der Art und Weise, wie einzelne Annahmen im Text der Wikipedia bereits aufbereitet und so in gewisser Weise schon als Annahmen formuliert wurden. Fast jeder einzelne Satz in dem betreffenden Abschnitt widmet sich einer anderen Annahme, und jeder Satz mit einer Named Entity ist auch Teil des Wissensgraphen geworden. Schimmenti u. A. können in ihrem Beitrag also nur gute Ergebnisse aufzeigen, weil die Informationen bereits im Grunde liegenden Text entsprechend strukturiert waren. In einzelnen wissenschaftlichen Artikeln findet die Argumentation pro oder contra der Echtheit eines Dokuments aber auf mehreren Seiten statt, die Extraktion einzelner Annahmen und der Metadaten ist deutlich aufwändiger. Aus dem gleichen Grund ist der Ansatz von Schimmenti et al. auch wenig bis kaum skalierbar. Nur eine handvoll Dokumente besitzen einen eigenen Eintrag in der Wikipedia, in noch weniger Fällen ist die Echtheitsdebatte aufbereitet. Für viele andere (auch prominente) Dokumente, müsste eine Synthese der geschichtswissenschaftlichen Beiträge erst noch stattfinden, oder aber der LLM- basierte Ansatz noch weiter ausgebaut werden.[11]

Informationstechnische und historische Perspektive vereinen

Unserer Meinung nach spiegelt sich in diesem Ansatz ein wiederholtes Problem in den digitalen Geschichtswissenschaften wider, welches sich in einem Ungleichgewicht zwischen den Computer Sciences und den Geschichtswissenschaften zeigt, die in solchen Ansätzen vereint werden müssen. Dabei besteht die zentrale Herausforderung darin, geschichtswissenschaftliche Methoden oder aber Ansprüche an Methoden im Digitalen zu modellieren. Die Anknüpfung des eigenen Vorhabens an die Geschichtswissenschaften findet aber bei z.B. Schimmenti et al. außerhalb der Einleitung nicht statt. Das Problem oder die Aufgabe, die Echtheit einer historischen Quelle zu bestimmen ist zwar eine reale, hat aber mit Einträgen auf Wikipedia zu einzelnen sehr prominenten Dokumenten wenig gemeinsam. Daher sind unserer Meinung nach in dem interdisziplinären Anwendungsfeld der digitalen Geschichtswissenschaften eigens ausgebildeter Expert*innen notwendig, die nicht nur die informationstechnische Perspektive sehen und bearbeiten, sondern auch die geschichtswissenschaftliche Grundlage. Das gilt insbesondere auch für die aktuelle Phase der Exploration und Verwendung großer Sprachmodelle auf historische Quellen.


[1] Graham, Shawn: Do It Yourself Digital Golems. Vortrag im Rahmen der Reihe “Digital History Berlin”. YouTube-Video, 19. Januar 2023. Online: https://www.youtube.com/watch?v=UEYX9kMvkCM [zuletzt abgerufen am 27. Mai 2025].

[2] RAG ermöglicht es, die Generierung der großen Sprachmodelle auf eine kontrollierbaren und geschlossenen Datensatz zu beziehen. Siehe dazu den 4. Teil der Beitragsreihe von Holle Meding und Aurel Daugs.

[3] Vgl. z. B. Ehrmann, Maud, Hamdi, Ahmed, Linhares Pontes, Elvys, Romanello, Matteo, Doucet, Antoine: “Named Entity Recognition and Classification on Historical Documents: A Survey”, ACM Computing Surveys 56-2, 2023. https://dl.acm.org/doi/10.1145/3604931; Schweter, Stefan, März, Luisa, Schmid, Katharina, Çano, Erion: „hmBERT: Historical Multilingual Language Models for Named Entity Recognition“, Working Note Paper for CLEF (Conference and Labs of the Evaluation Forum), 2022. https://arxiv.org/abs/2205.15575.

[4] Vgl. z. B. Krusic, Lucija: “Constructing a Sentiment-Annotated Corpus of Austrian Historical Newspapers: Challenges, Tools, and Annotator Experience”, in Proceedings of the 4th International Conference on Natural Language Processing for Digital Humanities, 2024, S. 51–62. https://aclanthology.org/2024.nlp4dh-1.6/; Allaith, Ali, Degn, Kirstine, Conroy, Alexander, Pedersen, Bolette, Bjerring-Hansen, Jens, Hershcovich, Daniel: „Sentiment Classification of Historical Danish and Norwegian Literary Texts”, in Proceedings of the 24th Nordic Conference on Computational Linguistics (NoDaLiDa), 2023, S. 324–334. https://aclanthology.org/2023.nodalida-1.34/.

[5] Vgl. z. B. Marjanen, Jani, Zosa, Elaine, Hengchen, Simon, Pivovarova, Lidia, Tolonen, Mikko: “Topic modelling discourse dynamics in historical newspapers”, 2020. https://arxiv.org/abs/2011.10428 ; Michael Ginn, Hulden, Mans: „Historia Magistra Vitae: Dynamic Topic Modeling of Roman Literature using Neural Embeddings“, 2024. https://arxiv.org/abs/2406.18907.

[6] Vgl. z. B. Boros, Emanuela, Ehrmann, Maud, Romanello, Matteo, Najem-Meyer, Sven, Kaplan, Frédéric: „Post-Correction of Historical Text Transcripts with Large Language Models: An Exploratory Study”, in Proceedings of the 8th Joint SIGHUM Workshop on Computational Linguistics for Cultural Heritage, Social Sciences, Humanities and Literature (LaTeCH-CLfL), 2024, S. 133–159. https://aclanthology.org/2024.latechclfl-1.14/ ; Thomas, Alan, Gaizauskas, Robert, Haiping Lu: “Leveraging LLMs for Post-OCR Correction of Historical Newspapers”, in Proceedings of the Third Workshop on Language Technologies for Historical and Ancient Languages (LT4HALA), 2024, S. 116–121. https://aclanthology.org/2024.lt4hala-1.14/.

[7] Zu den intensiv behandelten Beiträgen zählen: Schimmenti, Andrea, Valentina Pasqual, Francesca Tomasi, Fabio Vitali, und Marieke van Erp. „Structuring Authenticity Assessments on Historical Documents using LLM s“. arXiv.org, 2024. https://doi.org/10.48550/ARXIV.2407.09290; Tran, The Trung, Carlos-Emiliano González-Gallardo, und Antoine Doucet. „Retrieval Augmented Generation for Historical Newspapers“. In Proceedings of the 24th ACM/IEEE Joint Conference on Digital Libraries, 1–5. Hong Kong China: ACM, 2024. https://doi.org/10.1145/3677389.3702542. Weitere Beispiele waren:  Hauser, Jakob, Dániel Kondor, Jenny Reddish u. a. „Large Language Models’ Expert-level Global History Knowledge Benchmark (Hist-LLM)“. In Advances in Neural Information Processing Systems 37 Datasets and Benchmarks, herausgegeben von Amir Globerson, L. Mackey, D. Belgrave, A. Fan, U. Paquet, J. Tomczak, und C. Zhang, o.S., 2024; Ströbel, Phillip Benjamin, Zejie Guo, Ülkü Karagöz, Eva Maria Willi, und Felix K. Maier. „Bringing Rome to Life: Evaluating Historical Image Generation“. CEUR Workshop Proceedings, 6. Dezember 2024, 113–26. https://doi.org/10.5167/uzh-265462.

[8] Schimmenti u. a. 2024.

[9] Einen zusammenfassenden Überblick bietet Fried, Johannes: Die Konstantinische Schenkung, in: ders., Olaf B. Rader (Hg.): Die Welt des Mittelalters. Erinnerungsorte eines Jahrtausend, München 2011, S. 275–311.

[10] Donation of Constantine, Wikipedia, Online:  https://en.wikipedia.org/wiki/Donation_of_Constantine [zuletzt abgerufen am: 03.06.2025].

[11] Ein Beispiel für einen fehlenden Wikipedia-Artikel sind die alte und neue Kuhhaut, auf der das Soester Stadtrecht, das älteste überlieferte Stadtrecht im deutschsprachigen Raum, überliefert ist. In der Wikipedia existiert bisher nur ein Artikel zum Stadtrecht auf Deutsch und Estnisch. Zu dem Thema sind aber schon einige Dissertation veröffentlicht worden, ein reges Interesse existiert also. Vgl. Soester Stadtrecht, Wikipedia, Online:  https://de.wikipedia.org/wiki/Soester_Stadtrecht [zuletzt abgerufen am: 03.06.2025].


OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Digital History Berlin (Redaktion) (5. Juni 2025). Große Sprachmodelle in den Geschichtswissenschaften. Ein Überblick und Ausblick zu Ansätzen aus der Praxis. Digital History Berlin. Abgerufen am 19. Juni 2025 von https://doi.org/10.58079/142bh


Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

This site uses Akismet to reduce spam. Learn how your comment data is processed.