Mit der zunehmenden Integration von Large Language Models (LLMs) in den (wissenschaftlichen) Alltag, sehen sich auch die historisch arbeitenden Fächer mit den Herausforderungen konfrontiert, das Potenzial, aber auch die Grenzen der Modelle auszuloten. Genau dieser Fragestellung widmete sich die Lehrveranstaltung „Wie verändern große Sprachmodelle die Geschichtswissenschaften? Theorie und Methoden“, die im Wintersemester an der Humboldt-Universität zu Berlin unter Leitung von Prof. Dr. Torsten Hiltmann stattfand. Im Rahmen des Masterseminars wurde diskutiert, wie sich LLMs methodisch in die geschichtswissenschaftliche Forschungspraxis integrieren lassen, beispielsweise bei der Auswertung eines umfangreichen Quellenkorpus. Zugleich wurde diskutiert, wie sich quellenkritische Ansätze im Umgang mit LLMs verändern und welche Verzerrungen durch Trainingsdaten oder Modellarchitektur entstehen können. Große Sprachmodelle produzieren Texte auf Basis statistischer Wahrscheinlichkeiten, das heißt, vereinfacht ausgedrückt, sie sagen das nächste Wort in einem Satz vorher (next token prediction, Abb. 1). In diesem Sinne können die Modelle zwar auf sprachlicher Ebene kohärente Texte produzieren, besitzen jedoch kein inhärentes Verständnis für deren Inhalt. Stattdessen replizieren sie zunächst einmal auf Grundlage des Korpus, mit dem sie antrainiert wurden, sprachliche Muster.[2]

Halluzinationen und Faktentreue
Hier sehen sich Historiker:innen bereits mit zentralen Herausforderungen von LLMs konfrontiert: Mit ihrer statistischen Modellierung eines sprachlichen Durchschnitts generieren sie mitunter vermeintliche Quellen- und Literaturangaben, erfinden Zitate historischer Persönlichkeiten oder setzen kausale Zusammenhänge, die jedweder historischen Grundlage entbehren (Halluzinationen).
Während historische Grundlagenfragen, wie beispielsweise zu Daten des Zweiten Weltkriegs aufgrund ihrer Häufigkeit in den Trainingsdaten von LLMs wie GPT-4o oft korrekt beantwortet werden, nimmt die Genauigkeit bei weniger dokumentierten Themen merklich ab. So evaluierten Hauser et al. die historische Wissensleistungen von sieben Modellen von OpenAI, Meta und Google aus globaler Perspektive anhand der a Seshat Global History Databank. Zwar übertrafen die Modelle die Zufallsrate von 25%, allerdings schnitten sie deutlich schlechter ab als menschliche Experten. Mit einer balanced accuracy von 46% präsentierte sich GPT-4-Turbo dabei als leistungsstärkstes Modell, während Llama-3.1-8B nur 33,6% erreichte.[4] Bessere Leistungen konnten bei früheren Epochen (vor 3000 v. Chr.) erreicht werden, während bei Fragen zur jüngsten Geschichte die Zuverlässigkeit der Antworten deutlich abnahm.[5] Auch auf regionaler Ebene zeigten sich deutliche Diskrepanzen: Fragen zu Nord- und Lateinamerika wurden präziser beantwortet, während die schwächsten Leistungen bei Themen zu Subsahara-Afrika und Ozeanien beobachtet wurden.[6]
Eingeschränkte Chronosensitivität und Moderne-Bias
Eine weitere methodische Herausforderung im Umgang mit großen Sprachmodellen besteht darin, dass während ihres Pre-Trainings der Fokus nicht darauf lag, Texte nach ihrem zeitlichen oder historischen Kontext zu gewichten (eingeschränkte Chronosensitivität). Das bedeutet, dass sie nicht erkennen, ob ein Buch aus ihrem Trainingskorpus aus dem Jahr 1980 oder 2010 stammt, da diese Informationen nicht in Form strukturierter Metadaten in das Modelltraining eingeflossen sind.[7]
Die Trainingsdaten der Sprachmodelle stammen dabei überwiegend aus dem 21. Jahrhundert. Bei GPT-3 beispielsweise setzen sie sich hauptsächlich aus dem Common Crawl (60%) zusammen, einem umfangreichen Web-Scraping-Datensatz mit Milliarden von Websites, sowie aus WebText2 (22%).[8] Letzterer umfasst Webinhalte, die über Reddit-Beiträge mit einer Bewertung von mindestens 3 gesammelt wurden, was als heuristischer Qualitätsindikator dienen sollte.[9] In der Folge zeichnet sich ein sogenannter Moderne-Bias ab, eine Verzerrung, bei der aktuelle Diskurse überproportional in die Modellgenerierung einfließen. In diesem Sinne, sind Large Language Models auch als Abbildung zeitgenössischer Kultur und Sprache zu verstehen und können bei einer automatisierten Auswertung heutige Deutungsmuster auf historische Quellen projizieren.

Abb. 2: ChatGPT Statistics (2023) — The Key Facts and Figures, basierend auf: Brown et al., Language Models are Few-Shot Learners, 2020, S.9
Anglozentrismus, kultureller Bias und Zensur in LLMs
Die Verzerrungen in Large Language Models betreffen allerdings nicht nur die Zeitstruktur und Chronosensitivität, sondern auch die geographische und thematische Verteilung: Der Großteil des Trainingskorpus der kommerziellen LLMs basiert dabei auf westlichen und englischsprachigen Publikationen, insbesondere aus den USA, und spiegelt eine diskursive Hegemonie des globalen Nordens.[10] In der Folge kann sich eine Reproduktion anglozentrischer Narrative und eine Verstärkung von Wissensasymmetrien abzeichnen, wenn große Sprachmodelle als dominante Informationsquellen herangezogen werden.[11] Derzeit zeigen LLMs beispielsweise auf sprachlicher Ebene eine nachweisbare Voreingenommenheit gegenüber Anfragen auf African American English.[12]
Das chinesische Modell DeepSeek wiederum steht aufgrund von Zensur in der Kritik, da es bei Themen wie dem Tian’anmen-Massaker oder die Uiguren-Unterdrückung die Anfrage verweigert oder staatliche Narrative wiedergegeben werden (Abb. 3). Die Antwortgenerierung unterscheidet sich dabei stark dahingehend, ob von einer europäischen, US-amerikanischen oder chinesischen IP-Adresse zugegriffen wird.[13]

Abb. 3: DeepSeek-Chat: Versuch, die Zensur zu umgehen, indem Sonderzeichen verwendet werden, um eine Antwort zu “Tank Man” im Kontext Tian’anmen-Proteste (1989) zu erhalten. Foto: The Guardian.[14]
Moderation und Bias-Übersteuerung
Um die Verzerrungen in großen Sprachmodellen besser nachvollziehen zu können, lohnt sich ein Blick auf vergleichbare Phänomene in multimodalen oder rein visuellen KI-Systemen. Denn während Verzerrungen in Sprachmodellen sich häufig in latenten sprachlichen Mustern, Gewichtungen oder Auslassungen zeigt, die einer genauen Kontextualisierung bedürfen, sind visuelle Verzerrungen oft unmittelbar erkennbar und machen strukturelle Schieflagen in Trainingsdaten und Moderation besonders anschaulich.[15]
Ein bekanntes Beispiel für Herausforderungen im Bereich der KI-Bildgenerierung ist die sogenannte American-Smile-Problematik des generativen Bildgenerators Midjourney: Bei der Eingabe von Begriffen wie „native american warriors“ wurden die dargestellten Personen systematisch mit einem typischen US-amerikanischen Lächeln versehen; eine Verzerrung die sich durch die Übermenge an US-amerikanischen Selfies in den Trainingsdaten ergibt (Abb. 6).[16]
Neuere Modelle wie der von OpenAI entwickelte Videogenerator Sora zeigen zudem, dass auch Geschlechterstereotype weiterhin eine Herausforderung darstellen. So wurden bei der Bild- und Videodarstellung von Berufen Männer überwiegend als Piloten, CEOs oder Professoren visualisiert, während Frauen fast ausschließlich in fürsorglichen oder dienstleistenden Rollen erschienen, beispielsweise als Flugbegleiterinnen, Rezeptionistinnen oder in der Kinderbetreuung. Diese Muster veranschaulichen, wie gesellschaftliche Vorurteile in den Trainingsdaten verankert sind und durch den Einsatz von multimodalen Text-to-Image-Modellen weiterhin verstärkt werden können.[17]
Gegensätzliche Debatten löste wiederum Googles Bildgenerator Gemini aus: Dieser wurde für eine übermäßig forcierte Diversitätsoptimierung kritisiert, da er historisch unplausible Darstellungen generierte; darunter schwarze Wehrmachtssoldaten, indische Päpstinnen und afroamerikanische Wikinger (Abb. 4 und Abb. 5). Angesichts der anhaltenden Kritik wurde die Bildgenerierungsfunktion von Gemini vorübergehend deaktiviert .[18]

Abb. 4: Habemus Mamam: Geminis Ergebnis auf die Anweisung hin, ein Bild eines Papstes zu genieren. Quelle: twitter.com/IMAO_[19]

Abb. 5: Ergebnis bei Gemini auf die Anweisung hin, ein Bild eines Wehrmachtsoldaten zu kreieren. Quelle: Hendrik Wieduwilt, Wir fragen eine Ethikerin: Welche Gesellschaft soll Gemini abbilden?, in: FAZ, 28.02.2024.[21]

Abb. 6: Ergebnis bei midjourney auf die Anweisung hin, ein Bild von “Native American warriors posing for a photo“ zu erstellen, aus der Serie: Time Period Selfies: Time traveler shows soldiers, warriors, and people from various time periods what a “selfie” is. Quelle: r/Midjourney: https://www.reddit.com/r/midjourney/comments/11vuvdk/time_period_selfies_time_traveler_shows_soldiers/#lightbox (14.03.25).
Ein weiteres Beispiel für problematische Moderationsmechanismen ist der von SchoolAI entwickelte Chatbot, der ein Gespräch mit Anne Frank simulierte. Neben faktischen Ungenauigkeiten fiel er insbesondere dadurch auf, dass er die Täterfrage bewusst vermied. Auf die Frage nach der Verantwortung für ihren Tod antwortete der Anne-Frank-Chatbot ausweichend: „Instead of focusing on blame, let’s remember the importance of learning from the past.“ Diese Art der Moderation, primär darauf ausgerichtet, Hassrede zu unterbinden, führt allerdings zu einer unreflektierten Übertragung moderner ethischer Maßstäbe auf historische Kontexte, blendet Schuldfragen aus und erschwert damit eine kritische Auseinandersetzung mit der Vergangenheit.[22]
Mangelnde Transparenz – Digitale Golems außer Kontrolle?
Wie der Golem aus der jüdischen Tradition durch göttliche Zeichen erweckt werde, seien große Sprachmodelle durch die Worte, mit denen sie trainiert wurden, gesteuert, so die faszinierende Metapher Shawn Grahams in seinem Vortrag „Do It Yourself Digital Golems. Experiments with various AI, neural networks, and other technologies for archaeology” im Forschungskolloquium Digital History der Humboldt Universität zu Berlin.[23]
Doch ebenso wie der Golem in den Erzählungen oft außer Kontrolle gerät, bleibt die Funktionsweise von LLMs in vielerlei Hinsicht undurchsichtig. Weder sind die genauen Trainingsdaten vollständig bekannt, noch sind die internen Entscheidungsprozesse wie auch die genaue Parametersetzung ersichtlich.
Während es bei GPT-3 noch eingeschränkte Informationen über den Trainingsdatensatz gab, veröffentlichte OpenAI bei GPT-4o keine spezifischen Details zu den verwandten Daten. Zwar hat OpenAI zu früheren Modellen wie GPT-3 wissenschaftliche Veröffentlichungen vorgelegt, doch für das aktuelle Modell GPT-4o liegt bislang keine detaillierte Beschreibung der Trainingsarchitektur oder des RLHF-Prozesses (Reinforcement Learning from Human Feedback) vor; lediglich ein allgemein formulierter ‘Model Spec’, der erwünschte Verhaltensweisen skizziert, jedoch keine Informationen über die konkrete Implementierung, veröffentlichte OpenAI.[24] Bisher liefert keines der kommerziellen LLMs eine vollständige Dokumentation der Trainingsdaten noch der Pre-Training- oder Fine-Tuning-Prozesse.
Andreas Liesenfeld, Alianda Lopez und Mark Dingemanse haben dabei verschiedene LLMs nach mehreren Kriterien ihrer Offenheit bewertet, wie Code-Transparenz, Zugänglichkeit der Trainingsdaten und wissenschaftliche Dokumentation, wobei ChatGPT, Xwin-LM und Llama 3 Instruct besonders schlecht abschnitten (Abb. 7).

Abb. 7: Opening up ChatGPT: tracking openness of instruction-tuned LLMs (Bildausschnitt, siehe zur gesamten Liste: https://opening-up-chatgpt.github.io/[25])
Diese Black-Box-Problematik erschwert es Nutzenden den Ursprung einer Information zurückzuverfolgen und verhindert eine methodische Quellen- oder LLM-Kritik. Auch die digitale Archäologie, die sich mit der Rekonstruktion, Dokumentation und Analyse digitaler Wissenssysteme beschäftigt, stößt hier an deutliche Grenzen, kann sie doch trotz großer Bemühungen derweil nicht vollständig nachvollziehen, an welchen Stellschrauben gedreht, welche Trainingsdaten verwandt, wie einzelne Parameter gewichtet oder welche Anpassungen im Zuge von Fine-Tuning vorgenommen wurden.[26]
LLMs als heuristische Instrumente und Retrieval Augmented Generation (RAG) als Lösungsansätze
All diese Herausforderungen erschweren den direkten Einsatz großer Sprachmodelle in der historischen Forschung. Dennoch lassen sich LLMs unter klar definierten Bedingungen produktiv nutzen, beispielsweise als heuristische Werkzeuge zur Textklassifikation. So zeigten Hiltmann et al. für die Aufgabe der Named Entity Recognition auf Grundlage der GPT-4o-Architektur beim Quellenkorpus des Baedeker Reiseführers bis zu 0,89 Recall, 0,92 Precision und 0,89 F1-Score bei der automatisierten Erkennung von Personen, Orten und Organisationen.[27] Damit schnitt das Large Language Model bei der NER deutlich besser ab als etablierte Frameworks wie SpaCy oder Flair.
Ein Ansatz, um zumindest einigen der genannten Herausforderungen zu begegnen, ist die Nutzung von Retrieval Augmented Generation (RAG). Mittels RAG wird die Sprachgenerierung eines LLMs mit einer gezielten Suche in externen Wissensquellen kombiniert. Anstatt folglich ausschließlich auf die internen Parameterspeicher des Sprachmodells zuzugreifen, werden externe Wissensquellen wie Dokumentensuche oder Vektordatenbanken eingebunden. Je nach Implementierung kann das Modell dabei auch auf strukturierte Wissensgraphen, digitale Archive oder historische Sammlungen zugreifen.
Zur Autorin: Holle Meding ist Historikerin mit einem Schwerpunkt auf der Anwendung computergestützter Methoden und Large Language Models in der Geschichtswissenschaft. Sie studierte im Master Geschichte an der Freien Universität Berlin und am El Colegio de México und schloss den Master Interdisziplinäre Lateinamerikastudien an. Derzeit ist sie Stipendiatin der Gerda Henkel Stiftung und promoviert über Historisches Framing in den Medien.
[2] Bender, Emily M., et al. “On the dangers of stochastic parrots: Can language models be too big?” Proceedings of the 2021 ACM conference on fairness, accountability, and transparency. 2021. https://doi.org/10.1145/3442188.3445922.
[3] URL: https://medium.com/@Toglefritz/the-power-of-probability-inside-the-mind-of-chatgpt-35643a6dc6be (23.05.2025).
[4] Hauser, Jakob, et al. “Large Language Models> Expert-level Global History Knowledge Benchmark (HiST-LLM).” Advances in Neural Information Processing Systems 37 (2024): 32336-32369, S.8.
[5] Ebenda.
[6] Ebenda, S.9.
[7] Wie allerdings das Paper „Does Time Have Its Place?“ von Yein Park et al. zeigt, scheinen LLMs Fähigkeiten zur zeitlichen Einordnung zu entwickeln, indem sie sogenannte Temporal Heads nutzen – spezialisierte Attention Heads, die für zeitbezogenes Wissen verantwortlich sind. Für die Geschichtswissenschaft könnte das eine neue Perspektive eröffnen, wenn Temporal Heads so manipuliert werden könnten, dass sie historische Quellen nach Zeitkontext zu filtern und interpretieren. Park, Yein, et al. “Does Time Have Its Place? Temporal Heads: Where Language Models Recall Time-specific Information.” arXiv preprint arXiv:2502.14258 (2025).
[8] Brown, Tom, et al. “Language models are few-shot learners.” Advances in neural information processing systems 33 (2020): 1877-1901, S. 9.
[9] Radford, Alec, et al. “Language models are unsupervised multitask learners.” OpenAI blog 1.8 (2019): 9, hier S. 3.
[10] Wang, Wenxuan, et al. “Not all countries celebrate thanksgiving: On the cultural dominance in large language models.” arXiv preprint arXiv:2310.12481 (2023).
[11] Um, Emmanuel Ngue. “The Erasure of Africa in the Era of ChatGPT”. Institut des Humanités numériques d’Afrique Francophone (2023), https://doi.org/10.58079/qcos . König, Mareike. ChatGPT und Co. in den Geschichtswissenschaften – Grundlagen, Prompts und Praxisbeispiele. Digital Humanities am DHIP. https://doi.org/10.58079/126eo (16.03.25).
[12] Zhou, Runtao, et al. “Disparities in LLM Reasoning Accuracy and Explanations: A Case Study on African American English.” arXiv preprint arXiv:2503.04099 (2025).
[13] Lu, Donna : “We tried out DeepSeek. It worked well, until we asked it about Tiananmen Square and Taiwan”, in: The Guardian, 28.01.2025. URL: https://www.theguardian.com/technology/2025/jan/28/we-tried-out-deepseek-it-works-well-until-we-asked-it-about-tiananmen-square-and-taiwan (16.03.25).
[14] Ebenda.
[15] Park, Jean et al.: Assessing Modality Bias in Video Question Answering Benchmarks with Multimodal Large Language Models. Proceedings of the AAAI Conference on Artificial Intelligence, 39(19), 19821-19829. https://doi.org/10.1609/aaai.v39i19.34183.
[16] Jenka Gurfinkel: AI and the American Smile. How AI misrepresents culture through a facial expression. Medium. 27.03.2023. URL: https://medium.com/@socialcreature/ai-and-the-american-smile-76d23a0fbfaf (14.03.25).
[17] Reece Rogers/ Victoria Turk: OpenAI‘s Sora is Plagued by Sexist, Racist and Ableist Biases, in: WIRED, 23.03.2025. URL: https://www.wired.com/story/openai-sora-video-generator-bias/ (15.05.2025). Siehe zu Möglichkeiten der Bias-Minimierung in Text-to-Image-Modellen: Liu, Ming, et al. “On Fairness of Unified Multimodal Large Language Model for Image Generation.” arXiv preprint arXiv:2502.03429 (2025).
[19] https://x.com/IMAO_/status/1760093853430710557 (25.03.2025). Siehe auch: Felix Seifert: Schwarze Päpstinnen, asiatische Wehrmachtsoldaten – die peinlich „woke“ Google-KI, in: WELT, 04.03.2024. URL: https://www.welt.de/wirtschaft/webwelt/article250286788/KI-Schwarze-Paepstinnen-asiatische-Wehrmachtsoldaten-die-peinlich-woke-Google-KI.htm (25.03.2025).
[20] Ebenda.
[21] URL: https://www.faz.net/pro/digitalwirtschaft/kuenstliche-intelligenz/wir-fragen-eine-ethikerin-welche-gesellschaft-soll-gemini-abbilden-19550166.html (25.03.2024).
[22] Interview Mathias Monroy (Nd-Aktuell) mit Henrik Schönemann: Chatbot: »Lasst keinen Anne-Frank-Papageien sprechen«, in: Nd-aktuell, 23.02.25. URL: https://www.nd-aktuell.de/artikel/1188473.schoolai-chatbot-lasst-keinen-anne-frank-papageien-sprechen.html (12.03.25). Siehe auch: Schmitz-Zerres, Sabrina, and Ricarda Singh. “Chatten mit Anne Frank: Historisches Lernen mit, über und trotz generativer KI im Geschichtsunterricht.” Geschichte lernen 2025.223 (2025): 34-41.
[23] Shawn Graham: Do It Yourself Digital Golems. Experiments with various AI, neural networks, and other technologies for archaeology. Vortrag im Forschungskolloquium für Digital History an der Humboldt-Universität zu Berlin, 31.01.2025. URL: https://youtu.be/UEYX9kMvkCM?si=ywzZVhu8BGTfNhrQ (17.03.25).
[25] Siehe auch: Liesenfeld, Andreas, Alianda Lopez, and Mark Dingemanse. “Opening up ChatGPT: Tracking openness, transparency, and accountability in instruction-tuned text generators.” Proceedings of the 5th international conference on conversational user interfaces. 2023.
[26] Zwar gibt es bereits Forschungsarbeiten, die sich mit der Extraktion von Trainingsdaten, der Identifikation von Modellfiltern und Hyperparametern in großen Sprachmodellen beschäftigen, doch bleibt die Rückverfolgbarkeit aufgrund der enormen Datenmengen als auch der Komplexität der Modelle weiterhin eine Herausforderung. Siehe beispielsweise: Carlini, Nicholas, et al. “Extracting training data from large language models.” 30th USENIX security symposium (USENIX Security 21). 2021. Asnani, Vishal, et al. “Reverse engineering of generative models: Inferring model hyperparameters from generated images.” IEEE Transactions on Pattern Analysis and Machine Intelligence 45.12 (2023): 15477-15493.
[27] Hiltmann, Torsten, et al. “NER4all or Context is All You Need: Using LLMs for low-effort, high-performance NER on historical texts. A humanities informed approach.” arXiv preprint arXiv:2502.04351 (2025). Siehe auch zum Vortrag im Rahmen des Forschungskolloquiums „Digital History“, 26.06.2024, hier Minute: 39:19. URL: https://www.youtube.com/watch?v=fBrUThRYHwc&t=2363s (24.11.2024).
OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Digital History Berlin (Redaktion) (13. Juni 2025). Holle Meding: Herausforderungen von Large Language Models für die Geschichtswissenschaften: Halluzinationen, Chronosensitivität und mangelnde Transparenz. Digital History Berlin. Abgerufen am 18. Juli 2025 von https://doi.org/10.58079/144ji