Von Anica Skibba und Isabell Trilling
Einleitung: Der Rahmen der Blogreihe
In dem Masterseminar und der begleitenden Übung befassten wir uns ausführlich mit großen Sprachmodellen bzw. Large Language Models (LLMs). Unter dem Titel „Wie verändern große Sprachmodelle die Geschichtswissenschaften?“ haben wir im Masterseminar die Theorie und Methoden von LLMs untersucht, Praxisbeispiele aus der Forschung kennengelernt und in der Übung eigene Research Augmented Generation Systeme (RAG) gebaut. Ziel der Lehrveranstaltung war es, Chancen, Herausforderungen und Grenzen von LLMs in der historischen Praxis zu testen. Die Lehrveranstaltung war in drei Bereiche gegliedert: die hermeneutische Perspektive auf Sprachmodelle, die technische Perspektive auf Sprachmodelle und die historische Praxis mit Sprachmodellen. Die Blogreihe setzt ihren Schwerpunkt auf die technische und angewandte Perspektive von Sprachmodellen, wobei das Vorgehen und die Ergebnisse von den Autor*innen wiederkehrend hermeneutisch eingeordnet wurden.
Der Schwerpunkt der Blogreihe bildet der Einsatz von großen Sprachmodellen in der historischen Forschung und nimmt den Blogbeitrag von Mareike König „ChatGPT und Co. in den Geschichtswissenschaften – Grundlagen, Prompts und Praxisbeispiele (19.08.24)“ zum Vorbild. Mareike König zieht in ihrem Artikel ein durchwachsenes Fazit, weil die niedere Qualität von sog. „KI-Chatbots“ keine ausreichenden Antworten liefern. Ihre Stärke sieht Mareike König besonders im praktischen Schreibprozess um Schreibblockaden zu überwinden und im Abnehmen repetitiver Aufgaben. König reflektiert in diesem sehr praxisorientierten Beitrag das allgemein öffentlich zugängliche Userinterface und der Austausch mit den KI-Chatbots. Abschließend verweist die Autorin auf die Möglichkeit der Verwendung von Schnittstellen (APIs).
Aufbau der Blogreihe
Genau diese Anbindung an große Sprachmodelle über APIs bildete unsere Arbeitsgrundlage. Auf ihr gründet die Reflexion der Ergebnisse und die Anwendung der Modelle, die wir in folgender Reihenfolge vorstellen möchten:
- Wie lernen LLMs Sprache?
- Technische Einblicke in LLMs: Wie funktionieren große Sprachmodelle? Von Niklas Kelm und Mareike Schäffer.
- Was erarbeiten LLMs?
- Große Sprachmodelle in den Geschichtswissenschaften. Ein Überblick und Ausblick zu Ansätzen aus der Praxis. Von Alexandra Gawlitza und Anselm König.
- Herausforderungen von Large Language Models für die Geschichtswissenschaften: Halluzinationen, Chronosensitivität und mangelnde Transparenz. Von Holle Meding.
- Wie werden LLMs steuerbar?
- From RAGs to Rich Responses: Steigerung der LLM-Zuverlässigkeit durch Retrieval-Augmented Generation? Von Holle Meding und Aurel Daugs.
Über die Lehrveranstaltung hinaus ordnen wir die Blogreihe in die andauernde Debatte in der Wissenschaft und Gesellschaft ein, die seit der Veröffentlichung von ChatGPT am 30.11.2022 geführt wurden (vgl. Neudecker 2024, vgl. Süddeutsche Zeitung 2024). Die Ergebnisse von generiertem Text-, Bild-, oder Audiomaterial (z.B. Halluzinationen) als auch der Umgang mit diesem Material (z.B. Fälschung, Fake News, Plagiate) bilden dabei wiederkehrende Probleme (vgl. Siebert 2024). Darüber hinaus sind ethische Bedenken zu der Erstellung und zum Umgang des Materials ebenfalls sehr hoch (vgl. Time 01/2023). Damit betrifft der Technologiefortschritt nicht nur die Forschung, sondern auch gesellschaftliche Kernbereiche wie Wirtschaft, Bildung und Privatleben. Große Sprachmodelle bilden damit einen sog. Megatrend (vgl. Haluza/Jungwirth 11/2023), sodass wir mit dieser Blogreihe nicht nur Forscher:innen sondern auch interessierte Laien ansprechen möchten.
Wie lernen LLMs Sprache?
Um LLMs zielführend in das historische Arbeiten einbeziehen zu können, müssen wir zunächst nachvollziehen, wie sie funktionieren und an welche Stellschrauben wir drehen können. Dafür müssen technische Fragen zu den Sprachmodellen beantworten: Wie lernen Maschinen? Was macht ein LLM robust und welche Auswirkung hat die Skalierung von Sprachmodellen?
Der Lernprozess von LLMs umfasst das Lernen von Wortbedeutungen, Grammatik und Semantik, worunter auch die inhaltliche Argumentation, Perspektivenvielfalt sowie das Reasoning auf Textebene fallen. Das Trainieren der LLMs umfasst dabei das Erlernen aller Aspekte. Trainiert werden Modelle mit Trainingsdaten, die Wörter und ihre Konzepte und grammatische Häufigkeiten vorführen. Dabei werden diese Konzepte durch Wörter oder Wortbestandteile (Token) und ihre Beziehung zueinander erfasst und gespeichert. Diese Analyse umfasst eine leistungs- und ressourcenstarke Berechnung, die als „neuronale Netze“ beschrieben werden. Niklas Kelm und Mareike Schäffer reflektieren in ihrem Beitrag den Lernprozess noch einmal genauer: „Technische Einblicke in LLMs: Wie funktionieren große Sprachmodelle?“.
Was erarbeiten LLMs?
Große Sprachmodelle können in unterschiedlichen Szenarien und Anwendungen genutzt werden – z. B. als Übersetzungstool oder zur Textoptimierung und -zusammenfassung. Der Beitrag „Große Sprachmodelle in den Geschichtswissenschaften. Ein Überblick und Ausblick zu Ansätzen aus der Praxis“ von Alexandra Gawlitza und Anselm König gibt einen Überblick über die Potentiale von LLMs und zeigen anhand praktischer Beispiele aus einer geschichtswissenschaftlichen Sicht die Herausforderungen von LLMs.
Wenn wir Fragen an die Sprachmodelle stellen, greifen diese in einem ersten Schritt auf ihre Trainingsdaten und Quellen zurück. Diese variieren je nach Modell jedoch stark und sind kaum nachvollziehbar. Webseiten bilden dabei den beliebtesten Trainingsanteil, wie sich anhand von Modellen wie LLaMA oder GPT-3 exemplarisch zeigen lässt (Abb. 1). Sofern wissenschaftliche Daten hinzugezogen werden, handelt es sich ausschließlich um naturwissenschaftliche Forschungsdaten.

Wenngleich diese Trainingsdaten die essenzielle Grundlage zur Textgenerierung bilden, schränken diese Wissensdatenbanken die Qualität auch stark ein. Sie werden bestärkt durch mangelnde Chronosensitivität, Anglozentrismus und Zäsur. Die Folge sind Halluzinationen, also Falschaussagen. Holle Meding erläutert in ihrem Beitrag „Herausforderungen von Large Language Models für die Geschichtswissenschaften: Halluzinationen, Chronosensitivität und mangelnde Transparenz“ diese Risiken.
Wie werden LLMs steuerbar?
Ein effektiver Steuermechanismus bildet das Prompting. Der Oberbegriff Prompt Engineering fasst Strategien wie Few-Shot-Learning, Chain of Thought Prompting, Self-Reflection oder Task Decomposition bilden zusammen (zu den Auswirkungen des Promptings vgl. auch den Beitrag des Lehrstuhls zu NER4all ). In der Lehrveranstaltung hingegen bildete ein anderer Mechanismus den Schwerpunkt: Retrieval-Augmented Generation Framework (RAG).
Denn um die Rechenleistung von großen Sprachmodellen zu nutzen und gleichzeitig das Risiko schlechter Qualität zu senken, bietet sich RAG besonders gut an. Die RAG-Architektur kombiniert die Rechenleistung von LLMs mit eigens kuratierten Wissensdatenbanken. Holle Meding und Aurel Daugs stellen die Architektur vor und klären grundsätzliches Vokabular: „From RAGs to Rich Responses: Steigerung der LLM-Zuverlässigkeit durch Retrieval-Augmented Generation?“.
Mit diesem vielversprechenden Ansatz haben wir in der Lehrveranstaltung intensiv gearbeitet und diesen auf Grundlage einer Datenbank mit historischen Artikeln des Nachrichtenmagazins „Der SPIEGEL“ untersucht. Die Performance von RAG-Frameworks wurde mit Hilfe eines formalisierten Evaluationssets getestet. Dafür wurde ein „Silberstandard“ in Form eines Fragenkatalog aufgesetzt, der die unterschiedlichen inhaltlichen Bezüge der Wissensdatenbank abfragt – von reinen Informationsfragen bis zu analytischen Vergleichsfragen. Der abschließende Betrag „Evaluation großer Sprachmodelle für die Geschichtswissenschaft: Das SPIEGEL-RAG-System im Test“ von Aurel Daugs, Katharina Josipovic und Holle Meding reflektiert die Leistung des Systems.
Fazit: Die Steuerbarkeit der Sprachmodelle verstehen und nutzen
„LLMs sind mitnichten Hexenwerk“, schreiben Kelm und Schäffer (2024) in ihrem Beitrag zum technischen Einblick in große Sprachmodelle. Der Blick in die Architektur entzaubert die neuronalen Netze und bringt etwas Licht in die Black Box. Eine genauere Auseinandersetzung mit der Technik ermöglicht es zudem, leistungsstarke LLMs gezielt auf kuratiertes Quellenmaterial anzuwenden – wie wir es anhand der RAG-Architektur vorgestellt haben.
Doch die Evaluation und Anwendung dieser Modelle betrifft nicht nur ihre Ergebnisse oder die Anpassung der Methode an die geschichtswissenschaftliche Praxis. Zwar eröffnet die Rechenleistung die Möglichkeit, große Datenmengen auch für kleine Teams und Einzelkämpfer*innen in der Geschichtswissenschaft handhabbar zu machen – dennoch ersetzen die generierten Texte nicht das methodische Handwerk von Historiker*innen. Vielmehr geht es darum, eine mündige und reflektierte Nutzung dieser Modelle zu entwickeln. Innerhalb weniger Jahre hat ihr Einsatz Forschende vor neue Herausforderungen gestellt und fordert das Handwerk der Historiker*innen in der öffentlichen Wahrnehmung heraus.
Mit der zunehmenden Verbreitung großer Sprachmodelle steht die Geschichtswissenschaft vor der Aufgabe, ihre Handlungsfähigkeit und methodische Eigenständigkeit zu bewahren. Dies erfordert eine kritische Integration von LLMs in das Methodenrepertoire der Geschichtswissenschaften, bei der ihre Steuerbarkeit gezielt für historisch-kritische Reflexionen genutzt wird.
Ein kleiner Ausblick auf weitere Arbeiten mit LLMs
Die Blogreihe gibt einen tieferen Einblick in die Themen des Semesters und vertieft dabei grundlegende Aspekte von LLMs. Immer wieder tauchte auch in den Diskussionen im Seminar und der Übung auf, dass reflektierte Arbeiten von Historiker*innen, die LLMs für ihre Forschung nutzen, noch fehlen. In der letzten Stunde wurden weitere Ideen für Seminararbeiten vorgestellt, die u. a. folgende Themen vertiefen:
- Die Reaktionen der Öffentlichkeit auf die Veröffentlichung von ChatGPT nach dem 30.11.2022 als historisches Ereignis
- Die Auswirkung von Chunk-Größen und unterschiedlicher Chunking-Verfahren bei der Untersuchung des Spiegel-Korpus mit dem RAG-System
- Einfluss der Temperatur auf die Qualität der generierten Texte bei unterschiedlichen Fragetypen
- Die Erstellung eines Evaluationssets von Fragen für ein historisches RAG-System
- Die Evaluation von lokalen RAG-Systemen und verschiedener Modelle
- Die Analyse von RAG-Systemen für die Analyse jugoslawischer historischer Texte oder den Kolonialverbrechen der Niederlande in Indonesien
- Evaluation unterschiedlicher LLM in Hinblick auf deren antiziganistischen Bias
Literatur- und Quellenverzeichnis
Brüh, Jannis: Mutter verklagt Chatbot-Firma und Google nach Tod ihres Sohnes, Süddeutsche Zeitung vom 24.10.2024, URL: https://www.sueddeutsche.de/wirtschaft/chatbot-usa-klage-character-google-suizid-sohn-mutter-lux.VGY7aibLPYfWbhafUqf66w?reduced=true (zuletzt aufgerufen 31.03.2025).
Haluza, Daniela/ Jungwirth, David: Artificial Intelligence and Ten Societal Megatrends: An Exploratory Study Using GPT-3, Systems 2023, 11(3), 120, URL: <https://doi.org/10.3390/systems11030120> (zuletzt aufgerufen 25.03.2025).
König, Mareike: ChatGPT und Co. in den Geschichtswissenschaften – Grundlagen, Prompts und Praxisbeispiele, 19.08.24, URL: https://dhdhi.hypotheses.org/9197 (zuletzt aufgerufen am 28.03.2025).
Neudecker, Clemens: Context matters. Chancen und Herausforderung bei der Arbeit mit Künstlicher Intelligenz und Kulturellem Erbe. Vortrag im Kolloquium der Digital History Berlin, 25. November 2024, URL: < https://doi.org/10.58079/12qwx> (zuletzt aufgerufen 10.03.2025).
Perrigio, Billy: Exclusive: OpenAI Used Kenyan Workers on Less Than $2 Per Hour to Make ChatGPT Less Toxic, Time 18.02.2023, URL: https://time.com/6247678/openai-chatgpt-kenya-workers/ (zuletzt aufgerufen: 28.03.2025).
Siebert, Julien: Halluzinationen von generativer KI und großen Sprachmodellen (LLMs), Frauenhofer IESE vom 24.10.2024, URL: https://www.iese.fraunhofer.de/blog/halluzinationen-generative-ki-llm/ (zuletzt aufgerufen 20.03.2025).
Zhao, Wayne Xin et.al: A Survey of Large Language Models, 11.03.2025,URL: https://arxiv.org/pdf/2303.18223 (zuletzt aufgerufen 21.03.2025).
OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Digital History Berlin (Redaktion) (9. Mai 2025). Wie verändern große Sprachmodelle die Geschichtswissenschaften? Eine studentische Blogreihe zur Anwendung von LLMs in der historischen Forschung. Digital History Berlin. Abgerufen am 13. Mai 2025 von https://doi.org/10.58079/13wcq