Digital resources in the Social Sciences and Humanities OpenEdition Our platforms OpenEdition Books OpenEdition Journals Hypotheses Calenda Libraries OpenEdition Freemium Follow us

Holle Meding und Aurel Daugs: Prompt & Proof: Retrieval-Augmented Generation zur Steigerung der LLM-Zuverlässigkeit am Beispiel historischer Zeitungsquellen

Kann die Zuverlässigkeit von Large Language Models (LLMs) für den Einsatz in der historischen Forschung verbessert werden? Holle Meding und Aurel Daugs gehen dieser Frage mittels eines Retrieval-Augmented-Generation-Ansatzes (RAG) nach, der LLMs mit externen Wissensquellen wie digitalen Zeitungsarchiven kombiniert. An der Humboldt-Universität zu Berlin wurde dazu eine RAG-Pipeline entwickelt, die eine quantitative Erschließung von über 100.000 SPIEGEL-Artikeln (1940er–1970er Jahre) ermöglicht. Durch rekursives Chunking, vektorbasierte Retrieval-Verfahren und gezieltes Prompt Design zeigt der Beitrag, wie ein RAG-Framework für die historische Forschung implementiert und nutzbar gemacht werden kann.

Was ist Retrieval-Augmented Generation (RAG)?

Ein Retrieval-Augmented Generation Framework, kurz RAG, beschreibt eine Architektur, welche Large Language Models mit externen Wissensdatenbanken kombiniert, um dadurch erweiterte und vor allem kontextualisierte Antworten zu ermöglichen. Statt sich folglich allein auf die Datenbasis eines Large Language Models (wie GPT-4o) zu verlassen, kann mittels RAG beispielsweise auf digitale Zeitungsarchive oder lokale Archivsammlungen zugegriffen werden und auf dieser Grundlage eine Antwort generiert werden.

Das Ziel ist dabei die Reduktion von Halluzinationen und gleichsam eine Verbesserung der Verlässlichkeit der generierten Antworten. Anstelle eines von Grund auf mit neuen Daten trainierten Modells, werden mit RAG gezielt die Abrufmechanismen optimiert. In seiner Grundform folgt das Framework einer mehrstufigen Verarbeitungspipeline:

  1. Datenbank aufsetzen: Zunächst werden Dokumente innerhalb einer strukturierten Datenbank indiziert.
  2. Suchprozess: Dann wird ein Suchprozess für diese eingebetteten Dokumente durchgeführt.
  3. Systemprompt: Schließlich wird eine erweiterte Eingabeaufforderung (Prompt) verfasst, die sowohl die ursprüngliche Nutzeranfrage als auch die extrahierten Informationen aus der Wissensdatenbank einbezieht.

Auf diese Weise kann RAG gezielt relevante Textsammlungen oder andere Datenbanken durchsuchen und das Sprachmodell mit kontextbezogenen Quellen anreichern, um fundiertere Antworten zu generieren. Zudem können bei der Generierung der Antworten die verwendeten Quellen direkt angezeigt werden, was nicht nur die Nachvollziehbarkeit erhöht, sondern auch eine Überprüfung der zugrunde liegenden Informationen ermöglicht.

Praxisanwendung

Im Laufe der Übung „Wie verändern große Sprachmodelle die Geschichtswissenschaften? Praxisübung am Beispiel der Darstellung der Dekolonialisierung in deutschen Nachrichtenmagazinen (1940er-1970er Jahre)“ an der Humboldt-Universität zu Berlin wurde eine RAG-Pipeline für die Analyse von historischen Texten aus dem Nachrichtenmagazin DER SPIEGEL entwickelt.

Das Ziel war es, den Diskurs über den Prozess der Dekolonisierung in Asien und Afrika zwischen den späten 1940er und 1970er Jahren in der Berichterstattung des SPIEGEL nachzuvollziehen. Dabei sollte an konkreten Beispielen das Potenzial und die Grenzen großer Sprachmodelle für die historische Forschung erarbeitet und diskutiert werden. Der Dekolonisierungskontext war dabei in den Artikeln zumeist indirekt eingebettet. Statt explizit von „Dekolonisierung“ zu schreiben, wurde dabei je nach Kontext Begriffe wie „Befreiungsbewegung“, „Dritte-Welt-Bewegung“ oder „Entwicklungspolitik“ verwandt. Aufgrund dieser terminologischen Vielfalt bot sich der Einsatz von Large Language Models zur Identifikation semantischer Muster und impliziter Bedeutungszusammenhänge an. Die Studierenden der Praxisübung stießen in der Anwendung der Modelle  schnell an die Grenzen eines rein generativen Ansatzes. Verwendet wurden die Large Language Models (HU-LLM-1, HU-LLM-3) der HU  Berlin sowie die kommerziellen Modelle Gemini, Claude Sonett und GPT-4o. Ohne gezieltes Retrieval basierten die Antworten der LLMs oft auf allgemeinem Weltwissen oder halluzinierten Zusammenhängen, anstatt sich präzise auf die spezifischen Quellen aus dem SPIEGEL-Archiv zu stützen, was ihren Mehrwert für die historische Arbeit deutlich mindert.

RAG-Architektur: Chunking, Embeddings und Retrieval

Um eine fundierte Grundlage für die Analyse und Implementierung eines RAG-Frameworks zu schaffen, wurde zunächst ein umfangreicher Textkorpus von 105.257 Artikeln aus dem SPIEGEL-Archiv extrahiert und in eine strukturierte CSV-Datenbank überführt. Die Gesamtmenge umfasste etwa 84 Millionen Token – ein riesiger Bestand an historischen Informationen, der ohne digitale Methoden kaum systematisch auszuwerten wäre. Allerdings bestehen auch qualitative Einschränkungen: Die originalen Bilder wurden entfernt, die physische Position der Artikel und die ursprüngliche Textstruktur sind nicht erhalten geblieben und die Texte weisen einige OCR-Fehler auf – insbesondere bei fremdsprachigen Namen. Wie genau der SPIEGEL seine Artikel im Jahr 2007 digitalisiert hat, ist seitens SPIEGEL nicht dokumentiert und damit nicht nachvollziehbar.  

Um die Quellen für eine LLM-gestützte Analyse zugänglich zu machen, mussten sie dabei zunächst in kleinere Sinneinheiten (Chunks) zerlegt werden. Damit wichtige Zusammenhänge zwischen den Abschnitten nicht verloren gingen, wurden diese Sinneinheiten mit einer gezielten Kontextüberschneidung gestaltet, d.h. dass der letzte Teil eines Abschnitts im nächsten wiederholt wird, um den Kontext zu erhalten.

Ein Token stellt die kleinste Verarbeitungseinheit in der natürlichen Sprachverarbeitung (NLP) dar. Es kann dabei – je nach Tokenisierungsverfahren – ein ganzes Wort, ein Wortbestandteil oder ein einzelnes Zeichen repräsentieren.

Für die RAG-Pipeline wurde das Recursive Chunking-Verfahren mit folgenden Parametern eingesetzt:

  • Chunk-Größe: 500 Tokens
  • Overlap: 50 Tokens
Chunking ist ein Verfahren zur schrittweisen Textzerlegung, bei dem ein Text nach einer festgesetzten Anzahl von Zeichen oder mithilfe von Trennzeichen (z. B. Absätze, Sätze) in kleinere Segmente unterteilt wird. Beim Recursive Chunking wird dabei der Text nicht einfach einmalig in feste Abschnitte unterteilt (z.B. Absätze), sondern, sofern die erste Aufteilung noch nicht die gewünschte Segmentgröße oder Struktur liefert, stufenweise auf noch kleinere Einheiten von Trennkriterien (z.B. Sätze)  zurückgegriffen. Ziel dabei ist es, semantisch sinnvolle als auch annähernd gleich große Chunks zu erzeugen, ohne starre Grenzen vorzugeben und dadurch den Kontext innerhalb der Segmente bestmöglich zu erhalten.

Jeder dieser Chunks wurde dann mithilfe eines Sentence Transformer-Modells (all-MiniLM-L6-v2) in Sentence Embeddings umgewandelt. Anstatt Wörter folglich nur als einzelne Zeichenketten zu erfassen, erkennt das Modell Zusammenhänge zwischen Wörtern und Sätzen und stellt diese in einer numerischen Form dar.

Embeddings bezeichnen Zahlenreihen (Vektoren), die die Bedeutung eines Textes kodieren. Sie sind für Large Language Models notwendig, da diese natürliche Sprache nicht direkt „begreifen“. Stattdessen müssen Wörter und Sätze in eine mathematische Form übersetzt werden, um sie verarbeiten zu können. Insbesondere erleichtern Embeddings die semantische Suche, d.h. dass ein Sprachmodell nicht nur nach exakt passenden Wörtern sucht, sondern auch inhaltlich ähnliche Texte identifizieren kann.     Lies hier weiter zu Embeddings und der Architektur von LLMs.

Das Retrieval-Modul ermöglichte es wiederum, bei einer Nutzeranfrage (Query) die semantisch relevantesten Chunks zu identifizieren. Hierbei wurde die Query ebenfalls in Embeddings umgewandelt und mit den gespeicherten Vektoren über Kosinusähnlichkeit verglichen, sodass nicht nur exakte Übereinstimmungen, sondern auch inhaltlich verwandte Textstellen gefunden wurden. Letztlich sind es diese Chunks, die später als Kontext für die Generierung der Antwort dienten. (Link)

Abb. 1, Holle Meding und Aurel Daugs: RAG-Pipeline zur Analyse historischer Texte aus dem SPIEGEL-Archiv (1940er–1970er Jahre)

Entwicklung eines Systemprompts: Unsicherheitskommunikation und Quellenabhängigkeit

Zuletzt wurden die vom LLM generierten Antworten mittels Prompt Engineering optimiert.[1] Hierbei wurde ein Systemprompt implementiert, der sicherstellte, dass das LLM nur auf die tatsächlich infolge des Retrievals abgerufenen Dokumente Bezug nahm. Darüber hinaus wurde eine explizite Unsicherheitskommunikation integriert, um die Halluzinationen von LLMs einzuschränken: Falls keine relevanten Informationen gefunden wurden, sollte das Modell nicht spekulieren, sondern stattdessen klar antworten: „Ich kann das nicht beantworten.“

Ein Systemprompt ist eine übergeordnete Anweisung, die grundlegende Regeln für ein Large Language Model, wie Verhalten, Ton und Umfang der Antworten, festlegt und dauerhaft im Hintergrund aktiv bleibt. Im Gegensatz dazu wird ein Benutzerprompt individuell für jede Anfrage formuliert. Während der Systemprompt folglich das generelle Verhalten des Modells steuert, bestimmt der Benutzerprompt nur den Inhalt der jeweiligen Interaktion. Lies hier weiter zum Training von LLMs und welche Rolle der Systemprompt dabei spielt​.
Abb. 2: Systemprompt

Als letzter Schritt wurde der Systemprompt, der Frage-Prompt mit der spezifischen Fragestellung sowie die vom RAG-System abgerufenen Kontextabschnitte an das interne HU-LLM übergeben. Das Modell sollte damit die finale Antwort nun ausschließlich auf Basis der bereitgestellten Informationen generieren.

Ob das wirklich funktioniert hat? Lies den nächsten Beitrag zur Evaluation des RAG-Systems.



Zu den Autor*innen: Holle Meding ist Historikerin mit einem Schwerpunkt auf der Anwendung computergestützter Methoden und Large Language Models in der Geschichtswissenschaft. Sie studierte im Master Geschichte an der Freien Universität Berlin und am El Colegio de México und schloss den Master Interdisziplinäre Lateinamerikastudien an. Derzeit ist sie Stipendiatin der Gerda Henkel Stiftung und promoviert über Historisches Framing in den Medien. Aurel Daugs ist Masterstudent der Geschichtswissenschaft an der  Humboldt-Universität zu Berlin mit dem Schwerpunkt Digital History.  Seine Forschungsinteressen umfassen die methodenkritische Anwendung von  Large Language Models sowie die semantische Textannotation für  historische Textanalysen. In seiner Masterarbeit untersucht er das Ess- und Konsumverhalten im England des 18. Jahrhunderts anhand gedruckter Rezeptbücher, die er unter Einsatz von Sprachmodellen systematisch erschließt und analysiert

[1]Vgl. für einen umfassenderen Überblick über das Prompt Engineering auch: Chen, Banghao / Zhang, Zhaofeng / Langrené, Nicolas / Zhu, Shengxin: Unleashing the Potential of Prompt
Engineering in Large Language Models: A Comprehensive Review. arXiv preprint 05.09.2024. https://doi.org/10.48550/arXiv.2310.14735.


OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Digital History Berlin (Redaktion) (9. Juli 2025). Holle Meding und Aurel Daugs: Prompt & Proof: Retrieval-Augmented Generation zur Steigerung der LLM-Zuverlässigkeit am Beispiel historischer Zeitungsquellen. Digital History Berlin. Abgerufen am 9. Mai 2026 von https://doi.org/10.58079/14b32


Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

This site uses Akismet to reduce spam. Learn how your comment data is processed.