Digital resources in the Social Sciences and Humanities OpenEdition Our platforms OpenEdition Books OpenEdition Journals Hypotheses Calenda Libraries OpenEdition Freemium Follow us

Aurel Daugs, Katharina Josipovic und Holle Meding: Evaluation großer Sprachmodelle für die Geschichtswissenschaft: Das SPIEGEL-RAG-System im Test

Wie lassen sich Sprachmodelle geschichtswissenschaftlich evaluieren – und welche Hürden sind dabei zu überwinden? Der Blogbeitrag von Aurel Daugs, Katharina Josipovic und Holle Meding zeigt anhand des SPIEGEL-RAG-Systems, wie der Einsatz von LLMs und Retrieval-Augmented Generation (RAG) neue Forschungsansätze ermöglicht und warum eigene Evaluierungsmethoden unerlässlich sind. Zu diesem Zweck wurde die Entwicklung eines „Silberstandards“ nachskizziert, der als Referenzwert für die Ausgaben der Sprachmodelle und des Retrievals diente. Die Ergebnisse dieser Evaluation wurden anschließend im größeren Rahmen der Geschichtswissenschaft reflektiert. „Aurel Daugs, Katharina Josipovic und Holle Meding: Evaluation großer Sprachmodelle für die Geschichtswissenschaft: Das SPIEGEL-RAG-System im Test“ weiterlesen

NFDI4Memory ECTG2024: Paul Widzgowski “Bericht zum Besuch des 15. Internationalen Kolloquiums über Spät- und Vulgärlatein, Latin vulgaire – latin tardif XV”

Autor: Paul Widzgowski, Masterstudent für den M.A. Klassischen Philologie und den M.Sc. Computing in the Humanities an der Universtität Bamberg.

Bild der Tagungsteilnehmenden. Foto: Klaus Wolf, https://lvlt2024.badw.de/home.html.

Vom 2. bis 6. September 2024 fand das 15. Internationalen Kolloquium über Spät- und Vulgärlatein, Latin vulgaire – latin tardif XV uter Schirmherrschaft des Comité international pour l’etude du latin vulgaire et tardif in den Räumlichkeiten des Wörterbuchprojektes Thesaurus Linguae Latinae der Bayerischen Akademie der Wissenschaften, München, statt. Auf der Tagung hatte ich die Gelegenheit, über das Thema Afrae aures? – The Latin Language in Inscriptions and Curse Tablets in Carthage and Africa beizutragen. In diesem Beitrag schildere ich mein Projekt und meine Eindrücke und Perspektiven auf die Konferenz.

„NFDI4Memory ECTG2024: Paul Widzgowski “Bericht zum Besuch des 15. Internationalen Kolloquiums über Spät- und Vulgärlatein, Latin vulgaire – latin tardif XV”“ weiterlesen

Holle Meding und Aurel Daugs: Prompt & Proof: Retrieval-Augmented Generation zur Steigerung der LLM-Zuverlässigkeit am Beispiel historischer Zeitungsquellen

Kann die Zuverlässigkeit von Large Language Models (LLMs) für den Einsatz in der historischen Forschung verbessert werden? Holle Meding und Aurel Daugs gehen dieser Frage mittels eines Retrieval-Augmented-Generation-Ansatzes (RAG) nach, der LLMs mit externen Wissensquellen wie digitalen Zeitungsarchiven kombiniert. An der Humboldt-Universität zu Berlin wurde dazu eine RAG-Pipeline entwickelt, die eine quantitative Erschließung von über 100.000 SPIEGEL-Artikeln (1940er–1970er Jahre) ermöglicht. Durch rekursives Chunking, vektorbasierte Retrieval-Verfahren und gezieltes Prompt Design zeigt der Beitrag, wie ein RAG-Framework für die historische Forschung implementiert und nutzbar gemacht werden kann. „Holle Meding und Aurel Daugs: Prompt & Proof: Retrieval-Augmented Generation zur Steigerung der LLM-Zuverlässigkeit am Beispiel historischer Zeitungsquellen“ weiterlesen

NFDI4Memory ECTG2024: Marthe Küster “FactGrid – Ein Rückblick auf den Workshop ‘Gotha global vernetzt'”

Abbildung 1: FactGrid-Logo, bereitgestellt von Olaf Simons, https://database.factgrid.de/wiki/File:FactGrid-Logo.PNG, abgerufen am 13.12.2024

Autorin: Marthe Küster, Masterstudentin Information Science am Institut für Bibliotheks- und Informationswissenschaft (IBI), Humboldt Universität zu Berlin; SHK an der BBAW, TELOTA-Projekt

Meine Reise nach Gotha

Ende 2024 wurde ich mit einem der ersten NFDI4Memory Early Career Travel Grants gefördert. Ich war gerade dabei, mein Masterarbeitsthema im Fach Information Science zu entwickeln und interessierte mich insbesondere für geschichtswissenschaftliche Forschungsdaten. Seit ungefähr zwei Jahren habe ich mich als studentische Hilfskraft viel mit digitalen Briefeditionen beschäftigt. Hier wollte ich auch ansetzen, mich vertieft mit historischen Ortsdaten auseinanderzusetzen.

„NFDI4Memory ECTG2024: Marthe Küster “FactGrid – Ein Rückblick auf den Workshop ‘Gotha global vernetzt’”“ weiterlesen

NFDI4Memory ECTG2024: David Eibeck “Bericht über die Teilnahme an der ‘Digital History & Citizen Science’ Tagung in Halle (Saale)”

Autor: David Eibeck, M.A., Wissenschaftlicher Mitarbeiter an der JGU Mainz, EDEp-Projekt

Zweck der Teilnahme an der Tagung

Der Early Career Travel Grant von NFDI4Memory erlaubte mir, an der Digital History & Citizen Science Tagung in Halle an der Saale vom 19. bis 22. September 2024 teilzunehmen, im Rahmen derer ich ein Poster über das DFG-Projekt „Editionstools für eine Digitale Epigraphik (EDEp)“, dessen wissenschaftlicher Mitarbeiter ich bin, präsentieren durfte.

„NFDI4Memory ECTG2024: David Eibeck “Bericht über die Teilnahme an der ‘Digital History & Citizen Science’ Tagung in Halle (Saale)”“ weiterlesen

Julianne Nyhan: Mixed-methods Digital Oral History: Reflections on Limits, Horizons and Emerging Findings

Oral history as source has comprised five key components: the interview, the recording, the transcript, and the interpretation of the transcript presented in published works and archival metatata. Yet oral history is now increasingly being created, accessed, and understood as data. Oral histories now appear as machine-generated transcripts, RDF triples, knowledge and network graphs, ontologies, machine-actionable metadata and more. Digital technologies are central to this transformation. Advanced AI tools for Automated Speech Recognition (ASR) are enabling the large-scale transcription and capture of audio and audio-visual collections. New digital methods, pipelines, and platforms enable data-driven exploration of oral history materials. As these technologies evolve, they offer powerful new ways of asking questions of the past. Yet they also raise wider questions about the future of memory, of recollection, of meaning making in a datafied age.

„Julianne Nyhan: Mixed-methods Digital Oral History: Reflections on Limits, Horizons and Emerging Findings“ weiterlesen

Walter Scholger: Künstliche Intelligenz im Spannungsfeld von Innovation und Regulierung

Künstliche Intelligenz (KI) hat längst Einzug in die (digitalen Geistes-)Wissenschaften gehalten und wird unterschiedlich wahrgenommen: Der Einsatz generativer KI verspricht Innovation und Fortschritt, wirft jedoch auch kritische Fragen zu rechtlichen und ethischen Aspekten sowie zur Regulierung dieser Technologie auf.

„Walter Scholger: Künstliche Intelligenz im Spannungsfeld von Innovation und Regulierung“ weiterlesen

Torsten Hiltmann, Noah Baumann, Aurel Daugs, Bastian Kanow, Mareike Schäffer: RAG den Spiegel. Neue Wege zur Analyse großer Quellenkorpora in den Geschichtswissenschaften mit Hilfe von Large Language Models am Beispiel des Nachrichtenmagazins „DER SPIEGEL“

Dass große Sprachmodelle (Large Language Models, LLMs) auch die Geschichtswissenschaft verändern – und mit ihr die Art, wie wir als Historiker:innen arbeiten –, steht außer Frage. Aber wie genau kann das aussehen? Eines der zentralen Schlagworte in diesem Zusammenhang ist Retrieval-Augmented Generation (RAG). Dabei handelt es sich um ein Verfahren, bei dem LLMs nicht einfach auf ihr vortrainiertes Wissen zurückgreifen, sondern gezielt mit externen Quellenkorpora kombiniert werden. Dadurch lassen sich umfangreiche Textbestände systematisch auf bestimmte Informationen hin untersuchen. Halluzinationen werden reduziert, und gleichzeitig eröffnen sich neue Anwendungsmöglichkeiten in Bereichen, die im Training der Modelle bislang nicht berücksichtigt waren.

„Torsten Hiltmann, Noah Baumann, Aurel Daugs, Bastian Kanow, Mareike Schäffer: RAG den Spiegel. Neue Wege zur Analyse großer Quellenkorpora in den Geschichtswissenschaften mit Hilfe von Large Language Models am Beispiel des Nachrichtenmagazins „DER SPIEGEL““ weiterlesen

Isabell Trilling: Die Anwendung von LLMs zur Identifikation und Klassifikation von Naturkatastrophen in mittelalterlichen Stadtchroniken

Large Language Modelle (LLMs) benötigen in der Regel keine große Menge an zusätzlichen Trainingsdaten, um in unterschiedlichen NLP-Aufgaben eine gute Leistung zu erzielen. Ausgehend von den vielversprechenden Ergebnissen, die LLMs in dem Bereich der Named Entity Recognition (NER) in Auszügen des Baedekers erzielt hat[1], untersucht diese Masterarbeit empirisch, welchen Nutzen LLMs für die automatisierte Annotationen von abstrakteren Konzepten in historischen Quellen haben.

„Isabell Trilling: Die Anwendung von LLMs zur Identifikation und Klassifikation von Naturkatastrophen in mittelalterlichen Stadtchroniken“ weiterlesen

Anselm König: Intertextualitätsanalyse mit großen Sprachmodellen als historische Methode. Die Bibel in Wilhelm von Auxerres Summa de officiis ecclesiasticis

Die Verwendung großer Sprachmodelle erfährt einen scheinbar immerwährenden Aufwärtstrend. Die Entwicklerinnen dieser Algorithmen identifizieren immer neue erfolgsversprechende Anwendungsfälle, und auch in den digitalen Geisteswissenschaften werden großer Sprachmodelle vermehrt für oder als Methoden eingesetzt. Hier versprechen sie Leistungssteigerungen gegenüber bisherigen Ansätzen des Maschinellen Lernens. Außerdem sind große Sprachmodelle durch das unüberwachte Lernen großer Datenmengen gegenüber dem anwendungsbezogenen überwachten Lernen herkömmlicher Ansätze des Maschinellen Lernens deutlich flexibler.

„Anselm König: Intertextualitätsanalyse mit großen Sprachmodellen als historische Methode. Die Bibel in Wilhelm von Auxerres Summa de officiis ecclesiasticis“ weiterlesen