Large Language Modelle (LLMs) benötigen in der Regel keine große Menge an zusätzlichen Trainingsdaten, um in unterschiedlichen NLP-Aufgaben eine gute Leistung zu erzielen. Ausgehend von den vielversprechenden Ergebnissen, die LLMs in dem Bereich der Named Entity Recognition (NER) in Auszügen des Baedekers erzielt hat[1], untersucht diese Masterarbeit empirisch, welchen Nutzen LLMs für die automatisierte Annotationen von abstrakteren Konzepten in historischen Quellen haben.
„Isabell Trilling: Die Anwendung von LLMs zur Identifikation und Klassifikation von Naturkatastrophen in mittelalterlichen Stadtchroniken“ weiterlesenAnselm König: Intertextualitätsanalyse mit großen Sprachmodellen als historische Methode. Die Bibel in Wilhelm von Auxerres Summa de officiis ecclesiasticis
Die Verwendung großer Sprachmodelle erfährt einen scheinbar immerwährenden Aufwärtstrend. Die Entwicklerinnen dieser Algorithmen identifizieren immer neue erfolgsversprechende Anwendungsfälle, und auch in den digitalen Geisteswissenschaften werden großer Sprachmodelle vermehrt für oder als Methoden eingesetzt. Hier versprechen sie Leistungssteigerungen gegenüber bisherigen Ansätzen des Maschinellen Lernens. Außerdem sind große Sprachmodelle durch das unüberwachte Lernen großer Datenmengen gegenüber dem anwendungsbezogenen überwachten Lernen herkömmlicher Ansätze des Maschinellen Lernens deutlich flexibler.
„Anselm König: Intertextualitätsanalyse mit großen Sprachmodellen als historische Methode. Die Bibel in Wilhelm von Auxerres Summa de officiis ecclesiasticis“ weiterlesenHerausforderungen von Large Language Models für die Geschichtswissenschaften: Halluzinationen, Chronosensitivität und mangelnde Transparenz
Von Holle Meding[1]
Mit der zunehmenden Integration von Large Language Models (LLMs) in den (wissenschaftlichen) Alltag, sehen sich auch die historisch arbeitenden Fächer mit den Herausforderungen konfrontiert, das Potenzial, aber auch die Grenzen der Modelle auszuloten. Genau dieser Fragestellung widmete sich die Lehrveranstaltung „Wie verändern große Sprachmodelle die Geschichtswissenschaften? Theorie und Methoden“, die im Wintersemester an der Humboldt-Universität zu Berlin unter Leitung von Prof. Dr. Torsten Hiltmann stattfand. Im Rahmen des Masterseminars wurde diskutiert, wie sich LLMs methodisch in die geschichtswissenschaftliche Forschungspraxis integrieren lassen, beispielsweise bei der Auswertung eines umfangreichen Quellenkorpus. Zugleich wurde diskutiert, wie sich quellenkritische Ansätze im Umgang mit LLMs verändern und welche Verzerrungen durch Trainingsdaten oder Modellarchitektur entstehen können. Große Sprachmodelle produzieren Texte auf Basis statistischer Wahrscheinlichkeiten, das heißt, vereinfacht ausgedrückt, sie sagen das nächste Wort in einem Satz vorher (next token prediction, Abb. 1). In diesem Sinne können die Modelle zwar auf sprachlicher Ebene kohärente Texte produzieren, besitzen jedoch kein inhärentes Verständnis für deren Inhalt. Stattdessen replizieren sie zunächst einmal auf Grundlage des Korpus, mit dem sie antrainiert wurden, sprachliche Muster.[2] „Herausforderungen von Large Language Models für die Geschichtswissenschaften: Halluzinationen, Chronosensitivität und mangelnde Transparenz“ weiterlesen
Robert Giel: Das Handschriftenportal: Alles an (s)einem Ort?
Der Beitrag nimmt mit auf einen Gang von den Handschriften als unikalen Objekten über ihre Erschließung und digitale Präsentation hin zum Handschriftenportal-Projekt und -Produkt. Als roter Faden dient dabei die Frage nach dem jeweiligen Ort von Objekten, Daten und Akteuren. Was macht den Gegenstand Handschrift aus, wie und wo wird er in den existierenden organisatorischen und technischen Infrastrukturen erschlossen und verfügbar gemacht? In dieser Landschaft ist die Rolle des Handschriftenportals zu verorten, werden Projektakteure sowie zentrale fachliche und technische Konzepte vorgestellt. Nach einigen Einblicken in ausgewählte Funktionalitäten des Portals wird abschließend die weitere Perspektive des Produkts thematisiert.
„Robert Giel: Das Handschriftenportal: Alles an (s)einem Ort?“ weiterlesenGroße Sprachmodelle in den Geschichtswissenschaften. Ein Überblick und Ausblick zu Ansätzen aus der Praxis
von Alexandra Gawlitza und Anselm König
Anwendung großer Sprachmodelle in der geschichtswissenschaftlichen Praxis
Im Rahmen zahlreicher Forschungsprojekte wird der Einsatz großer Sprachmodelle (LLMs), die sich bereits im alltäglichen Gebrauch und zunehmend auch in wissenschaftlichen Kontexten bewähren, verstärkt auch für die Analyse historischer Quellen erprobt – beispielsweise bei der Auswertung umfangreicher, unstrukturierter Textbestände wie Briefen, Zeitungen, Nachlässen oder amtlichem Schriftgut. Hierdurch entsteht zwar der Eindruck, dass LLMs bereits Einzug in die Geschichtswissenschaften gehalten haben, jedoch stammen die wesentlichen Impulse bislang überwiegend aus dem Bereich der Informatik und der Informationswissenschaften. Historiker*innen sind derweil nur selten direkt an solchen Vorhaben beteiligt und begegnen dem Einsatz von LLMs noch vielfach kritisch. Diese Zurückhaltung gründet sich u. a. auf zentrale Prinzipien historischer Forschung wie z. B. Quellenkritik, Kontextualisierung und die reflektierte Auseinandersetzung mit Mehrdeutigkeiten. Der kanadische Experte für digitale Archäologie und digitale Geisteswissenschaften Shawn Graham warnt etwa in seinem Vortrag „Do It Yourself Digital Golems“[1] vor einem unreflektierten Umgang mit KI-Systemen, die er als moderne „Golems“ beschreibt – mächtige, aber potenziell unkontrollierbare Werkzeuge. Der Einsatz von Large Language Modellen eröffnet zwar neue Perspektiven, erfordert aber zugleich eine kritische Auseinandersetzung mit ihren epistemologischen und ethischen Implikationen. Zugleich zeigt sich in ersten Anwendungen, dass große Sprachmodelle – bei reflektierter Nutzung – Historiker*innen durchaus neue methodische Wege erschließen. „Große Sprachmodelle in den Geschichtswissenschaften. Ein Überblick und Ausblick zu Ansätzen aus der Praxis“ weiterlesen
Whitney Trettien: Data Frictions in the History of Prisons
(Muss leider ausfallen / Cancelled)
In the 1880s, printing presses entered U.S. prisons. Since then, hundreds of newspapers have been written, edited, and printed inside prisons. These range from underground zines reproduced by hand to widely circulated magazines and newspapers. Together, these texts form a powerful counter-archive to the wash of dime novels, government forms, envelopes, and church circulars printed for pennies on the dollar by prison labor.
„Whitney Trettien: Data Frictions in the History of Prisons“ weiterlesenRiham Aida Mokrani: Manuscript Meets Model: Digital Approaches to Arabic Paleography
This talk offers a critical exploration of Arabic paleography at the intersection of traditional analysis and digital innovation. It reflects on both the field’s advancements and the challenges it has yet to overcome, particularly the lack of a systemic and standardized descriptive framework adapted to the specificities of Arabic script. Despite the long-standing scholarly interest in Arabic calligraphy, there remains a pressing need to develop comprehensive models that account for its typological diversity and historical evolution.
„Riham Aida Mokrani: Manuscript Meets Model: Digital Approaches to Arabic Paleography“ weiterlesenTechnische Einblicke in LLMs: Wie funktionieren große Sprachmodelle?
von Niklas Kelm und Mareike Schäffer
Embeddings: Die semantische Grundlage von LLMs
Wortvektoren, auch Embeddings genannt, sind die grundlegende Technologie, welche dafür sorgen, dass der Computer in der Lage, ist Sprache semantisch zu verarbeiten. Wortvektoren repräsentieren Wörter bzw. das dahinterliegende Konzept in einem mathematischen Raum. Dabei gilt: Je ähnlicher die Bedeutung zweier Wörter, desto näher liegen ihre Vektoren im Raum beieinander. In den meisten LLMs werden jedoch keine ganzen Wörter, sondern kleinere Wortbestandteile (sogenannte Tokens) als Vektoren abgebildet. Diese Unterteilung ermöglicht eine genauere und flexiblere Darstellung von Bedeutung und agiert somit robuster auf regionale Schreibarten oder „Typos“. „Technische Einblicke in LLMs: Wie funktionieren große Sprachmodelle?“ weiterlesen
Ursula Lehmkuhl: Building Data Competencies for Historians: Perspectives from the NFDI4Memory ‘Data Literacy’ Program
The NFDI consortium 4memory includes a task area that focuses on enhancing Data Literacy in historically oriented research and education. This task area seeks to promote cultural change in the historical profession by developing methodological and curricular innovations, aiming to integrate Data Literacy competencies at all levels of history education. This includes BA, MA, and PhD programs, as well as specialized courses in area history (e.g., African, Asian, and Latin American histories). We emphasize mainstreaming Data Literacy rather than limiting it to specialized programs, fostering a global and interdisciplinary approach to historical research under digital conditions. The presentation explores issues surrounding digital hermeneutics, historical data criticism, and the distinct challenges posed by area histories.
„Ursula Lehmkuhl: Building Data Competencies for Historians: Perspectives from the NFDI4Memory ‘Data Literacy’ Program“ weiterlesenWie verändern große Sprachmodelle die Geschichtswissenschaften? Eine studentische Blogreihe zur Anwendung von LLMs in der historischen Forschung.
Von Anica Skibba und Isabell Trilling
Einleitung: Der Rahmen der Blogreihe
In dem Masterseminar und der begleitenden Übung befassten wir uns ausführlich mit großen Sprachmodellen bzw. Large Language Models (LLMs). Unter dem Titel „Wie verändern große Sprachmodelle die Geschichtswissenschaften?“ haben wir im Masterseminar die Theorie und Methoden von LLMs untersucht, Praxisbeispiele aus der Forschung kennengelernt und in der Übung eigene Retrieval Augmented Generation Systeme (RAG) gebaut. Ziel der Lehrveranstaltung war es, Chancen, Herausforderungen und Grenzen von LLMs in der historischen Praxis zu testen. Die Lehrveranstaltung war in drei Bereiche gegliedert: die hermeneutische Perspektive auf Sprachmodelle, die technische Perspektive auf Sprachmodelle und die historische Praxis mit Sprachmodellen. Die Blogreihe setzt ihren Schwerpunkt auf die technische und angewandte Perspektive von Sprachmodellen, wobei das Vorgehen und die Ergebnisse von den Autor*innen wiederkehrend hermeneutisch eingeordnet wurden. „Wie verändern große Sprachmodelle die Geschichtswissenschaften? Eine studentische Blogreihe zur Anwendung von LLMs in der historischen Forschung.“ weiterlesen