Mit der zunehmenden Integration von Large Language Models (LLMs) in den (wissenschaftlichen) Alltag, sehen sich auch die historisch arbeitenden Fächer mit den Herausforderungen konfrontiert, das Potenzial, aber auch die Grenzen der Modelle auszuloten. Genau dieser Fragestellung widmete sich die Lehrveranstaltung „Wie verändern große Sprachmodelle die Geschichtswissenschaften? Theorie und Methoden“, die im Wintersemester an der Humboldt-Universität zu Berlin unter Leitung von Prof. Dr. Torsten Hiltmann stattfand. Im Rahmen des Masterseminars wurde diskutiert, wie sich LLMs methodisch in die geschichtswissenschaftliche Forschungspraxis integrieren lassen, beispielsweise bei der Auswertung eines umfangreichen Quellenkorpus. Zugleich wurde diskutiert, wie sich quellenkritische Ansätze im Umgang mit LLMs verändern und welche Verzerrungen durch Trainingsdaten oder Modellarchitektur entstehen können. Große Sprachmodelle produzieren Texte auf Basis statistischer Wahrscheinlichkeiten, das heißt, vereinfacht ausgedrückt, sie sagen das nächste Wort in einem Satz vorher (next token prediction, Abb. 1). In diesem Sinne können die Modelle zwar auf sprachlicher Ebene kohärente Texte produzieren, besitzen jedoch kein inhärentes Verständnis für deren Inhalt. Stattdessen replizieren sie zunächst einmal auf Grundlage des Korpus, mit dem sie antrainiert wurden, sprachliche Muster.[2] „Holle Meding: Herausforderungen von Large Language Models für die Geschichtswissenschaften: Halluzinationen, Chronosensitivität und mangelnde Transparenz“ weiterlesen
Alexandra Gawlitza und Anselm König: Große Sprachmodelle in den Geschichtswissenschaften. Ein Überblick und Ausblick zu Ansätzen aus der Praxis
Anwendung großer Sprachmodelle in der geschichtswissenschaftlichen Praxis
Im Rahmen zahlreicher Forschungsprojekte wird der Einsatz großer Sprachmodelle (LLMs), die sich bereits im alltäglichen Gebrauch und zunehmend auch in wissenschaftlichen Kontexten bewähren, verstärkt auch für die Analyse historischer Quellen erprobt – beispielsweise bei der Auswertung umfangreicher, unstrukturierter Textbestände wie Briefen, Zeitungen, Nachlässen oder amtlichem Schriftgut. Hierdurch entsteht zwar der Eindruck, dass LLMs bereits Einzug in die Geschichtswissenschaften gehalten haben, jedoch stammen die wesentlichen Impulse bislang überwiegend aus dem Bereich der Informatik und der Informationswissenschaften. Historiker*innen sind derweil nur selten direkt an solchen Vorhaben beteiligt und begegnen dem Einsatz von LLMs noch vielfach kritisch. Diese Zurückhaltung gründet sich u. a. auf zentrale Prinzipien historischer Forschung wie z. B. Quellenkritik, Kontextualisierung und die reflektierte Auseinandersetzung mit Mehrdeutigkeiten. Der kanadische Experte für digitale Archäologie und digitale Geisteswissenschaften Shawn Graham warnt etwa in seinem Vortrag „Do It Yourself Digital Golems“[1] vor einem unreflektierten Umgang mit KI-Systemen, die er als moderne „Golems“ beschreibt – mächtige, aber potenziell unkontrollierbare Werkzeuge. Der Einsatz von Large Language Modellen eröffnet zwar neue Perspektiven, erfordert aber zugleich eine kritische Auseinandersetzung mit ihren epistemologischen und ethischen Implikationen. Zugleich zeigt sich in ersten Anwendungen, dass große Sprachmodelle – bei reflektierter Nutzung – Historiker*innen durchaus neue methodische Wege erschließen. „Alexandra Gawlitza und Anselm König: Große Sprachmodelle in den Geschichtswissenschaften. Ein Überblick und Ausblick zu Ansätzen aus der Praxis“ weiterlesen
Niklas Kelm und Mareike Schäffer: Technische Einblicke in LLMs: Wie funktionieren große Sprachmodelle?
Embeddings: Die semantische Grundlage von LLMs
Wortvektoren, auch Embeddings genannt, sind die grundlegende Technologie, welche dafür sorgen, dass der Computer in der Lage, ist Sprache semantisch zu verarbeiten. Wortvektoren repräsentieren Wörter bzw. das dahinterliegende Konzept in einem mathematischen Raum. Dabei gilt: Je ähnlicher die Bedeutung zweier Wörter, desto näher liegen ihre Vektoren im Raum beieinander. In den meisten LLMs werden jedoch keine ganzen Wörter, sondern kleinere Wortbestandteile (sogenannte Tokens) als Vektoren abgebildet. Diese Unterteilung ermöglicht eine genauere und flexiblere Darstellung von Bedeutung und agiert somit robuster auf regionale Schreibarten oder „Typos“. „Niklas Kelm und Mareike Schäffer: Technische Einblicke in LLMs: Wie funktionieren große Sprachmodelle?“ weiterlesen
Olga Mlynarczyk: Learning to think like the past. Applicability of retrieval augmented LLMs in historical research
With the advent of ChatGPT, the potential of Large Language Models (LLMs) to facilitate various academic, industrial and even everyday processes became evident to the general public. In its aftermath, publications proposing custom-made integrations of LLMs proliferated in wide range of disciplines far beyond the IT, from genetics and finance to the humanities. What they share in common is hope that LLMs can facilitate advances in their disciplines. But how does a historian turn the models to their advantage?
„Olga Mlynarczyk: Learning to think like the past. Applicability of retrieval augmented LLMs in historical research“ weiterlesen