Large Language Modelle (LLMs) benötigen in der Regel keine große Menge an zusätzlichen Trainingsdaten, um in unterschiedlichen NLP-Aufgaben eine gute Leistung zu erzielen. Ausgehend von den vielversprechenden Ergebnissen, die LLMs in dem Bereich der Named Entity Recognition (NER) in Auszügen des Baedekers erzielt hat[1], untersucht diese Masterarbeit empirisch, welchen Nutzen LLMs für die automatisierte Annotationen von abstrakteren Konzepten in historischen Quellen haben.
„Isabell Trilling: Die Anwendung von LLMs zur Identifikation und Klassifikation von Naturkatastrophen in mittelalterlichen Stadtchroniken“ weiterlesenAnselm König: Intertextualitätsanalyse mit großen Sprachmodellen als historische Methode. Die Bibel in Wilhelm von Auxerres Summa de officiis ecclesiasticis
Die Verwendung großer Sprachmodelle erfährt einen scheinbar immerwährenden Aufwärtstrend. Die Entwicklerinnen dieser Algorithmen identifizieren immer neue erfolgsversprechende Anwendungsfälle, und auch in den digitalen Geisteswissenschaften werden großer Sprachmodelle vermehrt für oder als Methoden eingesetzt. Hier versprechen sie Leistungssteigerungen gegenüber bisherigen Ansätzen des Maschinellen Lernens. Außerdem sind große Sprachmodelle durch das unüberwachte Lernen großer Datenmengen gegenüber dem anwendungsbezogenen überwachten Lernen herkömmlicher Ansätze des Maschinellen Lernens deutlich flexibler.
„Anselm König: Intertextualitätsanalyse mit großen Sprachmodellen als historische Methode. Die Bibel in Wilhelm von Auxerres Summa de officiis ecclesiasticis“ weiterlesenHerausforderungen von Large Language Models für die Geschichtswissenschaften: Halluzinationen, Chronosensitivität und mangelnde Transparenz
Von Holle Meding[1]
Mit der zunehmenden Integration von Large Language Models (LLMs) in den (wissenschaftlichen) Alltag, sehen sich auch die historisch arbeitenden Fächer mit den Herausforderungen konfrontiert, das Potenzial, aber auch die Grenzen der Modelle auszuloten. Genau dieser Fragestellung widmete sich die Lehrveranstaltung „Wie verändern große Sprachmodelle die Geschichtswissenschaften? Theorie und Methoden“, die im Wintersemester an der Humboldt-Universität zu Berlin unter Leitung von Prof. Dr. Torsten Hiltmann stattfand. Im Rahmen des Masterseminars wurde diskutiert, wie sich LLMs methodisch in die geschichtswissenschaftliche Forschungspraxis integrieren lassen, beispielsweise bei der Auswertung eines umfangreichen Quellenkorpus. Zugleich wurde diskutiert, wie sich quellenkritische Ansätze im Umgang mit LLMs verändern und welche Verzerrungen durch Trainingsdaten oder Modellarchitektur entstehen können. Große Sprachmodelle produzieren Texte auf Basis statistischer Wahrscheinlichkeiten, das heißt, vereinfacht ausgedrückt, sie sagen das nächste Wort in einem Satz vorher (next token prediction, Abb. 1). In diesem Sinne können die Modelle zwar auf sprachlicher Ebene kohärente Texte produzieren, besitzen jedoch kein inhärentes Verständnis für deren Inhalt. Stattdessen replizieren sie zunächst einmal auf Grundlage des Korpus, mit dem sie antrainiert wurden, sprachliche Muster.[2] „Herausforderungen von Large Language Models für die Geschichtswissenschaften: Halluzinationen, Chronosensitivität und mangelnde Transparenz“ weiterlesen
Robert Giel: Das Handschriftenportal: Alles an (s)einem Ort?
Der Beitrag nimmt mit auf einen Gang von den Handschriften als unikalen Objekten über ihre Erschließung und digitale Präsentation hin zum Handschriftenportal-Projekt und -Produkt. Als roter Faden dient dabei die Frage nach dem jeweiligen Ort von Objekten, Daten und Akteuren. Was macht den Gegenstand Handschrift aus, wie und wo wird er in den existierenden organisatorischen und technischen Infrastrukturen erschlossen und verfügbar gemacht? In dieser Landschaft ist die Rolle des Handschriftenportals zu verorten, werden Projektakteure sowie zentrale fachliche und technische Konzepte vorgestellt. Nach einigen Einblicken in ausgewählte Funktionalitäten des Portals wird abschließend die weitere Perspektive des Produkts thematisiert.
„Robert Giel: Das Handschriftenportal: Alles an (s)einem Ort?“ weiterlesenOffene Stellen: Die Digital History an der HU Berlin sucht Mitarbeitende
Fünf neue Stellen im Bereich Digital History an der HU Berlin
Die Professur für Digital History an der Humboldt-Universität zu Berlin sucht neue Mitarbeitende. Über den Sommer haben wir insgesamt fünf Positionen zu besetzen – in unterschiedlichen Projekten mit jeweils unterschiedlicher Ausrichtung und Stellenumfang. Bei allen Projekten geht es letztendlich immer um die Frage, wie man digitale Methoden für die Geschichtswissenschaften zielführend nutzbar machen kann – für die Community, in der Lehre und umgesetzt in konkreten geschichtswissenschaftlichen Forschungsprojekten.
Drei der Stellen sind bereits veröffentlicht, zwei weitere folgen in Kürze. Zur Stellenbeschreibung weiterlesen…
„Offene Stellen: Die Digital History an der HU Berlin sucht Mitarbeitende“ weiterlesenGroße Sprachmodelle in den Geschichtswissenschaften. Ein Überblick und Ausblick zu Ansätzen aus der Praxis
von Alexandra Gawlitza und Anselm König
Anwendung großer Sprachmodelle in der geschichtswissenschaftlichen Praxis
Im Rahmen zahlreicher Forschungsprojekte wird der Einsatz großer Sprachmodelle (LLMs), die sich bereits im alltäglichen Gebrauch und zunehmend auch in wissenschaftlichen Kontexten bewähren, verstärkt auch für die Analyse historischer Quellen erprobt – beispielsweise bei der Auswertung umfangreicher, unstrukturierter Textbestände wie Briefen, Zeitungen, Nachlässen oder amtlichem Schriftgut. Hierdurch entsteht zwar der Eindruck, dass LLMs bereits Einzug in die Geschichtswissenschaften gehalten haben, jedoch stammen die wesentlichen Impulse bislang überwiegend aus dem Bereich der Informatik und der Informationswissenschaften. Historiker*innen sind derweil nur selten direkt an solchen Vorhaben beteiligt und begegnen dem Einsatz von LLMs noch vielfach kritisch. Diese Zurückhaltung gründet sich u. a. auf zentrale Prinzipien historischer Forschung wie z. B. Quellenkritik, Kontextualisierung und die reflektierte Auseinandersetzung mit Mehrdeutigkeiten. Der kanadische Experte für digitale Archäologie und digitale Geisteswissenschaften Shawn Graham warnt etwa in seinem Vortrag „Do It Yourself Digital Golems“[1] vor einem unreflektierten Umgang mit KI-Systemen, die er als moderne „Golems“ beschreibt – mächtige, aber potenziell unkontrollierbare Werkzeuge. Der Einsatz von Large Language Modellen eröffnet zwar neue Perspektiven, erfordert aber zugleich eine kritische Auseinandersetzung mit ihren epistemologischen und ethischen Implikationen. Zugleich zeigt sich in ersten Anwendungen, dass große Sprachmodelle – bei reflektierter Nutzung – Historiker*innen durchaus neue methodische Wege erschließen. „Große Sprachmodelle in den Geschichtswissenschaften. Ein Überblick und Ausblick zu Ansätzen aus der Praxis“ weiterlesen