Wenn wir digitale Datensätze (wieder-)verwenden, sind wir zunächst mit der grundsätzlichen Modellierung von Daten konfrontiert. Das bedeutet, dass die Daten, die wir nutzen, nie ohne Theorie oder Modell erstellt worden sind. Sie sind demnach eine Teildarstellung und abhängig von den ihnen zugrunde liegenden Annahmen. Jeder Datensatz wird für einen bestimmten Zweck erstellt, und seine Übernahme für ein anderes Projekt erfordert immer eine Bereinigung oder Umstrukturierung der Daten. Im Laufe der Erstellung einer Tool Registry und eines Field Surveys zur Digital Humanities und Digital History in Deutschland, Österreich und der Schweiz im Rahmen des NFDI4Memory habe ich mit unterschiedlichen z.T. großen (wenn auch noch relativ übersichtlichen) Datensätzen gearbeitet. Die dabei gemachten Erfahrungen in der Bereinigung und Aufbereitung von Daten teile ich in diesem Blogbeitrag.
Datenbereinigung als Hauptaufgabe

Anders als von Kolleg*innen, die wenig Kontakt mit digitalen Daten und computationellen Methoden haben, oder von Kommiliton*innen am Anfang ihres Studiums der Digital History angenommen, ist die Bereinigung und Vorbereitung von Daten eine der Hauptaufgaben bei der Analyse großer Datensätze. In einen solchen Bereinigungs- und Aufarbeitungsschritt fallen beispielsweise die häufig vorgenommene Normalisierung von Abkürzungen und Rechtschreibungen sowie die Umformatierung von Einträgen.

Datenbereinigung und digitale Quellenkritik
In meinem Bachelorstudium habe ich für eine Seminararbeit die Burchardiflut vom Oktober 1634 untersucht. Im Laufe meiner Arbeit habe ich eine möglichst vollständige Übersicht der relevanten Quellen erstellt und dieser einer gründlichen Quellenkritik unterzogen. Natürlich wissen wir Historiker*innen, dass wir nie ein vollständiges Bild haben. Unsere zumeist sehr lückenhafte Quellenlage erfordert es, dass wir sehr genau hinschauen und alles, was wir haben, mit einbeziehen. Dabei fragen wir uns stets: Was sehe ich? Was sehe ich auch nicht und was sagt mir das?
Bei computationellen und häufig statistischen Untersuchungen im Feld der Digital Humanities und der Digital History werden wir allerdings mit Datenmengen konfrontiert, die eine solche penible Herangehensweise und Untersuchung einzelner Daten in unserem Korpus massiv erschweren (dies wird häufig als der Unterschied zwischen close und distant reading formuliert). Bei der Evaluierung und Weiterverarbeitung stellt sich dabei immer wieder die Frage, wie eine gute Balance zwischen Aufwand und Ergebnis im Hinblick auf die Forschungsfrage erzielt werden kann.
Grundsätzliche Schritte
Bei der Arbeit mit Datensätzen stoße ich immer wieder auf die selben drei Fragen und Schritte:
- Wo und wie gut ist die Dokumentation, die mir erklärt, was und wo ich das finden kann?
- Welche Informationen benötige ich aus diesem Datensatz und in welcher Form?
- Wie viel Aufwand muss ich für die Datenbereinigung und -aufbereitung betreiben?
Wo und wie gut ist die Dokumentation?
Die häufigsten Antworten auf diese Frage sind unbefriedigend: eine Dokumentation kommt noch (vielleicht) oder die vorliegende muss noch überarbeitet werden, damit sie auch den aktuellen Stand des Datensatzes reflektiert. Dieser Umstand der mangelhaften Dokumentation ist die größte Hürde für die Weiterverwendung von Datensätzen (Siehe dazu auch Endings Project Team 2023).
Welche Informationen benötige ich aus diesem Datensatz und in welcher Form?
In unserem konkreten Fall ist das Ziel der Nutzung von Datensätzen für das Mappen der beinhalteten Informationen nach Wikidata, um diese Daten dann für strukturierte Abfragen nutzen zu können.
Für die Arbeit an der Tool Registry und dem Field Survey arbeite ich vor allem mit Metadaten von Publikationen und Werkzeugen, die für das Datenmodell (Trilling und Skibba 2025) auf Wikidata entsprechend aufbereitet werden müssen. Ein Ziel der Field Survey ist die Erfassung von Forschenden, die im Bereich der Digital Humanities und Digital History tätig sind und publiziert haben. Über Konferenzbeiträge und Publikationen von wissenschaftlichen Artikeln werden u.a. Personen, Institutionen und die Publikationen selbst erfasst. Dabei werden Datensätze von den Publikationen von den Digital Humanities Quarterly (DHQ) und Zeitschrift für digitale Geisteswissenschaften (ZfdG) erstellt, deren Metadaten aus den dort publizierten TEI/XML-Dokumenten extrahiert worden sind. Mit OpenRefine werden dann Schemas erstellt, mit denen wir die gewünschten Informationen dann nach Wikidata publizieren.
Wie viel Aufwand muss ich für die Datenbereinigung und -aufbereitung betreiben?
Das Mappen zu Wikidata mit Hilfe von OpenRefine funktioniert bei der überwiegenden Mehrheit der Daten sehr gut. Mit wenig Zeitaufwand konnten gute Ergebnisse erzielt werden. Für die Erfassung der noch fehlenden Einträge mussten die Datensätze aber weiter bereinigt werden. Dabeit sellt sich bei der Bereinigung immer auch die Frage: Wo genau liegen die Probleme? Kann ich diese automatisiert lösen? Wenn nicht, liegt das an fehlenden Kenntnissen? Oder sind hier die Daten viel zu uneinheitlich, als dass sie ohne weiteres bspw. mit RegEx-Ausrücken bereinigt werden könnten (d.h. alles sind Spezielfälle).
Zentrale Rolle für UIDs zur Verlinkung von Informationen
In so gut wie allen Fällen müssen disparate Daten aus verschiedenen Quellen miteinander in Beziehung gesetzt und dann gemeinsam ausgewertet werden. Dafür werden für alle für unser jeweiliges Projekt relevanten Entitäten Unique Identifiers (UIDs) benötigt. Während jedoch IDs in praktisch jedem Datensatz vorkommen, sind über mehrere Datensätze hinweg eindeutige IDs (eben UIDs) oder gar persistente IDs (PIDs) nur sehr selten vorhanden. Der ansonsten sehr hilfreiche Datensatz von Ulrike Henny-Krahmer u.a. mit Metadaten über die DHd-Konferenzen soll uns hier als Beispiel dienen. Die dort angelegte UID setzt sich zusammen aus dem Jahr der Konferenz und der abstract_ID
. Letzteres ist keine wirkliche ID, sondern nur eine fortlaufende Nummerierung der Beiträge in den jeweiligen DHd-Konferenzen, die jedes Jahr wieder bei 0 anfängt. Auf der einen Seite ist diese Erstellung einer lokalen UID sehr hilfreich. Auf der anderen Seite jedoch, haben die vom DHd Verband auf GitHub publizierten Abstracts der einzelnen DHd-Konferenzen auf keine damit korrespondierende ID. Eine Zusammenführung der Datensätze, um bspw. auf die unterschiedlichen Publikationen hinzuweisen (eine Information, die z.B. im Datensatz von Ulrike Henny-Krahmer nicht wichtig war und fehlt) bleibt demnach schwierig. Das Ganze wird dann noch erschwert, wenn die Metadaten die tatsächlichen Dateinamen nicht enthalten und der Dateiname auch nicht mit irgendeinem Datum aus dem Datensatz übereinstimmt — hier ist eine Verlinkung zwischen Metadaten und dem Volltext der Publikation für beispielsweise eine computationelle Analyse der Texte nur mit massivem manuellem Nachbessern möglich.
Normalisierung von Namen
Die Normalisierung lässt sich mit OpenRefine mithilfe von Clustering gut lösen.
Auflösung mehrwertiger Zellen
Die Mehrwertigkeit in den Zeilen, oder Felder die eigentlich ein Array sein sollten, ist beispielsweise bei den Publikationen der ZfdG so vielfältig, dass sie nicht automatisiert gelöst werden kann. Hier sind einige Beispiele für die Auflistung von Institutionen, zu denen Forschende gehören können:
Eintrag 1:
- Freie Universität Berlin, Institut für deutsche und niederländische Philologie
- Universität Stuttgart, Institut für Maschinelle Sprachverarbeitung
Das Komma an dieser Stelle ist wichtig, um das Institut zu beschreiben. Bei diesem Eintrag aber sieht das anders aus:
Eintrag 2:
- Österreichische Akademie der Wissenschaften (OAW), Austrian Centre for Digital Humanities (ACDH)
Hier trennt das Komma zwei unterschiedliche Institutionen. Die Trennung unterschiedlicher Institutionen passiert dabei allerdings nicht immer durch ein Komma, sondern auch mit „|” oder „;”, wie in diesen Einträgen:
Eintrag 3:
- Technische Universität Berlin, Machine Learning Group | The Berlin Institute for the Foundations of Learning and Data (BIFOLD)
- Universitäts- und Landesbibliothek Darmstadt | Fachhochschule Potsdam
Muss ich alle Fälle mitbeachten? Und wie viel Zeit brauche ich für die kleinschrittige Auflösung von mehrwertigen Zellen? Diese kann bei OpenRefine durch die diversen Trennzeichen, schnell sehr umständlich werden. Trenne ich richtigerweise für Eintrag 2 am Komma, ziehe ich auch Eintrag 1 auseinander. Die genannten Institute dort „Institut für Maschinelle Sprachverarbeitung” und „Institut für deutsche und niederländische Philologie” lassen sich folgend nicht mehr eindeutig identifizieren, was das (automatische) Mapping zu Wikidata erschwert.
Wann höre ich auf, mich mit kleineren Ungereimtheiten zu beschäftigen?
Wenn wir solche Daten nutzen, besteht einer der Herausforderung darin, dass wir im Zweifel genau prüfen müssen, ob dieses Institut zu der Universität gehört oder ob es sich um ein eigenes freistehendes Institut handelt. Manchmal wird auch noch kleinschrittiger auf eine AG hingewiesen. Im Grunde genommen sind all das keine unüberwindbaren Probleme. Aber sie dauern Zeit und liefern zum Teil vergleichsweise geringe Ergebnisse.
Kaum ein Datensatz, den ich nutze, wurde von nur einer Person erstellt, sondern es sind bereits hier Daten aus unterschiedlichen Quellen gesammelt und zusammengestellt worden. Für die Nachnutzung sind aber diese Normalisierungen, die Bereinigung, die Erstellung von eigenen IDs eine Herausforderung, weil mit fremden Daten gearbeitet wird. Handelt es sich vielleicht doch nicht um die gleiche Institution? Und immer wieder stellt sich beim Bereinigen die Frage: Wann höre ich auf, mich mit kleineren Ungereimtheiten zu beschäftigen. Reicht es mir zu wissen, dass eine Mehrheit der Daten richtig erfasst sind und darf ich den restlichen Teil der Daten ignorieren?
Zur Abschätzung der Auswirkungen unserer Entscheidung sollten wir statistische Verfahren heranziehen und stichprobenartig ermitteln, ob die Verteilung der noch bestehenden Sonderfälle in etwa der allgemeinen Verteilung der uns interessierenden Phänomene entspricht. Ist dies der Fall, wäre ein Sample durch das Weglassen der Sonderfälle nicht qualitativ beeinträchtigt und für unsere Fragestellung weiterhin repräsentativ. Anders gesagt, ich muss versuchen herauszubekommen, ob der Widerstand der Daten gegen die Bereinigung Ausdruck eines größeren Biases ist.
Ein Beispiel für ein solches Bias wäre, wenn Namen von Wissenschaftler_innen, die andere als die 26 Buchstaben des für die englische Sprache gebräuchlichen lateinischen Alphabets enthalten, mit einer gewissen Wahrscheinlichkeit von Verarbeitungsproblemen betroffen sind; sei es weil ein historischer Datensatz vorliegt, der nur ASCII zur Verfügung hatte, sei es weil die soziale Habitualisierung von ASCII dazu führt, das Dateinamen auf ASCII reduziert werden (also beispielsweise \”mueller\” statt \”müller\” geschrieben wird). Ein aktuelles Beispiel für das Beharrungsvermögen von ASCII ist die Einreichung unseres Preprints zu NER mithilfe von großen Sprachmodellen bei arXiv (Hiltmann u. a. 2025). Der Name eines Mitautoren, Martin Dröge, führte dabei zu einem längerem Debugging warum denn unsere Dateien beim Hochladen einen Fehler auslösen könnten. In einem solchen Fall liegt ganz offensichtlich ein Bias vor, das Informationen zu Menschen mit Namen jenseits des englischen Alphabets strukturell ausschließt.
Ausblick
Und damit komme ich wieder auf den Beginn meines Beitrags. Trotz aller Überlegungen auch noch die letzten Daten zu erfassen, sollte dieser Beitrag kein Appell für einen Vollständigkeitsanspruch sein. Unsere Daten sind von Anfang an modelliert und ohnehin nicht vollständig. Was mir aber bei der Nutzung von Datensätzen immer wieder schwerfällt, ist Informationen quasi liegen zu lassen, weil ihre Aufarbeitung für eine sinnvolle Weiterverarbeitung zu zeitintensiv wäre. Und auch an dieser Stelle habe ich mit dem Mappen nach Wikidata nur einen Musterweg gezeigt, wie wir bestimmte Daten konkret weiterverwendet haben und welchen Problemen wir bei der Nachnutzung eines Datensatzes für eigene Projekte begegnet sind.
Letztendlich bleibt es ein Abwägen von Vollständigkeit vs. Repräsentativität (und dann muss gefragt werden “repräsentativ für was?”). Es ist in der Arbeit ein kontinuierlicher und schwieriger Balanceakt um sich nicht in kleineren Ungereimtheiten zu verlieren.
Was dabei helfen kann, sind gute Dokumentationen. Diese sollten nicht nur die Struktur und den Inhalt des Datensatzes beschreiben, sondern auch auf bekannte Probleme hinweisen. Vielleicht lassen sich einige dieser Aspekte nicht einfach bereinigen — aber es wäre gut, möglichst früh auch diese Herausforderungen des Datensatzes zu kennen. Dann kann sich zu Beginn der Arbeit darauf eingestellt werden, ob und wie Probleme auftreten können. Dadurch kann der Prozess der Datenbereinigung und -nachnutzung erleichtern werden.
Literatur
Endings Project Team. 2023. „Endings Principles for Digital Longevity“.
https://endings.uvic.ca/principles.html.
Hiltmann, Torsten, Martin Dröge, Nicole Dresselhaus, Till Grallert,
Melanie Althage, Paul Bayer, Sophie Eckenstaler, u. a. 2025. „NER4all or
Context Is All You Need: Using LLMs for Low-Effort, High-Performance NER
on Historical Texts. A Humanities Informed Approach“. 4. Februar 2025.
https://doi.org/10.48550/arXiv.2502.04351.
Trilling, Isabell, und Anica Skibba. 2025. „Wikidata Datenmodelle für
den Field Survey zu Digital History / Humanities“. Zenodo.
https://zenodo.org/records/14752917.
OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Isabell Trilling (4. März 2025). Datenbereinigung und –aufbereitung als zentrale Tätigkeit in der Digital History. Digital History Berlin. Abgerufen am 25. April 2025 von https://doi.org/10.58079/13f12