Lennard Rennebeck / Lennart Thevißen: Optical Character Recognition – Den Text aus Digitalisaten extrahieren

Die Digitalisierung ermöglicht den orts- und zeitunabhängigen Zugriff über verschiedenste Plattformen auf viele für das Studium oder die Forschungsarbeit relevante Werke. So kann etwa zunehmend zentrale Literatur genutzt werden, ohne eigens in eine (andere) Stadt fahren, das Werk heraussuchen und selber einscannen zu müssen – nicht selten in eher suboptimaler Qualität. Damit gewährleisten die umfassenden Digitalisierungsvorhaben der Archive und Bibliotheken nicht nur, dass die Titel in hochauflösender Qualität zur Verfügung stehen, sondern sie gewähren auch neuartige Nutzungsszenarien. Wie wäre es zum Beispiel, einen digitalisierten Text schnell und effektiv hinsichtlich bestimmter Schlüsselwörter zu durchsuchen, um zügig potenziell interessante Stellen im Dokument für die genauere Untersuchung zu finden? Neuere PDF-Publikationen, die mit einer sogenannten OCR-Software erschlossen wurden, ermöglichen genau das. Sogenannte „Bild-PDFs“, über die keine Texterkennungssoftware drüber gelaufen ist, können dies demgegenüber (noch) nicht.

Konstantin Baierer und Clemens Neudecker von der Staatsbibliothek zu Berlin gaben den Teilnehmenden des Seminars „Digitalisierung historischer Schriftquellen in der Praxis“ einen umfassenden Überblick über den Workflow und die Potenziale der Optical Character Recognition (OCR), zeigten aber auch noch bestehende Herausforderungen auf.

Was ist OCR?

OCR steht für Optical Character Recognition – dt. „Optische Zeichenerkennung“. Es handelt sich hierbei um ein computergestütztes Verfahren, das dazu dient, den auf Bildern abgebildeten Text maschinenlesbar zu machen. Während in der Anfangszeit der OCR-Systeme noch jedes Zeichen einzeln erkannt werden musste, arbeiten moderne Programme heute überwiegend zeilenweise, dabei werden alle Zeichen einer Zeile unter Berücksichtigung des lokalen Kontexts analysiert (Stichwort: Maschinelles Lernen und Neuronale Netze). Der OCR kommt eine Schlüsselrolle beim digitalen Erschließen analog vorliegender Texte zu.

Beispielhaft hierfür sind etwa die Langzeitprojekte „Verzeichnisse der im deutschen Sprachraum erschienenen Drucke des 16. – 18. Jahrhunderts“ (VD 16, VD 17, VD 18) sowie das von der Deutschen Forschungsgemeinschaft geförderte OCR-D-Projekt. Die frühneuzeitlichen Werke, die in dem erstellten Korpus als Volldigitalisate oder Teildigitalisate zugänglich gemacht werden, sollen für Forschende eine Lücke schließen. Denn insbesondere in den Digital Humanities bzw. der Digital History sind maschinenlesbare Daten von großer Bedeutung. Hauptziel des Projektes ist die Vorbereitung der Volltexttransformation aller Werke in den VD. Auf Grund der großen Masse an Materialien und ihrer Heterogenität ist eine anpassbare und modulare Software nötig, in der detailspezifisch nachgesteuert werden kann (Typografie, historische Schreibweisen, Texte, Karten, Sprache etc.). Bei dem OCR-D-Projekt sollen alle Prozessschritte einzeln abgebildet und nachvollziehbar wie auch konfigurierbar gemacht werden, damit einerseits ein transparenter open-source-basierter Workflow angeboten wird, aber vor allem vorlagenspezifisch qualitativ hochwertige Volltexte bereitgestellt werden können.

Ein exemplarischer OCR-Workflow

Um aus einem Bild beziehungsweise einem Scan einen möglichst vollständigen und korrekten Text zu extrahieren, wird eine gründliche Vorbereitung benötigt, die sich in mehrere Teilprozesse unterteilt. Je nach Qualität und typographischer Ausgestaltung des vorliegenden Texts bzw. Scans müssen dazu verschiedene Schritte durchgeführt werden.

Zunächst sollte eine sogenannte Bildcharakterisierung stattfinden. Hierbei wird erkannt, was für eine Schriftart der vorliegende Text verwendet, beispielsweise ob es sich um Antiqua, Fraktur oder eine individuelle Handschrift handelt.[1]

Nach der Bildcharakterisierung wird ggf. das Page Splitting durchgeführt: Dabei werden im Zuge der Digitalisierung gebundener Bücher generierte Aufnahmen von gegenüberliegenden Seiten voneinander getrennt. Anschließend werden im Cropping-Prozess die für die OCR überflüssigen Teile des Images entfernt, d.h., die Teile in denen keine Inhalte vorhanden sind.

Beim Deskewing und Dewarping werden Fehler, die beim Scanvorgang aufgetreten sein können, behoben. Außerdem werden der Text und die einzelnen Zeilen begradigt. Flecken auf dem Papier, wie sie insbesondere bei älteren Texten vorhanden sein können, werden beim Despeckling entfernt. Beim Scaling wiederum kann die Qualität des Scans verbessert werden, wenn dieser eine schlechte Auflösung hat. Anschließend wird das Bild binarisiert, d.h., alle Vordergrundpixel (Schrift, Dekorationen, Abbildungen, Separatoren etc.) werden schwarz, der Hintergrund der Seite weiß “eingefärbt”. Hierdurch wird der Kontrast erhöht, was die weitere maschinelle Verarbeitung erleichtert.

Nachdem all diese Schritte durchgeführt wurden, werden die einzelnen Seiten anschließend segmentiert: zunächst in Textregionen, also beispielsweise in Absätze, Überschriften etc., anschließend in einzelne Zeilen.

Nun kann der eigentliche Prozess der Texterkennung beginnen. Die in der Zeile vorkommenden Buchstaben werden von dem Programm erfasst und dann mit den Buchstaben verglichen, mit denen das Erkennungsmodell trainiert wurde. Hierfür gibt es verschiedene technologische Ansätze, ein vereinfachtes Beispiel: Der Bildinhalt der Zeile kommt als Eingabe in ein vorher trainiertes Neuronales Netz, das den Bildinhalt pixelweise sequentiell verarbeitet. Unter Ausnutzung der Trainingsdaten und des Kontextes innerhalb der Zeile werden die wahrscheinlichsten Buchstaben bestimmt und zu einer Textzeile zusammenfügt.[2]

Nachdem der Text erfasst und verarbeitet wurde, kann optional eine Post-Correction durchgeführt werden, bei der rein manuell, semi-automatisch oder vollautomatisch Fehler in der Texterkennung korrigiert werden können. Die Fehlerrate eines OCR-Durchgangs wird dabei prozentual zwischen 0 und 1 angegeben. 1 entspricht dabei einer Fehlerquote von 100%, d.h. kein einziges Zeichen wurde korrekt erfasst, während 0 einer perfekten OCR entspricht. Um die Fehlerquote konkret berechnen zu können, wird eine Ground Truth benötigt, die als Grundlage für den Vergleich mit dem Ergebnis des OCR-Programms dient. Je nach Schriftart gibt es verschiedene Fehler, die häufiger auftreten, beispielsweise wenn sich Buchstaben recht stark ähneln (z. B. m/rn) oder wenn Zeichen in der Vorlage nicht in den Trainingsdaten des Modells vorhanden waren.

Automatische Texterkennung und Quellenkritik

Durch die Anwendung von OCR-Software kommt für das wissenschaftliche Arbeiten mit den Voll- und Teildigitalisaten eine weitere zu berücksichtigende Dimension für die historische Quellenkritik hinzu. Das betrifft einerseits die Digitalisate selbst. Denn Digitalisate stellen stets nur eine Repräsentation des analogen Quellenguts dar, dabei können gewisse Aspekte des Werks wegfallen. So ist beispielsweise der Zustand des Werks weniger gut nachzuvollziehen. Je nach Scanqualität können bestimmte Besonderheiten sowie materielle Eigenschaften der Vorlage nicht digital transportiert werden, wie eingefügte Medien, die Haptik oder Papiertextur.

Ebenso sollte sich die Nutzer:in nicht blind darauf verlassen, dass jedes mit OCR im Volltext erfasste Digitalisat tatsächlich fehlerfrei ist. Entscheidend für den Erfolg und die Anwendbarkeit der OCR sind die Trainingsdaten, mit welchen das Neuronale Netz trainiert wurde. Sie müssen zu den zu erkennenden Daten im Hinblick auf Schriften, typografische Besonderheiten und ggf. die verwendeten Sprachen passen (bspw. lateinbasierte vs. nicht-lateinbasierte Sprachen und Schriften). Das gilt es vor der Anwendung entsprechender Software oder erkannter Daten stets zu berücksichtigen. Wenn Nutzer:innen sich dieser Seiten der OCR allerdings bewusst sind, können sie von den Vorteilen der OCR profitieren und das weite Feld der Möglichkeiten nutzen, das sich durch sie bietet.

---

Die Autor:innen

Lennard Rennebeck studiert im M.A. Geschichtswissenschaften an der Humboldt-Universität zu Berlin. Seine Studieninteressen liegen u.a. im Bereich der digitalen Geschichtswissenschaften und der alten Geschichte.

Lennart Thevißen studiert im B.A./M.A. Geschichtswissenschaften an der Humboldt-Universität zu Berlin. Seine Forschungsinteressen liegen im Bereich Neuzeit und Digital History.

---

Blogserie
Dieser Beitrag ist Teil einer Serie, die im Rahmen einer gemeinsam mit der Staatsbibliothek zu Berlin angebotenen Praxisübung zur „Digitalisierung historischer Schriftquellen in der Praxis“ entsteht. Semesterbegleitend setzen sich die Studierenden in reflektierenden Beiträgen mit den Sitzungsinhalten auseinander und gehen der Frage nach, welchen Bezug die einzelnen Themenbereiche zur historischen Quellenkritik haben.

---

Anmerkungen

[1] Für die Erkennung handschriftlicher Texte entwickelte sich parallel zur OCR die sog. Handwritten-Text-Recognition (HTR). Sie stellte lange Zeit eine große Herausforderung dar aufgrund der Individualität sowie der Unregelmäßigkeiten menschlicher Handschrift. In den letzten Jahrzehnten sind bedeutende Entwicklungen auf diesem Gebiet passiert – insbesondere durch den technologischen Fortschritt im Bereich des Maschinellen Lernens, wie sich auch an Softwarelösungen wie Transkribus oder eScriptorium zeigt.

[2] Das Digitalisat wird mit Hilfe der Software auf Pixeldichte bzw. einem Bildabgleich auf verschiedene classifier, Rasterbilder, Konturen oder Strukturen regelbasiert abgeglichen, genauer: „Das Neuronale Netz wird auf eine Vielzahl von Features wie Kanten oder Häufung von Pixeln des binarisierten Bildes trainiert und wendet diese Muster auf die zu erkennenden Daten an“ (K. Baierer).

---

---