Die diesjährige Konferenz der Digital Humanities im deutschsprachigen Raum in Wien stand unter dem Motto „Not Only Text, Not Only Data“. Das Thema lädt dazu ein, über den Tellerrand der klassischen textbasierten Geisteswissenschaften zu blicken und nicht nur inhaltlich, sondern auch methodologisch von dem breiten interdisziplinären Spektrum der Digital Humanities zu profitieren. Ein besonders inspirierender Input kam dabei aus der Vortragsreihe Digital Art History I. Constanze Buyken vom IEG Mainz hatte den Chair inne, und insgesamt präsentierten drei Gruppen von Forscher:Innen ihre Projekte. Generell hatten alle drei Vorträge gemeinsam, dass sie sich mit der Frage nach der automatischen, computergestützten Detektion und Klassifikation von Bildern beschäftigten. Obwohl sich alle Vorträge methodologisch ähneln, behandeln sie sehr unterschiedliche Objekte, von einer reich illuminierten mittelalterlichen Bibel über Pflanzenabbildungen in Herbarien und Drucken bis hin zu religiösen Bildern.
KI-gestützte Ikonographie mittelalterlicher Handschriften: Die Wenzelsbibel im Fokus
Als erstes präsentierten Drew B. Thomas vom University College Dublin und Julia Hintersteiner von der Universität Salzburg ihr Projekt unter dem Titel „From Miniature to Metadate. Transferring AI-Assisted Iconography to Medieval Manuscripts.“. Ihr Untersuchungsgegenstand ist die sogenannte Wenzelsbibel, eine deutschsprachige Prachthandschrift, entstanden zwischen 1389 und 1400 in Prag für König Wenzel IV. von Böhmen. Die Handschrift selbst enthält 1214 Folios und zahlreiche, wenn auch teilweise unvollständige Abbildungen. Das spezifische Forschungsprojekt der beiden Vortragenden entstand aus der digitalen Edition des Codexes, bei der bereits die Text-Bild-Beziehungen in TEI/XML abgebildet wurden. Während dieser Arbeit wurde klar, dass die Abbildungen in der Bibel nicht nur eine rein dekorative Funktion innehatten, sondern auch teilweise unabhängig vom Text Bedeutung kommunizieren, welche dennoch intermedial und in den spezifischen Kontext eingebettet ist. Das Ziel ihrer Untersuchung war nun, den Inhalt der Miniaturen automatisiert zu erschließen.
Dafür haben sie eine sogenannte ‚text-first RAG-Pipeline‘ entwickelt, um die abgebildeten Szenen zu identifizieren und einer spezifischen Iconclass-Kategorie zuzuordnen. Iconclass ist generell ein internationales und weit verbreitetes hierarchisches Klassifikationssystem für Bildinhalte in den bildenden Künsten. Generell funktioniert die Pipeline wie folgt: Zuerst wurden die Iconclass-Klassen zusammen mit den dazugehörigen Beschreibungen vektorisiert und in eine Datenbank umgewandelt. Anschließend wurden die Miniaturen aus der Handschrift einem LLM übergeben, in diesem Fall GPT-4.1, welches eine textliche Beschreibung des Bildinhaltes generiert. Anschließend wird diese Beschreibung ebenfalls vektorisiert und mit der Iconclass-Datenbank abgeglichen, und die fünf Klassen, welche der Query am ehesten entsprechen, werden ausgegeben. Letztlich werden die Ergebnisse vom ‚Experten-in-the-Loop‘ validiert, spezifiziert oder gegebenenfalls Ambiguitäten aufgelöst. Somit verfolgt dieser Ansatz eine ‚Division-of-Labor‘-Methode, sodass die Expert:Innen kollaborativ mit der KI zusammenarbeiten und nicht von dieser ersetzt werden.
Dieses reine RAG-Verfahren erzielte eine Precision von rund 0,6 und übertrifft somit rein visuelle Klassifizierungen mit OpenCLIP sowie eine rein auf Keywords basierende Suche in der Precision. Besonders hervorzuheben ist noch die sogenannte Trunkierungsanalyse. Dabei werden iterativ die Ebenen der Iconclass-Codes entfernt und erneut verglichen, wie hoch die Precision, der Recall und der F1-Score sind. Eine Trunkierung von zwei Ebenen erzielte dabei den höchsten F1-Score. Ebenso wurden sowohl nur die Abbildungen als auch die gesamte Seite als Input gegeben, und es wurde beobachtet, dass die beschriebene Pipeline wesentlich besser funktioniert, wenn die gesamte Seite als Kontext gegeben wird, was auch daran liegen kann, dass die einzelnen Miniaturen auch Bildunterschriften im TEI/XML-Dokument beinhalten.
Generell zeigt dieser Ansatz aber, dass textbasierte Klassifizierung auch von inhaltlich komplexen und dichten Bildern möglich ist. Der große Vorteil liegt dabei darin, dass kein Trainingsdatenset benötigt wird und vergleichsweise geringe Voraussetzungen und Kosten ‚on-site‘ entstehen. Trotz alledem betonten die Vortragenden auch die Grenzen ihres Ansatzes. Aktuell wird nur eine Iconclass-Klasse als korrekt gezählt, auch wenn einzelne Miniaturen mehrere Szenen miteinander verbinden und somit auch mehrere Iconclass-Klassen zur korrekten Identifikation benötigen würden. Ebenso ist auch Iconclass nicht perfekt oder vollständig und kann dementsprechend nicht alle spezifischen Szenen modellieren. Zuletzt ist bei der Übertragung auf andere Projekte zu beachten, dass das beschriebene Datenset biblische Szenen beinhaltet. Sowohl Iconclass als auch das verwendete LLM zeigen einen Bias hin zu biblischen Themen, sodass eine Übertragung auch auf weltliche Bildsujets sich schwieriger gestalten dürfte.1
Automatische Pflanzenerkennung in historischen Herbarien und Drucken
Auch der zweite Vortrag der Reihe behandelt das Problem der Klassifikation. Unter dem Titel „Die Erkennung von Pflanzen in Herbarien und Drucken: Kollektionsaufbau und Klassifikationsexperimente mit Bildanalyse-Systemen“ präsentierte Thomas Mandl von der Universität Hildesheim erste Ergebnisse des Forschungsprojekts „Visuelle Fachinformation: Automatische Bildverarbeitung für Pflanzen in historischen Drucken, Handschriften und Herbarien (ViFaPi)“. Nicht anwesend, aber am Projekt beteiligt waren Lisa Lindemaier und Sebastian Diem von der Universität Hildesheim, Petra Feuerstein-Herz von der Herzog August Bibliothek Wolfenbüttel sowie Christina Draheim und Robert Strötgen von der Technischen Universität Braunschweig. Seit dem 16. Jahrhundert setzt eine Revolution in der Pflanzenkunde ein. Federführend dabei trieb der Italiener Pietro Andrea Gregorio Mattioli mit seinem Lehrbuch zu Heilpflanzen diese Bewegung an.
Das Ziel war eine systematischere und ‚wissenschaftlichere‘ Erfassung und Beschreibung von Heilpflanzen. Auch andere Zeitgenossen wie beispielsweise Hieronymus Bock und Leonhart Fuchs publizierten ihre eigenen Bücher. Seitdem gibt es eine Vielzahl an ähnlichen Lehrbüchern oder Herbarien, welche dem Projekt als facettenreicher Forschungsgegenstand dienen. Dabei versuchen sie generell, die abgebildeten Pflanzen computergestützt zu identifizieren sowie die einzelnen abgebildeten Bestandteile zu segmentieren und zu identifizieren.
erstellen, um daran auch Wiederverwendung und didaktische Darstellungstraditionen zu untersuchen. Generell ist das Feld der automatischen Pflanzenerkennung durch Fotos bereits breit etabliert. Apps wie beispielsweise Flora Incognita, PlantNet oder iNaturalist bieten die Möglichkeit, real existierende Pflanzen mit einem Foto zu identifizieren. Die Frage, ob Ähnliches auch für historisches Material möglich ist, galt es zu beantworten. Zuerst musste jedoch ein Benchmark-Datenset erstellt werden. Als Vokabular und Taxonomie für die abgebildeten Pflanzen wurde die Ontologie „International Plant Names Index“ genutzt. Die Bestimmung der modernen Bezeichnungen von Pflanzenabbildungen in historischem Material gestaltete sich jedoch schwierig, da nicht immer erkennbar war, um welche Pflanze es sich im Spezifischen handelte. Letztendlich wurden verschiedene Datensätze im Projekt gesammelt und vereint. Dabei wurden verschiedenste Daten zusammengetragen, wie beispielsweise Fotos von echten Pflanzen und Herbarien aus PlantCLEF, bereits gelabelte Abbildungen aus Plantillustrations.org sowie eigene Erfassungen wie das Buch von Bock.
Das Trainingsset enthielt letztendlich über 170.000 Bilder, wobei ein Großteil aus PlantCLEF 2024 stammte, und umfasste 411 Klassen. Die Klassifikation der Pflanzen wurde anschließend mit zwei Modellen versucht, welche miteinander verglichen wurden. Zuerst wurde das pre-trained Modell von CLEF2024 als ‚out-of-the-box‘-Variante evaluiert. Anschließend wurde ein eigenes ViT-Large-Modell trainiert und evaluiert. Das Ergebnis dieses Vergleiches zeigte, dass das eigens trainierte Modell wesentlich besser abschnitt.
Neben diesen vorläufigen Ergebnissen präsentierte Mandl ebenfalls beispielhaft einen experimentellen Ansatz zur Klassifikation und Segmentierung der Pflanzenbestandteile durch Visual-Language-Modelle (VLM). Dabei werden dem Modell ein Bild zusammen mit einem Prompt übergeben. Durchgeführt wurde dies mit dem Qwen2.5-VL-72B-Instruct-Modell. Da dieser Ansatz im Projekt noch in den Anfangsstadien steckt, wurde ein exemplarischer Prompt und eine Antwort präsentiert.
Generell lassen sich aus den Ergebnissen des Modelltrainings einige Lernstrategien für zukünftige Trainingsversuche ableiten. Einerseits wurde gezeigt, dass durch das Fine-Tuning von bereits existierenden Foto-Modellen, beispielsweise mit einem Low-Rank-Adaptation-Ansatz, befriedigende Ergebnisse in der Klassifikation erzielt werden können. Weiterhin betonte Mandl auch die Rolle der gemischten Trainingsdaten für dieses Transferlernen, einen Ansatz, welcher sich eventuell auch auf andere Untersuchungsgegenstände übertragen ließe.
Deep Learning und Ikonographie: Analyse religiöser Bildnarrative
Der dritte und letzte Vortrag in dieser Reihe kehrt zurück zu einem christlichen Untersuchungsgegenstand. Unter dem Titel „Deep Seeing the Sacred. Zur KI-gestützten Analyse historischer Bilderzählungen“ stellten Ute Verstegen von der FAU Erlangen-Nürnberg und Peter Bell von der Philipps-Universität Marburg ein interdisziplinäres Projekt zwischen klassischer und christlicher Archäologie, Kunstgeschichte und Informatik vor.
Das erklärte Ziel des Projektes war es, Szenen historischer Ikonographien automatisch zu erkennen. Dabei wurden zwei Komponenten verfolgt. Einerseits sollten generell Grundelemente der Ikonographie, wie Personen oder Gegenstände, detektiert werden. In einem zweiten Schritt sollte dann durch Pose Estimation erkannt werden, wie Personen miteinander und mit den Gegenständen interagieren. Dadurch knüpfte das Projekt an zwei der größten Kunsthistoriker des 20. Jahrhunderts an, namentlich Erwin Panofsky mit seinem Drei-Stufen-Modell und Aby Warburg mit dem Mnemosyne-Atlas. Das beschriebene Grundproblem dieses Projektes war der Fakt, dass der Trainingsdatensatz, vor allem für byzantinische Kunst, vergleichsweise klein und heterogen ist. Er beinhaltet beispielsweise Kapitelle mit figürlichen Szenen, Buchminiaturen, Mosaike oder auch Gemälde.
Um diese Herausforderung adäquat zu adressieren, wurde sich dafür entschieden, einerseits den Datensatz künstlich durch Style Transfer zu erweitern sowie einen Few-Shot-Object-Detection-Ansatz anzuwenden. Bei dieser Methode wird ein Grundmodell mit reichlich Daten trainiert, um generelle visuelle Features, wie beispielsweise Texturen, Formen oder Strukturen, zu erkennen. In einem zweiten Schritt werden dann neue Klassen, sogenannte novel classes, anhand nur weniger, teilweise sogar nur einzelner Trainingsbilder eingeführt. Dadurch war es möglich, auch mit wenigen Trainingsdaten ein Modell zu trainieren, welches dennoch Objekte in den Bildern verlässlich detektiert. Beispielhaft wurde dies an dem Bildsujet der Annuncio demonstriert. Es konnte ermittelt werden, dass das Buch das mit Abstand am häufigsten vorkommende Objekt in den Abbildungen ist. Ebenso konnte eine historische Entwicklung hin zur Positionierung des Buches auf dem Lesepult gezeigt werden.
Aus einer kunsthistorischen Perspektive lassen sich daraus Rückschlüsse auf vergangene Gesellschaften ziehen, unter der Annahme, dass diese Bildelemente als historische Artefakte aufgefasst werden können und somit an reale Objekte anschließen. Die anschließende Pose Estimation geschah in dem Projekt durch eine neue Methode namens Image Composition Canvas++ (ICC++)2. Indem vor allem Körperhaltung und Blickrichtung der Figuren identifiziert werden, lassen sich nicht nur Rückschlüsse auf die Interaktion zwischen Personen und Gegenständen ziehen, sondern es lassen sich auch ikonographische Elemente dadurch identifizieren und gegebenenfalls auch Tradierungen in Posen ablesen.
Als letzten Punkt merkte Peter Bell an, dass es auch möglich ist, durch die Pose Estimation nicht nur ikonographische Elemente zu erkennen, sondern auch Blickachsen nach Max Imdahl abzuleiten. Obwohl dieser Ansatz, wie Bell selbst zugab, noch keine große Rezeption erfahren hat, öffnet er dennoch die Tür für einen computergestützten Formalismus in der Kunstgeschichte.
Methodische Vielfalt und persönliche Perspektiven auf die digitale Kunstgeschichte
Die drei Vorträge haben die große Spannbreite an Methoden bei der automatischen
Bilddetektion und -klassifikation demonstriert. Für mich persönlich als Masterstudent war es eine großartige Chance, mich nicht nur methodologisch weiterzubilden, sondern auch generell einen besseren Überblick über das Feld der digitalen Kunstgeschichte zu bekommen, welches weiterhin in den Studiengängen im deutschsprachigen Raum sehr schwach vertreten ist. Weiterhin habe ich auch konkrete Anregungen für meine eigene Arbeit mitgenommen, da das Thema der Bilddetektion auch für meine Tätigkeiten als studentische Hilfskraft relevant ist. Auf der Konferenz haben wir ein Poster präsentiert, welches sich mit den Herausforderungen der Skalierbarkeit von Bilddetektionsmodellen beschäftigt, und die vorgestellten Ansätze bieten neue Impulse für diese Arbeit.
Die Konferenzteilnahme wurde durch einen Early Career Travel Grant der Task Area Data Culture des Konsortiums NFDI4Memory gefördert.
- Die Ergebnisse der Analyse wurde in einem Artikel publiziert. Drew B. THOMAS und Julia HINTERSTEINER, Transferring AI-Based Iconclass Classification Across Image Traditions: A RAG Pipeline for the Wenzelsbibel, in: Histories (1) 2026, S. 1–19. ↩︎
- Für eine Beschreibung dieser Methode siehe: Prathmesh MADHU, Tilman MARQUART, Peter BELL, et al., ICC++: Explainable Feature Learning for Art History Using Image Compositions, in: Pattern Recognition (136) 2023, S. 1–13. ↩︎
OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Digital History Berlin (Redaktion) (6. Mai 2026). Jannes Schönhardt: DHd 2026 – Digitale Kunstgeschichte I. – Spielarten der automatischen Bilderklassifikation. Digital History Berlin. Abgerufen am 9. Mai 2026 von https://doi.org/10.58079/166is

