Workshop 5: Archivierte Webseiten verstehen. Arbeiten mit WARC-Files mit warcio CLI und SolrWayback
| Verantwortliche: | Annabel Walz |
| Organisation: | Archiv der sozialen Demokratie der Friedrich-Ebert-Stiftung, Bonn |
| Datum: | Dienstag, 23.05.2023, 14-18 Uhr |
| Ort: | Flexpoolraum 117, Institut für Bibliotheks- und Informationswissenschaft, Humboldt-Universität zu Berlin, 1. Obergeschoss, Dorotheenstraße 26, 10117 Berlin |
| Format: | Präsenz |
| Sprache: | Deutsch |
| Teilnehmerzahl: | 15 |
Zusammenfassung
Der Workshop soll eine Einführung in Analyse und Exploration archivierter Webseite im WARC-Format mittels der Tools warcio und SolrWayback geben.
Technische Voraussetzungen
Die Teilnehmer:innen müssen ihre eigenen Laptops mitbringen, auf denen bereits die notwendige Software installiert ist. Die Teilnehmer:innen müssen entsprechend auf diesen Laptops auch die Rechte haben, diese Software auszuführen und zu verwalten.
Folgende Software wird benötigt:
-
- SolrWayback: Kann auf github heruntergeladen werden. Am einfachsten ist die Installation des Bundles, aktuell Version 4.4.0. Eine Installationsanleitung findet sich auf der github-Seite.
- WARCIO: Es handelt sich um eine Python-Library, entsprechend muss Python auf dem Rechner installiert sein. Die Installation von WARCIO ist am einfachsten über pip. Details zum Programm finden sich hier. Im Workshop wird mit dem WARCIO Commandline Interface gearbeitet. Es braucht also keine Python-Kenntnisse, nur die Installation ist technische Voraussetzung.
Bei Fragen zur Installation kann die Workshop-Verantwortliche im Vorfeld zum Workshop gern kontaktiert werden.
Zielgruppe
Interessierte sollten grundsätzliches Verständnis für die Arbeit mit der Commandline haben.
Info-/ Ankündigungstext
In vielen Gedächtniseinrichtungen wird bei der Archivierung von Webseiten auf das WARC-Format gesetzt (vgl. z.B. https://files.dnb.de/nestor/kurzartikel/thema_15-WARC.pdf). Beim WARC-Format handelt es sich um ein Containerformat, in dem neben den Dateien, aus denen sich die archivierte Webseite zusammensetzt, auch Metadaten zum Prozess der Entstehung gespeichert sind. Archivierte Webseiten sind Artefakte, die in dieser Form erst im Prozess der Archivierung entstehen, weshalb die mitgeschriebenen Metadaten für die quellenkritische Bewertung wichtig sein können.
Dateien im WARC-Format sind komplexe digitale Objekte, für deren Verarbeitung und „Lektüre“ es spezieller Software bedarf. Ziel des Workshops ist, Wege zu erproben, wie im WARC-Format gespeicherte archivierte Webseiten gelesen und für die Weiterverarbeitung aufbereitet werden können. Dazu wird ein kleines Korpus archivierter Webseiten aus dem Bestand des Archivs der sozialen Demokratie für den Workshop zur Verfügung gestellt.
In einem ersten Schritt soll es dabei darum gehen, wie archivierte Webseiten entstehen und wie dieser Prozess nachvollzogen werden kann. Dazu werden einzelne WARC-Dateien betrachtet und die Metadaten daraus gelesen, wofür das Command Line Interface der Python-Bibliothek warcio (entwickelt vom Webrecorder Project) verwendet wird. Außerdem wird auch ein Blick auf weitere technische Informationsquellen für die Einordnung des WARCs als Quelle geworfen.Im zweiten Schritt werden die WARCs mit der Software SolrWayback exploriert. Dieses Tool, entwickelt von Dänischen Königlichen Bibliothek, ermöglicht die Volltextdurchsuchbarkeit der WARCs sowie den Export in CSV. Darüber hinaus bietet das Tool Explorationsmöglichkeiten und Exportmöglichkeiten wie Word Clouds und Link-Graphen.
Die Pre-Conference-Workshops werden im Rahmen der diesjährigen Digital History-Tagung angeboten. Die Anmeldung zu den Workshops erfolgt zusammen mit der Tagungsanmeldung über ConfTool.