Keli Du: Evaluation von LDA Topic Modeling in den Digital Humanities – Forschungsstand, Methode, Ergebnis

Als quantitative Textanalysemethode wurde die sog. Latent Dirichlet Allocation (LDA), die oft auch allgemein als Topic Modeling bezeichnet wird, in den letzten Jahren in den Digital Humanities häufig eingesetzt, um umfangreiche unstrukturierte Textdaten zu untersuchen. Gleichwohl ist Topic Modeling aufgrund seiner Komplexität in Bezug auf bspw. die konkret verwendeten Algorithmen und einzelnen Parametereinstellungen noch nicht abschließend erforscht. So lässt sich beim Einsatz von Topic Modeling beobachten, dass diese Methode empfindlich auf die Einstellung der jeweiligen Parameter reagiert. Aufgrund dessen wird Topic Modeling mit LDA zum Teil  kritisch gesehen.

Im Vortrag stelle ich meine Dissertation vor, in der ich durch systematische Untersuchungen die Topic-Modellierung mit LDA tiefergehend verstehen möchte. Zunächst wird eine Metaanalyse zur Anwendungen von Topic Modeling in den Digital Humanities vorgestellt, um einen Überblick über den aktuellen Forschungsstand zu gewinnen. Anschließend fasse ich zusammen, welche Methoden zur Evaluation von Topic Modeling vorgeschlagen werden. Die Zusammenfassung fokussiert sich sowohl auf die Evaluationsmethoden des Topic-Modells an sich als auch auf die Evaluationsmethoden für die konkreten Topics, die die zentrale Rolle bei der Exploration der modellierten Textsammlungen spielen. Durch dieses Vorgehen wurde festgestellt, dass LDA Topic Modeling aus zwei Perspektiven systematisch evaluiert werden kann, nämlich zum einen hinsichtlich der Topic-Modeling-basierten Dokumentklassifikation und zum anderen bezüglich der Topic-Kohärenz.

Das Ziel der Evaluation ist, den Einfluss der entscheidenden Faktoren auf das Topic Modeling zu verstehen und aufzuzeigen, dass mithilfe der richtigen Parametereinstellungen durch Topic Modeling stabile Ergebnisse erzielt werden können. Im Vortrag werde ich die Untersuchungsergebnisse zu den drei entscheidenden Faktoren vorstellen, diese Faktoren sind die Hyperparameter Alpha und Beta sowie die Anzahl der Iterationen des Inferenzalgorithmus Gibbs-Samplings. Die Untersuchungen wurden am Beispiel zweier deutschsprachiger Korpora durchgeführt: einer Sammlung von 2.000 Zeitungsartikeln und einer Sammlung von 439 Heftromanen. Dadurch ergibt sich die Möglichkeit zu untersuchen, ob die Auswirkungen der einzelnen Faktoren auf die Ergebnisse von Korpus zu Korpus unterschiedlich sind. Bevor abschließend die Untersuchungsergebnisse vorgestellt werden, wird erläutert, wie genau ein Topic-Modell mittels Gibbs-Sampling trainiert wird und warum die oben genannten drei Faktoren das Training eines Topic-Modells beeinflussen können.

Vortrag im Rahmen des „Digital History“-Forschungskolloquiums
Zeit: Mittwoch, 01. Dezember 2021, 16-18 Uhr
Ort: Zoom-Konferenz (Zugang auf Anfrage oder via Mailingliste)

Cite this article as:
digitalhistory: Keli Du: Evaluation von LDA Topic Modeling in den Digital Humanities – Forschungsstand, Methode, Ergebnis, in: Digital History Berlin (Blog), erschienen am: 29. November 2021, Internet: https://dhistory.hypotheses.org/948.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.