Neue Forschungsergebnisse zur Verknüpfung von Text und Diagrammen im Rahmen des DFG-geförderten Projekts vgiReports.

Dokumente und Nachrichtenartikel enthalten neben dem Text oft Diagramme, die einen detaillierteren Einblick in die Daten geben, auf die sich der Text bezieht. Allerdings ist ihre Darstellung meist statisch, trotz der Möglichkeiten, die moderne digitale Geräte bieten. Anstatt die verschiedenen Darstellungen einfach nebeneinander zu stellen, können Interaktionen die beiden Darstellungen enger miteinander verknüpfen. Um die Kluft zwischen den Darstellungen zu überbrücken und die Inhalte explorativer zu gestalten, zielt das Forschungsprojekt vgiReports darauf ab, interaktive Dokumente mit solchen Verknüpfungen im Kontext von "Volunteered Geographic Information" (VGI) zu untersuchen. Die Forschungen an der Universität Duisburg-Essen unter der Leitung von Doktorand Shahid Latif, betreut von Fabian Beck und in Zusammenarbeit mit externen Partnern haben zu neuen Ergebnissen geführt. Sie beschreiben Möglichkeiten, Text und Diagramme zu verknüpfen, stellen Werkzeuge zur Verfügung, um solche Verknüpfungen einfach zu erstellen, und geben Beispiele dafür, wie interaktive Verknüpfungen die Datenexploration unterstützen.

Bei der Untersuchung der impliziten und expliziten Links, die bereits in datengestützten Artikeln bekannter Nachrichtenmedien vorhanden sind, wurde eine Reihe von Best Practices ermittelt. Diese können Datenjournalisten dabei helfen, fesselnde und informative Geschichten über bestimmte Daten zu schreiben. Derzeit werden viele solcher Artikel über die Covid-19-Pandemie veröffentlicht, die auch als Beispiele in der durchgeführten Untersuchung betrachtet wurden [Paper].

Um den Autoren interaktiver datengestützter Artikel eine einfachere Verknüpfung von Text und Diagrammen zu ermöglichen, wurde ein webbasiertes Tool, Kori, entwickelt. Es nutzt modernste Techniken zur Verarbeitung natürlicher Sprache, um automatisch die Phrasen zu erkennen, die mit Teilen der begleitenden Diagramme in Verbindung stehen. Außerdem bietet es eine innovative Benutzerschnittstelle, um eine Textphrase mit visuellen Merkmalen in den Diagrammen zu verknüpfen [Paper]. 

Das Forschungsprojekt wendet diese Ideen in verschiedenen Anwendungsbereichen an. Kürzlich wurde ein System zur Erforschung des Werdegangs historischer Persönlichkeiten vorgeschlagen, bei dem die Benutzer Fragen stellen können und das System mit einer Mischung aus Text und verknüpften Diagrammen antwortet. Während die Antwort mithilfe eines KI-Modells (dem GPT-3-Sprachmodell) generiert wird, stellt das System die Antwort in einen Kontext, indem es die Daten auf einer Zeitachse und in anderen Ansichten visualisiert. Auf diese Weise können die Benutzer die Daten über die angefragten Informationen hinaus erkunden [Paper].

Die Forschung wurde in Zusammenarbeit mit nationalen und internationalen Partnern durchgeführt. Sie wurde in Computer Graphics Forum (CGF) und IEEE Transactions on Visualization and Computer Graphics (TVCG), zwei der führenden Visualisierungszeitschriften, veröffentlicht und auf den Konferenzen EuroVis 2021 und IEEE VIS 2021 vorgestellt. Im Rahmen der VGIscience-Vortragsreihe fasste Shahid Latif die Forschung auch in einem einzigen Vortrag zusammen [Video].