Evaluierung von Graph-RAG-Systemen für historische Verkehrsnetze: Eine Berliner Fallstudie
Geförderter: Noah Jefferson Baumann
Große Sprachmodelle (LLMs) haben das Potenzial, den Zugang zu historischen Datenbeständen zu revolutionieren. Retrieval-Augmented Generation (RAG) erweitert LLMs durch die gezielte Abfrage externer Wissensquellen und ermöglicht so präzisere und kontextuell relevantere Antworten. Graph-RAG-Systeme stellen eine vielversprechende Weiterentwicklung dar, die strukturierte Wissensgraphen als Datenquelle nutzen. Während herkömmliche RAG-Systeme hauptsächlich mit unstrukturiertem Text arbeiten, ermöglichen Graph-RAG-Systeme die Bewahrung relationaler Strukturen während des Abruf- und Generierungsprozesses. Trotz ihres Potentials für die Digital Humanities fehlen bislang standardisierte Evaluationsrahmen für historische Anwendungen.
Das Forschungsprojekt entwickelt und evaluiert spezialisierte Graph-RAG-Ansätze für historische Wissensgraphen am Beispiel des Berliner Öffentlichen Verkehrssystems während der Zeit des Kalten Krieges (1945-1989). Das Berliner Verkehrsnetz bietet einen idealen Testfall aufgrund seiner komplexen zeitlichen, geografischen und politischen Dimensionen. Trotz des öffentlichen Interesses an Berlins Verkehrsgeschichte bleibt dieser reichhaltige Datensatz (bestehend aus Netzwerk-Momentaufnahmen, abgeleitet aus BVG-Fahrplanbüchern und gespeichert in einer Neo4J Property Graph-Datenbank) für Nicht-Spezialisten unzugänglich.
Die Studie adressiert diese Herausforderungen durch eine systematische Methodik in mehreren Phasen. Zunächst wird eine Taxonomie von Fragetypen entwickelt, die für historische Verkehrsnetze relevant sind, kategorisiert nach analytischer Komplexität (faktisch, relational, zeitlich, geografisch und vergleichend). Anschließend werden fünf distinkte Graph-RAG-Ansätze implementiert und verglichen: (1) Query-Generierung zur Transformation natürlicher Sprache in Datenbankabfragen; (2) vektorbasierte Ansätze mit Einbettung von Graphkomponenten; (3) hybride Ansätze inspiriert von Microsofts GraphRAG-Architektur; (4) Single-Agent-Systeme mit Model Context Protocol (MCP); und (5) Multi-Agent-Systeme mit spezialisierten Agenten für zeitliche, räumliche und historische Kontextanalyse.
Für die Evaluation werden Metriken etabliert, die über reine Genauigkeit hinausgehen und die Bewahrung historischen Kontexts, die Erhaltung von Netzwerkeigenschaften und die Erklärungsfähigkeit bewerten. Diese umfassen spezialisierte Netzwerkanalysemetriken wie Zentralitätsmessungen, Community-Detection-Validität, zeitliche Veränderungsverfolgung und Pfadanalysefidelität.
Das Projekt trägt sowohl zur technischen als auch zur historischen Forschung bei. Technisch bietet es das erste umfassende Evaluationsframework für Graph-RAG-Systeme in historischen Anwendungen und stellt Implementierungsleitfäden für Digital Humanities-Projekte mit strukturierten Daten zur Verfügung. Historisch demonstriert es, wie computergestützte Methoden Muster in der Infrastrukturentwicklung unter konkurrierenden politischen Systemen aufdecken können und wie dieses Wissen der Öffentlichkeit zugänglichgemacht werden kann.
Laufzeit: Mai - November 2025
Weitere Informationen und regelmäßige Updates zum Projekt: https://berlin-transport-history.de/current-work/graph-rag
Projekt-Team: Noah Jefferson Baumann (Humboldt-Universität zu Berlin)