Machina Emblematica: Multimodal Information Retrieval for CH and DH
Geförderte: Michela Vignoli, Rainer Simon
EN
Machina Emblematica seeks to facilitate multimodal AI-driven exploration of the image-text pairs extracted from the Symbola et Emblemata by Joachim Camerarius (1534-1598). Emblem books were a popular genre of scientific publication in Early Modern Europe, which paired descriptions of animals, plants, and minerals with allegorical illustrations accompanied by a motto. Written in Latin, the Symbola were an early taxonomy that sought to teach through allegory — blending natural history, moral reflection, and poetic form. The emblem books provide an excellent use case to demonstrate how information retrieval systems using state of the art AI technology can be used for extracting specific contents and intermedial relations in digitized historical sources by using embedding-based retrieval.
Machina Emblematica implements a retrieval-augmented generation (RAG) system, an AI application that combines vector-based search with natural language responses generated by a Large Language Model. It uses data from the 1668 edition of Symbola et Emblemata provided by the Münchener Digitale Bibliothek. The goal is to make the full contents of both texts and images searchable with natural language prompts thus advancing existing solutions from projects such as Emblematica Online and ONiT Explorer. When answering prompted questions, the Machina draws information directly from the scanned images and transcribed pages. A machine-readable transcription enriched with structural and semantic markup is provided by the Digital Camerarius project, managed by Prof. Chiara Palladino and Classics undergraduate Kathryn Wilson with funding from the Furman Humanities Center and the Furman Office of Undergraduate Research.
As part of the HERMES research study grant, Michela Vignoli and Rainer Simon will expand the digital edition of the Symbola et Emblemata with a user-friendly, multimodal RAG prototype. The aim is to facilitate access to historical image-text sources as well as other Cultural Heritage and Digital Humanities contents through AI-supported answer generation. Users will receive transparent, comprehensible information on the underlying sources and the tool will be made available as open source.
DE
Machina Emblematica setzt moderne KI-Technologie ein, um eine vektorbasierte Erkundung der Bild-Text-Paare aus den Symbola et Emblemata von Joachim Camerarius (1534-1598) zu ermöglichen. Emblembücher waren eine beliebte Gattung wissenschaftlicher Publikationen im Europa der frühen Neuzeit, die Beschreibungen von Tieren, Pflanzen und Mineralien mit allegorischen Illustrationen und einem Motto verbanden. Die in lateinischer Sprache verfassten Symbola waren eine frühe Taxonomie, die durch Allegorien zu lehren versuchte — eine Mischung aus Naturgeschichte, moralischer Reflexion und poetischer Form. Aufgrund ihrer Bild-Text Paare sind Emblembücher ein ausgezeichneter Anwendungsfall, um zu demonstrieren, wie Information-Retrieval-Systeme mithilfe von vektorbasierter Suche zum Auffinden spezifischer Inhalte und intermedialer Beziehungen in digitalisierten historischen Quellen eingesetzt werden können.
Machina Emblematica implementiert ein Retrieval-Augmented Generation (RAG)-System, welches vektorbasierte Suche mit von einem Large Language Model generieren natürlichsprachlichen Antworten kombiniert. Die KI-Anwendung verwendet Daten aus der Ausgabe von Symbola et Emblemata von 1668, die von der Münchener Digitalen Bibliothek bereitgestellt werden. Ziel ist es, den gesamten Inhalt der Texte und Bilder mittels natürlichsprachlicher Eingaben durchsuchbar zu machen und somit bestehende Lösungen aus Projekten wie Emblematica Online und ONiT Explorer zu erweitern. Bei der Beantwortung der gestellten Fragen bezieht sich die Anwendung direkt auf die extrahierten Informationen aus den gescannten Bildern und transkribierten Seiten. Eine maschinenlesbare Transkription, die mit strukturellem und semantischem Markup angereichert ist, wird durch das von Prof. Chiara Palladino und Kathryn Wilson umgesetzte Digital Camerarius Projekt bereitgestellt, welches vom Furman Humanities Center finanziert wird.
Im Rahmen der HERMES-Forschungsstudienförderung werden Michela Vignoli und Rainer Simon die digitale Edition der Symbola et Emblemata um einen nutzerfreundlichen, multimodalen RAG-Prototyp erweitern. Ziel ist, den Zugang zu historischen Bild-Text-Quellen sowie weitere Cultural Heritage und Digital Humanities Inhalte durch KI-gestützte Antwortgenerierung zu erleichtern. Nutzer*innen erhalten dabei transparent nachvollziehbare Angaben zu den zugrunde liegenden Quellen und das Tool soll open source verfügbar gemacht werden.
Project Team:
Michela Vignoli, AIT Austrian Institute of Technology
Rainer Simon, rainersimon.io
Chiara Palladino, Furman University – Classics
Kathryn Wilson, Furman University – Classics
