Das Team RAGtifier des L3S sicherte sich den dritten Platz bei der „SIGIR 2025 LiveRAG Challenge”. Der Wettbewerb wurde vom Technology Innovation Institute (TII) mit Unterstützung von AWS, Pinecone, AI71 und Hugging Face veranstaltet. Der Schwerpunkt lag auf der Beantwortung von Fragen (QA) durch Retrieval-Augmented Generation (RAG).
Die Teilnehmer hatten die Aufgabe, ein RAG-System unter Verwendung des festen Korpus FineWeb-10BT und des Open-Source-LLM Falcon3-10B-Instruct zu entwickeln. Am entscheidenden Live-Challenge-Tag, der am 12. Mai stattfand, lieferten 70 eingeladene Teams aus Wissenschaft und Industrie aus 27 Ländern innerhalb von zwei Stunden Lösungen für 500 unbekannte Fragen.
RAGtifier, bestehend aus William Xion, Hailay Teklehaymanot, Oleh Astappiev und Tim Cofala, konzentrierte sich auf die Bewertung und Optimierung modernster RAG-Lösungen, die auf Retrieval- und Reranking- sowie iterative Generierungsansätze abzielen und sowohl in der automatisierten als auch in der manuellen Bewertungsphase eine hohe Leistung erzielen. Mit diesem Ansatz sicherte sich RAGtifier einen Platz unter den Finalisten und erreichte schließlich den dritten Platz hinter Magikarp aus China und RMIT-ADMS aus Australien.
Die Preisverleihung fand während des LiveRAG-Workshops am 17. Juli 2025 in Padua (Italien) im Rahmen des SIGIR-Kongresses statt.
RAGtifier Report and Code:
https://arxiv.org/abs/2506.14412
https://git.l3s.uni-hannover.de/liverag/ragtifier
LiveRAG Challenge Report:
https://arxiv.org/abs/2507.04942
