RAG: Benchmarks zählen mehr als Code. Die Geschichte eines Bots, bei dem „richtige“ Verbesserungen das Ergebnis verschlechterten

Ein Entwickler baute einen RAG-Bot zur gezielten Unterstützung von Nutzern in Kryptowährungs-Chats: Der Bot sollte ähnliche Anfragen finden und vorhandene Admin-Antworten anzeigen. Mit einem Korpus von 3,9 Millionen Nachrichten und einem Evaluierungsset von 51 Fragen ermittelte er eine Baseline-Hit@3 für reine Vektorsuche von 74 %. Bei dem Versuch, das System zu verbessern, fügte er hybride Suche mit BM25 und einen Cross-Encoder-Reranker hinzu. Beide Änderungen senkten die Metrik: Hybrid ergab 55 %, Reranker 64 % und Hybrid+Reranker 57 %. Die Analyse zeigte, dass BM25 aufgrund fehlender exakter Token im Abfragekorpus wirkungslos war, während der Reranker eine bereits gute Rangfolge verschlechterte. Die einzige nützliche Änderung war die Anpassung des Cutoff-Schwellenwerts an die Rolle des Bots (als Fallback, nicht als finale Antwortinstanz): Dies verbesserte die nutzbare Ausgabe, ohne dass zusätzlicher Code nötig war. Die wichtigste Erkenntnis ist, dass bei RAG nicht Branchenstandards, sondern ehrliche Messungen und Datenbereinigung zählen.