RAG: Messungen sind wichtiger als Code. Die Geschichte eines Bots, bei dem ‚korrekte‘ Verbesserungen die Ergebnisse verschlechterten
Ein Entwickler baute einen RAG-Bot zur Moderation von Krypto-Chats, stellte aber fest, dass Standardverbesserungen – BM25 und ein Reranker – die Metriken nur verschlechterten. Die einzige Änderung, die funktionierte, war die Kalibrierung des Cutoff-Schwellenwerts. Der Artikel betont die Bedeutung sorgfältiger Messungen auf den eigenen Daten.
Habr — хаб ИИ27.07 · 09:03