Wie ich einen Anti-Scam-Bot mit unreinen Daten baute: Detektor, Typifier und Fallstricke auf dem Weg

Das Projekt befasst sich mit dem Problem von Betrügern in Krypto-Chaträumen, die öffentliche Nachrichten lesen und Nutzer dann privat um Hilfe bitten. Der Bot erkennt öffentliche Hilferufe und antwortet mit einer Warnung und einem Link zu echter Unterstützung. Die erste Herausforderung bestand darin, einen Klassifikator ohne gelabelten Datensatz zu erstellen. Die anfängliche Datenerfassung auf Basis regulärer Ausdrücke schränkte die Fähigkeit des Modells ein, auf unbekannte Formulierungen zu verallgemeinern. Aktives Lernen wurde eingesetzt, um iterativ unsichere Beispiele hinzuzufügen und den positiven Satz von 830 auf 1176 zu erweitern. Beinahe-Duplikate wurden beibehalten, um die Robustheit gegenüber Tippfehlern und Slang zu verbessern. Das Klassifikationskriterium wechselte von „Hilferuf“ zu „für Impfung geeignet“ (vaccine appropriate), um nicht auf einfache Fragen anzusprechen. Die Kreuzvalidierung auf einem sich ändernden Datensatz ergab irreführende Metriken; ein eingefrorener Goldstandard von 245 Nachrichten offenbarte die tatsächlichen Verbesserungen, wobei die Sensitivität (Recall) von 0,50 auf 0,78 anstieg. Ein separater Test mit echtem Datenverkehr zeigte, dass die Präzision je nach Schwellenwert zwischen 0,74 und 0,87 eingestellt werden kann. Der Typifizierer (Problemtyp) wurde als einfache logistische Regression beibehalten, um eine Überkomplizierung zu vermeiden. Das System verwendet ein einziges mehrsprachiges Einbettungsmodell für sowohl den Detektor als auch die Retrieval-Augmented Generation (RAG), ein Kompromiss, der Ressourcen sparte, aber die RAG-Sensitivität einschränken könnte. Die Architektur ist ein separater FastAPI-Dienst mit SQLite, der von einem Produktionsbot über „Fire-and-Forget“ aufgerufen wird, mit einem Schattenmodus für sicheres Testen.