Kirli veri üzerine anti-dolandırıcılık botu nasıl geliştirdim: dedektör, sınıflandırıcı ve yol boyunca karşılaşılan tuzaklar

Proje, kripto sohbet odalarındaki dolandırıcıların herkese açık mesajları okuyup ardından kullanıcılara yardım istemek için özel mesaj gönderme sorununu ele alıyor. Bot, herkese açık yardım taleplerini tespit eder ve bir uyarı ile gerçek destek bağlantısıyla yanıt verir. İlk zorluk, etiketli bir veri seti olmadan bir sınıflandırıcı oluşturmaktı. İlk regex tabanlı veri toplama, modelin görülmemiş ifadelere genelleme yeteneğini sınırladı. Pozitif seti 830'dan 1176'ya çıkararak belirsiz örnekleri yinelemeli olarak eklemek için aktif öğrenme kullanıldı. Yazım hatalarına ve argo ifadelere karşı sağlamlığı artırmak için yakın kopyalar korundu. Sınıflandırma kriteri, basit sorularda tetiklenmeyi önlemek için 'yardım talebi'nden 'aşı uygun' olarak değiştirildi. Değişen bir veri seti üzerinde çapraz doğrulama yanıltıcı metrikler verdi; 245 mesajdan oluşan dondurulmuş bir altın set, gerçek iyileştirmeleri ortaya çıkardı ve geri çağırma 0.50'den 0.78'e yükseldi. Gerçek trafik üzerinde ayrı bir test, eşiğe bağlı olarak kesinliğin 0.74 ile 0.87 arasında ayarlanabileceğini gösterdi. Tür sınıflandırıcı (problem türü), aşırı karmaşıklıktan kaçınmak için basit bir lojistik regresyon olarak tutuldu. Sistem, hem algılayıcı hem de RAG için tek bir çok dilli gömme modeli kullanıyor; bu, kaynaklardan tasarruf sağlayan ancak RAG geri çağırmasını sınırlayabilen bir uzlaşma. Mimari, üretim botu tarafından ateşle ve unut yöntemiyle çağrılan, güvenli test için gölge modu olan ayrı bir FastAPI hizmeti ve SQLite'dir.