Cara Saya Membangun Bot Anti-Penipuan dengan Data Kotor: Detektor, Tipifikasi, dan Jebakan di Sepanjang Jalan

Proyek ini mengatasi masalah penipu di ruang obrolan kripto yang membaca pesan publik dan kemudian menghubungi pengguna secara pribadi untuk menawarkan bantuan. Bot ini mendeteksi permintaan bantuan di publik dan merespons dengan peringatan serta tautan ke dukungan resmi. Tantangan pertama adalah membangun pengklasifikasi tanpa kumpulan data berlabel. Pengumpulan data awal berbasis regex membatasi kemampuan model untuk menggeneralisasi pada frasa yang belum pernah dilihat. Pembelajaran aktif digunakan untuk menambahkan contoh-contoh yang tidak pasti secara iteratif, sehingga meningkatkan set positif dari 830 menjadi 1176. Hampir duplikat dipertahankan untuk meningkatkan ketahanan terhadap salah ketik dan bahasa gaul. Kriteria klasifikasi berubah dari 'permintaan bantuan' menjadi 'cocok untuk vaksin' untuk menghindari pemicu pada pertanyaan sederhana. Validasi silang pada set data yang berubah memberikan metrik yang menyesatkan; set emas beku berisi 245 pesan mengungkapkan peningkatan yang sebenarnya, dengan recall naik dari 0,50 menjadi 0,78. Tes terpisah pada lalu lintas nyata menunjukkan presisi yang dapat disesuaikan dari 0,74 menjadi 0,87 tergantung pada ambang batas. Pengetik (tipe masalah) dipertahankan sebagai regresi logistik sederhana untuk menghindari komplikasi yang berlebihan. Sistem ini menggunakan satu model embedding multibahasa untuk detektor dan RAG, sebuah kompromi yang menghemat sumber daya tetapi dapat membatasi recall RAG. Arsitekturnya adalah layanan FastAPI terpisah dengan SQLite, yang dipanggil oleh bot produksi secara fire-and-forget, dengan mode bayangan untuk pengujian yang aman.