Näin rakensin huijauksentorjuntabotin likaisella datalla: tunnistin, tyypittäjä ja sudenkuopat matkan varrella

Projekti käsittelee ongelmaa, joka liittyy huijareihin kryptovaluuttakeskusteluhuoneissa: he lukevat julkisia viestejä ja ottavat sitten yksityisesti yhteyttä käyttäjiin tarjoten apua. Bottijärjestelmä havaitsee julkiset avunpyynnöt ja vastaa niihin varoituksella sekä linkin aitoon tukeen. Ensimmäinen haaste oli rakentaa luokitin ilman merkittyä aineistoa. Alkuperäinen säännöllisiin lausekkeisiin perustuva tiedonkeruu rajoitti mallin kykyä yleistää ennestään näkemättömiin sanamuotoihin. Aktiivista oppimista käytettiin lisäämään epävarmoja esimerkkejä iteratiivisesti, kasvattaen positiivisten joukon 830:stä 1176:een. Lähes päällekkäiset kopiot säilytettiin, jotta malli kestäisi paremmin kirjoitusvirheitä ja slangi-ilmaisuja. Luokittelukriteeriä muutettiin 'avunpyynnöstä' 'rokotteeseen soveltuvaksi', jotta yksinkertaiset kysymykset eivät laukaise hälytystä. Ristiinvalidointi muuttuvassa aineistossa antoi harhaanjohtavia mittareita; jäädytetty kultainen joukko, joka sisälsi 245 viestiä, paljasti todellisen parannuksen: recall nousi arvosta 0,50 arvoon 0,78. Erillinen testi oikealla liikenteellä osoitti, että tarkkuutta voidaan säätää arvosta 0,74 arvoon 0,87 kynnysarvosta riippuen. Tyypittäjä (ongelmatyyppi) pidettiin yksinkertaisena logistisena regressiomallina, jotta järjestelmä ei monimutkaistuisi liikaa. Järjestelmä käyttää yhtä monikielistä upotusmallia sekä ilmaisimelle että RAG:lle, mikä on kompromissi, joka säästää resursseja mutta saattaa rajoittaa RAG:n tarkkuutta. Arkkitehtuuri on erillinen FastAPI-palvelu SQLite-tietokannalla, jota tuotantobotti kutsuu 'fire-and-forget'-periaatteella, ja mukana on varjotila turvallista testausta varten.