더티 데이터로 안티 사기 봇을 만든 방법: 탐지기, 유형 분류기, 그리고 그 과정에서 만난 함정들

이 프로젝트는 암호화폐 채팅방에서 대중에게 공개된 메시지를 읽고 사용자에게 개인 메시지를 보내 도움을 요청하는 사기꾼 문제를 해결합니다. 봇은 공개적인 도움 요청을 감지하고 경고 및 진짜 지원 링크로 응답합니다. 첫 번째 과제는 레이블이 지정된 데이터 세트 없이 분류기를 구축하는 것이었습니다. 초기 정규 표현식 기반 데이터 수집은 모델이 보지 못한 문구로 일반화하는 능력을 제한했습니다. 능동 학습을 사용하여 불확실한 예를 반복적으로 추가하여 긍정 집합을 830에서 1176으로 늘렸습니다. 오타와 속어에 대한 견고성을 향상시키기 위해 거의 중복된 항목을 유지했습니다. 분류 기준은 단순한 질문에 트리거되지 않도록 '도움 요청'에서 '백신 적합성'으로 변경되었습니다. 변화하는 데이터 세트에 대한 교차 검증은 오해의 소지가 있는 지표를 제공했습니다. 245개 메시지로 구성된 고정된 골든 세트는 실제 개선을 보여주며 재현율이 0.50에서 0.78로 상승했습니다. 실제 트래픽에 대한 별도 테스트에서는 임계값에 따라 정밀도를 0.74에서 0.87로 조정할 수 있음을 보여주었습니다. 문제 유형 분류기는 과도한 복잡성을 피하기 위해 단순 로지스틱 회귀 모델로 유지되었습니다. 시스템은 감지기와 RAG(검색 증강 생성) 모두에 단일 다국어 임베딩 모델을 사용하며, 이는 리소스를 절약하지만 RAG 재현율을 제한할 수 있습니다. 아키텍처는 프로덕션 봇이 파이어 앤 포겟 방식으로 호출하는 별도의 FastAPI 서비스와 SQLite를 사용하며, 안전한 테스트를 위한 섀도우 모드를 지원합니다.