我是如何在脏数据上构建反诈骗机器人的：检测器、分类器以及一路上的陷阱

该项目解决了加密货币聊天室中诈骗者的问题，他们阅读公开消息，然后私下联系用户请求帮助。该机器人检测公开的求助请求，并回复警告和真实支持链接。第一个挑战是在没有标记数据集的情况下构建分类器。基于正则表达式的初始数据收集限制了模型对未见过的措辞进行泛化的能力。使用主动学习迭代添加不确定的示例，将正样本集从830个增加到1176个。保留近似重复项以提高对拼写错误和俚语的鲁棒性。分类标准从“求助请求”转变为“适合疫苗”，以避免对简单问题触发。在变化的数据集上进行交叉验证产生了误导性的指标；一个冻结的黄金集包含245条消息揭示了真正的改进，召回率从0.50上升到0.78。对真实流量的单独测试显示，精确率可根据阈值在0.74到0.87之间调整。类型分类器（问题类型）保持为简单的逻辑回归，以避免过度复杂化。该系统使用单个多语言嵌入模型同时用于检测器和RAG，这种折衷节省了资源，但可能限制了RAG的召回率。架构是一个独立的FastAPI服务，使用SQLite，生产机器人通过即发即忘方式调用它，并带有影子模式以进行安全测试。