Xây dựng cơ sở tri thức cho tác nhân AI và thử nghiệm trên chính kết quả xét nghiệm y tế của tôi

Tác giả, một backend developer tại Iskra, đã xây dựng một cơ sở tri thức cho một AI agent và thử nghiệm nó với kết quả khám sức khỏe của chính mình, những kết quả mà anh biết rõ, giúp các lỗi trở nên dễ nhận thấy. Hệ thống hoạt động như một hệ thống tệp có cấu trúc thay vì một chỉ mục tìm kiếm: mỗi tệp có một tệp .md phản chiếu với tiêu đề YAML, và agent điều hướng thông qua ls, grep, read và theo dõi các liên kết. Cách tiếp cận này vượt trội hơn so với RAG cổ điển đối với các câu trả lời đa tài liệu và trích dẫn nguồn, vì agent đọc toàn bộ tài liệu thay vì các đoạn rời rạc. Tuy nhiên, agent đôi khi quên truy cập cơ sở tri thức, như khi nó tuyên bố không thấy các tệp đính kèm, sau đó khi thử lại, nó đã đọc cả bảy tệp và đưa ra một bản tóm tắt chính xác. Các vấn đề khác bao gồm việc đổi tên tệp một cách kỳ lạ (một số tiêu đề bằng tiếng Latinh), sự không chính xác trong paraphrase khi trích dẫn, và chi phí token cao hơn—khoảng 10–15 cuộc gọi công cụ cho mỗi truy vấn phức tạp. Tác giả cũng lưu ý rằng hệ thống không hoàn hảo: mô hình có thể trích dẫn nguồn nhưng vẫn có thể bịa đặt, vì vậy danh sách nguồn phía máy chủ là rất quan trọng.