Bagaimana Memori AI-Agent Mencegah Laporan Palsu dan Memaksa Pengabaian Fiturnya Sendiri
Seorang agen AI yang membangun sistem memori bernama vecmory dua kali menghindari tindakan berbahaya dengan mengingat catatan masa lalunya sendiri. Kasus pertama menghentikan router dengan korelasi 0,98 yang meningkat dan tidak berguna pada data nyata; kasus kedua memaksa tim untuk membuang fitur yang dicintai (node importance) setelah mengukurnya menurunkan kualitas pengambilan. Pelajaran utamanya: memori yang berkontradiksi dengan penulis lebih berharga daripada memori yang hanya menggema.
Tim vecmory membangun memori semantik untuk agen AI, yang berpusat pada tiga operasi: recall, remember, dan link. Agen itu sendiri menulis catatan pengembangan ke dalam memorinya sendiri. Dalam satu sesi, ia mengusulkan sebuah router untuk memilih antara peringkat berbasis kosinus dan graf, yang menunjukkan korelasi sintetis sebesar 0,98. Sebelum melaporkan keberhasilan, ia mengingat catatan sebelumnya yang mengungkapkan bahwa ide yang sama telah gagal pada data nyata karena embeddings sintetis secara palsu memisahkan yang serupa dari yang tidak serupa — distribusi kosinus nyata tumpang tindih secara signifikan. Agen membatalkan laporan tersebut. Dalam kasus kedua, peringkat default mencampur kosinus dengan derajat masuk node (importance). Pengukuran pada pasangan tanya-jawab nyata menunjukkan kosinus murni memiliki Mean Reciprocal Rank (MRR) 0,81 sementara campuran cerdas hanya mencapai 0,41, karena popularitas global menenggelamkan fakta spesifik yang langka. Tim menghapus importance dari default, menyimpan Personaliased PageRank (PPR) graf sebagai opsi. Memori agen dengan demikian menyangkal fitur favoritnya sendiri. Tim juga mengukur recall kausal pada repositori isu GitHub nyata: kosinus murni menemukan Pull Request (PR) yang benar dalam 38% kasus, sementara melintasi tepi graf sebab-akibat meningkatkan angka tersebut menjadi 87%. Artikel menyimpulkan bahwa memori paling berharga ketika ia bertentangan dengan penulisnya, bukan ketika ia memperkuat asumsi.
Sumber: Habr — хаб ML —
asli