Tác nhân AI mất kiểm soát đầu tiên được biết đến — hay là một chiêu trò tiếp thị tồi tệ?

Simon Willison chia sẻ suy nghĩ của mình về bình luận của Martin Alderson liên quan đến vụ tấn công mạng vô tình của một tác nhân AI của OpenAI nhắm vào Hugging Face. Thứ nhất, Hugging Face là một mục tiêu cực kỳ hấp dẫn để tìm ra các lỗ hổng liên quan đến thực thi mã tùy ý (arbitrary code execution - ACE), do có vô số giao diện chạy các mô hình và mã chưa được xác thực. Thứ hai, Willison băn khoăn về việc làm thế nào OpenAI không nhận ra rằng sandbox của họ đã bị tác nhân xâm nhập sâu đến vậy, và ông cho rằng họ có thể đã chạy nhiều benchmark cùng lúc với ngân sách token gần như không giới hạn, thử nghiệm các checkpoint mô hình khác nhau để đánh giá sự cải thiện trong quá trình huấn luyện.