Tranh luận về mô hình ngôn ngữ lớn: Liệu các mô hình ngôn ngữ lớn đang trở nên đa năng hơn - hay chuyên biệt hơn?

Andrew Ho rời OpenAI sau tám tháng, với lý do khả năng tổng quát hóa kém và năng lực không đồng đều của các mô hình ngôn ngữ lớn ngay cả trong các lĩnh vực được đầu tư tốt như lập trình. Ông tin rằng vấn đề nằm ở dữ liệu huấn luyện không đủ, vì hầu hết các kỹ năng quan trọng về mặt kinh tế hầu như không được thể hiện trong các nguồn dữ liệu hiện có. Ho ước tính rằng các phòng thí nghiệm AI sẽ cần chi hơn 100 tỷ đô la cho việc thu thập dữ liệu có mục tiêu, bởi vì chỉ mở rộng quy mô là không đủ. Ông cũng hoài nghi về định giá cao của các phòng thí nghiệm tiên phong như OpenAI và Anthropic, lưu ý rằng họ thường xuyên thua lỗ và phải đầu tư liên tục để cạnh tranh với các đối thủ rẻ hơn như Qwen hoặc Kimi. Các sản phẩm đầu tiên của ông tập trung vào bộ dữ liệu cho tin sinh học và công việc phòng thí nghiệm hàng ngày, nơi các mô hình hiện tại như GPT-5.6 Sol chỉ đạt tỷ lệ thành công khoảng 30%. Adam Hunt từ Cambridge ủng hộ quan điểm này, nhận xét rằng các mô hình mới nhất trở nên chuyên biệt hơn, với sự tăng trưởng trong mã hóa và toán học phức tạp trong khi các lĩnh vực khác trì trệ. Tom Zahavy từ Google DeepMind đưa ra lời giải thích về mặt cấu trúc, nói rằng các mô hình ngôn ngữ thành thạo suy diễn và quy nạp nhưng thất bại trong việc suy luận sáng tạo (abduction). Ông đề xuất mô hình thế giới có thể điều khiển bằng hành động như một lối thoát khả thi.