Transformer Đang Bộc Lộ Giới Hạn: Các Startup Theo Đuổi Xu Hướng Mới Trong LLM, và Nghiên Cứu Học Thuật Về AI Đối Mặt Với Thực Tế Mới

Bài chính của bản tin bàn về việc kiến trúc transformer — do Google giới thiệu cách đây chín năm — đang trở thành nút thắt cổ chai trong các mô hình ngôn ngữ lớn (Large Language Model, LLM), do cơ chế chú ý dày đặc (dense attention) tốn kém và khả năng xử lý khối lượng thông tin lớn còn hạn chế. Bốn hướng tiếp cận đổi mới được nêu bật, hứa hẹn giúp LLM nhanh hơn, hiệu quả hơn và thông minh hơn. Một bài khác tường thuật buổi họp của chương trình AI2050, nơi các giáo sư trí tuệ nhân tạo (Artificial Intelligence, AI) — phần lớn là nhà nghiên cứu tại các trường đại học — đang phải thích nghi và đương đầu với những thực tế mới của nghiên cứu học thuật. Nvidia đã huy động được 500 tỷ đô la Mỹ từ Phố Wall thông qua các thỏa thuận với BlackRock, Goldman Sachs và bốn đối tác khác để đầu tư cho hạ tầng AI. Bản tuyên ngôn mới của Mark Zuckerberg kêu gọi phát triển AI mã nguồn mở để cứu nước Mỹ, trong khi Bernie Sanders yêu cầu tạm dừng phát triển AI. Một tòa án Mỹ sẽ cho phép hàng nghìn vụ kiện nhằm vào các cơ chế gây nghiện của mạng xã hội được tiếp tục xét xử. Đợt phát hành cổ phiếu lần đầu ra công chúng (Initial Public Offering, IPO) của Unitree được đặt mua vượt xa mức chào bán, còn camera theo dõi xe của Flock đang vấp phải làn sóng phản đối dữ dội. Trung Quốc ban hành quy định về AI tương tác cảm xúc, một công cụ AI tuyên bố có thể chọn ra 1% bài báo khoa học xuất sắc nhất, và một cụ ông 82 tuổi đã từ chối khoản 26 triệu đô la liên quan đến một trung tâm dữ liệu. Bản tin cũng có một bài viết chuyên sâu về mớ bòng bong đạo đức của xét nghiệm di truyền phôi thai.