Transformer架构显露疲态:初创公司追逐大语言模型的新方向,AI学术研究面临新现实
NVIDIA
Meta
《麻省理工科技评论》探讨了Transformer架构在大语言模型中的局限性,并重点介绍了四种新的思路来克服这些局限。此外,本期通讯还报道了AI学术研究格局的变迁、英伟达5000亿美元的基础设施交易,以及其他顶级科技新闻。
本期通讯的头条报道讨论了九年前谷歌推出的Transformer如何因为其昂贵的密集注意力机制以及无法处理大量信息而成为大语言模型的瓶颈。文中重点介绍了四种新的创新方法,这些方法可能使大语言模型变得更快速、更高效、更智能。另一篇文章报道了AI2050项目的召集情况,在该项目中,人工智能教授们正在协商学术研究的新现实,因为他们大多是大学研究人员。英伟达已从华尔街获得5000亿美元的资金,其中包括贝莱德、高盛以及其他四家公司的交易,用于人工智能基础设施建设。马克·扎克伯格的新宣言主张利用开源人工智能拯救美国,而伯尼·桑德斯则呼吁暂停人工智能的发展。美国法院将允许数千起针对社交媒体成瘾机制的诉讼继续进行。宇树科技的首次公开募股获得超额认购,而Flock的汽车追踪摄像头则面临抵制。中国出台了针对情感交互式人工智能的规定,一款人工智能工具声称能挑选出最佳1%的科学论文,还有一位82岁的老人拒绝了2600万美元的数据中心项目资金。本期通讯还包含了一篇关于基因胚胎检测伦理困境的特写报道。
来源: MIT Technology Review —
原文
