Transformers Estão Mostrando Sua Idade: Startups Buscam a Próxima Grande Novidade em LLMs, e a Pesquisa Acadêmica em IA Enfrenta Novas Realidades

A matéria principal da newsletter discute como os transformers, introduzidos pelo Google há nove anos, estão se tornando um gargalo em LLMs devido ao seu caro mecanismo de atenção densa e à incapacidade de lidar com grandes quantidades de informação. Quatro novas abordagens inovadoras são destacadas, que podem tornar os LLMs mais rápidos, eficientes e inteligentes. Outro artigo relata a reunião do programa AI2050, onde professores de IA estão negociando novas realidades da pesquisa acadêmica, já que a maioria são pesquisadores universitários. A Nvidia garantiu 500 bilhões de dólares de Wall Street, com acordos da BlackRock, Goldman Sachs e outros quatro, para infraestrutura de IA. O novo manifesto de Mark Zuckerberg defende a IA de código aberto para salvar os EUA, e Bernie Sanders pediu uma pausa no desenvolvimento da IA. Um tribunal dos EUA permitirá que milhares de processos de mídia social prossigam contra mecanismos viciantes. A oferta pública inicial (IPO) da Unitree está massivamente superlotada, e as câmeras de rastreamento de carros da Flock enfrentam reação negativa. A China introduz regras para IA emocionalmente interativa, uma ferramenta de IA afirma escolher os melhores 1% de artigos científicos, e um idoso de 82 anos rejeitou 26 milhões de dólares por um centro de dados. A newsletter também inclui uma matéria sobre a bagunça ética do teste genético de embriões.