Startups Buscam a Próxima Grande Inovação em LLMs

Os Transformers, introduzidos em um artigo do Google de 2017, alimentam todos os principais modelos de linguagem de grande porte, mas seu mecanismo de atenção densa é computacionalmente caro e tem dificuldades com contextos longos. Startups estão atacando esses defeitos: a Subquadratic afirma que seu modelo de atenção esparsa, o SubQ, rivaliza com os LLMs mainstream; a Manifest AI substitui a atenção por 'retenção de poder' e lançou o PowerCoder e o Brumby; a Liquid AI combina Transformers com redes neurais líquidas para criar LFMs híbridos (modelos de fundação líquidos) que são menores e mais eficientes energeticamente; a Inception usa difusão para gerar blocos de texto inteiros de uma só vez, com seu modelo Mercury 2 afirmado ser 10 vezes mais rápido que o GPT-4; e o modelo 'Dragon Hatchling' da Pathway se destaca em quebra-cabeças de sudoku, sugerindo um movimento além da linguagem. Essas startups veem uma oportunidade de mudar como os LLMs são construídos, com o potencial para ganhos significativos em velocidade, eficiência e capacidade.