Las startups persiguen la próxima gran innovación en LLM
Liquid AI
Una ola de startups está tratando de superar las limitaciones de los transformadores, la tecnología que sustenta los LLM actuales. Proponen nuevas arquitecturas y técnicas para hacer que los modelos sean más rápidos, más eficientes y potencialmente más inteligentes, con el objetivo de destronar a los gigantes de la IA.
Los Transformers, introducidos en un artículo de Google de 2017, impulsan todos los grandes modelos de lenguaje, pero su mecanismo de atención densa es computacionalmente costoso y tiene dificultades con contextos largos. Las startups están abordando estos defectos: Subquadratic afirma que su modelo de atención dispersa SubQ rivaliza con los LLM convencionales; Manifest AI reemplaza la atención con 'retención de potencia' y ha lanzado PowerCoder y Brumby; Liquid AI combina transformers con redes neuronales líquidas para crear LFMs híbridos (modelos fundamentales líquidos) que son más pequeños y más eficientes energéticamente; Inception utiliza difusión para generar bloques de texto completos de una vez, con su modelo Mercury 2 que se afirma es 10 veces más rápido que GPT-4; y el modelo 'Dragon Hatchling' de Pathway sobresale en puzzles de sudoku, lo que sugiere un avance más allá del lenguaje. Estas startups ven una oportunidad para cambiar la forma en que se construyen los LLM, con el potencial de obtener ganancias significativas en velocidad, eficiencia y capacidad.
Fuente: MIT Technology Review —
original