Era da Auto-pesquisa: Fui Dormir e 40 Hipóteses Foram Testadas Durante a Noite — O Que Devo Fazer e Como Trabalhar a Seguir?
Google/DeepMind
OpenAI
DeepMind
Anthropic
Um engenheiro descreve como automatizou o teste de hipóteses com um agente de IA, e durante a noite ele testou 40 hipóteses. Ele explica a mudança de encontrar soluções para construir sistemas que encontram soluções, e discute exemplos de sankalp, Karpathy e DeepMind. Ele também aborda armadilhas como paridade de perda e design de oráculo, e a importância da escolha do modelo.
Um engenheiro descreve como, em vez de testar hipóteses manualmente, ele escreveu uma descrição em texto do pipeline de geração de hipóteses, pediu ao Gemini para julgar cada tentativa e deixou um agente rodar durante a noite. De manhã, o log mostrava 40 hipóteses testadas. Ele contrasta suas primeiras tentativas ingênuas (rodar dez agentes em paralelo sem um plano) e sua segunda tentativa (dar aos agentes uma agenda detalhada) com a abordagem preguiçosa da noite que funcionou. Ele explica que o segredo não era melhor controle dos agentes, mas quem avalia o resultado. Ele cita precedentes: a decomposição QR de sankalp alcança uma aceleração de 232x em QR em lote, o script de auto-pesquisa de 630 linhas de Karpathy executou centenas de experimentos durante a noite, e o AlphaEvolve da DeepMind melhorou soluções para 20% de 50 problemas de matemática em aberto e acelerou os datacenters, o design de chips e o treinamento de IA do Google. Ele compartilha dois casos pessoais: no primeiro, ele passou duas semanas criando filtros de dataset manualmente, mas um oráculo baseado em Gemini com um VLM venceu isso em algumas execuções; no segundo, ele obteve uma aceleração de 30% no treinamento, mas encontrou armadilhas: esqueceu de incluir uma verificação de paridade de perda (levando a perda NaN), e um oráculo insuficientemente detalhado perdeu artefatos como letras restantes na remoção de texto de imagem. Ele enfatiza que construir um bom oráculo e loop é o trabalho real, e que o modelo dentro do loop importa. Ele conclui que a especialização está mudando de 'encontrar uma solução' para 'construir um sistema que encontra soluções'.
Fonte: Habr — хаб ИИ —
original
