자동 리서치 시대: 잠들기 전 40개의 가설이 밤사이 테스트됐다 — 무엇을 해야 하고, 앞으로 어떻게 일해야 할까?

한 엔지니어는 가설을 일일이 수작업으로 검증하는 대신, 가설 생성 파이프라인에 대한 텍스트 설명을 작성하고 Gemini에게 각 시도를 평가하도록 한 뒤, 에이전트가 밤새 돌아가도록 맡겨둔 경험을 소개한다. 아침에 로그를 확인해보니 40개의 가설이 테스트되어 있었다. 그는 초기의 서툰 시도(계획 없이 열 개의 에이전트를 병렬로 실행)와 두 번째 시도(에이전트에게 상세한 작업 일정을 부여)를 대조하면서, 오히려 별다른 노력을 들이지 않은 저녁의 접근법이 효과적이었다고 설명한다. 그는 핵심이 에이전트를 더 잘 통제하는 데 있는 것이 아니라, 결과를 누가 평가하느냐에 있었다고 말한다. 그는 몇 가지 선례를 인용한다. sankalp의 QR 분해는 배치 QR 연산에서 232배의 속도 향상을 달성했고, Karpathy의 630줄짜리 자동 연구 스크립트는 밤새 수백 건의 실험을 수행했으며, DeepMind의 AlphaEvolve는 50개의 미해결 수학 문제 중 20%에 대해 더 나은 해법을 찾아냈고 구글의 데이터센터, 칩 설계, AI 학습 과정을 가속화했다. 공개한다. 첫 번째 사례에서는 데이터셋 필터를 손수 만드는 데 2주를 들였지만, VLM(시각언어모델)을 활용한 Gemini 기반 오라클이 단 몇 번의 실행만으로 그 결과를 뛰어넘었다. 두 번째 사례에서는 30%의 학습 속도 향상을 얻었지만 몇 가지 함정에 부딪혔다. 손실값 일치 검사(loss parity check)를 포함하는 것을 깜빡해 손실값이 NaN(수치 아님)으로 나오는 문제가 발생했고, 오라클이 충분히 세밀하지 않아 이미지-텍스트 제거 작업에서 남은 글자 같은 잔여물(artifact)을 놓치기도 했다. 그는 좋은 오라클과 루프를 구축하는 것이야말로 진짜 해야 할 작업이며, 루프 안에 들어가는 모델이 무엇인지도 중요하다고 강조한다. 그는 이제 전문성의 무게중심이 '해법을 찾는 것'에서 '해법을 찾아내는 시스템을 구축하는 것'으로 옮겨가고 있다고 결론짓는다.