문제은행이 따라잡지 못할 때, AI가 스스로 문제를 만들기 시작한다: 끊임없는 프런티어 팀, 데이터 수준 RSI 시행
DP Technology
DeepSeek
상하이 자오퉁 대학, DP 테크놀로지, 상하이 알고리즘 혁신 연구소의 중국 팀이 재귀적 자기 개선을 기반으로 네이티브하게 훈련된 최초의 베이스 모델인 BigBang-V1을 공개했다. 35B 모델은 100% AI 합성 훈련 데이터를 사용하며, 여러 과학적 벤치마크에서 수조 파라미터 모델을 능가하는 성능을 보여주며 자기 진화 데이터 파이프라인을 입증했다.
상하이자오퉁대학교(Shanghai Jiao Tong University) AI연구소, DP Technology, 상하이알고리즘혁신연구소(Shanghai Institute of Algorithm Innovation) 소속 연구진으로 구성된 Endless Frontier 팀이 재귀적 자기개선(recursive self-improving, RSI) 방식으로 처음부터 네이티브하게 학습된 최초의 베이스 모델인 BigBang-V1을 공개했다. 이 접근법에서는 AI가 문제 생성, 풀이, 검증을 모두 담당해 사람이 작업 단위로 개입하지 않고도 고품질의 자기진화형 합성 데이터를 생성한다. 이 모델은 350억(35B) 개의 파라미터를 가지며 추론 시에는 약 30억(3B) 개가 활성화되고, 26만 2천(262K) 토큰의 긴 컨텍스트를 지원하며, 프런티어 과학 과제에 초점을 맞춘 AI 합성 데이터만으로 전량 학습되었다. 이 모델은 장기 탐색(long-horizon search), 코딩, 과학 연구, AI 연구 등을 포함한 벤치마크에서 350억 파라미터급 모델 중 10개 부문 1위를 차지했으며, FrontierScience Research와 PaperBench 같은 고난도 과학 과제에서는 1조(1T) 파라미터 규모의 DeepSeek V4 Pro Preview마저 능가했다. 이 모델의 역량을 보여주는 사례로는 접합부 증거(junction evidence)를 활용해 트랜스포존 삽입 부위를 정확히 찾아내는 것, 그리고 스모크 테스트 과정에서 스스로 오류를 수정하며 논문을 실행 가능한 코드로 재현해내는 것 등이 있다. 연구팀은 데이터 생산 시스템 자체를 최적화할 수 있다는 점을 강조하며, 이를 위해서는 프런티어급이면서도 검증 가능한 과제가 필요하다고 설명한다. 이들은 이중 루프 파이프라인을 구현했는데, 내부 루프에서는 생성기(Generator)와 검증기(Critic) 에이전트가 데이터를 생성하고 검토하며, 외부 루프는 실제 학습 결과를 바탕으로 시스템을 보정한다. 이러한 데이터 수준의 RSI 루프는 합성 데이터의 붕괴를 방지하며, 목표 설정, 예산, 리스크, 수용 기준 등은 여전히 사람이 정의한다. 해당 모델과 코드는 Hugging Face와 GitHub를 통해 오픈소스로 공개되었다.
출처: QbitAI 量子位 —
원문
