NeurIPS 튜토리얼에서 배우는 벤치마크 제작을 위한 6가지 교훈

NeurIPS의 튜토리얼 '벤치마킹의 기술'에서는 SWE-bench, GPQA의 저자들과 Google DeepMind, NYU, 버클리의 연구자들이 참여하여 벤치마크 생성의 주요 문제와 함정에 대해 논의했습니다. 여기에는 메트릭 폭정(metric tyranny)이 포함되는데, 메트릭에는 모델이 테스트를 '해킹'할 수 있는 허니 스팟(honey spot)이 존재하며, 피어슨 상관관계(Pearson correlation)는 이러한 지점을 감지하지 못합니다. 또한 LLM을 평가 소스로 사용하는 것은 위험하다는 점이 지적되었습니다: 이들은 캘리브레이션 세트(calibration set)에서만 인간과 상관관계를 보이며, 자기 편향(self-bias)으로 인해 자신의 결과가 부풀려집니다. 유일한 올바른 접근 방식은 모델이 실패하는 예제를 생성하는 것입니다. 벤치마크 생성자가 저지르는 여섯 가지 주요 실수로는: 최고 모델에서 70-80%의 정확도로 벤치마크를 출시하는 것(0-1%를 목표로 해야 함), 작업의 진정한 멀티모달리티(multimodality) 검증 부족, 자신의 지능 이론에 의존, 크라우드 스팸(crowd spam) 필터링 실패(최대 25%의 무작위 답변), 단일 크라우드 워커(crowd worker)에 작업 집중, p-값(p-value)과 신뢰 구간(confidence interval) 없이 결과를 발표하는 것이 있습니다. 미래에는 동적 벤치마크, 인간에 대한 LLM 영향의 종단 연구(longitudinal study), 모델 지식의 캘리브레이션(calibration), 그리고 고양이는 풀 수 있지만 GPT는 풀 수 없는 과제가 필요합니다.