6 Lecciones para Crear Benchmarks del Tutorial de NeurIPS

En el tutorial de NeurIPS 'El arte de evaluar puntos de referencia' con la participación de los autores de SWE-bench, GPQA e investigadores de Google DeepMind, NYU y Berkeley, se discutieron problemas y trampas clave en la creación de puntos de referencia. Entre ellos se incluye la tiranía de las métricas, donde las métricas tienen puntos óptimos que permiten a los modelos 'hackear' la prueba, y la correlación de Pearson no logra detectar estos puntos. También se señaló que usar LLMs como fuentes de evaluación es peligroso: se correlacionan con los humanos solo en el conjunto de calibración, y el sesgo propio infla los resultados propios. El único enfoque correcto es generar ejemplos en los que el modelo falle. Entre los seis errores principales cometidos por los creadores de puntos de referencia se incluyen: lanzar un punto de referencia con un 70-80% de precisión en el modelo superior (se debería apuntar al 0-1%), falta de verificación de la verdadera multimodalidad de la tarea, dependencia de la propia teoría de la inteligencia, no filtrar el spam de los trabajadores (hasta un 25% de respuestas aleatorias), concentración del trabajo en un solo trabajador, y publicar resultados sin valores p ni intervalos de confianza. En el futuro, necesitamos puntos de referencia dinámicos, estudios longitudinales del impacto de los LLM en los humanos, calibración del conocimiento del modelo y tareas que un gato pueda resolver pero GPT no.