Investigación 🇺🇸 27.07.2026 09:06

Todos los resultados de Every Eval Ever ya están en las páginas de modelos de Hugging Face

Hugging FaceHugging Face MetaMeta
El proyecto EEE (Every Eval Ever), lanzado por la Coalición EvalEval, estandariza la presentación de informes de evaluación de IA mediante un esquema JSON unificado. Ahora integrado con Hugging Face Community Evals, permite el enlace cruzado entre las páginas de modelos y los registros completos de evaluación, con más de 229,000 resultados de 31 formatos ya recopilados.
El proyecto EEE (Every Eval Ever), lanzado en febrero de 2026 por la Coalición EvalEval, tiene como objetivo estandarizar los informes de evaluación de IA tanto de evaluadores propios como de terceros. Utiliza un esquema JSON unificado que registra quién realizó la evaluación, qué modelo, cómo se accedió a él, configuraciones de generación, definiciones de métricas y resultados opcionales por muestra. Hugging Face lanzó al mismo tiempo Community Evals para descentralizar los informes de puntuaciones de referencia en el Hub. Ahora ambos se han integrado: los contribuyentes pueden enviar resultados EEE a Hugging Face Community Evals a través de un conversor que transforma los registros JSON al formato YAML que Hugging Face espera. Las puntuaciones resultantes aparecen en las páginas de los modelos con una insignia que enlaza al registro completo de EEE, incluyendo la configuración de generación, la versión del arnés y notas de reproducibilidad. El almacén de datos de EEE en Hugging Face ha crecido hasta aproximadamente 229.000 resultados de evaluación en más de 22.000 modelos y 2.200 puntos de referencia, extraídos de 31 formatos de informes diferentes. Reproducir estas ejecuciones desde cero costaría cientos de miles de dólares, lo que destaca el valor de la centralización de informes. El conversor actualmente admite cuatro puntos de referencia oficiales: MMLU-Pro, GPQA, HLE y GSM8K. Los usuarios pueden enviar sus registros EEE al almacén de datos, luego ejecutar el conversor para generar vistas previas YAML y abrir solicitudes de extracción tras la revisión.
Fuente: Hugging Face blog — original
Nuestros artículos anteriores sobre este tema ↓
Noticias frescas