Todos los resultados de evaluaciones de IA realizadas ya están en las páginas de modelos de Hugging Face
Hugging Face
Meta
El proyecto EEE (Every Eval Ever, todas las evaluaciones realizadas) y la plataforma Community Evals de Hugging Face han unido fuerzas para estandarizar los informes de evaluación de IA. Los desarrolladores ahora pueden enviar resultados en un formato JSON unificado, y las páginas de modelos muestran datos verificados vinculados al protocolo de evaluación completo.
En febrero de 2026, se lanzó el proyecto EEE (Every Eval Ever) dentro de la coalición EvalEval, la primera iniciativa interorganizacional para mejorar la presentación de informes sobre evaluaciones de IA. Al mismo tiempo, Hugging Face lanzó Community Evals para mostrar de forma descentralizada los puntos de referencia en la plataforma. Anteriormente, los resultados de las evaluaciones estaban dispersos: se publicaban en artículos, tablas de clasificación, blogs y registros, a menudo en diferentes formatos, y un mismo modelo en un mismo punto de referencia podía mostrar puntuaciones diferentes (por ejemplo, LLaMA 65B obtenía 63,7 y 48,8 en MMLU) debido a configuraciones no documentadas. EEE introduce un esquema JSON unificado para registrar el resultado de una evaluación, que incluye datos sobre quién realizó la evaluación, qué modelo, método de acceso, ajustes de generación y descripción de la métrica. El repositorio EEE en Hugging Face ya contiene alrededor de 229 mil resultados para más de 22 mil modelos y 2.200 puntos de referencia, extraídos de 31 formatos de informes. Ahora, un convertidor transforma automáticamente los registros EEE en archivos YAML, requeridos por Hugging Face Community Evals, y los envía. Los resultados en las páginas de los modelos reciben una marca de verificación (verified checkmark) de EvalEval si los datos se envían a través de la cuenta oficial de la organización. El convertidor compara los campos, verifica los resultados existentes y crea una solicitud de extracción (pull request) solo después de la confirmación del usuario. Se admiten los puntos de referencia MMLU-Pro, GPQA, HLE y GSM8K.
Fuente: Hugging Face blog —
original
