Código Aberto 🇺🇸 27.07.2026 09:06

Todos os resultados de avaliação de IA já realizados estão agora nas páginas de modelos do Hugging Face

Hugging FaceHugging Face MetaMeta
O projeto EEE (Every Eval Ever, ou Todas as Avaliações Já Realizadas) e a plataforma Community Evals do Hugging Face uniram forças para padronizar o relatório de avaliação de IA. Os desenvolvedores agora podem enviar resultados em um formato JSON unificado, e as páginas dos modelos exibem dados verificados vinculados ao protocolo de avaliação completo.
Em fevereiro de 2026, foi lançado o projeto EEE (Every Eval Ever) no âmbito da coalizão EvalEval — a primeira iniciativa interorganizacional para melhorar a prestação de contas sobre avaliações de IA. Simultaneamente, a Hugging Face lançou o Community Evals para exibição descentralizada de benchmarks na plataforma. Anteriormente, os resultados das avaliações eram dispersos: publicados em artigos, tabelas de líderes, blogs e logs, muitas vezes em formatos diferentes, e um mesmo modelo em um mesmo benchmark podia apresentar pontuações distintas (por exemplo, LLaMA 65B obteve 63,7 e 48,8 no MMLU) devido a configurações não documentadas. O EEE introduz um esquema JSON único para registrar o resultado de uma avaliação, incluindo dados sobre quem realizou a avaliação, qual modelo, forma de acesso, configurações de geração e descrição da métrica. O repositório EEE no Hugging Face já contém cerca de 229 mil resultados para mais de 22 mil modelos e 2,2 mil benchmarks, extraídos de 31 formatos de relatórios. Agora, um conversor transforma automaticamente os registros EEE em arquivos YAML, exigidos pelo Hugging Face Community Evals, e os envia. Os resultados nas páginas dos modelos recebem um selo de verificação (verified checkmark) da EvalEval, se os dados forem enviados por meio de uma conta oficial da organização. O conversor mapeia os campos, verifica os resultados existentes e cria um pull request (PR) somente após confirmação do usuário. São suportados os benchmarks MMLU-Pro, GPQA, HLE e GSM8K.
Fonte: Hugging Face blog — original
Nossos posts anteriores sobre este tópico ↓
Notícias frescas