Her Değerlendirmenin Sonucu Artık Hugging Face Model Sayfalarında

Şubat 2026'da EvalEval Koalisyonu tarafından başlatılan EEE (Every Eval Ever) projesi, birinci ve üçüncü taraf değerlendiriciler arasında yapay zeka değerlendirme raporlamasını standartlaştırmayı amaçlıyor. Proje, değerlendirmeyi kimin yaptığını, hangi modelin kullanıldığını, modele nasıl erişildiğini, üretim ayarlarını, metrik tanımlarını ve isteğe bağlı olarak örnek başına çıktıları kaydeden birleşik bir JSON şeması kullanıyor. Hugging Face, aynı anda Hub'da kıyaslama puanı raporlamasını merkeziyetsizleştirmek için Topluluk Değerlendirmelerini (Community Evals) başlattı. İkisi artık entegre edildi: katkıda bulunanlar, JSON kayıtlarını Hugging Face'in beklediği YAML formatına dönüştüren bir dönüştürücü aracılığıyla EEE sonuçlarını Hugging Face Topluluk Değerlendirmelerine gönderebiliyor. Ortaya çıkan puanlar, model sayfalarında, üretim yapılandırması, koşum sürümü ve tekrarlanabilirlik notları dahil olmak üzere tam EEE kaydına bağlantı veren bir rozetle görünüyor. Hugging Face'deki EEE veri deposu, 31 farklı raporlama formatından alınan, 22.000'den fazla model ve 2.200 kıyaslama üzerinde yaklaşık 229.000 değerlendirme sonucuna ulaştı. Bu çalışmaları sıfırdan tekrarlamak yüzbinlerce dolara mal olacak ve merkezi raporlamanın değerini vurguluyor. Dönüştürücü şu anda dört resmi kıyaslamayı destekliyor: MMLU-Pro, GPQA, HLE ve GSM8K. Kullanıcılar EEE kayıtlarını veri deposuna gönderebilir, ardından dönüştürücüyü çalıştırarak YAML önizlemeleri oluşturabilir ve incelemeden sonra çekme istekleri açabilir.