smevals: новый инструмент для оценки моделей, промптов и харнессов
Саймон Уиллисон представил smevals — новый фреймворк для запуска небольших наборов оценочных тестов (evals) для различных конфигураций моделей и оценки результатов. Инструмент включает команды для запуска, оценки и визуализации результатов, а также поддерживает статическую генерацию HTML-отчётов.
Саймон Уиллисон совместно с лабораторией прикладного искусственного интеллекта Prime Radiant Джесси Винсента разработал smevals — новый инструмент для запуска небольших наборов оценочных тестов (evals) для различных конфигураций моделей и оценки результатов. Инструмент позволяет пользователям создавать eval-наборы в виде каталогов с YAML-файлами, запускать их против моделей, таких как gpt-5.5 и
Показать ещё ↓
Источник: Simon Willison —
оригинал