Бенчмаркинг открытых моделей для агентов: как измерять эффективность инструментов

Hugging Face представили новый подход к бенчмаркингу агентов, основанный на библиотеке transformers. Вместо оценки только финального ответа они измеряют весь процесс: количество шагов, токенов и времени, затраченных агентом. Эксперименты проводились на открытых моделях (включая MiniMax-M2.7) с тремя вариантами доступа к библиотеке: bare (только pip install), clone (полный исходный код) и skill (упакованные документы и примеры). Для крупных моделей оказалось, что версия с CLI и Skill сокращает медианное время, но увеличивает потребление токенов в варианте clone (агенты читают новую документацию). Для малых моделей skill-вариант улучшал точность у крупных, но ухудшал у мелких. Инструмент позволяет сравнивать разные модели и версии библиотеки, а также выявлять узкие места во взаимодействии агента с кодом.