GuardRate: создание независимой арены для моделей защиты (часть 1)
Команда HiveTrace представляет GuardRate — инструмент и лидерборд для объективной оценки моделей защиты. Инструмент автоматизирует бенчмаркинг, предоставляя прозрачные метрики, такие как FPR и FNR, и подчеркивает выводы, например, что архитектура важнее размера. Лидерборд теперь публичен, исходный код CLI запланирован на третий квартал 2026 года.
Команда HiveTrace создала GuardRate — CLI-инструмент и публичный лидерборд (HiveTrace GuardRate Leaderboard) для объективного сравнения моделей-ограждений для LLM. Инструмент автоматизирует конвейер оценки: он извлекает наборы данных и конфигурации моделей из YAML, запускает изолированные среды для каждой модели, выполняет фиксированные бенчмарки и вычисляет метрики (FPR, FNR, интегральный балл).
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал