GuardRate: गार्डरेल मॉडल्स के लिए एक स्वतंत्र एरेना का निर्माण (भाग 1)
Meta
NVIDIA
OpenAI
AllenAI
Microsoft
HiveTrace टीम GuardRate पेश करती है, जो गार्डरेल मॉडल्स का निष्पक्ष मूल्यांकन करने के लिए एक उपकरण और लीडरबोर्ड है। यह उपकरण बेंचमार्किंग को स्वचालित करता है, FPR और FNR जैसे पारदर्शी मेट्रिक्स प्रदान करता है, और आर्किटेक्चर बनाम आकार जैसी अंतर्दृष्टि को उजागर करता है। लीडरबोर्ड अब सार्वजनिक है, और CLI सोर्स कोड Q3 2026 में जारी होने की योजना है।
HiveTrace टीम ने LLM के लिए गार्डरेल मॉडल की तुलना करने हेतु GuardRate, एक CLI उपकरण और सार्वजनिक लीडरबोर्ड (HiveTrace GuardRate Leaderboard) बनाया है। यह उपकरण मूल्यांकन प्रक्रिया को स्वचालित करता है: यह YAML से डेटासेट और मॉडल कॉन्फ़िगरेशन खींचता है, प्रति मॉडल अलग-थलग वातावरण चालू करता है, निश्चित बेंचमार्क चलाता है, और मेट्रिक्स (FPR, FNR, Integral Score) की गणना करता है। परिणाम आर्टिफैक्ट्स के माध्यम से प्रतिलिपि योग्य होते हैं। लीडरबोर्ड मॉडल को Integral Score के आधार पर रैंक करता है; प्रमुख मॉडलों में YuFeng-XGuard-Reason-8B (0.761), HiveTraceGuard-Pro 0.6B (0.743), और OpenGuardrails-Text-2510 (0.738) शामिल हैं। अंतर्दृष्टियों से पता चलता है कि आकार से अधिक वास्तुकला मायने रखती है, छोटे मॉडल बड़े मॉडलों को हरा सकते हैं, और विलंबता व्यापक रूप से भिन्न होती है (उदाहरण के लिए, Llama-3.1-Nemotron-Safety-Guard-8B में p95=398.3 ms है)। इस प्रक्रिया ने ऑडिट समय को लगभग 5 घंटे से घटाकर लगभग 30 मिनट कर दिया, जिससे श्रम लागत में 90% की कटौती हुई। स्रोत कोड को Q3 2026 में जारी करने की योजना है।
स्रोत: Habr — хаб ИИ —
मूल