AI मॉडल डेवलपर्स: क्या वे पेलिकनमैक्सिंग कर रहे हैं?
OpenAI
Anthropic
Google/DeepMind
xAI
Alibaba/Qwen
DeepSeek
एक शोधकर्ता ने एक लोकप्रिय अनौपचारिक बेंचमार्क का उपयोग करके सात आधुनिक AI मॉडलों का परीक्षण किया: साइकिल पर पेलिकन का SVG बनाना। परिणामों से पता चलता है कि मॉडल इस विशेष प्रॉम्प्ट के लिए अनुकूलित नहीं हैं, जिससे बेंचमार्क अधिकतमकरण की आशंकाएं दूर होती हैं।
साइमन विलिसन प्रमुख LLM रिलीज़ का परीक्षण 'साइकिल पर पेलिकन का SVG बनाएं' प्रॉम्प्ट के साथ करते रहे हैं, जो एक प्रसिद्ध अनौपचारिक बेंचमार्क बन गया है। यह जांचने के लिए कि क्या AI प्रयोगशालाएं 'पेलिकनमैक्सिंग' (लोकप्रिय बेंचमार्क के लिए मॉडल को अनुकूलित करना) कर रही हैं, एक शोधकर्ता ने एक प्रयोग किया। उन्होंने सात मॉडलों - GPT-5.6 Terra, Claude Sonnet 5, Gemini 3.5 Flash, Grok 4.5, Qwen3.7-Max, GLM-5.2, और DeepSeek V4 Pro - में 48 प्रॉम्प्ट (8 जानवर × 6 वाहन) का उपयोग करके 1008 SVG उत्पन्न किए। प्रत्येक SVG को रेंडर किया गया और एक LLM जज द्वारा मूल्यांकन किया गया। विश्लेषण में इस बात का कोई सबूत नहीं मिला कि साइकिल पर पेलिकन वाली छवियों ने अपेक्षा से अधिक अंक प्राप्त किए, जो इस बात की ओर संकेत करता है कि इस बेंचमार्क के लिए कोई लक्षित अनुकूलन नहीं है।
स्रोत: Habr — хаб ИИ —
मूल