Разработчики ИИ-моделей: стремятся ли они к «пеликанмаксингу»?
Исследователь протестировал семь современных моделей ИИ с помощью популярного неформального бенчмарка: генерации SVG-изображения пеликана на велосипеде. Результаты не подтверждают, что модели оптимизированы под этот конкретный запрос, что снимает подозрения в манипуляции бенчмарком.
Саймон Уиллисон тестировал крупные релизы LLM с помощью промпта «Сгенерируй SVG пеликана на велосипеде», который стал известным неформальным бенчмарком. Чтобы выяснить, занимаются ли лаборатории ИИ «пеликанмаксингом» (оптимизацией моделей под популярные бенчмарки), исследователь провёл эксперимент. Они сгенерировали 1008 SVG в семи моделях: GPT-5.6 Terra, Claude Sonnet 5, Gemini 3.5 Flash, Grok
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал