AI Import 461 : 'L'alignement n'est pas sur la bonne voie' ; FrontierCode ; et des stagiaires en science synthétique
Cognition
Alibaba/Qwen
Anthropic
OpenAI
Des chercheurs de l'UK AISI et de Timaeus ont fondé l'organisation à but non lucratif Sequent pour développer des méthodes d'alignement garantissant la sécurité des systèmes superintelligents. Cognition a publié le benchmark FrontierCode pour évaluer la qualité du code, où le meilleur modèle, Claude Opus 4.8, n'a obtenu que 13,4% au niveau le plus difficile. Sont également présentés l'ensemble de données ChinaHeritaQA pour évaluer les connaissances culturelles des VLM sur les sites chinois classés à l'UNESCO et le modèle Xiaomi MiMo-V2.5-Pro-UltraSpeed avec une vitesse de génération de 1000 tokens par seconde.
Бывшие сотрудники отдела выравнивания UK AI Security Institute и стартапа Timaeus объединились для создания некоммерческой организации Sequent, которая займётся разработкой техник выравнивания, дающих высокую уверенность в безопасности сверхразумного ИИ. Sequent планирует привлечь $100–150 млн начального финансирования и нанять 40–80 сотрудников, делая ставку на портфель исследовательских направлений: масштабируемый надзор, теория обучения, эвристические аргументы, теория игр и персоны. Cognition, создатель Devin, представила бенчмарк FrontierCode из 150 задач по написанию кода, разделённых на три уровня сложности. Лучший результат на уровне Diamond показал Claude Opus 4.8 — 13.4%, что подтверждает сложность бенчмарка. На китайском рынке Xiaomi анонсировала модель MiMo-V2.5-Pro-UltraSpeed с 1 трлн параметров и скоростью генерации 1000 токенов/с за счёт совместной оптимизации архитектуры и софта, включая FP4-квантование и спекулятивное декодирование DFlash. Исследователи из нескольких университетов создали ChinaHeritaQA — мультимодальный бенчмарк из 2279 изображений 51 объекта Всемирного наследия ЮНЕСКО в Китае и 14 133 вопросов. Лучшая открытая модель Qwen-VL-8B-Instruct показала 81% точности, превзойдя человеческие 67%. Кроме того, исследователи из Сианьского университета Цзяотун и Университета Сяньдянь разработали бенчмарки AARR, оценивающие способность ИИ-агентов выполнять задачи, типичные для научного стажёра; лучшим агентом стал Claude-Opus-4.7 с Mini-Swe-Age.
Source: Import AI —
original