Perplexity AI представляет открытый бенчмарк WANDR для оценки исследовательских агентов

Компания Perplexity AI выпустила открытый бенчмарк WANDR (Wide ANd Deep Research), предназначенный для оценки ИИ-агентов, выполняющих сбор больших коллекций данных с подтверждающими источниками. Бенчмарк состоит из 500 реалистичных задач, требующих как широкого охвата, так и глубокой проверки каждого факта. Тестирование шести продуктовых систем показало, что лучший результат (Soft F1=0,363) достигнут системой Search as Code от Perplexity, однако ни одна система не справилась с задачами полностью.

Perplexity AI Anthropic OpenAI Exa

Разбор обвязок кодинг-агентов: как архитектура harness влияет на результат больше, чем модель

Автор разобрал исходники Codex, OpenCode, Pi и собственного агента agent-core, чтобы показать, как архитектурные решения обвязки вокруг модели (harness) определяют эффективность кодинг-агентов. Эксперименты подтверждают, что на заточенной под задачу обвязке результат зависит от неё в 7.8 раз сильнее, чем от модели. Рассмотрены ключевые ставки: агентный цикл, сжатие контекста, права и песочница, инструменты, скиллы, субагенты и расширяемость.

OpenAI Anthropic