OpenAI публично бросает вызов одному из самых внимательно отслеживаемых бенчмарков для кодинга в ИИ-индустрии, утверждая, что значительная часть задач в SWE-Bench Pro может быть настолько дефектной, что искажает сравнение моделей. В новом анализе, опубликованном OpenAI, компания заявила, что ее аудит обнаружил признаки того, что примерно 30% задач в бенчмарке сломаны.

Это открытие важно не только для одного набора данных. Бенчмарки для кодинга, такие как SWE-Bench Pro, стали кратким ориентиром для оценки прогресса в агентной разработке ПО, влияя на исследовательские приоритеты, сообщения о релизах и, в некоторых случаях, на представления бизнеса о том, какая модель лучше всего подходит для задач программирования. Ключевая мысль OpenAI в том, что если базовые задачи ненадежны, то громкие результаты могут говорить о реальных способностях в разработке ПО меньше, чем предполагают многие создатели и покупатели моделей.

Почему OpenAI оспаривает бенчмарк, на который опиралась индустрия

По словам OpenAI, компания начала проверять SWE-Bench Pro после того, как ранее пришла к выводу, что SWE-bench Verified имеет серьезные проблемы с дизайном и загрязнением данных. Тогда OpenAI заявила, что призывала более широкое сообщество перейти на SWE-Bench Pro как на более сильный тест для более долгосрочных и реалистичных задач кодинга.

Этот более новый бенчмарк стал влиятельным отчасти потому, что, казалось, показывал быстрый прогресс. OpenAI написала, что на публичном сплите из 731 задачи фронтирные модели улучшили показатель прохождения с 23,3% до 80,3% за восемь месяцев. Такой скачок обычно указывал бы на крупный рост практических навыков программирования.

Теперь OpenAI утверждает, что к этим результатам нужно относиться осторожнее. В последнем аудите компания сообщила, что ее внутренняя пайплайн-аналитика по точкам данных пометила 200 задач, или 27,4% датасета, как сломанные. Отдельная кампания ручной разметки выявила 249 задач, или 34,1%, как сломанные. На основе этих проверок OpenAI оценивает, что около 30% задач SWE-Bench Pro имеют дефекты.

Позиция компании не в том, что каждая задача бесполезна или что сигналов больше нет. Напротив, она предупреждает, что результаты бенчмарка следует интерпретировать осторожно, поскольку значительная часть теста может наказывать корректное поведение или поощрять неполные исправления.

Конкретные типы сбоев, которые, по словам OpenAI, были обнаружены

Анализ OpenAI разбивает проблемы на несколько категорий, знакомых любому, кто работал с оценками, особенно в программных задачах, где скрытые тесты заменяют человеческое суждение.

Одна категория — чрезмерно строгие тесты. По данным OpenAI, некоторые задачи требуют очень конкретной детали реализации, которая не указана в промпте. Это означает, что модель может выдать функционально правильное решение и все равно провалиться.

Вторая категория — недостаточно специфицированные промпты. В таких случаях, по словам OpenAI, скрытые тесты навязывают требования, которые невозможно разумно вывести из описания задачи. Это создает разрыв между тем, что модель должна сделать, и тем, по чему ее оценивают.

Третья проблема — низкое покрытие тестов. OpenAI заявила, что некоторые тесты недостаточно проверяют, действительно ли была реализована запрошенная функция, позволяя проходить частичным или незавершенным исправлениям. Для покупателей, оценивающих ИИ-системы для кодинга, это обратный тип сбоя по сравнению с чрезмерно строгими тестами: бенчмарк может завышать, а не только занижать способности.

OpenAI также указала на вводящие в заблуждение промпты, которые направляют модели к поведению, противоречащему тому, чего затем ждут тесты. Компания привела пример с форматированием оглавления в Markdown, где видимый промпт и скрытые тест-кейсы различались одним ведущим пробелом. В такой ситуации модель, следуя промпту буквально, все равно могла бы быть признана неверной.

Этот пример затрагивает суть более широкой критики. Многие программные проблемы и pull request'ы возникают в реальных репозиториях для человеческого сотрудничества, а не как аккуратные оценочные задания. OpenAI утверждает, что при превращении таких артефактов в бенчмарк промпт, эталонный патч и тесты не всегда достаточно хорошо совпадают, чтобы обеспечить надежное оценивание.

Как проводился аудит и где сохраняется неопределенность

Самые сильные факты в этой истории происходят из собственной опубликованной методологии OpenAI, но это все же выводы, сообщенные самим поставщиком, а не независимый сторонний обзор бенчмарка.

OpenAI заявила, что построила пайплайн контроля качества, который изучал инструкции к задачам, попытки моделей, метаданные и трассировки сбоев, чтобы выявить вероятные проблемные случаи. Компания сказала, что первоначальный автоматический фильтр пометил 286 потенциально сломанных задач для более глубокого рассмотрения.

Далее OpenAI использовала два параллельных канала проверки. Один включал исследовательских агентов на базе Codex с доступом к репозиторию и среде выполнения, что позволяло им просматривать файлы, запускать тесты и анализировать сбои моделей. Второй представлял собой кампанию ручной разметки с участием опытных инженеров-программистов. OpenAI заявила, что каждая задача, отмеченная в ходе этого процесса, была рассмотрена пятью инженерами, а разногласия передавались на следующий уровень.

OpenAI сообщила, что человеческие рецензенты в целом чаще, чем агентный пайплайн, помечали задачи как сломанные. Компания также сказала, что совпадение категорий между суждениями рецензентов и агентным пайплайном составило 74% для отмеченных задач, и что ни в одной из отмеченных задач метка «не сломано» не была самой частой человеческой меткой.

Эти детали усиливают аргумент компании о том, что проблемы не ограничиваются единичными пограничными случаями. Но есть и ограничения того, что можно заключить из опубликованных материалов. Доступные источники не содержат внешнего ответа сопровождающих SWE-Bench Pro и не дают покомпонентного пересчета крупных моделей на исправленной версии датасета. Так что хотя OpenAI убедительно показывает, что бенчмарк шумный, точное влияние на рейтинги моделей по представленным данным все еще неясно.

Почему это важно для создателей моделей и корпоративных покупателей

Для лабораторий ИИ немедленный вывод таков: победы в бенчмарках по кодингу могут быть менее устойчивыми, чем кажутся. Если почти треть задач содержит дефекты, разрывы в таблице лидеров могут отражать несоответствия между промптом и тестом, предположения реализации или слабое покрытие тестами, а не реальные различия в навыках модели.

Это особенно важно для команд, создающих ИИ-агентов для работы с ПО. SWE-Bench Pro позиционировался как значимый тест более долгосрочного поведения при кодинге, ближе к тому, что агентные системы делают в продакшене. Если его задачи существенно дефектны, разработчикам нужны более широкие стекы оценки: тестирование на уровне репозитория, человеческая проверка, анализ регрессий и реальные метрики развертывания, а не один публичный балл.

Для покупателей корпоративного ИИ предупреждение OpenAI — напоминание не приравнивать процент прохождения бенчмарка к готовности к продакшену. Модель, хорошо показывающая себя на SWE-Bench Pro, все равно может испытывать трудности с надежностью, неоднозначностью или полнотой тестов в реальной кодовой базе. И наоборот, модель, выглядящая слабее в бенчмарке, может быть наказана дефектами самих задач.

Это также вопрос управления и контроля. OpenAI прямо связала качество бенчмарка с решениями о безопасности и развертывании в рамках своего Preparedness Framework. Логика проста: если оценки завышают или занижают возможности, они могут искажать как решения о запуске продукта, так и оценку рисков. Это относится не только к OpenAI и не только к бенчмаркам для кодинга. По мере того как модели все чаще оцениваются по агентному поведению, плохая гигиена бенчмарков становится стратегической проблемой, а не только академической.

Также примечателен акцент компании на аудите с помощью агентов. OpenAI фактически утверждает, что тот же класс систем, который тестируется, может помочь и в отладке самих тестов. Станет ли этот подход стандартом, будет зависеть от того, примут ли внешние исследователи идею, что агентная проверка может улучшить качество датасета, не добавляя еще один слой зависящего от модели смещения.

Доказательства, заявления и то, что сообщено поставщиком

Центральное утверждение этой истории — это сообщение поставщика: OpenAI говорит, что около 30% задач SWE-Bench Pro сломаны, основываясь на своем внутреннем аудите и организованной ею кампании ручной проверки.

OpenAI также сообщает, что фронтирные модели улучшились с 23,3% до 80,3% на публичном сплите бенчмарка из 731 задачи за восемь месяцев. В этой статье эту цифру следует читать как тенденцию бенчмарка, приведенную OpenAI, а не как независимо верифицированную рыночную метрику.

Методологические детали более конкретны. OpenAI говорит, что ее автоматический фильтр отметил 286 задач, ее пайплайн анализа точек данных признал 200 задач сломанными, а кампания ручной разметки признала 249 сломанными. Она также сообщает, что пять опытных инженеров проверяли каждую отмеченную задачу и что суждения рецензентов совпадали с агентным пайплайном в 74% отмеченных случаев.

Что остается непроверенным на основе доступных данных: как те же задачи классифицировали бы сопровождающие бенчмарк команды или другие лаборатории, существенно ли исправленные задачи перетасовали бы лидерборды моделей, и встречаются ли похожие уровни ошибок в смежных бенчмарках кодинга, помимо SWE-bench Verified и SWE-Bench Pro.

На что смотреть дальше

Первый сигнал, за которым стоит следить, — опубликуют ли сопровождающие SWE-Bench Pro ответ, пересмотренный датасет или формальное опровержение. Если они согласятся с существенной частью выводов OpenAI, бенчмарк может быть быстро обновлен. Если они оспорят выводы, отрасли, возможно, понадобится независимая процедура разбирательства.

Во-вторых, стоит посмотреть, изменят ли крупные лаборатории то, как они сообщают о результатах в кодинге. Если в будущих релизах моделей меньше внимания будет уделяться SWE-Bench Pro и больше — закрытым наборам оценок, тестированию на уровне репозиториев или исследованиям завершения задач, это будет указывать на снижающееся доверие к публичным кодинговым лидербордам.

В-третьих, следите, не выпустит ли OpenAI больше инструментов или методологии для аудита бенчмарков с помощью Codex или связанных исследовательских агентов. Воспроизводимый аудиторский пайплайн может повлиять на то, как отрасль проверяет не только наборы данных для кодинга, но и оценки ИИ-агентов в более широком смысле.

Наконец, более широкий вопрос — стал ли разгон бенчмарков повторяющейся моделью в быстро меняющихся категориях моделей. OpenAI ранее критиковала SWE-bench Verified, а теперь поднимает проблемы с SWE-Bench Pro. Если следующее поколение кодинговых оценок столкнется с похожими проблемами, рынок может сместиться к смешанным доказательствам: публичным бенчмаркам, клиентской телеметрии и контролируемым тестам реальных рабочих процессов вместо лидербордов с одной цифрой.

Мнение Creati.ai

Анализ OpenAI важен не столько потому, что он атакует один бенчмарк, сколько потому, что обнажает структурную проблему измерения ИИ. Индустрии нужны чистые, сопоставимые числа для моделей кодинга, но программные задачи неаккуратны. Когда промпты, скрытые тесты и эталонные патчи берутся из реальных репозиториев, небольшие несоответствия могут тихо превращать оценивание в шум. Это проблема и для разработчиков, пытающихся оптимизировать модели, и для компаний, пытающихся покупать с уверенностью.

Практический вывод — не переставать использовать SWE-Bench Pro, SWE-bench Verified или другие публичные бенчмарки. Их следует понизить из статуса окончательных вердиктов до ориентировочных сигналов. Для команд, выпускающих ИИ-агентов, грамотность в бенчмарках теперь часть продуктовой работы: нужно понимать, что на самом деле измеряет оценка, чего она не замечает и насколько она может быть хрупкой. Лаборатории, которые заслужат доверие в кодинге, будут теми, кто сочетает сильные публичные результаты с прозрачным дизайном оценки, реальными данными рабочих процессов и готовностью проверять собственные измерительные линейки.