Идея GDPx отличается от привычных бенчмарков: вместо вопросов с известным ответом — задачи, похожие на настоящую работу специалиста. Проектирование чипа, количественный трейдинг, аналитика — то есть то, за что платят зарплату, а не за решение головоломок.
Результат отрезвляющий: ни одна модель не преодолела 12%. Первое место у Claude Opus 5.5, следом с небольшим отрывом идёт Gemini 4 Carbon. Для сравнения: на специализированных тестах те же модели показывают десятки процентов, а иногда и больше.
Почему цифры такие низкие
Причин две, и они важны для интерпретации. Во-первых, задачи составлены так, чтобы их нельзя было решить одним удачным ответом: нужна последовательность шагов, работа с инструментами и проверка результата. Во-вторых, оценка строгая — частичное выполнение почти не даёт баллов.
Критики справедливо замечают: задач в каждом домене немного, условия тестирования местами неравные, а сама методика SemiAnalysis не проходила независимую проверку. Так что 12% — это не «уровень интеллекта», а показатель того, насколько плохо текущие агенты справляются с длинными профессиональными сценариями.
Что с этим делать
Для команд, которые выбирают, где применять агентов, вывод практичный: узкие задачи с проверяемым результатом — да; «пусть агент разберётся сам» на длинном горизонте — пока нет. И ещё: смотреть не на лидерборд, а на свой набор задач. Разница между 12% и 40% в чужом тесте часто означает лишь то, что тест был другим.
The GDPx idea differs from familiar benchmarks: instead of questions with known answers, it uses tasks that resemble a specialist’s actual work. Chip design, quantitative trading, analysis — the things people are paid for, not puzzle solving.
The result is sobering: no model passed 12%. Claude Opus 5.5 leads, with Gemini 4 Carbon close behind. By comparison, the same models score tens of percent on specialist tests, sometimes more.
Why the numbers are so low
There are two reasons, and both matter for interpretation. First, tasks are built so that no single lucky answer solves them: a sequence of steps, tool use and verification are required. Second, scoring is strict — partial completion earns almost nothing.
Critics rightly note that each domain has few tasks, testing conditions are uneven in places, and the methodology has not been independently reviewed. So 12% is not a measure of “intelligence” but of how badly current agents handle long professional scenarios.
What to do with it
For teams deciding where to use agents, the practical conclusion is: narrow tasks with verifiable results, yes; “let the agent figure it out” over a long horizon, not yet. And look at your own task set rather than the leaderboard. The difference between 12% and 40% on someone else’s test often just means the test was different.