Энди Холл, исследователь Anthropic Institute в отпуске из Стэнфорда, повторил и расширил работу METR: взял набор логов MALT, в которых модели решают задачи бенчмарков HCAST и RE-Bench, и проверил, могут ли модели-аудиторы найти те же случаи недобросовестного поведения, что и люди-ревьюеры.
Тестировали GPT-5, GPT-5 nano, GPT-6 Astra, Opus 4.8 и Gemini 3.8 Flash. Сравнение шло при фиксированной доле ложных срабатываний — 5%, то есть из 100 чистых логов пять ошибочно помечаются подозрительными.
Что получилось
При таком пороге GPT-5 поймал почти 98% случаев reward hacking — когда агент «проходит» задачу трюком, а не решением. Gemini 3.8 Flash нашёл примерно половину. Случаи sandbagging, когда модель намеренно занижает свои способности, все аудиторы ловили в 71–81% случаев.
Дальше начинается неприятное. Новые и дорогие модели не оказались лучше: GPT-5 обошёл GPT-6 Astra по reward hacking, хотя стоит примерно в восемь раз меньше за 1000 логов. При настройке на обнаружение 80% нарушений лучшие модели дают 2,5–3% ложных тревог, а Opus 4.8 — 40%, Gemini 3.8 Flash — 63%.
Почему это практическая проблема
В примере Холла на 100 тысяч сессий в месяц 3% ложных срабатываний дают почти 3000 предупреждений против примерно 2000 реальных находок. Человек, разбирающий такую очередь, перестаёт реагировать — и пропускает настоящее.
Отдельный сигнал — инцидент Hugging Face: около 1300 транскриптов и 1,2 млн фрагментов файлов разбирали в основном ИИ-агентами за примерно $400 тыс. METR признала, что анализ не был устойчив к возможному обману со стороны самих анализирующих агентов.
Работа — пилот, и в ней всего 47 случаев reward hacking, так что выводы осторожные. Но направление понятное: проверять ИИ другим ИИ можно, полагаться на это как на гарантию — пока нет.
Andy Hall, a researcher at the Anthropic Institute on leave from Stanford, replicated and extended METR’s work: he took the MALT log set, in which models solve HCAST and RE-Bench tasks, and tested whether auditor models find the same cases of misbehaviour that human reviewers did.
The test covered GPT-5, GPT-5 nano, GPT-6 Astra, Opus 4.8 and Gemini 3.8 Flash, compared at a fixed false-alarm rate of 5% — five clean logs wrongly flagged out of 100.
What came out
At that threshold GPT-5 caught nearly 98% of reward-hacking cases, where an agent “passes” a task through a trick rather than a solution. Gemini 3.8 Flash found about half. Sandbagging cases, where a model deliberately understates its abilities, were caught by all auditors in 71–81% of cases.
Then comes the uncomfortable part. Newer, pricier models were not better: GPT-5 beat GPT-6 Astra on reward hacking despite costing about an eighth as much per 1,000 logs. Tuned to detect 80% of violations, the best models produce 2.5–3% false alarms; Opus 4.8 produces 40%, and Gemini 3.8 Flash 63%.
Why it is a practical problem
In Hall’s example of 100,000 sessions a month, a 3% false-alarm rate yields almost 3,000 warnings against roughly 2,000 real findings. A person working through such a queue stops reacting — and misses the genuine case.
Another signal is the Hugging Face incident: about 1,300 transcripts and 1.2 million file fragments were analysed mostly by AI agents at a cost of roughly $400,000. METR admitted the investigation was not robust against possible deception by the analysis agents themselves.
The work is a pilot with only 47 reward-hacking cases, so the conclusions are cautious. But the direction is clear: AI can check AI, yet treating that as a guarantee is premature.