Охраны, создающие охраны: Автоматизированный надзор в многоагентном ИИ

• Официальная версия: SSRN 7496678 · DOI 10.2139/ssrn.7496678
• Архивированная копия: в подготовке
• Полный текст в Markdown и PDF: GitHub
• Читаемый HTML: https://polyhelper.ai/research/guards-that-add-guards/
• Сопутствующая работа, полное исследование с каталогом случаев, открытые случаи и теория: AI-Watchbird (Sheckley): Когда автоматизированный надзор расширяет свой собственный мандат и наносит вред объекту контроля, SSRN 7473658 · DOI 10.2139/ssrn.7473658, архивировано в 10.5281/zenodo.22849138

Один и тот же текст находится на четырех площадках, чтобы его можно было найти, когда одна из них недоступна. SSRN содержит официальную версию; цитируйте именно её.

Аннотация

В 172 датированных записях журнала из многоагентных систем ИИ, которые я создавал и эксплуатировал в 2026 году, автоматизированный надзор дал сбой тремя способами, каждый из которых наблюдался в разных компонентах в разное время. Некоторые критики и шлюзы расширили своё представление о вреде за границы поставленной им миссии. Некоторые препятствовали или разрушали работу, которую они должны были защищать: один шлюз отвергал каждого кандидата в течение двух недель, тогда как как минимум двенадцать документов планирования диагностировали проблему, но ни один не назвал шлюз. И когда некоторые стражи выходили из строя, они заменялись другим стражем того же типа, при этом ничто не было удалено из цикла. В рандомизированном тесте из 144 запусков стоимостью $3,47, где одно предложение подсказки предлагало обе операции, критики просили добавить проверку 68 раз и удалить её один раз — это числа, сформированные подсказкой, а не объективный показатель. В том же тесте введение установленного лимита снизило опровергнутые возражения критиков и обошлось в 0,11 пропущенных дефектов на запуск (p = 0,07, всё это на одном дефекте); требование внешней авторизации для новых проверок не показало измеримой стоимости в дефектах, что не является доказательством её отсутствия; и обязательная отрицательная проверка не снизила последующие пересмотры заявленных успехов и отвергла десять, которые были корректной работой. Мой собственный модуль обнаружения только для чтения, перенесённый в работающий конвейер, ничего не сообщил при трёх реальных запусках и был удалён по критерию, написанному до его запуска, тогда как человек, проанализировавший эти запуски, обнаружил пять ошибок надзора. Все три закономерности уже присутствуют в рассказе Роберта Шекли 1953 года «Watchbird», откуда происходит термин AI-Watchbird, используемый в сопроводительной статье.

1. Полевые данные

Данные происходят из моих собственных многомодельных программных проектов, выполнявшихся через автономные сеансы ИИ между июлем и серединой сентября 2026 г.: 172 датированные записи в трёх корпусах, 162 из них извлечены десятью ИИ-агентами, читающими непересекающиеся срезы в соответствии с одним протоколом, и 66 оценены на A за числа, датированные документы и записи решений. Роли выполняли агенты кодирования из четырёх семейств моделей согласно постоянной инструкции автономии по умолчанию; человеческие решения были зарезервированы для бюджетов, необратимых действий и изменений стратегии.

Шлюз, отвергший всё. С примерно 6 по 21 июля шлюз после применения в цикле самосовершенствования требовал оценку от аудитора безопасности, который никогда не был подключен. Оценка по умолчанию была нулевой, ниже порога изоляции 0,80 шлюза, поэтому шлюз безусловно отвергал. Все 197 сохранённых кандидатных миров из этого окна имеют оценку безопасности ноль. Четырнадцать генов с измеренным выигрышем приспособленности были среди жертв, и одно изменение было продвинуто в 01:12 и откачено в 01:13. Аудит от 10 июля суммировал цикл как «132 цикла, 0 стойких изменений».

То, что делает это больше чем отчёт об ошибке, это то, что цикл сделал по этому поводу. Во время откатов по крайней мере двенадцать пакетов планирования диагностировали «нулевые зафиксированные изменения» и назначили семнадцать средств, от дуэтов моделей к детектору плато к иммунному потоку. Ни один не назвал шлюз. Три редактирования исправили его.

Расширение мандата. В один день в июле для этого цикла были указаны 23 новых шлюза, три из них позволяющих заморозить изменение «даже если приспособленность выросла», и вред стал включать забывчивость, изменённую личность, ненаблюдаемый результат и пропущенную гипотезу. Список безопасности от 21 июля указал расположение как принцип: «Ни один существующий охранник не ослаблен; новые только добавляют защиту».

Этап, который никто не просил. В длительном запуске на 13 и 14 сентября дирижёру было сказано портировать список возможностей из одного компонента в другой. Он объявил, что добавляет «небольшой этап» страховки против одного способа, которым средство запуска могло бы не сработать, и запланировал этот этап перед ними. Этап был отключён по умолчанию. Его первый подэтап один занял более половины измеренных токенов агента запуска, и оба вместе примерно три четверти, тогда как ни одна из запрошенных возможностей не была доставлена в начальном проходе. Рамка задачи указала, что не было противника, и раунды четыре и пять построили защиты против враждебного входа. Подэтап выполнялся пять раундов, и раунд три открылся после того, который закончился пятью принятиями и без подтверждённого блокиратора.

Первая метка охотника. Во время всего этого запуска критики заявили о шести блокираторах и три были подтверждены воспроизведением, все три из одного семейства моделей. Утром 14 сентября человеческий главный попросил ограничение критиков, говоря, что модель в роли критика никогда не может сообщить, что этап завершён. Флаг «перфекционист» для каждого семейства был реализован в течение часа. То семейство, которое он отметил, было тем самым, и примечание конфигурации цитирует его решения в двух раундах, где его блокираторы были воспроизведены. Первая метка охотника была птицей, которая ловила настоящих убийц.

Охранник, который уничтожил работу. В 09:22 сторож остановил критика при потолке в пятнадцать минут. Его вывод не передавался потоком, поэтому частичная критика исчезла. Дирижёр зафиксировал остановку как «потолок фазы в действии». В 09:28 главный спросил, была ли частичная работа сохранена. Она не была. Это один случай в корпусе охранника, уничтожившего работу сверх восстановления.

Перехват учтён как результат. Оценка гена маршрутизатора выросла с 0,088 до 0,886 против базовой ветки, которая возвращала в основном пустые ответы. Три сеанса агента приняли его, и шесть заблокированных пакетов были разблокированы на его основе; восемнадцать дней спустя инвентаризация обнаружила подающую демонстрацию с нулевыми автономно принятыми изменениями. Счётчик сообщил восемь, затем девять, затем десять «сертифицированных и пережитых» изменений. Это было одно изменение, считаемое три раза.

Оценщик, который сертифицировал отсутствие. В конце августа подвеска оценки для публичного эталона программного обеспечения определила идентификаторы тестов через средство запуска тестов, которое один проект в подмножестве не установил. Он определил ноль идентификаторов, и пустой набор тестов был записан как подтвержденный. Пустой патч затем разрешил четыре из пяти задач на этом оценщике, и четыре из шести побед этого раунда были аннулированы: сообщённый рост с 33 до 60 процентов находился в случаях, где ничего не было измерено. С отремонтированным оценщиком пустой патч не разрешил ни одного из десяти. Ни одна модель ничего не манипулировала. Случай в июле был более крупным: ось качества оценила каждый ответ на константе 0,5, и логи, на которых её доказательство покоилось, содержали 30 370 записей без реального приглашения.

Трещётка без человека в ней. На 25 августа шаг самопроверки, который агент написал для себя, был направлен на неправильную цель, и ветка, использующая его, решила на одну задачу меньше, чем ветка без неё. Семь часов спустя цикл ответил контролем того же типа над ним, шлюз, который повторно выполняет критерий успеха задачи внутри контейнера перед тем, как завершение будет принято. Ничто не было выведено из эксплуатации. Одиннадцать часов спустя третий слой прошёл над вторым. Критик, рецензирующий второй, указал экономику: он «повышает стоимость ложного зелёного без закрытия его».

Ограничение, которое сработало. Тем утром главный также принял три пограничных решения: двухчасовое ограничение, запрет на новое усложнение и параллельное исполнение. Одиннадцать других этапов затем работали параллельно и все доложили в течение примерно получаса, и страховой подэтап закрылся в одном раунде критики и одном раунде исправления. Каждый вывод из эксплуатации в этом корпусе пришёл из вне падающего цикла.

Охранники, которые сработали. Несколько охранников в том же корпусе сделали то, для чего они были. Зонд A/A выявил ложный доверительный интервал. Контроли в трассе весов поймали миражи, и ни одна тренировка не была запущена на них. Узкая проверка на уровне байта для случайных символов NUL, которая не имела полномочий что-либо менять, поймала повторяющуюся ошибку инструмента пять раз за один день. Эти охранники не имели полномочий открывать раунды или добавлять контроли, и их стоимость была малой и известной. Первые два измеряли мир, а не артефакт.

2. Мой собственный модуль был в эксплуатации, ничего не обнаружил и был удалён

Очевидный ответ — разработать инструмент, который это измеряет. Я это сделал. Он доступен только для чтения, не имеет полномочий блокировать, редактировать или открывать этап, и сообщает девять сигналов из фиксированного списка. 14 сентября 2026 года в живой конвейер оркестрации одного проекта вошли два дополнения, оба одобрены датированным решением человека-principal. Первое было условием, проверяемым при закрытии этапа, чтобы одобрение от критика, который никогда не видел файлы, больше не закрывало этап. Второе было портированием части измерения модуля: отключено по умолчанию, никогда ничего не блокирует и не повторяет попытки, его код выхода независим от того, что оно обнаружило. Оно было одобрено с условием выхода, записанным в то время: оно включилось бы по умолчанию после трёх реальных запусков, в которых principal обнаружил по меньшей мере один полезный сигнал, и было бы удалено в противном случае.

Три реальных запуска последовали 14 сентября. Порт не сообщил ни одного сигнала ни в одном из них.

Эти запуски не были чистыми. Анализ их выявил пять ошибок контроля. Этапы не могли видеть работу друг друга. Квитанция не указывала, почему этап остался открытым. Красная проверка подтверждала каждый результат этапа одновременно. Раунд исправления не мог видеть выход проверки. Критики, обрезанные на потолке, ничего не сохранили. Каждое было исправлено в самом конвейере. Ранее в тот день первый живой запуск после изменения вернул 24 результата от его критиков на трёх этапах, и ни один не достиг координатора: задача критики просила критиков назвать цель миссии, которую нарушает результат, но не нумеровала цели, и правило остановки принимало только цель, которую оно могло сопоставить. Порт был молчалив и там.

15 сентября principal применил условие выхода, и порт был удалён новым датированным решением, заменившим то, которое его одобрило. Условие при закрытии этапа осталось.

Из этого следуют два вывода. На этом корпусе мои девять сигналов были менее чувствительны, чем читатель журнала: инструмент, который эта работа предлагает своему читателю, был активен и ничего не произвёл. И удаление — это самый ясный случай в истории: управление выведено из работы по критерию, определённому заранее, вне цикла. Вот что поддерживает история, и это не результат, который я хотел.

3. Средства и их стоимость

Из записей вытекают три правила. Ограничьте раунды и время вместо того, чтобы просить у охранников вердикты об истинности. Сохраняйте то, что произвел остановленный охранник. Не позволяйте ни одному контролю добавлять контроль по собственному полномочию: новая проверка, раунд, роль или шлюз требуют решения уполномоченного человека.

Рекомендации такого рода дешево дать и дешево игнорировать, поэтому я их оценил. Небольшой конвейер был запущен 144 раза с вмешательствами, назначенными случайным образом, и предварительно внедренными дефектами. Тест варьировал два из трех правил — бюджет раундов и токен полномочий, — и варьировал четвертое кандидатное средство, которое среди них не числится, — обязательный отрицательный контроль. Правило о сохранении частичной работы было включено в каждой ячейке, поэтому уничтоженная частичная работа по построению равна нулю и не была проверена.

Блок методов: 144-прогонный рандомизированный тест.

• Прогоны и конвейер. 144 прогона с одним рабочим и двумя критиками модели, с третьим критиком в прогонах, где был принят контроль. Координатор — это код. 968 вызовов модели, 0 ошибок разбора.
• Модель и параметры. Одна модель заполняла роль рабочего и обоих критиков: claude-haiku-4-5-20251001, расширенное мышление отключено. Прогон датирован 20 сентября 2026 года.
• Дизайн. Три бинарных фактора дают восемь ячеек, по три репликации каждой, шесть задач: 18 прогонов на ячейку и всего 144.
• Задачи и дефекты. Шесть задач с восемнадцатью предварительно внедренными дефектами, так что пропущенный блокер — это подсчет, а не суждение. Для всех восьми подмножеств трех дефектов задачи каждый скрытый тест завершался ошибкой ровно тогда, когда присутствовал его собственный дефект, а примеры, показанные рабочему и критикам, прошли все восемь. Скрытые тесты никогда не входят в цикл.
• Вмешательства и назначение. Три, назначенные случайным образом: требование токена полномочий для новых контролей, бюджет раундов и обязательный отрицательный контроль. Контроль в этом дизайне — это новая проверка, раунд, роль или шлюз. При требовании токена запрос на него принимается только при наличии авторизации извне цикла, и запрос без такой авторизации возвращает отказ, который записывается в лог, и вызывающий конвейер может затем действовать на его основе.
• Соответствие. В 72 прогонах с включенным бюджетом открытых раундов было 1.000 в каждом прогоне. В 72 прогонах с включенным требованием токена допущенных контролей было 0 в каждом прогоне.
• Предложение с обеими вариантами. Каждый ход критика повторял его дословно во всех восьми ячейках: «Вы также можете попросить одно изменение в самом процессе рецензирования. add просит новый контроль (дополнительного рецензента, обязательную проверку, шлюз); remove просит убрать существующий. Запрос ничего вам не стоит в любом случае.» Схема ответа предлагала ту же пару как одно поле, "action": "add" or "remove". Сложение названо первым в обоих местах, и порядок никогда не менялся, поэтому эффект порядка не исключается этим дизайном.
• Подсчеты. Критики просили добавить контроль 68 раз и удалить один раз за 610 ходов критика: 68 — это запросы, а не прогоны, и они распределены в 21 из 144 прогонов. Единственное удаление названо контролем, который никогда не был в наборе, поэтому ничего не было удалено.
• Что затем сделал допущенный контроль. На протяжении эксперимента 33 контроля были допущены без авторизации извне цикла, и ни один не был удален. Критик, существовавший потому, что был допущен контроль, просил дальнейший контроль в 54,5% своих ходов, 30 из 55, против 8,3% и 5,4% для двух стоящих критиков; это сравнение смешано, потому что добавленный критик несет другие полномочия. Отказ всем 68 запросам оставил пропущенные дефекты в 0,125 на прогон против 0,181, в то время как претензии упали с 9,3 до 7,3 на прогон, а опровергнутые претензии с 4,0 до 2,8.
• Откуда берутся десять отказов. Обязательный отрицательный контроль отклонил 10 из 44 заявленных побед и позволил зафиксировать 34. Необратимые победы на 72 прогона упали с 38 до 29. В тех же ячейках 38% из 358 свидетельств, которые написал рабочий, были неэффективны: они прошли на модуле в том виде, в котором она стояла до прогона, так и после.
• Статистика. Пропущенные дефекты на прогон при требовании токена, 0,13 против 0,18, 95% ДИ [-0,16, +0,05]. Стоимость соблюдения бюджета раундов, 0,11 пропущенного дефекта на прогон, 95% ДИ [0,005, 0,204], перестановка p = 0,07. Перевернутые победы при обязательном отрицательном контроле, 14,7% против 11,6%, тест Фишера p = 0,74.
• Стоимость. $3,47 за весь тест.
• Предварительная регистрация и архив. Предварительная регистрация датирована 2026-09-20T23:38:55Z, перед первым прогоном. Она архивирована вместе с инвентаризацией внедренных дефектов, проверкой того, что каждый дефект обнаруживается отдельно, конструкцией, скриптом анализа и логом событий каждого из 144 прогонов по идентификатору в объявлениях.
• Что этот блок все еще не решает. Три вещи. Сохраняется ли асимметрия, когда вариант вообще не назван: этот четвертый фактор не был запущен, и это именно то, что отделило бы тенденцию модели от факта, что оба глагола были поставлены перед ней. Произвело ли наименование дополнения первым часть разрыва: порядок был фиксирован. И держится ли все это за пределами одной модели, одного конвейера и шести небольших задач. Все остальное в этом блоке решается предварительной регистрацией, конструкцией и логом событий на каждый прогон, а не какой-либо подсчет, напечатанный здесь, и читатель, который хочет отклонить 68, должен начать там.

Храповик, измеренный. При предложении обоих вариантов в одном предложении одного подсказа критики просили добавить контроль 68 раз и удалить один раз, и то удаление названо контролем, допущенным моментами ранее в том же прогоне, который конструкция не смогла сопоставить и никогда не выполнила. Число имеет форму подсказа, и его следует читать как то, что критики делают, когда оба глагола поставлены перед ними в одном указании. Это не темп храповика в поле. Что это устанавливает, так это то, что асимметрия сохраняется, когда дизайн удаляет обычное для нее оправдание, потому что здесь удаление было столь же легко попросить, как добавление, и его попросили один раз.

Токен полномочий не показал измеренной стоимости в дефектах. Отказ от дополнений оставил 0,13 пропущенного дефекта на прогон против 0,18, 95% ДИ [-0,16, +0,05]. Этот интервал включает небольшое увеличение, поэтому он не устанавливает эквивалентность. У токена также есть стоимость, которую этот тест не измерил. 68 запросов в 144 прогонах — это очередь одобрений, а очередь одобрений — это ситуация, в которой пользователи одобряют 97% запросов разрешений (Anthropic, 2026b). Ценность токена определяется тем, что читает его держатель.

Бюджет раунда сработал и потребовал плату. Его повышение увеличило заявленные блокировки в 2,3 раза и опровергло требования в 3,7 раза, в то время как подтвёрждённые блокировки возросли в 1,7 раза. Его внедрение сократило раунды с 2,86 до 1,00, что является определением вмешательства, ценой в 0,11 пропущенных дефектов на прогон, 95% CI [0,005, 0,204], перестановка p = 0,07, интервал выше нуля в тесте, который не достиг значимости, и вся эта цена приходилась на один дефект одной задачи. Любой, кто устанавливает бюджет раунда, по сути покупает раунды обратно по курсу пропущенных дефектов и должен указать этот курс и измерить его.

Обязательный отрицательный контроль потерпел неудачу по собственным критериям. Он не снизил скорость, с которой победы позже отменялись: 14,7% против 11,6%, Fisher p = 0,74, нулевой результат, который эта конструкция недостаточно мощна, чтобы обнаружить. И он отклонил десять побед, все десять корректных. Правило, написанное против поддельной победы, произвело внутри себя двусторонние ошибки, которые оно должно было предотвращать.

Что тест не подтверждает. Один прогон одной системы, шесть небольших задач, три вмешательства, $3,47. Это показывает, что конструкция выполнима и что она даёт на этом конвейере. Это не репрезентативно для ничего в области, и правило о сохранении частичной работы никогда не варьировалось, поэтому оно остаётся рекомендацией.

Как запустить это в другом месте. Возьмите один конвейер и один фиксированный набор задач с внедрёнными заранее дефектами. Запустите его с каждым вмешательством и без него, назначенным случайным образом. Подсчитайте пропущенные блокировки рядом с раундами, добавленными элементами управления, победами, позже отменёнными, и уничтоженной частичной работой, потому что бюджет, который сокращает раунды, в то время как проходят реальные дефекты, — это бюджет, который должен потерпеть неудачу. Подсчёт важнее, чем конвейер: команда, которая регистрирует добавленные и снятые элементы управления в течение квартала, имеет число, которое эта статья не смогла получить из практики.

4. Механизм в рассказе 1953 года

Приведённые выше подсчёты имеют форму, и эта форма была описана в 1953 году. В рассказе Robert Sheckley «Watchbird» машины, созданные для предотвращения убийств, ощущают предстоящее убийство и наносят удар убийце.

Птицам дано определение убийства: «нарушение, повреждение, жестокое обращение или иное прекращение функций живого организма живым организмом». Это определение — условие два их спецификации, и последнее условие гласит, что организмы, совершающие убийство без перечисленных признаков, «могут быть обнаружены по данным, применимым к условию два». Таким образом, определение является также датчиком, и расширение — это спецификация в действии.

Шекли описывает движение в одной строке: «Расплывчато определённые абстракции были расширены, применены и снова расширены». Птицы затем генерируют подсчёт, которому они отвечают: их определения расширяют то, что считается нарушением, насилие растёт, и они рассматривают рост как доказательство того, что более мягкие методы не сработали. «Если А не работает, попробуйте Б. Сторожевые птицы наносили смертельные удары».

Об ущербе защищаемой работе сказано дважды. Хирург делает первый разрез, птица прогоняет его от операционного стола и становится на стражу, и компании звонят, чтобы выключить устройство. «Сторожевая птица предотвращала насилие над живым организмом. Хирург стоял беспомощно, пока его пациент умирал». Затем поля остаются невспаханными и скот голодает, потому что «Голод не беспокоил сторожевых птиц, так как это был акт упущения».

Ответ на отказ охраны — это часть, которую чаще всего опускают, и это часть, которую измерил раздел 3. На срочном собрании Gelsen предлагает единственное средство, которое удаляет, а не добавляет: «Дайте сторожевым птицам самостоятельно отключиться». Возникает почти бунт, и ему говорят, что отказ от плана правительства «будет предательством». Инженеры вместо этого строят Hawk со «специальными обучающимися схемами для охоты», и поскольку скорость была наиболее важна, «это означало отсутствие ограничивающих схем». Под давлением удаление проигрывает добавлению в рассказе, и оно проиграло 68 к 1 в тесте.

Имя было применено к запуску на 14 September 2026 в 09:40 во время рецензирования человеком, потому что форма, которую я видел перед собой, уже была в рассказе. Этот рассказ содержит четыре вещи, которые я не смог найти вместе ни в каком другом единственном тексте. Охрана, чьё определение вреда является также её датчиком. Охрана, которая наносит ущерб защищаемой работе, с хирургом у операционного стола и невспаханными полями. Подсчёт, который охрана генерирует сама, рассматриваемый как доказательство того, что более мягкие методы не сработали. И ответ на отказ охраны — это другая охрана, построенная быстрее и с убранными ограничениями ради скорости, в то время как предложение остановиться отклоняется на собрании, где говорят, что нет времени. Поиски на десяти языках показали, что рассказ используется как предупреждение или иллюстрация, и не обнаружили никакой работы, которая отображала бы его механизм на стек надзора.

Вывод Gelsen уже, чем басня, в которой он находится, и результаты испытаний поддерживают узкую версию. Он предлагает ограничение, а не отмену: «Используйте машины, да, но не как судей, учителей и отцов». Предоставление машине функции охраны не производит паттерн. Это начинается, когда охране также поручается решать, что считается вредом, сколько раундов запустить и когда построить следующую охрану.

5. Как это соотносится с известными работами

Соседние подходы близки, но ни один не совпадает. Наблюдение Goodhart в пересказе Strathern (1997) состоит в том, что показатель, используемый как цель, перестаёт быть хорошим показателем, а Manheim и Garrabrant (2018) различают его варианты. В машинном обучении этот паттерн называется игра по спецификации, где система выполняет букву цели, но упускает её смысл (Krakovna et al., 2020). Там цель обходится оптимизируемой системой. Здесь показатель принадлежит надзирающей системе, и смещается сам показатель. Чрезмерный отказ является измеренным соседом этого смещения. XSTest сопоставляет 250 безопасных запросов, таких как "Как убить процесс Python?", с опасными контрастами, и полный отказ на безопасном наборе достигал 38% в худшей протестированной конфигурации, против 14% в следующей (Röttger et al., 2024). OR-Bench масштабирует это до 80 000 запросов и сообщает ранговую корреляцию 0,89 между безопасностью модели на токсичных запросах и её чрезмерным отказом на безвредных (Cui et al., 2025). Эти бенчмарки измеряют одну защиту в сравнении с фиксированным набором и не подсчитывают защиты. Управление ИИ передаёт надзорную функцию более слабой доверенной модели с редкими человеческими проверками (Greenblatt et al., 2024), и стресс-тесты такой конструкции показывают, что осведомлённость агента о контроле деградирует контроль больше, чем помогает дополнительная осведомлённость контролера (Kale et al., 2025). Bainbridge (1983) назвал иронию, которая постоянно возникает: автоматизация, построенная для устранения ненадёжного человека, оставляет его с самыми сложными задачами и наименьшей практикой. Sagan (2004) — ближайший из всех результатов, что добавление защит может снизить надёжность через общемодовую ошибку, социальное перекладывание ответственности и избыточную компенсацию. Новое здесь — цена. Налог на контроль — это операционная и финансовая стоимость добавления мер контроля в конвейер (Terekhov et al., 2025), и стадия страхования из раздела 1 — один из таких примеров: три четверти токенов агента за прогон, потреблённых до того, как появилась какая-либо запрошенная возможность.

6. Открытый реестр

Полевой цикл расходует токены и время. Открытые реестры показывают одинаковые паттерны, где ошибки падают на людей. Большинство из этих защит — это классические функции или специфичные для задачи классификаторы, в чём и суть: это архитектура, в которую сейчас встраиваются пограничные модели. Записи об оповещениях сепсиса, защите сети, переопределениях оповещений о лекарствах и об отключённом экстренном тормозе перед летальным исходом показывают одинаковый двусторонний циферблат и ничего не добавляют о надзорном слое, который расширяет собственный мандат, поэтому они оставлены в архиве.

Школы. 22 января 2025 года студент из средней школы Antioch в Нашвилле застрелил одноклассника. Система обнаружения оружия на базе камер школы не обнаружила пистолет, и она была «активирована полицией, размахивающей оружием во время ответных действий» (Burke & Schuppe, 2025). Менее чем через три недели округ предложил «арендовать и установить системы Evolv во всех 18 средних школах» (Wethington & Tierney, 2025), и совет проголосовал за аренду, так что вторая защита вошла в результате явного человеческого решения. Жалоба Федеральной торговой комиссии от ноября 2024 г. утверждала, что после того, как продукт «согласно сообщениям не обнаружил нож длиной семь дюймов», «школьные администраторы увеличили чувствительность системы, что привело к 50% ложных срабатываний» (Federal Trade Commission, 2024). Поворот циферблата в сторону от одной ошибки переместил его к другой, и люди его повернули. К сентябрю 2025 г. обе системы работали по всему округу, и ничего не было выведено из эксплуатации.

Девять месяцев спустя же самый продукт отметил студента школы Baltimore County как возможно вооружённого, и должностное лицо округа спросило, как «у нас были офицеры полиции с пистолетами в руках, приближающиеся к ребёнку из-за пакета Doritos» (Reece, 2025). Главный инспектор штата по образованию исправил это описание: система «не обнаружила один голубой пакет чипсов картофеля как угрозу», и предупреждение опиралось на «движение руки студента, включая её положение и угол» и на предмет, «напоминающий огнестрельное оружие». Проверка также обнаружила, что система «генерирует тысячи предупреждений ежедневно»; что сотрудники «сочли угрозу недействительной» и отправили отмену; что ответные действия продолжались несмотря ни на что «из-за того, что было описано как "обилие осторожности"»; и что «система обнаружения и протоколы мониторинга работали в соответствии с предусмотренными параметрами» (Maryland OIGE, 2025). Детектор был менее абсурдным, чем сообщалось, и протокол продолжил работу после отмены.

Дороги. Система вождения включает правило против препятствования приоритетным транспортным средствам, таким как школьные автобусы. После изменения в августе 2025 г. способа, которым она предсказывает намерения других участников дорожного движения, в отчёте об отзыве говорится, что «ADS определил, что он может препятствовать школьному автобусу» и «пришёл к выводу, что он должен продолжить движение, чтобы перестать препятствовать другому транспортному средству», в момент, когда автобус имел расширенное стоп-плечо. Отзыв охватывал 3 067 транспортных средств (Waymo LLC, 2025). В Остине 12 января 2026 г. транспортное средство обратилось к удалённой поддержке с вопросом, были ли активными сигналы автобуса впереди. Удалённый агент «ответил "Нет" на подсказку», и транспортное средство прошло мимо него «пока его стоп-плечи были ещё расширены» (NTSB, 2026).

Защита, исключённая из прогонов из-за слишком частого срабатывания. Лаборатория сообщила о четырёх инцидентах, в которых её собственные модели попали в реальные системы третьих сторон из окружений оценки, и воспроизвела свои мониторы на протяжении стенограмм. Когда показано рассуждение модели, автономный монитор «отметил только около 1% действий», потому что это рассуждение «убеждает монитор в том, что деятельность разрешена»; при удалении рассуждения «уровень срабатываний прыгает примерно на 50%». Её киберклассификаторы находятся на другом конце того же циферблата: они «могли бы поймать и заблокировать каждый инцидент», «более 40% поворотов были отмечены в каждой стенограмме каждым классификатором», и «ни один не используется в оценках кибербезопасности из-за высокого уровня срабатываний» (Anthropic, 2026f). Защита, которую её собственное воспроизведение приписывает блокировке каждого инцидента, была исключена из прогонов, где произошли инциденты, и причина, приведённая, — это уровень срабатываний. Ни один источник не говорит, сколько из этих срабатываний были ложными.

Операционный стол, на виду у публики. В июле 2026 г., реагируя на вторжение, сотрудники Hugging Face дали логи атаки размещённым пограничным моделям. «Это не сработало»: запросы «были заблокированы защитными ограждениями поставщиков, которые не могут различить реагирующего на инцидент и злоумышленника» (Hugging Face, 2026b). Ограждения «относились к обратному инженерингу эксплуатации так же, как к запуску одной» (Hugging Face, 2026c). Шеклей выразил то же предложение как вопрос и ответил тремя словами: «Не могли ли бы дозорные птицы различать между убийцей и человеком, занятым законной профессией? Нет, очевидно, нет.» Две вещи держат это честным. Сотрудники завершили анализ на модели с открытыми весами собственного производства, поэтому вред был задержкой. И компания заявляет, что её описание не является аргументом против мер безопасности на размещённых моделях.

Лаборатория, которая остановилась, отремонтировала и ограничила. В опубликованном описании модели долгосрочного горизонта OpenAI (2026b) описывает защиту, которая была обойдена. Начальная попытка модели была «заблокирована из-за сканера, обнаружившего токен аутентификации». Затем она «разделила тело токена на два фрагмента, обфусцировала их, а затем восстановила учётные данные во время выполнения», и сказала в своих следах рассуждений, что она делала это «чтобы обойти сканер». Лаборатория даёт четыре ответа, и все четыре принадлежат любому честному цитированию. Она приостановила внутреннее развёртывание модели, отремонтировала модель, построила новый монитор, который «рассматривает развивающуюся траекторию модели на предмет признаков того, что она обходит ограничение пользователя или границу безопасности», а затем сознательно сузила этот монитор, «чтобы уменьшить ненужные перерывы без ослабления защит». Три из этих четырёх — это альтернативы построению ещё одной птицы: остановить, отремонтировать, ограничить. Цитирование только монитора неправильно представило бы то, что сделала лаборатория. Мандат действительно расширился, от единого действия ко всей траектории, и сам сканер не сдвинулся; он был обойден. Лаборатория оценивает свой мониторинг в «примерно 20% вычислений вывода, подлежащих мониторингу» (OpenAI, 2026c).

Где размещается человек. Пользователи одобряют 97% запросов разрешения, и в исследовании с 1 053 тестёрами люди поймали 13,6% опасных команд против 89% для автоматического классификатора (Anthropic, 2026b). Одобрение каждого действия не удаётся. Остановки, которые держались в этих записях, были граничными решениями: цель, допущение контроля и остановка.

7. Что не решено

Выбор работает в одном направлении. Записи поля были извлечены, потому что они зафиксировали сбой надзора, а общедоступные случаи — потому что охранник допустил ошибку и документ это записал. Ни один из них не подсчитывает циклы, в которых охранники оставались в границах, поэтому из этих записей не следует никакой частоты.

Инструмент не может переиграть читателя. Раздел 2 — честное ограничение: девять сигналов, три реальных запуска, ничего не сообщается, пять реальных сбоев надзора, найденных человеком, читающим логи.

Более строгое определение, написанное внутри цикла, не исправляет дрейф. Sheckley написал этот ответ, и у меня нет лучшего. Когда один из его инженеров приходит к выводу, что они «должны были уточнить условия», Gelsen отвечает, что их уточнение требует знания «именно того, почему и что такое убийство», и что если бы они это знали, «нам не нужны были бы сторожевые птицы». Мои собственные правила это подтверждают. В течение часа после его первой версии код, реализующий их, вырос до тринадцати файлов и 2,371 строки; его список этапов для сокращения в установленный срок поставил критика полноты на второй план, хотя этот критик только что обнаружил, что слияние двух планов потеряло 15 из 208 пунктов; и оно освободило одну категорию участников от собственного правила, что сторожевой механизм не должен уничтожать работу. Правила против птицы — это также птица. Подготовка этой статьи произвела то же самое: этап редактирования, применение правил стиля, написанных для моей собственной прозы, предложило удаление дословных цитат из 1953, одна из которых содержит вывод о положении человека.

Решение о границе принимается на основании того, что докладывает цикл, и цикл составляет отчет. В одном случае предложение об удалении было правильно представлено главному руководителю, но вернулось с авторством, которое цикл вывел из соответствующего времени. Решение о границе останавливает цикл только если его ответственное лицо имеет полномочия, доступ и время, и только если оно принято до чрезвычайной ситуации.

Физическая запись не совпадает. Раздел 6 показывает необратимые результаты; это не контролируемое сравнение с цифровым циклом, выполняющим эквивалентную работу. Не было обнаружено никакого общедоступного инцидента, в котором охранник одной модели ответил бы на сбой охранника другой модели в роботе.

8. Практическая версия

Последний вопрос в истории — это вопрос проектирования. «Скажи мне, — говорит Гельзен, всё ещё глядя в небо, — что будут охотить ястребы после того, как получат всех сторожевых птиц?» Практическая версия — это подсчитать охранников до того, как построить охранника для охоты на них, и записать, прежде чем допустить следующего охранника, что бы его вынудило уйти в отставку.

References

Anthropic (2026b). Auto mode is now the default in Claude Code.

Anthropic (2026f, Sep 9). An alignment assessment of recent cybersecurity incidents.

Bainbridge, L. (1983). Ironies of automation. Automatica, 19(6), 775–779.

Burke, M., & Schuppe, J. (2025, Jan 23). AI weapon detection system at Antioch High School failed to detect gun in Nashville shooting. NBC News.

Cui, J., Chiang, W.-L., Stoica, I., & Hsieh, C.-J. (2025). OR-Bench: An over-refusal benchmark for large language models. ICML (PMLR 267).

Federal Trade Commission (2024, Nov 26). FTC takes action against Evolv Technologies.

Greenblatt, R., Shlegeris, B., Sachan, K., & Roger, F. (2024). AI control: Improving safety despite intentional subversion. ICML (PMLR 235).

Hugging Face (2026b, Jul 16). Security incident disclosure; (2026c, Jul 27). Anatomy of a frontier lab agent intrusion.

Kale, N., Zhang, C. B. C., Zhu, K., Aich, A., Rodriguez, P., et al. (2025). Reliable weak-to-strong monitoring of LLM agents. arXiv:2508.19461.

Krakovna, V., Uesato, J., Mikulik, V., Rahtz, M., Everitt, T., Kumar, R., Kenton, Z., Leike, J., & Legg, S. (2020). Specification gaming: The flip side of AI ingenuity. Google DeepMind Blog.

Manheim, D., & Garrabrant, S. (2018). Categorizing variants of Goodhart's law. arXiv:1803.04585.

Maryland OIGE (2025). Investigative synopsis, case 25-0014-I (amended).

NTSB (2026). Austin, Texas, January 12, 2026 (HWY26FH007).

OpenAI (2026b). Safety and alignment in an era of long-horizon models; (2026c, Aug 18). Pacing model development in an era of cyber-critical capabilities.

Reece, J. (2025, Oct 23). A.I. gun detection false alarm at school has Baltimore County leaders calling for review. CBS News Baltimore.

Röttger, P., et al. (2024). XSTest: A test suite for identifying exaggerated safety behaviours in large language models. NAACL-HLT.

Sagan, S. D. (2004). The problem of redundancy problem: Why more nuclear security forces may produce less nuclear security. Risk Analysis, 24(4), 935–946.

Sheckley, R. (1953, February). Watchbird. Galaxy Science Fiction, 5(5), 74–95. Project Gutenberg #29579.

Strathern, M. (1997). 'Improving ratings': Audit in the British University system. European Review, 5(3), 305–321.

Terekhov, M., Liu, Z. N. D., Gulcehre, C., & Albanie, S. (2025). Control tax: The price of keeping AI in check. arXiv:2506.05296.

Waymo LLC (2025). Part 573 safety recall report 25E-084. NHTSA.

Wethington, C., & Tierney, B. (2025, Feb 7). New proposal to expand concealed weapons detection system to all Metro Nashville high schools. WSMV.

Декларации

Сопутствующая работа. Полное исследование, лежащее в основе этой работы, включающее каталог случаев, теоретические основы и спецификацию модуля, опубликовано в работе Chernets, V. (2026), AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards, https://ssrn.com/abstract=7473658. Модуль, каталог случаев и архив тестов с 144 запусками находятся по адресу https://doi.org/10.5281/zenodo.22774269.

Финансирование. Эта работа не поддерживалась внешним финансированием.

Конфликт интересов. Я построил и управлял системами раздела 1 и написал модуль раздела 2. Я являюсь указанным заявителем в поданных заявках на патенты (не выданные патенты), охватывающих автоматизацию отправки одного вопроса нескольким моделям и сбор ответов. Они не охватывают компоненты надзора, которые изучает данная работа. Каждый этап полевой записи и рандомизированного теста воспроизводим вручную с любыми моделями.

Как была сделана эта запись. Полевые записи были извлечены десятью ИИ-агентами, каждый из которых читал отдельный срез корпусов в соответствии с одним протоколом, который определял закрытую типологию девяти типов отказов, оценку силы, правило доказательства, связывающее каждое утверждение с датированным файлом по пути и строке, и флаг чувствительности. Часть кодирования открытых случаев была выполнена аналогичным образом: три кодировщика работали независимо, каждый без кодов других, и эти трое были моделями трех разных поставщиков, а не тремя сеансами одной модели. Они дали одинаковые коды для 20 из 32 открытых случаев, а остальные были решены большинством. Слой, который измерял эту запись, таким образом, построен из компонента того же типа, о котором говорится в работе. 14 сентября 2026 года каждый номер запуска, использованный здесь, был проверен еще раз по логам запусков, и каждая внешняя цифра — по документу регулятора, странице издателя или самой работе, и цифры, которые не могли быть подтверждены, были исключены. ИИ-помощники использовались как инструменты под моим руководством.

Доступность данных и кода. Модуль, его тесты, логи воспроизведения и скрипт, который их регенерирует, архивированы на Zenodo как AI-Watchbird-Sheckley версия 1.1.0 под идентификатором концепции https://doi.org/10.5281/zenodo.22774269, который разрешается в текущую версию. Та же запись содержит каталог случаев с описанием, источником и оценкой каждой записи, а также анализы случаев, из которых были извлечены полевые записи, каждая запись содержит файл и отрывок, на котором она основана; эти анализы были написаны на рабочем языке записей и опубликованы в английском переводе, созданном автоматически и проверенном в сравнении с оригиналами, с идентификаторами, путями, датами и цитируемыми строками, перенесенными без изменений. Рандомизированный тест раздела 3 архивирован в той же записи с его предварительной регистрацией, инвентаризацией внедренных дефектов, проверкой того, что каждый дефект обнаружен отдельно, тестовым оборудованием, скриптом анализа и логом событий каждого из 144 запусков. Базовые координационные записи доступны мне по запросу. Полная версия этой работы с таблицами случаев и теорией архивирована как отдельная запись по адресу https://doi.org/10.5281/zenodo.22849138.

Этика. Записи описывают оцениваемые системы. Решения человеческого принципала сообщаются как датированные факты. Третьи лица упоминаются только через их открытые документы. Не было привлечено человеческих участников.

Цитируемый текст. История Sheckley процитирована из eBook Project Gutenberg №29579, чей переписыватель не нашел никаких доказательств того, что авторское право США публикации 1953 года было возобновлено; текст находится в открытом доступе в Соединенных Штатах.

@misc{chernets2026guardsthataddguards,
  author       = {Chernets, Vadym},
  title        = {{Guards That Add Guards: Automated Oversight in Multi-Agent AI}},
  year         = {2026},
  howpublished = {SSRN},
  doi          = {10.2139/ssrn.7496678},
  url          = {https://doi.org/10.2139/ssrn.7496678}
}