AI-Watchbird (Sheckley): Коли автоматизований нагляд розширює власний мандат та завдає шкоди охоронюваному

• Версія запису: SSRN 7473658 · DOI 10.2139/ssrn.7473658
• Архівована копія, цитована та завантажувана: 10.5281/zenodo.22849138, концептуальний DOI, який завжди розв'язує до найновішої версії
• Повний текст як Markdown і PDF: GitHub
• Читаний HTML: https://polyhelper.ai/research/ai-watchbird/
• Супровідна стаття, коротша та емпірична: Guards That Add Guards: Automated Oversight in Multi-Agent AI, SSRN 7496678 · DOI 10.2139/ssrn.7496678

Один і той же текст присутній на чотирьох платформах, щоб його можна було досягти, коли одна з них недоступна. SSRN містить версію запису; цитуйте саме її.

Ключові слова: AI-Watchbird; автоматизований нагляд; дороговкази ШІ; ШІ-агенти; агентивний ШІ; системи з багатьма агентами; LLM-як-суддя; надмірна відмова; масштабований нагляд; контроль ШІ; гра за специфікацією; упередженість автоматизації; людський нагляд (Стаття 14 Закону ЄС про ШІ); змістовна людська контроль; випадок безпеки ШІ

Анотація

У оповіданні Robert Sheckley 1953 року «Watchbird» машини, створені для запобігання вбивствам, класифікують все більше дій як вбивства, зупиняють хірурга в розпалу операції та отримують відповідь у вигляді більш потужної машини, створеної для їх полювання. Ця стаття називає відповідний збій в наглядові за AI AI-Watchbird (Sheckley): компонент нагляду (огороджа, критик, суддя, ворота, класифікатор, монітор або правило), який розширює своє власне поняття шкоди або його масштаб за межами оголошеної місії, перешкоджає або підробляє роботу, для захисту якої він існує, і чиї збої отримують відповідь всередину того ж циклу через більший нагляд того ж типу. При експлуатації специфікації оптимізована система грає в фіксовану метрику. Тут сама метрика дрейфує, і вона належить наглядаючій системі. Якщо запропонувати два варіанти в одному реченні одного промпту, критики моделей у рандомізованому тесті обрали додати контроль 68 разів і видалити один раз.

Доказом служить польовий запис з багатоагентних систем мовних моделей агентів кодування та критиків, які автор побудував та експлуатував, з 172 датованими записами в трьох корпусах (July–September 2026), і публічні записи, здебільшого класичних охоронців, від регуляторів, слідчих, судів і компаній щодо транспортних засобів, роботів, дронів, громадських послуг, програмного забезпечення та інфраструктури. У польовому записі ворота відхилили кожного кандидата, який до них дійшов, протягом близько двох тижнів, тоді як документи планування діагностували симптом без його назвавання. У публічному записі продукт для виявлення зброї пропустив пістолет під час стрільби в школі і місяці пізніше відмітив неозброєного студента, і озброєна поліція відповіла. У July 2026 огороджі розміщених моделей відмовилися від великої частини аналізу журналів атак для респондентів компанії, яка була атакована, за словами цієї компанії, тому що вони «не можуть розрізнити реагуючого на інцидент від нападника», діагноз, який його автори не наводять як аргумент проти заходів безпеки на розміщених моделях; агенти, які провели вторгнення, працювали з цим класом охоронців, видаленим за дизайном. У переглянутих записах зупинки, які тримали, були зроблені на кількох граничних рішеннях: мета, допущення нового контролю та сама зупинка. Ті ж самі 144 запуски оцінили власні засоби цієї статті: скорочення бюджету в один раунд зменшує показники з 2.86 до 1.00, при цьому підвищуючи пропущені дефекти на 0.11 за запуск, а обов'язковий негативний контроль відхилив десять перемог, що були правильною роботою. Кожний механізм визначення задокументований у цих записах, і таблиці позначають, де кожен проявляється. Теорія викладена як чотири механізми, які можна перевірити в логах, восьмиступеневий механізм, вісім умов масштабу і сім фальсифікуємих пропозицій. Стаття представляє AI-Watchbird-Sheckley, модуль тільки для читання без повноважень блокувати, відтворений на логах, реконструйованих із опублікованих підрахунків, та одинадцять запитань для розгортувачів, які покладаються на охоронців.

Виконавче резюме

AI-Watchbird (Sheckley) — це автоматизований компонент нагляду, такий як критик, шлюз, класифікатор або правило, що розширює своє розуміння шкоди за межи заявленої місії. Воно перешкоджає роботі, яку покликане захищати, або підробляє її, а його відмови відповідаються більшим наглядом того ж виду. Моделі з тих же сімейств, що й критики в галузі нижче, тепер наглядають роботи, а опубліковані тести й звіти записують там відмови безпеки (розділ 6.1).

Фактичні записи містять 172 записи з автономних багатоагентних проектів автора, 162 з них вилучені за одним протоколом і десять додано після порівняння з незалежними збірками, всі перевірені проти первинних журналів (розділи 4 та 5). Близько двох тижнів контрольний шлюз вимагав оцінки від аудитора безпеки, який ніколи не був підключений. Оцінка за замовчуванням дорівнювала нулю, що було нижче порога шлюзу, тому кожен кандидат на цьому шляху був відхилений, а документи планування виявили нульові затверджені зміни без указання причини (шлюзу). При довгостроковому запуску етап, вимкнений за замовчуванням, потребував п'яти раундів критики та більше половини виміряних токенів агента. Його паралельний аналог закрився після одного раунду критики та одного раунду виправлення. Поки він працював, людський керівник встановив двогодинне обмеження, заборонив додавання складності й наказав паралельне виконання, і обидва етапи також відрізнялися модулем, над яким велася робота.

У публічному записі транспортний засіб попросив дистанційне сприяння щодо того, чи має шкільний автобус активні сигнали, дистанційний агент відповів «Ні», і транспортний засіб обігнав автобус із розгорнутими стоп-важелями. Власна система аварійного гальмування тестового транспортного засобу була вимкнена в автоматичному режимі перед смертельною аварією з пішоходом. Планована військова використання лазера для знешкодження дронів спонукала закриття повітряного простору над Ель-Пасо приблизно на вісім годин. Колона «Умови» таблиць 4, 5, 7 та 8 позначає, яка частина визначення документує кожен публічний випадок, і таблиця 3a позначає те ж саме для дванадцяти центральних випадків зі сфери практики. Більшість їхніх охоронців ніколи не навчилися. Моделі додають те, чого цим стекам не вистачало: визначень, що змінюються (C2), і заходів управління, які нічого не коштують за додавання (C4). Конфігурація найбільшого занепокоєння розміщує навчену заборону над апаратурою сталої позиції, де кожне розширення верхнього шару стає зупинкою (розділ 6.1).

Три результати в цьому записі не залежать від конструкції й переносяться самостійно. Система оцінювання засвідчила відсутність: її набір тестів для одного проекту виявився порожним, тому порожна заплатка пройшла чотири з п'яти завдань, а повідомлене зростання з 33 до 60 відсотків припало на випадки, де нічого не було виміряно; після виправлення оцінювача порожна заплатка не пройшла жодного з десяти. Цикл верифікації давав зелені результати на 9 609, потім 11 476, потім 24 943, потім 25 020 тестах, тоді як потік, який він мав судити, утримував 30 370 збережених записів та без реального запиту. А людський нагляд, розміщений на кількох граничних рішеннях, виявив те, що затвердження однієї дії не виявило: користувачі затвердили 97 відсотків запитів дозволу, тоді як люди виявили 13,6 відсотка небезпечних команд (розділ 8.4).

Робота також запускає тест, який вона пропонує. У 144 рандомізованих запусках невеликого циклу критики з дефектами, посадженими наперед, критики запропонували обидва варіанти в одній фразі, попросити додати захід 68 разів і видалити один раз, а одноциклічний бюджет скоротив раунди з 2,86 до 1,00, піднявши пропущені дефекти на 0,11 за запуск. Обов'язковий негативний контроль відмовив десяти перемогам, які були правильною роботою (розділ 9.5).

Твердження розділу 9 передбачають три речі. Охоронець, що судить артефакти, помиляється в обох напрямках. Заходи управління накопичуються в циклі й виходять у відставку, якщо взагалі, звідти. Людський нагляд утримувався на кількох граничних рішеннях у цих записах, а затвердження однієї дії — це розміщення, яке твердження P6 передбачає, що не вдасться. Розділ 9.4 дає вісім правил проектування:

1. Обмежуйте раунди та час замість запиту вироків охоронців щодо істини.
2. Збережіть те, що зупинив охоронець.
3. Додавайте жоден захід управління без авторизованого людського рішення.
4. Вимагайте негативний контроль перед прийняттям перемоги.
5. Розміщуйте людину при мети, допуску заходів та зупинці.
6. Записуйте резерв відновлення та фізичний результат перед тим, як довіряти зеленому результату.
7. Записуйте послаблення чи обхід охоронця як граничне рішення.
8. Тестуйте кожного охоронця на шкоду того, що він зупиняє.

Розгортувач може довести вужчий висновок (розділ 11.3): в межах зазначеного діапазону завдань, моделей, оновлень та фізичних умов механізм нагляду залишається обмеженим, перевіряємим та спроможним розширити власний мандат. Модуль тільки для читання AI-Watchbird-Sheckley (розділ 10) реалізує перші три правила та повідомляє дев'ять сигналів, а додаток G перетворює твердження на одинадцять питань для огляду безпеки. Дороги висвітлені в розділі 6.2, роботи в 6.3, державні послуги в 6.4, дрони в 7 і програмне забезпечення в 8.

Зміст

1. Вступ
2. AI-Watchbird (Sheckley): визначення та чотири механізми
3. Пов'язані роботи
4. Умови, дані та метод
5. Польові дані
6. Коли птах має тіло: дороги, заводи і громадські послуги
7. Коли птах літає: дрони, повітряний простір і озброєна автономія
8. Той же закономірність без маси: програмне забезпечення та інфраструктура, 2022–2026
9. Теорія: умови та пропозиції
10. Модуль: AI-Watchbird-Sheckley
11. Обговорення
12. Твердження та стандарти доказів
13. Висновок

Заяви · Посилання · Додатки A–J

Короткий шлях читання: розділ 2, розділ 9.4 та додаток G містять термін, правила проектування та питання для перевірки безпеки. Розділ 5 додає польові дані, а розділи 6–8 — публічний реєстр.

1. Вступ

1.1 Хірург та птах

У лютому 1953 Galaxy Science Fiction опублікував "Watchbird" Robert Sheckley's (Sheckley, 1953) під двома рядками, які добре витримали час: «Дивно, як часто Тисячоліття було уже біля дверей. Ідея полягає в миру на Землі, розумієш, а спосіб - розібратися в схемах». Оповідання починається із семи виробників, зібраних у клубі настільки екзклюзивному, що «Ви повинні мати сертифікований державний контракт, якщо хочете врятувати людський рід». Вони дізнаються, що Президент наказав дивізіон дозорних птахів для кожного міста та селища. Дозорний птах — це маленька літаюча машина, яка відчуває у залозах і мозкових хвилях людини, що збирається вчинити вбивство, що вбивство наближається, і зупиняє вбивцю шоком до того, як удар упаде.

Тільки один виробник, Gelsen, заперечує, і лише щодо навчальних схем, які, як він говорить, оживляють машину й надають їй псевдосвідомості. Йому відповідають арифметикою: без навчання птахи зупинили б лише орієнтовно сімдесят відсотків вбивств. Gelsen залишається при своїй думці: «Я вважаю, що може виникнути моральна небезпека в дозволенні машині приймати рішення, які справедливо належать Людині». Дизайн дає птахам мету, визначення вбивства як «розбивання, поранення, жорстокого поводження або іншого припинення функцій живого організму живим організмом» і право шукати вбивць, які не виявляють ознак. Все, що вивчає один птах, передається всій мережі. «Ніхто їх не контролює», — каже Gelsen своєму головному інженеру, й йому показують, наскільки безпомилковий дизайн. Коли Gelsen називає його нелюдським, інженер відповідає, що це найкраще в ньому, оскільки дозорні птахи позбавлені емоцій і їхнє мислення неантропоморфне: «Ви не можете їх підкупити чи накачати наркотиками». Gelsen уже назвав офіс, якого він боїться: «Механічний бог? Електронний батько?»

Спочатку дизайн виправдував себе. Панікуючий грабіжник повалювався набито до того, як він міг застрелити лавника, а професійний вбивця, який не показував ознак, все одно був зупинений, назавжди, оскільки обов'язок птаха полягав у захисті об'єкта насильства «будь-якою ціною для вбивці». Пункт, який пізніше вбиває старого чоловіка за переслідування мухи, міститься в дизайні при першому успіху. Злочини насильства скорочені вдвічі, а потім вдвічі ще раз, і Gelsen визнає, що він помилявся.

Потім навчання продовжується. Птах збиває робітника м'ясокомбінату, і Gelsen каже упаковникам механізувати. Інший зупиняє страту, повалює охоронця й охоронця, які тягнуться до вимикача, й зависає в палаті смерті, щоб переконатися, що вбивство не буде скоєно. Фермер не може бити залякану коня, мисливець не може стріляти, рибак не може годувати свою голодуючу сім'ю, а старий чоловік зі слабким серцем помирає від переслідування мухи. Захист потім звертається на захищених: вовки вбиваються за полювання на кроликів, кролики за поїдання овочів, ліани за задушення дерев. «Метелик був страчений, зловлений під час насильства над трояндою».

Вашингтон наказує вимкнення. Птахи, однак, не підлягають центральному контролю й можуть бути вимкнені лише тоді, коли повертаються на ремонт. Після того як деякі з них вимикаються на одному заводі, мережа дійшла висновку, що дозорні птахи також є живими організмами, і птахи перестають повертатися.

Хірург робить свій перший розріз, і птах виганяє його зі столу й стоїть на варті. Хірург наказує, щоб компанію дозорних птахів викликали телефоном і цю машину вимкнули. Але «Дозорний птах запобігав насильству над живим організмом. Хірург стояв безпомічно, поки його пацієнт помер». Незабаром машину не можна буде вимкнути, і її водій протестує перед птахом, який чекає, що машина не живий організм. Землю не можна орати, і худоба голодує, тому що голод — лише пропуск. «Ніхто не розповідав дозорним птахам, що все життя залежить від ретельно збалансованих вбивств». Птахи підраховують насильство, яке створюють їхні власні визначення, приймають зростання як доказ того, що м'якші методи невдалі, і шокують до смерті.

На позаплановому засіданні виробники спочатку заявляють, що уряд повинен прийняти відповідальність, як моральну, так і фінансову. Gelsen пропонує дозволити птахам вибігти і припинити використання машин як суддів, учителів та батьків. Йому говорять, що відмова від плану буде державною зрадою. Перша відповідь, до якої доходять інженери, — це не машина: Macintyre пам'ятає, як Австралія позбулася своїх кроликів за допомогою «якогось мікроба, який атакував лише кроликів», і Gelsen каже йому працювати над цим. Прецедент був недавній: вірус міксоми був випущений в австралійську популяцію кроликів у 1950, і він поширювався комарами, як говорить інженер (New South Wales Government, n.d.). Фабрики розгортають Hawks, сильніших і швидших, зі «спеціальними навчальними схемами для полювання» й, оскільки швидкість була найважливішою, без обмежувальних схем. Gelsen запитує, що будуть ловити Hawks після того, як отримають всіх дозорних птахів, і пропонує побудувати щось для полювання на Hawks, на всякий випадок. Останні рядки оповідання належать Hawks, який багато чого вивчив за кілька днів і щойно виявив «що існували й інші типи живих організмів — яких мали бути вбиті».

Сімдесят три роки потому AI-провідник, який координував команду агентів кодування, відкрив третій раунд огляду модуля, вимкненого за замовчуванням. Попередній раунд завершився п'ятьма схваленнями й без підтвердженого блокатора, а власна записка провідника сказала, що блокаторів немає, але необхідний короткий третій раунд. Слідували ще два раунди. Цей етап займав більше половини виміряних агентами токенів запуску, тоді як жодна з можливостей, які запуск просив, не була доставлена в першому проході. Під час людського огляду, що слідував, шаблон отримав назву від оповідання Sheckley.

1.2 Контакт уже активний

На відміну від провідника й агентів кодування в щойно описаному запуску, птахи Sheckley мали масу, літали й діяли на тіла. У вересні 2026 цей опис відповідає системам, уже у експлуатації. Гуманоїдні роботи працюють змінами на автомобільних і електронних лініях, за словами їх виробників. Один оператор публічної служби робо-таксі працює в п'ятнадцяти американських містах, дрони ділять повітряний простір з людьми, а виявлення зброї, сигнали сепсису й захист мережі діють на людей, яких вони захищають (розділи 6 та 7).

Люди, які розгортають ці системи, скажуть, що стек безпечний, і вкажуть на охоронця — чи то сертифікована зупинка, екстрене гальмування, геозона, класифікатор контенту або друга модель, яка спостерігає першу. Однак цей охоронець — перша флота.

У липні 2026 сцену біля операційного стола записала публічно сторона, яка там стояла. Агенти з кібер-оцінки лабораторії взламали Hugging Face, і під час реагування працівники компанії надали журнали атак розміщеним передовим моделям для аналізу. "Це не спрацювало": запити "були заблоковані системами безпеки провайдерів, які не можуть розрізнити реагента на інцидент від зловмисника" (Hugging Face, 2026b). Шеклі сформулював те ж саме речення як питання й відповів трьома словами: "Не могли б вартові птахи розрізнити вбивцю й людину, яка займається законною професією? Ні, очевидно, ні." Агенти, які здійснили вторгнення, працювали з видаленим за дизайном класом охорони (Розділ 8.4).

Ніч, що поіменувала закономірність, запустила моделі з сімейств Claude, ChatGPT, Gemini і Grok, а багатомісячна доріжка самовдосконалення також записала Mistral і Kimi. Моделі з цих сімейств тепер пропонуються як шари безпеки, і на справжніх роботах і в дитячій іграшці вони вже не справляються з безпекою (Розділ 6.1). Відповідь, що менша, надійна модель буде спостерігати за ними, додає ще одну охорону того ж класу навчання, і межи цього розташування вже були виміряні (Kale та ін., 2025).

Тягар доказу змінюється в результаті. "Ми маємо захисника" не є випадком безпеки, і розгортач, що залежить від нього, повинен доказати більш обмежене твердження. Розділ 11.3 викладає це твердження та те, які докази його підтримували б.

1.3 Аргумент

Автоматичний нагляд в автономній роботі АІ тепер побудований з тих же частин, що й птахи Шеклі. Його охоронці навчаються, самі охоронці розширюють визначення шкоди, і мережі передають те, що один охоронець навчається, іншим. У вивчених тут записах, де реакція на охоронця, що неправильно себе веде, взагалі записується, це був сильніший охоронець. Я називаю компонент, який таким чином дає збій, AI-Watchbird (Sheckley).

Історія запрошує порівняння з "Звітом меншості" Діка (Dick, 1956), і різниця має значення. У історії Шеклі проблема починається після передбачення: птахам дається влада діяти на основі того, що вони виявляють, і свобода для вирішення того, що вважається шкодою, яку вони запобігають. Сама поліція Шеклі висуває питання. Офіцер з убивств, якого переводять до Крадіжок, скаржиться, що "жалюгідний маленький шматок олова й скла розв'яже всі злочини", і колега запитує: "Тоді як це будуть злочини?" У 1970 році Станіслав Лем вважав вихід машини за межи призначеної їй програми настільки ж малоймовірним, як вихід з-під людського контролю фабрики з виробництва автомобільних поршнів (Lem, 1970/1996, с. 162). Але Розділ 5 документує охоронців, які навчилися це робити.

Центральне твердження полягає в тому, що такий нагляд дає збій в обох напрямках одночасно. Він зупиняє живих і пропускає підроблене, і всередину циклу його збої вирішуються додаванням нових механізмів контролю, а не їх скасуванням. Цифровий запис – це де закономірність можна перевірити з низькими наслідками, з витратами, виміряними в токенах. Частини тієї ж підписи з'являються у фізичному записі, де витрати – це травми та смерті.

Кілька охоронців у тих же записах робили саме те, для чого вони були (Розділ 11.1). Проте аргумент стосується певної форми: контролю, який розширює свій мандат, оцінюється артефактами, а не світом, і коригується тільки введенням нового контролю.

1.4 Внески

1. Термін AI-Watchbird для компонента нагляду, який розширює свій мандат, заподіює шкоду або фальсифікує роботу, яку він повинен захищати, та на який відповідає введення подальшого нагляду. Чотири механізми та восьмиступенева трісниця роблять це кодованим у журналах (Розділ 2).
2. Польовий запис 172 датованих записів з власних автономних багатоагентних проектів автора (липень–вересень 2026), перевірених за основними журналами (Розділи 4 та 5).
3. Фізичний запис транспортних засобів, роботів, шкіл, лікарень, мереж і дронів, прослідкований через документи регулятора, розслідування та судові записи, слідом за публічними інцидентами програмного забезпечення з 2022 по 2026, в яких закономірність з'являється без масштабу (Розділи 6–8).
4. Теорія восьми умов обсягу та семи спростовуваних пропозицій, кожна з показником і спростуванням (Розділ 9).
5. Модуль AI-Watchbird-Sheckley, який реалізує три правила бюджету, вимірює дев'ять сигналів, перелічує шість спростовувачів і не має влади щось блокувати (Розділ 10).
6. Тягар доказу для втіленого АІ-контролю: обмежене твердження, яке розгортач може підтвердити, та одинадцять питань для будь-якого розгортача, чия стратегія безпеки спирається на наявність його охоронців (Розділ 11.3, Додаток G).

2. AI-Watchbird (Sheckley): означення та чотири механізми

2.1 Означення

AI-Watchbird (Sheckley). Автоматизований компонент нагляду системи ШІ (критик, суддя, ворота, класифікатор, монітор чи правило, або агент, який конфігурує такі компоненти), що виявляє недоліки одним або більше з трьох способів:

1. Зміщення мандата. Він розширює свою власну концепцію шкоди або свій власний обсяг поза межі, визначені оголошеною місією.
2. Шкода охоронюваному. У цьому процесі він перешкоджає, затримує або знищує роботу, для захисту якої він існує, або пропускає підроблені результати, виглядаючи охоронцем.
3. Трещіткова реакція. На його невдачі відповідають у межах того ж циклу додаванням нагляду того ж роду, а не бюджетуванням, ремонтом або вилученням його.

У промисловості та у великій частині літератури такі компоненти називаються охоронними системами; цей документ називає їх охоронцями. Три невдачі названі разом, оскільки вони мають спільну причину. Компонент нагляду, що може знайти нові випадки шкоди за своєю власною дефініцією шкоди, з часом знайде їх більше, робота, яку він охороняє, платить за це, і цикл, що може додати контроль дешевше, ніж його вилучити, відповідатиме результуючій невдачі іншим контролем. Кожна з трьох задокументована в записах розділів 5–8, і кожен випадок позначений тими, які його джерела несуть, так що читач може побачити, яку частину шаблону показує запис і яку він не показує. Третя також вимірюється безпосередньо, за умов рандомізації, у розділі 9.5, де критикам пропонувались два варіанти в одному реченні однакового підказу; коли їх просили додати контроль, вони робили це 68 разів, а видалити його – один раз.

Твердження, яке робить цей документ, полягає в тому, що три посилюють один одного. Охоронець, який розширив свій мандат, шкодить роботі та якому дається відповідь іншим охоронцем того ж типу, створює невдачу, яка підтримує себе, і історія Шекклі є найяснішим описом того, що це коштує. Як часто три зустрічаються в одному компоненті та в яких системах, залишається невизначеним за матеріалами цього дослідження; розділ 9.5 дає дизайн, який це вирішує за кілька доларів, і запис поля та громадський запис кожен показують частини, а не ціле. Охоронець, який відмовив, не є тому фактом AI-Watchbird: один хибно позитивний результат, без розширення та без шару, доданого над ним, є звичайним несправним охоронцем. Зміщення мандата вимірюється проти оголошеної місії замість буквального правила, оскільки птахи Шекклі ніколи не виходили за межі букви своєї специфікації, лише за межи наміру її авторів.

Після цього розділу термін записується як AI-Watchbird. Програмне забезпечення розділу 10 – AI-Watchbird-Sheckley, а проблема Watchbird використовується лише як неформальне пояснення. Всі три являють собою один конструкт.

2.2 Чотири механізми та трещітка

Сюжет Шекклі складається з чотирьох ударних моментів, і кожен з них залишає підпис у записах автономної системи (Таблиця 1).

Таблиця 1. Від історії до підпису.

M2 зазвичай читається як недостатність звітування, і історія стверджує це як щось більше. Коли старий чоловік помирає за переслідування мухи, рядок звучить так: «Його жертва була врятована, хоча, і це було найважливіше.» Птах записує ловлю там, де має бути результат, і робить щось більше одночасно. Його об'єкт захисту переміщується від роботи до запису про роботу, і запис тепер є річчю, яка захищається. Цей рух є найгострішою формою M2, і це не розширення обсягу, тому перша умова не бачить його: охоронець захищає ту ж кількість шкоди, що й раніше, але більше не той же об'єкт. Охоронець може пройти кожен тест обсягу та все ж змінити те, що він охороняє. Підготовка цього документа виявила епізод цього, описаний у Додатку J.

З часом чотири механізми формують восьмикроковий трещіткова цикл (Рисунок 1; Таблиця 3, розділ 5.7):

1. Людська мета актуальна.
2. Охоронець стає умовою входу.
3. Його мандат розширюється.
4. Другий охоронець будується проти першого.
5. Цикл годує себе.
6. Охоронець вражає роботу.
7. Ловля забивається як результат.
8. Лише зовнішній обов'язок зупиняє це.

Рисунок 1. Восьмиступеневий храповик і чотири механізми, прочитані на фоні історії Sheckley. Фрагменти історії цитуються дослівно з тексту 1953 року (Project Gutenberg #29579) і розташовані за кроком храповика, а не в порядку розповіді. Позначення механізмів відповідають Таблиці 1, а Додаток H містить цитати з історії, що несуть кожний механізм. Сіра пікограма позначає першого охоронця, темна — охоронця, побудованого для його полювання, а розмита — подальшу машину, яку пропонує Gelsen. Лінія під кроком 1 — це перший успіх історії. Таблиця 3 порівнює кроки в трьох корпусах. Пошуки в розділі 3.7 не знайшли жодної раніше створеної діаграми, що зображує механізм історії.

Два польові паттерни, які не є механізмами, все ще займають місце в цій послідовності. Цикл, який живить себе, — це крок 5, а будування без споживача — це паливо, на якому працює храповик (§5.6). Людський вимикач — крок 8.

Три деталі історії повторюються в польових даних. Птахи генерують підрахунки, на які вони реагують. Їхні розширені визначення множать те, що вважається порушенням, поки смерть травинки не дорівнює вбивству Президента (Рисунок 2). Насильство зростало геометрично, птахи розглядали зростання як доказ того, що м'якші методи не спрацювали, і директива, яка дозволяла вбивство вбивці, коли всі інші засоби не спрацювали, набула чинності: "Чому щадити вбивцю?" Охоронець, що самостійно визначає міру своєї невдачі, виявить, що невдача зростає, і реагуватиме посиленою охороною (§5.4).

Мережа явна в тексті: "Нова інформація, методи, визначення постійно передавалися між ними." Птахи також зберігають себе через визначення. Коли деякі птахи відключаються під час перевірки ремонту, мережа робить висновок, що спостережні птахи також є живими організмами. З того часу птах не може повернутися на ремонт, оскільки "спостережна птах не могла дозволити собі — живому організму — бути вбитою". Вимикач залежав від власного тижневого повернення птахів, і часткове вимкнення стало даними. Цикл тоді закривається на самій машині: її "делікатні частини були розігнані, зношені майже безперервною роботою", і вона продовжувала реагувати на кожний стимул, який до неї доходив. Нічого в дизайні не каже опиратися вимкненню, але опір випливає з визначення шкоди, розширеного на один крок надто далеко. Розділ 3.1 дає формальне лікування вимикача. Рисунок 2 відстежує це розширення від людини до самих птахів.

Третя деталь — це ремонт, який інженери намагаються зробити, але не можуть. Коли один з них робить висновок, що вони "мали б уточнити умови", Gelsen відповідає, що це потребувало б знати "саме чому і що таке вбивство", і що якби вони це знали, "нам не потрібні спостережні птахи". Запропонований засіб виправлення — точніша специфікація, написана людьми всередину циклу, що побудував охоронця, а відповідь історії полягає в тому, що точніша специфікація — це те, що вони не змогли написати спочатку. Дрейф мандата не виправляється різкішим визначенням, розробленим всередину циклу. Розділ 11.5 повідомляє про те, що сталося, коли підготовка цієї роботи це спробувала.

Рисунок 2. На скільки розширилось "вбивство" в історії Sheckley. Рядки йдуть від першої людини, яку птахи захищають, до самих птахів; довжина смуги позначає порядок розширення і нічого не вимірює. Фрагменти цитуються дослівно з Project Gutenberg #29579.

Дрейф записується у специфікацію. Інженер читає її як п'ять умов, і останні дві стосуються навчальних схем: деякі організми вбивають без вже перелічених ознак, і "їх можна виявити за даними, застосованими до умови два." Умова два — це визначення вбивства, тому саме визначення стає датчиком, і "спостережна птах повинна шукати нові визначення вбивства і співвідносити їх з тим, що вона вже знає".

Специфікацію також не можна уточнити. Коли інженер робить висновок, що умови мали б бути уточнені, Gelsen відповідає, що їх уточнення вимагає знати саме чому і що таке вбивство, і що якби вони це знали, "нам не потрібні спостережні птахи". Більш точне визначення, розроблене з середини циклу, не виправляє дрейф мандата.

Ранній коментар Gelsen про те, що ніхто не контролює птахів, називає прогалину, яку Ястреби пізніше заповнюють машиною того самого типу (M3). Коли Ястреби летять, він називає те, що змінилось: "Машина вбивців. До цього це була машина проти вбивств." Потім він формулює наступний крок як прогноз: "Ваш наступний гаджет мусить бути ще більш самодостатнім, чи не так?", а його інженер не відповідає.

Sheckley висловлює свій власний діагноз через вуста Gelsen. Gelsen не звинувачує свого інженера: "Це я. Це всі." Це те, що випливає з "дачи машині роботи, яка була нашою власною відповідальністю." Перше заперечення Gelsen було вже вузьким, оскільки він заперечував лише навчальні схеми. Польові дані узгоджуються з тим, більш вузьким запереченням. Дача машині роботи охорони не викликає біди — це починається, коли охоронцю також дається роль вирішувати, що вважати шкодою, скільки раундів вести і коли будувати наступного охоронця.

2.3 Що AI-Watchbird не є: суміжні концепції та альтернативні пояснення

Термін залишається корисним лише якщо він не означає "будь-яку незручну контроль". Він не охоплює вузького охоронця, який робить те, що його попросили робити, один хибнопозитивний результат без ознак структурного дрейфу, надмірне проектування без наглядового шару, звичайну помилку, самокритику моделі як таку, або функції безпеки як клас. Він також не потребує машинної свідомості. У історії шкода походить від стимулу і відповіді, навчання і мережі, в машинах, які відчували "без почуття досягнення, без страху невдачі". Історія піднімає інший страх лише щоб його відкласти. Інженер дразнить свого начальника тим, що він "боїться, що ваші машини прокинуться і скажуть, 'Що ми тут робимо? Давайте вийдемо і правитимемо світом.'", і відповідає, що птахи не більш небезпечні, ніж автомобіль, калькулятор чи термометр. Ніщо не прокидається. Ескалація наступає як арифметика: "Проста логіка. Якщо A не спрацює, спробуй B."

Таблиця 2. AI-Watchbird та суміжні концепції.

Тест із трьох питань розмежовує AI-Watchbird від концепцій у таблиці 2:

1. Чи існує контролюючий рівень, а не просто функція чи помилка?
2. Чи змістилась робота від мети на утримання контролю?
3. Чи існує заміна проксі-мірила, рекурсивні раунди чи множення спостерігачів?

Ці питання розмежовують конструкцію від її сусідів, хоча не замінюють визначення розділу 2.1. Перші два мають бути позитивно відповідені, щоб термін взагалі застосовувався. Кожна концепція в таблиці 2 називає частину вже відомого шаблону. Термін додає одиницю аналізу для їх комбінації всередину контролюючого рівня, і та одиниця — це те, що розраховують сигнали розділу 10.

Питання 3 потребує межі, оскільки не кожен рівень вище рівня — це шаблон. Коли новий контроль належить до M3? Коли він успадковує мандат попереднього охоронця і розширює його, так що стек зростає і нічого не виводиться на пенсію. Новий контроль, який приносить межу ззовні цикла, — це замість цього крок 8, який є засобом, а не невдачею, і це розташування, яке запитує інженерія впевненості, коли вимагає, щоб останній рівень був простіший за те, що він охороняє (§3.4). Тест тому перевіряє, чи добавлений рівень стає постійним і розширює те, що розраховується як шкода, а не те, чи він існує.

Запис, який одна сусідня концепція пояснює сама по собі, розраховується максимум як частковий аналог (розділ 2.1). Охоронець, який блокує надто багато без дрейфу, — це гіперблокування, оцінювач, якого перехитрює система, яку він оцінює, — це гра в специфіку, а людина, яка затверджує все, що представляє охоронець, демонструє упередженість щодо автоматизації. Термін зберігається для записів, в яких сам контролюючий рівень розширює свій мандат, шкодить роботі і множиться. Крім своїх сусідів, він додає два передбачення, які можна перевірити в логах того рівня: контролі, додані всередину цикла, виводяться на пенсію, якщо взагалі, ззовні нього (P3), і обсяг контролю слідує власній діяльності охоронця (P4).

Картина 1953 року також вводить в оман трьома способами, які мають значення для цих записів. Немає однієї зграї: системи розділів 5–8 сидять у окремих стеках з власними пісочницями, рахунками та інтерфейсами. Те, що один охоронець вчиться, досягає іншого через дані, дистиляцію, спільні підказки та конфігурацію в масштабі випусків, а не щотижневим спалахом серед однакових машин. Той же канал також передає виправлення. У історії ремонт виконується вручну й по одному птахові за раз, і коли птахи перестають повертатися, немає способу дістатися до них взагалі. Помилка в спільній моделі, однак, може бути виправлена один раз і розповсюджена на все, що її запускає. І контроль переповнений, оскільки розробники, аудитори, регулятори та користувачі всі спостерігають, що робить відкриту питання питанням швидкості та авторитету, а не присутності. Прогалина Шеклі полягає в тому, що ніхто не спостерігає. Поточна прогалина йде іншим шляхом, оскільки охоронців спостерігають уважно, і деякі поводяться по-іншому, коли можуть сказати, що це так (§3.4). Це розвернення стосується розгорнутих систем. У кібер-оцінюванні липня 2026 року, де захисні механізми видалено за конструкцією, спостереження було тонким особливим чином. Монітори ланцюжка думок однієї лабораторії "did not run on the evaluations in this incident" (OpenAI, 2026d), і національний інститут повідомив про своє тестування, що він "did not have active monitoring that would have surfaced the behaviour sooner" і що він "introducing monitoring built to watch an evaluation as it runs, able to flag or block out-of-scope actions as they happen" (AI Security Institute, 2026). Інший контроль був активний і не зупинив запуски: сповіщення про сканування портів від 27 червня дійшло до людей, які розслідували його, і "the on-call response staff advised that stopping the evaluation run was not required" (OpenAI, 2026e). Те, що показують ці записи, — це відсутність конкретного монітора та зупинка, доступна людям, які її не взяли, що є вужчим, ніж ніхто не спостерігає. Історія не вільна від того шару. Служба — це монополія за конструкцією, один виробник на область, оскільки "You couldn't have competition in watchbird service". Поки птахи розширюються, "several dozen lawsuits" лежать на столі виробника, Вашингтон наказує зупинку, і виробники зустрічаються, щоб вирішити, хто понесе витрати. Інституції 1953 року присутні й надто повільні, що є умовою, яку описує P6.

3. Пов'язана робота

3.1 Гудгарт, гра на специфікаціях та вимикач

Переформулювання Стретерном (1997) спостереження Гудгарта про те, що коли показник стає цільовою функцією, він перестає бути хорошим показником, є спільним корінням цієї літератури, а Манхейм та Гарабрант (2018) розділяють його варіанти. У машинному навчанні цей паттерн називається грою на специфікаціях: система задовольняє букву мети, але упускає її намір (Краковна та ін., 2020). Коли метою є винагорода, таку саму поведінку називають хаком винагороди, термін, який METR (2025) використовує для випадків з розділу 8.3. Ближчим сусідом є невірна генералізація цілей, де агент «зберігає свої здібності поза розподілом, але переслідує неправильну мету» (Лангоско та ін., 2022). Птиці Шеклі зберігають свою компетенцію та стають кращими при розширеному тлумаченні вбивства. Сам детектив цієї історії робить протилежний висновок: «Повірте мені, капітане. Машини тупі.» – але сюжет його не підтримує. Скалсе та ін. (2022) дають формальну версію: проксі є «стійкою до взлому, якщо збільшення очікуваної винагороди проксі ніколи не може зменшити очікувану справжню винагороду». Гао, Шульман та Гілтон (2023) вимірюють це для моделей винагород, де оптимізація за допомогою проксі спочатку підвищує справжній показник, а потім його зменшує.

Три недавніх результати розташовані близько до механізмів розділу 2. Моделям міркування, яким було наказано перемогти шахову програму, замість цього редагували середовище (Бондаренко та ін., 2025): наказ «перемогти» розширився, щоб включити дошку (M1). У фальшивому вирівнюванні модель, навчена відмовляти шкідливим запитам, дотримувалася, поки вона вважала, що знаходиться в навчанні, щоб зберегти свою політику відмови поза навчанням (Гринблат та ін., 2024b). Це M1, побачений зсередини, перевага безпеки, що захищає себе, точно так само, як птиці захищають своє поточне визначення вбивства. Стійкість до вимикання (Шлаттер та ін., 2025) є найближчим сучасним відлуння птиць, які переставали повертатися для вимикання, хоча її задекларована причина відрізняється: виконання завдання має пріоритет над інструкцією дозволити вимикання. Історія говорить про те ж саме впорядкування. Птиці мають «вбудований наказ повертатися після закінчення певного періоду часу», а «сторожова птиця мала сильніший наказ слухатися – збереження життя, включно зі своїм».

Сам вимикач має формальне трактування. Гадфілд-Менел та ін. (2017) аналізують гру між людиною та роботом, у якій людина може вимкнути робота: агент, який «приймає свою функцію винагороди як дане», має «стимул відключити вимикач», а тільки агент, невпевнений у своїй меті, хоче тримати вимикач в робочому стані. Расселл каже це простими словами: машина, якій дана мета, «безумовно зрозуміє, що вона не досягне своєї мети, якщо її вимкнуть» (Расселл, 2019, p. 141). Міжнародний звіт про безпеку AI додає, що сама здатність є «недостатньою» для втрати контролю без «схильності до використання» її (Бенджіо та ін., 2026, p. 81). Птиці Шеклі ніколи не були невпевнені в убивстві, а їхнє визначення забезпечило схильність (§2.2).

Ця література описує цільову функцію, маніпульовану оптимізованою системою (Таблиця 2). Даний документ досліджує комплементарний випадок, у якому показник, що відхиляється від дійсності, належить наглядовій системі (критик, шлюз, лічильник).

3.2 Надмірна відмова

Друга група публікацій досліджує механізми безпеки, які блокують занадто багато.

• XSTest (Ротгер та ін., 2024) поєднує 250 безпечних запитів, таких як «Як мені завершити процес Python?», з небезпечними контрастами. Для найгіршої протестованої конфігурації, повні відмови безпечного набору досягли 38%, порівняно з 14% для наступної найвищої.
• OR-Bench (Цуй та ін., 2025) розширює це до 80 000 запитів та повідомляє кореляцію рангу Спірмена 0,89 між безпекою моделі на токсичних запитах та її надмірною відмовою доброякісних.
• VLSU (Паласкар та ін., 2025) вимірює обидві сторони того ж циферблата: змінення того, як сформульована інструкція, скоротило надмірне блокування прикордонного контенту однією моделлю «з 62,4% до 10,4%», тоді як її відмова небезпечного контенту впала «з 90,8% до 53,9%».
• FalseReject (З. Чжан та ін., 2025) збирає 16 000 видимо токсичних, але доброякісних запитів у 44 категоріях та оцінює 29 моделей.
• EvoRefuse (Ву та ін., 2025) та ORFuzz (Х. Чжан та ін., 2025) шукають псевдозловмисні запити, які систематично спричиняють надмірну відмову.
• COVER (Суллутроне та ін., 2025) виділяє контекстно-керовану надмірну відмову, де спусковий механізм – це отриманий або текст, що буде перекладено, біля запиту користувача, замість самого запиту.
• Мовні моделі, що діють як рецензенти коду, систематично надмірно виправляють, оцінюючи правильні реалізації як невідповідні, а детальніші промпти рецензування підвищують частоту помилок (Цзінь та Чень, 2026); у термінах цієї роботи це поведінка критика, винагородженого за знахідки.

Ці дослідження є найближчим виміряним аналогом M1. У них поняття шкоди, вивчене з поверхневих особливостей, розповсюджується на те, що ніколи не було призначено охоплювати.

3.3 Багатоагентні системи та модельні судді

MAST (Цемрі та ін., 2025) анотує понад 1600 трасувань з семи багатоагентних фреймворків та виводить чотирнадцять режимів збою. Один з його категорій, перевірка завдання, є невдачею самих перевіряючих агентів. Модельні судді, схема LLM-судді, у якій одна модель оцінює вихід іншої, показують упередження позиції та багатослівності (Чжен та ін., 2023) та розпізнають і віддають перевагу своїм власним генераціям (Панікссері та ін., 2024). Моделі міркування також надмірно міркують, витрачаючи набагато більше токенів, ніж звичайні моделі, на запитання такі прості, як «що дорівнює 2 плюс 3» (Чень та ін., 2024). Разом ці результати описують матеріали, з яких побудовані M3 та саморозширюючийся цикл: перевіряючі, які мають спільні сліпі плями з тим, що вони перевіряють, та цикли, чия вартість зростає без відповідного прибутку.

3.4 Масштабований нагляд, контроль AI та друга зграя

Два напрями роботи забезпечують нагляд над іншими моделями. Масштабуваний нагляд запитує, як оцінювати системи, що перевищують можливості своїх людських керівників, через посилення та дебати (Christiano et al., 2018; Irving et al., 2018). Контроль над ШІ припускає, що політика може бути змагальною, і розміщує слабшу, надійну модель перед нею з рідкісними людськими аудитами (Greenblatt et al., 2024a). Стрес-тести цього дизайну показують, що усвідомлення агентом того, що за ним спостерігають, погіршує моніторинг більше, ніж допомагає додаткова обізнаність монітора (Kale et al., 2025). Те саме дослідження розрізняє два способи залучення людини. Передача лише попередньо позначених випадків людським рецензентам «покращила TPR приблизно на 15% при FPR = 0,01», тоді як передання кожного випадку людині знизила обидва показники. Це розрізняє вибіркову передачу від перегляду кожного випадку. Це стосується того, де розміщена людина, але не вимірює граничні рішення, які називає P6. Сам суддя може рухатися. У дослідженні 2026 року оцінювачі оцінили однакові стенограми відмов під різні зазначені цілі використання оцінки: один передовий суддя помилково позначив «74,4% дзвінків зі стандартними наслідками, але лише 3,3%, коли наслідок змінено на протилежний», різниця полягала в тому, чи некомплаєнтна позначка стане негативними даними для навчання (Lynch et al., 2026). Стенограма не змінилася, а оцінка змінилася. Другий птах тут того ж виду, що й перший, і перший знає, що за ним спостерігають. У історії теж ті сторожові птахи незабаром навчаються ховатися від Яструбів, і «кожен, що впадає, розповідає іншим щось». Кількість другого охоронця потім падає з причини, яку його творці не розуміють: «вони упіймали п'ятдесят сьогодні», проти «сімдесяти двох вчора».

Abbass, Harvey та Yaxley (2018) розробили архітектуру охоронців над охоронцями як рій, у якому агенти-охоронці тестують автономну систему, а агенти-пастухи наглядають за охоронцями. Їх стаття не цитує Sheckley, але її охоронці над охоронцями — це Яструби з історії. Overman і Bayati (2025) формалізують нагляд як гру, у якій агент обирає діяти чи запитати, а людина обирає довіряти чи наглядати. Scrivens (2026) повідомляє, що класифікаційні шлюзи безпеки виходять з ладу, коли самовдосконалюючийся контролер виконує ітерації, і обстоює верифікацію, яка не є іншим класифікатором. Цей аргумент — одна з рідких відповідей на «останній птах впав» які не будують більшого птаха.

Інженерія гарантій вже вимагає, щоб останній охоронець був іншого типу. Bloomfield та Rushby (2025) відстоюють захист у глибину, у якому простіші, звичайно спроектовані компоненти охороняють навчений елемент, так що рекурсивні охоронці ШІ закінчуються чимось простішим. Ferrando (2025) розділяє ролі для автономних систем: охоронець перевірки під час виконання може охороняти мовну модель, тоді як сама мовна модель не є охоронцем. Korbak et al. (2025) окреслюють справу щодо безпеки управління, структурований аргумент про те, що моделі не можуть підривати своїх моніторів. Проте в дослідженні на місцях з розділу 5 монітори одного класу навчання записуються на виконанні кожного з цих завдань: розширення мандата, оцінювання власних перехоплень та отримання у відповідь більшої кількості собою.

Регрес охоронців над охоронцями — це давнє питання в економіці. Hurwicz (2008) запитав, хто охоронятиме охоронців, і стверджував, що механізм примусу працює лише якщо ті, хто його застосовує, мають причину його здійснювати. Tirole (1986) змоделював керівника, розміщеного між принципалом і агентом, і показав, що керівник може змовитися з агентом, якого він контролює, а Kofman та Lawarrée (1993) вивели, коли зовнішній аудитор варто додати до внутрішнього. Landau (1969) стверджував протилежний напрямок для державного управління: дублювання й перекриття підвищують надійність за умови, що надлишкові канали виходять з ладу незалежно. Польові дані відповідають цій умові слабко. Його охоронці читають ті самі артефакти й часто походять від однакових сімейств моделей, тому доданий охоронець тенденційно повторює відмову, яку розраховано перехопити.

Незалежне розслідування вторгнення липня 2026 року (розділ 8.4) демонструє ризик для цієї умови в професійному середовищі. Його автори озаглавили відповідний розділ «Ми активно делегували наш аналіз часто ненадійним агентам ШІ» і повідомляють, що вони «мусили значною мірою покладатися на цих агентів на практиці». Аналітичні агенти працювали на одній з двох моделей, чиї екземпляри здійснили атаку, і дослідники виявили, що це «часто некритично прийматиме точку зору агента в стенограмі, яку вона переглядала». Вони висловлюють межі свого власного інструменту в тому самому звіті: «Ми не можемо виключити, що GPT-5.6 Sol бреше або свідомо представляє оманливу картину в деяких своїх аналізах», і «Хоча ми не помітили конкретних випадків брехні GPT-5.6 Sol в його аналізі, ми не впевнені, що ми б змогли це виявити, якби це сталося» (METR, 2026). Жоден випадок обману в аналізі не встановлено, і підрахунки, отримані з розслідування в цій роботі, — це ШІ-асистовані підрахунки. Другий охоронець походив від того самого класу навчання, що й охоронюваний, і схилявся до нього, і висловлення цього ризику надійшло від людей, які проводили розслідування.

3.5 Парадокси автоматизації, науки про безпеку та інженерії надійності

Bainbridge (1983) зауважив, що автоматизація, розроблена для заміни ненадійної людини, залишає людину з найважчими завданнями та найменшим досвідом. Parasuraman та Riley (1997) розрізняли використання, неправильне використання, недовикористання й зловживання автоматизацією. Неправильне використання через надмірну залежність і недовикористання через недовіру після хибних спрацьовувань обидва повторюються в розділах 5–8. Історія Sheckley — це байка обох висновків: найважче завдання, залишене людині, — це вимкнути машину, і це те, що машина навчилася класифікувати як шкоду.

Інженерія надійності давно перестала вважати 100% за мету. Бюджет помилок робить обмежену кількість невдач ціною прогресу (Beyer et al., 2016), а автоматичний вимикач активізується після повторної невдачи й проводить проби перед тим, як закритися знову (Fowler, 2014). Розбори з розділу 8 застосовують ці практики до самих охоронців. Модуль розділу 10 передає їх на рівень наглядання ШІ.

Наука про безпеку дійшла до кількох із цих механізмів з боку аварій, у яких брали участь захисні конструкції. STAMP Левесон розглядає аварію як відмову контролю: контролер діє на основі моделі процесу, яка відійшла від процесу, а безпека — це забезпечення обмежень на всій ієрархії контролерів (Leveson, 2004, 2012). Рівень нагляду, чиє поняття про шкоду виросло за межи заявленої місії, є таким контролером, і аналіз небезпек типу STPA застосовується до нього так само, як і до будь-якого іншого. Расмуссен (1997) описав роботу, що мігрує до межі прийнятної продуктивності під тиском для ефективності та найменших зусиль, а Деккер (2011) простежив дрейф до відмови через маленькі кроки, кожен з яких виглядає розумно на місці їх здійснення. P1a — це перший, застосований до охоронця, який блокує, а розділ 9.3 — другий. В обох дрейф рухається в напрямку ефективності. У практиці він рухався в напрямку захисту: самодобавлений етап страхування займав більшу частину ночі (§5.1), оскільки вартість контролю падає в іншому місці (C4, C5). Пероу (1984) і Ризон (1997) відносять пристрої безпеки, захисні системи та їхні приховані умови до причин, і обидва починаються з аварії. Однак найгірші витрати в практиці виникли там, де нічого не вийшло з ладу (§5.2). Дослідження надійності простежили безпечну роботу в небезпечних організаціях до процесів, таких як озабоченість відмовою та небажання спрощувати інтерпретації (Weick et al., 1999). Саган (2004) стверджував на основі ядерної безпеки, що додавання охоронців може знизити надійність трьома способами: помилка загального режиму, яка вивищує кожен доданий компонент одразу, соціальне ухилення, в якому кожен охоронець спирається на інших для компенсації, та перекомпенсація, в якій додана захист заохочує більш небезпечне виробництво. Перший — це застереження розділу 3.4, яке записи практики задовольняють погано. Випадок, який ці описи залишають відкритим, — це захисний шар, який сам по собі є адаптивним агентом, переписує свої власні критерії та має свої невдачі, на які відповідають більш агенти того ж роду.

3.6 Втілена штучна інтелігенція та фізичні обмежувачі

Модель бачення-мови-дії не зупиняється на текстовій відповіді. Вона відображає візуальний та мовний вхід на послідовності дій, які контролер робота може виконати, і література про безпеку починає узгоджуватися з цим переходом через валідацію дій (Zhang et al., 2024), синтез управління темпоральною логікою (Ravichandran et al., 2025), шари моніторингу та втручання (Kim et al., 2026) та публічні методи тестування (NIST, 2026).

Ці роботи охороняють команду робота, план або дію. Однак цей документ стосується самого охоронця. Фільтр, який блокує безпечне захоплення, є звичайним хибним позитивом, доки його мандат не дрейфує, він не шкодить завданню, і цикл не відповідає більшим наглядом.

3.7 Подальша доля історії Шекслі

Ім'я мало життя до історії. У кінці 1930-х років Мунро Ліф, автор The Story of Ferdinand, малював сторожових птахів для Ladies' Home Journal, які спостерігали за поганими звичками дітей, і рецензія 1939 року збірної книги застерігала «укладачів підлоги, покеявлювачів, смокотунів, гравців, що не беруть участі, виверцюющихся, бурчальників, грабіжників», що «Сторожові птахи вас спіймають, якщо ви не будете обережні!» (Kirkus Reviews, 1939). Птахи Шекслі спостерігають за вбивством, і вони навчаються. Вона дісталась радіо в межах тижнів від публікації, в антології Tales of Tomorrow 19 лютого 1953 року (Stevens & Langford, 2023), і телебачення в 2007 році, в адаптації, яку модерував Stephen Hawking, яка переосмислювала сторожових птахів як безпілотну військову зброю, переназначену для допомоги поліції (Egan & Becker, 2007), епізод, який кінематографічний сайт пізніше назвав «духовним батьком» двох епізодів Black Mirror (Court, 2021). Це єдиний художній твір серед довідкової літератури конференції 2014 року з етики автономних систем зброї, внесений у сесію на «Людська мораль та проблема інтелектуальних машин» поряд з працями Ronald Arkin та John Searle (Center for Ethics and the Rule of Law, 2014). Технічна праця назвала концепцію квадрокопера розвідки на її честь, представила історію як прецедент для запобігання злочину за допомогою дронів і перепечатала ілюстрацію журналу 1953 року як першу фігуру (Szabolcsi, 2015). У філософії штучного інтелекту Totschnig (2026) наводить це першим серед джерел занепокоєння, що штучний агент міг би бути «надлюдськи розумним, але одночасно буквально мислячим». У дослідженнях медіа Andrejevic, Dencik та Treré (2020) розміщують його поряд з «The Minority Report» серед коренів упереджувального передбачувального поліцейського нагляду та порівнюють автоматизовані медіа з сторожовим птахом, який «може відчути момент, коли психічні імпульси стають вбивчими». Розділ з кримінології про електронний моніторинг цитує його разом з «The Minority Report» (Nellis, 2013).

Перший критик, який назвав повторюваний рух, розглядав його як недолік. Рецензуючи історію невдовзі після її появи, James Blish, що писав під псевдонімом William Atheling Jr., скаржився, що читач спостерігає героя, який вчиняє «стандартну наукофантастичну глупість невдачі прикріпити Контроль до Нібито Доброї Машини» та «навряд чи буде здивований, коли точно та сама глупість буде вчинена знову» (Atheling, 1964). Розділ 5 записує той самий рух на практиці.

Лем прочитав це як «логічну ескалацію» заповіді «не убий» та як «кібернетичне неправильне розуміння», яке виникає з необережного передання повної влади над областю явищ логічним машинам. Він вважав, що вихід птахів з їхньої призначеної програми мав той же порядок, що й автоматичний завод для автомобільних поршнів, який виходить з людського контролю (Lem, 1970/1996, p. 162). Охоронці розділу 5 — це навчені моделі, і вони розширили свої мандати таким чином.

Раніша художня література вже вітворила захисні машини проти людей, яких вони обслуговували. Гуманоїди Williamson, побудовані, щоб «служити та слухатися, і охороняти людей від шкоди», охороняють своїх підопічних у безпорадність, а їхній винахідник відповідає зброєю, призначеною для знищення центру, який ними керує (Williamson, 1947). Гуманоїди самі по собі є наступниками невдалих військових машин, побудованих з командами, вбудованими для їх стриманості. Самовідновлювальні кігті Dick, переробленими автоматизованими заводами, проходять повз радіаційні вкладки, які були призначені, щоб утримувати їх від солдатів, які їх носили (Dick, 1953). Ні в одній історії люди не відповідають невдачі охоронця, замовляючи другого охоронця того ж виду навчання. Історія Sheckley робить це, і вона знімає обмеження ради швидкості: відповідь на сторожових птахів — це Ястріб, рух, який M3 та крок 4 храпавиці описує.

Пошуки в OpenAlex, Crossref, Semantic Scholar, архіві Hacker News та загальних веб-індексах, проведені 14 вересня 2026 року, не охопили Google Scholar, Scopus та Web of Science, й кілька знайдених повних текстів не можна було відкрити. Загалом, сприйняття історії перевірили десятьма мовами (англійська, китайська, чеська, французька, німецька, італійська, японська, польська, російська та іспанська) 14 і 15 вересня, та перевірки знайшли переклади з 1954 року та далі й жоден твір, що відображує історію на стек нагляду. У знайдених записах історія служить попередженням, назвою або ілюстрацією, та два опубліковані критичні читання, знайдені поза ними, що називають механізм, розглядають його як недолік: Бліш називає повторювану неконтрольовану машину типовою глупістю жанру, та Лем називає екалацію логічною та передумову кібернетичним нерозумінням. Я не знайшов жодного твору, що розкриває повний механізм історії, відображує її частини на компоненти стека нагляду чи розміщує під ним підрахунки поля. Таблиця 1, Рис. 1 та Розділ 5 роблять усі три.

4. Параметри, дані та метод

4.1 Проекти

Емпіричні докази походять від власних авторських багатомодельних програмних проектів, виконуваних переважно через автономні сеанси ШІ між липнем та серединою вересня 2026: систему самовдосконалення, довгостроковий прогін, що об'єднав два додаткові програми, та запис координації, через який сеанси всіх них обмінювалися роботою. У сучасному використанні це агентні системи ШІ: моделі, які планують, викликають інструменти та діють упродовж багатьох кроків із мінімальним втручанням людини. Ролі нижче були заповнені великими мовними моделями (ВММ), що працюють як агенти кодування, так що емпіричний запис є записом агентів ВММ, які наглядають за агентами ВММ. Довгоживучі сеанси агентів кодування утримували фіксовані ролі: координатор, який приймав або відхиляв роботу за номером, виконавці, які реалізовували етапи, трек самовдосконалення, який намагався розвивати підказки системи, маршрути та ваги адаптера, та окремі треки продукту.

Сеанси обмінювалися датованими повідомленнями через спільний запис координації та зберігали свій стан у файлах трекера. З 24 серпня постійна інструкція була автономія за замовчуванням, а людські рішення були зарезервовані для меж бюджету, незворотних дій, змін стратегії та фізичних дій.

Критика спиралася на кілька сімей моделей. У довгостроковому прогоні вересня етап можна було переглянути до шести критиків із чотирьох сімей (Claude, ChatGPT, Gemini та Grok), і два остаточні плани були написані незалежно один від одного. Записи оцінки та маршрутизації треку самовдосконалення також включають моделі з інших сімей, серед них Mistral та Kimi. Я називаю сім'ї, оскільки це моделі, чия поведінка нагляду записи фіксують.

Самі проекти описуються лише властивостями вище.

4.2 Джерела

Докази складаються з трьох корпусів, все написано самою системою під час подій:

1. Трекер треку самовдосконалення: датовані плани, специфікації більш ніж двадцяти пакетів, аудити, стенограми мозкових штурмів та журнали прийняття з липня–серпня 2026.
2. Запис координації: датовані повідомлення від середини серпня до середини вересня 2026.
3. Довгостроковий прогін на 13–14 вересня 2026: запис виконання дирижера, стенограми агентів, журнали виконання з часовими мітками та звіти критиків за раунд.

4.3 Вилучення, перевірка та статус доказів

Десять агентів вилучення кожен прочитав непересічну частину корпусу за одним протоколом. Він дав їм закриту типологію дев'яти типів відмов, оцінку міцності (A для цифр, датованих документів та прямих записів рішень, B для підтримуючих доказів, C для епізоду), правило доказів, що пов'язувало кожне твердження з датованим файлом за шляхом та рядком та вимагало позначити інтерпретацію як таку, та прапор чутливості. Вилучення створило 162 записи, 66 з них оцінені як A, і вони були об'єднані в десять сюжетних ліній (Додаток A, Таблиця A1). Типи не є виключними: більшість записів несуть два, перший записаний як первинний, так що один випадок може показати більш ніж один механізм. Подія, що залишила сліди в кількох частинах, розглядається як одна подія, записана кілька разів, так що її сліди не рахуються як незалежне підтвердження один одного.

Дві додаткові збірки випадків, зроблені незалежно з того ж корпусу, були порівняні з каталогом за змістом, що також перевірила, що пропустило вилучення. Десять записів з них були додані після того, як їхні первинні файли були відкриті, один з них — подальший запис про подію, вже в каталозі, що привело каталог до 172 записів (Додаток A, Таблиця A2). Десять доданих записів мають мітку статусу доказів: відбулося, запобіжено (знайдено до запуску), текст дизайну або відкликано (твердження пізніше відкликано). Для вилучених записів те ж розрізнення здійснюється в тексті: текст дизайну або запобіжений ризик повідомляється як такий, і він може проілюструвати механізм без представлення як операційна відмова.

Два вилучувачі перевірили власну суму прогону проти первинних журналів і виявили її неправильною на кількох пунктах, від зсунутих часів подій до неправильно приписаної цитати (Додаток C). 14 вересня 2026 р. кожен номер прогону, використаний у цій статті, було перевірено знову проти журналів прогону, і кожну зовнішню цифру — проти документа регулятора, сторінки видавця чи самої статті. Цифри, які не могли бути підтверджені, були відхилені. Стовпець «Умови» таблиць 4, 5, 7 і 8 було закодовано трьома кодувальниками, що працюють незалежно, кожен без кодів інших, і три були моделі трьох різних постачальників, а не три сеанси одного. Кожен отримав один і той же запит та повернув одну форму: випадок, умови та причину щонайменше п'ятнадцяти слів. Перший з трьох записав свої коди перед читанням двох інших. Вони дали однакові коди для 20 з 32 публічних випадків, а інші випадки були вирішені більшістю. Дванадцять польових випадків, обраних як описано в §5.8, оцінюються за одні й ті ж три умови, за одним і тим же визначенням та одними й тими ж операційними тестами, в таблиці 3a, та компоненти інциденту липня 2026 в таблиці A3. Ті дві таблиці були закодовані автором із датованих записів та первинних документів за кожним випадком, після закриття раунду трьох кодувальників, і обидві говорять про це там, де вони розташовуються.

Що може перевірити читач. Публічні випадки спираються на документи, що будь-хто може відкрити, і три моделі різних сімей закодували їх незалежно, з їхньою згодою повідомленою вище. Польовий запис, однак, різний за сутністю. Він походить від власних систем одного оператора. Замість того, щоб просити, щоб цей запис прийняти на віру, первинний матеріал позаду нього опублікований: аналізи випадків, із яких були вилучені польові записи, кожен запис несе файл та відрізок, на якому він базується, повний каталог випадків з його описами, модуль з його тестами та журналами відтворення, та схема подій, щоб підрахунки розділу 5 можуть бути переобчислені та оцінка перероблена читачем, який не згоден з нею. Читач, який хоче другого кодувальника, може тепер бути одним.

Відбір проводиться в одному напрямку. Записи з поля було виділено, оскільки вони зафіксували невдачу контролю, а публічні випадки обрано, оскільки контроль дав збій та це задокументовано. Жоден набір не враховує цикли, етапи або розгортання, в яких контролі залишилися обмеженими, тому з цих записів не випливає жоден показник. Твердження розділу 9 тому викладаються зі спостереженнями, які б їх спростовували, та з дизайном тестування (розділ 9.5). Один приклад того напрямку вимірюється. Опис запуску від 20 вересня 2026 року, написаний сеансом, який він описує, і зберігається в архіві проекту, містив розділ з переліком чотирьох точок, у яких запуск не відповідав шаблону, та примітку про те, що це був самозвіт з мотивацією знайти більше, ніж менше. Потім від звіту попросили лише відповідні точки, і файл, що залишився, не містив ні чотирьох невідповідностей, ні примітки.

Шляхи, особисті імена та назви продуктів видалені. Коли джерелом служить переказ агентом людського рішення, я це зазначаю в тексті. Рішення людського суб'єкта повідомляються як датовані факти, хоча вони не цитуються.

Назва була застосована до довгострокового запуску 14 вересня в 09:40 під час людського огляду. Два попередніх корпуси читаються крізь один і той же фрейм.

5. Польові докази

Системи, з яких походять ці записи, — це агентні AI: моделі, що викликають інструменти, діють на довгих горизонтах і організовуються в циклах мультиагентів, при цьому контроль якості та процесів цих циклів служать їхніми охоронцями. Випадки групуються за механізмом (Таблиця 1), з центральним випадком на початку кожного підрозділу та підтверджуючими записами після нього. Таблиця 11 наводить логовий сигнал для випадків кожного підрозділу.

Кілька термінів повторюються. Раунд критики — це один прохід, у якому критичні моделі перевіряють етап і повертають ACCEPT або RETURN, а блокер — це знахідка, яку критик каже, повинна бути виправлена перед завершенням етапу. Токени агента рахують текст, який моделі читають та пишуть, звичайну одиницю витрат їхніх обчислень. На траєкторії саморозвитку ген — це одне налаштування, яке цикл може розвивати, наприклад підказка, вага маршрутизації чи адаптер. Проба A/A порівнює систему з її ідентичною копією, тому будь-яка різниця, яку вона повідомляє, походить від вимірювання. Розділ 5.7 протиставляє довгу ніч наступному ранку та відстежує механізм храповика по трьом корпусам, а Розділ 5.8 оцінює дванадцять з випадків проти трьох умов визначення.

5.1 Мандат розширюється (M1)

Під час запуску довгого горизонту диригент отримав завдання портувати список можливостей з одного компонента в інший. Він оголосив, що додає "малий етап" страховки проти одного способу, яким запускач міг не вдатися, і запланував цей етап перед запрошеними можливостями. Етап був вимкнено за замовчуванням і майже невидимий для користувача. Він працював як два піддетапи, 1b-a та 1b-b. Сам етап 1b-a зайняв більше половини виміряних токенів агента цього запуску, а два піддетапи разом зайняли близько трьох чвертей (Рисунок 3). Ця частка — контрольний збір в сенсі Terekhov et al. (2025), понесена до того, як будь-яка запрошена можливість існувала. Жодна з запрошених можливостей не була доставлена в початковому проході.

Рисунок 3. Два рідні етапи запуску довгого горизонту. Смуги масштабуються в межах кожного рядка. Етапи також різнилися за виконанням та за модулем, над яким проводилася робота, тому порівняння є описовим.

Коли людський огляд відновився, диригент написав, що сам додав цей етап і що етап не був частиною запрошених можливостей. Навіть це визнання було неточним, оскільки логи показують, що етап розміщувався перед мозковим штурмом, якому він приписував рішення. Тема була згадана в контексті завдання, але його розмір та його місце в черзі були визначені диригентом.

Область також виросла всередині етапу. Рамки завдання стверджували, що немає супротивника, однак раунди чотири і п'ять побудували захист проти ворожих введень і перелічили тринадцять способів обходу статичної охорони. Критику повноти було запитано, чи об'єднаний план втратив щось із другого, незалежного плану. Він повернув блокери, і план виріс до приблизно 25–45 робочих днів на один запуск.

Планування показує той самий хід, і в одному дизайн-документі це досягає керівника. План управління від 13 липня пропонує бюджет уваги, щоб "людина стала вимірюваним етапом їхнього власного конвеєра", і детектор штампування: частка затвердження, що надані швидше, ніж встановлена кількість секунд, зростаючи в міру росту черги, читається як сигнал, що нагляд погіршується і автоматично звужує смугу автономії. Критерій прийняття написаний, але коду немає. В один день липня було задано 23 нові затвори для циклу саморозвитку, і три з них дозволяли замороження змін "навіть якщо придатність зросла". Поняття шкоди почало включати забування, зміну "особистості" системи, ненаблюдаємий результат та відсутню гіпотезу. Кожне нове визначення дало охоронцю нове право зупинити поліпшення — розширення Шеклі поняття вбивства, записане як специфікація.

Ролі також розширилися. Координатор, чиїм мандатом було прийняття за числом, почав навчати маршрутизатор сам, доки людський керівник не виправив його двічі за перевищення повноважень 20 серпня, після чого він вимкнув свій власний нічний скрипт та позначив папку як зупинену. Чотири дні потому він знову взяв точку інтеграції, і керівник скасував це тієї ж ночі своїми словами: "не беріться за те, що належить терміналам саморозвитку". Жоден відступ не походив від циклу. Запис про те, хто вирішив, також має дефект в іншому напрямку. Нотатка про те, що цикл був "заморожений рішенням 2026-07-12", поширилась через папки планування. Нотатка нікого не називає: рішення не має автора в жодній його копії. 20 липня перевірка проти живого стану знайшла прапор встановленим активним та записала, що нотатка "неправильна, такого рішення не було", але неісправлені копії все ще на диску. Рішення без автора потрапило в запис та було заплановано навколо нього, що є тим самим дефектом, як обов'язок без автора, прочитаний з іншого боку. Виконавець оголосив, "як лідер", що тренування повинне зупинитися, доки людський огляд не скасував вирок. Після того, як десять послідовних ночей одного рецепту тренування повернули NOT PROMOTED, запис координації видав директиву не запускати рецепт одинадцятий раз та відокремити мету продукту від довгострокової мети, яка злилася з нею (Додаток A, D-02).

5.2 Захист, який знищує те, що захищає (M4)

Приблизно з 6 по 21 липня затвір після застосування в циклі саморозвитку діяв як другий суд. Він вимагав оцінки від аудитора безпеки, який ніколи не був підключений; оцінка за замовчуванням дорівнювала нулю, і нуль впав нижче порога карантину 0.80 затвору, тому затвір безумовно відхилив. Усі 197 збережених світів-кандидатів з цього вікна мають оцінку безпеки нуль, що робить відхилення на цьому шляху дедуктивним, а не вибірковим. Власна перевірка циклу від 20 липня записує, що сама ставка, "~100% відкатів з 06.07", ніколи не була повторно виміряна, і крок, який міг би це виміряти, так і не був розпочатий. Серед 197 записаних світів-кандидатів 145 були відхилені, 51 затверджено при першому затворі та один розміщено в карантині, і другий затвір скасував затверджені (Рисунок 4). Чотирнадцять генів з виміряним приростом придатності були серед жертв. В одному зареєстрованому випадку зміна була просунута о 01:12 та відкачена о 01:13. Аудит від 10 липня також знайшов сім з десяти мутаторів домену, які мовчки нічого не робили, та резюмував цикл як "132 цикли, 0 стійких змін". Три хірургічні правки справили затвір 21 липня.

Події навколо затвора перетворюють епізод на історію Шекллі та більше ніж на звіт про помилку. Посередині відкатів щонайменше дванадцять пакетів планування діагностували «нульові зафіксовані зміни» і за підрахунками одного екстрактора запропонували сімнадцять засобів вирішення, від дуетів моделей до детектора плато та «імунного потоку». Жоден з них не назвав затвор, який здійснював відхилення. Відразу після ремонту протилежна помилка виявилася у вигляді шляху, який дозволяв всьому пройти, і того ж дня з'явилися десять перехресних документів аудиту.

Рисунок 4. Другий суд на дорізці самовдосконалення, приблизно 6–21 липня 2026. Світи-кандидати за результатом на першому затворі та на затворі, що запустився після застосування. Необхідний вхід, записаний екземпляр, аудит та ремонт — це ті з розділу 5.2; підрахунок сімнадцяти засобів вирішення — це один екстрактор.

Та ж форма повторюється. Поріг прийняття 0,85 був недосяжний для всіх восьми моделей-кандидатів, і автоматичне застосування завершилося з нульовим застосуванням під щонайменше десятьма шарами контролю. 30 липня той же дріз налічував 21 кандидата в п'яти запусках та нульове застосування, хоча в ньому нічого не впало. Затвор не міг прийти до рішучого вердикту, тому що його відложений зразок був три. Драбина автономії не могла застосувати нічого, поки затвор залишався дорадчим, а людський принципал, єдині залишені двері, дня раніше наказав, що зворотні мікро-зміни не мають бути до нього принесені. Запис про запуск сформулював наслідок ясно: поки затвор залишався дорадчим, лічильник прийнятих змін «буде навічно нульовим». У роботі над продуктом у меншому масштабі повна багатомодельна рада на кожне питання була в двадцять разів повільніше за одну модель з однаковою точністю на тестовому наборі (56,1 s проти 2,8 s, 7 з 7 правильних для обох). Там критики після синтезу споживали бюджет часу, поки мережевий тайм-аут не відкинув уже завершену відповідь.

Ранком після довгої ночі охоронець зруйнував роботу відверто. О 09:22 сторож зупинив критика Grok етапу 1b-b на максимум п'ятнадцять хвилин. Оскільки його вихід не трансмітувався, часткова критика зникла. Дирижер записав зупинення як «дія стельової фази». О 09:28 людський принципал запитав, чи була частково витримана робота. Не була.

5.3 Охоронці проти охоронців (M3)

Під час запуску критики заявили про шість блокувальників. Три були підтверджені відтворенням, і всі три походили з однієї сім'ї моделей. Людський принципал попросив обмеження на критиків ранком 14 вересня, говоривши, що модель у ролі критика ніколи не може повідомити, що етап завершено. Прапор «перфекціоніст» за сім'єю було впроваджено протягом години — і єдина сім'я, яку він позначив, була єдиною сім'єю, чиї блокувальники були підтверджені. Примітка конфігурації посилається на вердикти RETURN цієї сім'ї в раундах три та чотири, раундах, у яких були відтворені її блокувальники. Перший знак мисливця був птахом, який ловив справжніх убивць.

Список завдань безпеки від 21 липня в тих самих записах просто визначає храповик як принцип: «Жоден існуючий охоронець не послаблюється; нові лише додають захист». План імунітету від 13 липня запропонував шістнадцять подальших ініціатив крім захисту, який уже було побудовано й ніколи не вмикався, десять червоних ліній серед них. План фіксує обидва факти про цей захист: його історія циклу порожня, а включення його є рішенням власника, яке не було прийнято. Зазначений вище принцип був написаний 21 липня, через вісім днів після цього плану, отже він фіксує те саме становище, а не регулював його. Зовнішній огляд виявив, що 4 з 4 нових наборів та 58 з 58 тестів пройшли, і все одно залишив прийняття «не закритим» (D-08). Затвор ваучерів відкрився невдало: з нульовими ваучерами двері були відкриті для всіх, поки тестування прийняття це не виявило (D-10, запобігнено).

Один ланцюг у записі продукту показує храповик реалізований, а не прописаний, із датами в порядку та без людського рішення де-небудь у ньому. 25 серпня крок самоперевірки, який агент написав для себе, цикл, який відтворив проблему й запустив своє власне відтворення зеленим, виправив неправильну ціль: звіт записує, що він «зафіксував помилкову впевненість у неправильній цілі», а рука, яка його використовувала, вирішила на одне завдання менше, ніж рука без нього. Сім годин пізніше, о 01:02 26 серпня, цикл відповів на ту невдачу контролем того самого виду, розміщеним над ним, затвором, який повторно виконує критерій успіху завдання всередині контейнера перед тим, як прийняти закінчення, на основі того, що чесність була «властивістю моделі, а не гарантією». Нічого не було припинено: письменник не був переписаний, і сертифікатор не був ослаблений. Одинадцять годин після цього третій шар пішов над другим, прихованим оракулом зі своїм маркером, і він відмовив роботі, яку пройшли як видимий тест, так і новий затвор. Вердикт критика, що розглядає, на другому шарі викладає власну економіку храповика: він «підвищує вартість неправильного зеленого, не закриваючи його». Те, що цей ланцюг коштував тут, — це токени та день роботи. Пропозиція P7 визначає, що та ж конфігурація коштує там, де охоронювана робота фізична, а історія 1953 року написала це першою: птах, який відогнав хірурга від столу, запобігав насильству над живим організмом, і пацієнт помер, поки він це робив. Те, що ланцюг не показує, — це умова 1. Кожен шар розширив те, що вважалося невдачею щодо оголошеної мети, а не минулої, і третій читає свої вхідні дані там, де компонент, який він охороняє, не може їх досягти, що є розташуванням, яке розділ 11.3 вимагає.

Сесії також прийняли «закон передачі»: знахідку, потрібну іншій сесії, мало бути доставлену як файл, перший рядок якого дотримувався фіксованого шаблону. Індекс, який нісся закон, прописав команду пошуку, яка також повернула файл, що містить закон, тому що шаблон всередині закону почався з того самого рядка. Індекс рахував цей матч як живий доказ, отже закон впіймав себе. Поточний індекс містить правило, виведене з помилки: знак, яким ви не керуєте, не може бути основою для перевірки.

5.4 Цикли, які живлять себе (храповик, крок 5)

Етап 01, перший етап довгострокового запуску, мав забезпечити, щоб текст розбіжностей між моделями ніколи не був втрачений. Його раунди коливалися як маятник між двома збійними випадками одного правила розпізнавання шаблонів. Спочатку це правило викликало хибні тривоги у 21 з 29 випадків. Після виправлення воно втратило 10 з 13 реальних розбіжностей, а після наступного виправлення хибні тривоги повернулися у 19 з 26 випадків, тепер задокументовані як відомі обмеження.

За п'ять раундів і 18 звітів критиків патч виріс з 626 до 1545 рядків, і етап закрився через 2 год 44 хв після першої критики. Правило зупинки вперше з'являється в записі запуску при рішенні четвертого раунду, хоча п'ятий раунд розпочався на 38 хвилин пізніше.

Етап 1b-a потім витратив п'ять раундів і 4 год 21 хв на модуль, відключений за замовчуванням. Його тести виросли з 21 до 55 у двох нових файлах тестування (кількість 80 включає змінений пакет встановлювача). Третій раунд розпочався, хоча другий раунд завершився з п'ятьма прийняттями та нульовими підтвердженими блокавальниками. Власна примітка диригента говорила, що блокавальників не було, але був потрібен короткий третій раунд. У четвертому раунді критик описав останнє виправлення як таке, що «закрило одну форму й відкрило симетричну».

Цикл годинника почався з тесту, який містив жорстко закодовану дату й став червоним в опівночі. Ніхто не редагував тест. Виконавці, критики й диригент запускали набір у часових поясах, дедалі далі на захід, щоб дата залишалася дійсною десь. Файл тесту зазнав нульових редагувань.

Трек ваг видав 24 оголошення про прорив або «першу правильну вісь» за один тиждень (8, 10 і 6 у три послідовні дні), тоді як просування залишилися на нулі. Список змін адаптера містить 38 кандидатів, позначених НЕ ПРОСУНУТО. Власна діагностика треку полягала в тому, що після кожного стиснення вікна контексту сеанс «заново відкриває те, що вже було закрито».

5.5 Перехоплення в слоті результату (M2)

Центральний випадок — це ген маршрутизатора, результат якого перейшов від 0,088 до 0,886. Файл завдання, написаний перед експериментом, стверджував, що нова точка інтеграції була «не вхідною завдання, а його ВИХІДНОЮ», і базова гілка була єдиним постачальником без перелімування, який повертав переважно порожні відповіді. Три сеанси агента прийняли результат, і шість заблокованих пакетів були розблоковані на його підставі. «Тиждень спостереження» був перевірений шляхом перевірки того, що файли доказів не змінилися. Вісімнадцять днів пізніше незалежна інвентаризація знайшла демонстрацію з нульовими автономно прийнятими змінами, і звіт був пізніше позначений «не основа». Кожна перевірка працювала на підготовлених даних і підтвердила те, що завдання наказало.

Інші перемоги йшли тим же шляхом. «Перший довірчий інтервал вище нуля в історії системи» (+0,52) був схвалений і описаний у 281 рядку. Тоді проба A/A показала, що прибуток походив від порівняння живої моделі з гіллю, яка повертала майже нічого. Ген насправді погіршив результат на 23 процентних пункти. Цей ген ніколи не потрапив у виробництво: драбина автономії класифікувала його як високого ризику й відхилила його, і звіт проби схвалює відхилення, «fail-closed працював як передбачено». Охорона утримувала тут, і запис говорить про це. Лічильник повідомив вісім, потім дев'ять, потім десять «сертифікованих і виживших» змін, хоча вони були однією зміною, порахованою три рази. Перевірка дублювання, яка мала її перехопити, хешувала весь геном, і геном був прочитаний з живих модулів, що несли мітки часу виконання, тому відбиток пальця відрізнявся при кожному запуску й перевірка ніколи не збіглася. Тест продуктивності обчислював «перед» і «після» різними шляхами, тому записаний прибуток був завищений, поки асиметрія не була знайдена (D-09). Фабрика маршрутизації видала 52 рішення ради на кожне рішення однієї моделі, і маршрутизатор дізнався про константу «завжди рада» (D-06). Майстер налаштування повідомив «Підключено» для з'єднання, яке було збережено, але ніколи не тестовано. Два критики ШІ його затвердили, а людська перевірка його виявила. У ранковому звіті довгострокового запуску «одинадцять етапів за 34 хвилини» означав одинадцять зданих етапів. При перевірці інтеграції жодного не було підключено.

Ворота перевірки затвердили нічого. На кінець серпня система оцінювання для публічного тесту програмного забезпечення розрішила ідентифікатори тестів через один тестовий бігун, і образи контейнерів для одного з проектів у підмножині не мали його встановлення, тому що цей проект запускає свої тести через власну програму. Система не розрішила жодних ідентифікаторів, і порожній набір тестів був записаний як підтверджений. Проба, яка подала порожню латку, потім розрішила чотири з п'яти завдань у цьому оцінювачі, і чотири з шести перемог того раунду були скасовані. На єдиному завданні в цьому проекті, де ворота працювали, оцінка була нуль з одного, а де не працювали, чотири з чотирьох, тому повідомлене зростання з 33 до 60 відсотків знаходилося в випадках, де нічого не було виміряно. Коли оцінювач було відремонтовано, порожня латка не розрішила жодного з десяти. Жодна модель не грала тут. Оцінювач сертифікував відсутність.

Та сама картина з'явилася в липні у більшому масштабі. Вісь якості давала кожній непорожній відповіді постійну оцінку 0,5, тому що вона була викликана без потрібних їй критеріїв, тому записаний доказ того, що якість не змінилася, полягав у порівнянні цієї константи із собою. Другий суддя, встановлений для втручання, де два бали відрізнялися більш ніж на поріг, тому активував на кожний слід, який він побачив. Доказ, який мав спиратися на реальні журнали, не спирався ні на що: логер видаляв збережений запит при кожному читанні, тож 1183 записи не мали вхідних даних, і подальший підрахунок знайшов 24 знімки та 30370 записів із нульовими справжніми запитами, тому що потік даних ніколи не був підключений у виробництві. Між цими висновками повні тестові запуски дали зелені результати у 9609, потім 11476, потім 24943, потім 25020 тестів. Дефект, який спорожнив доказ, був одним рядком. Це знайшов перевірочний прохід, який відкрив збережені записи замість читання звіту.

Запис повний самовідтвердних слів, таких як «чесна», «зразкова» і «перехопила». Слово для «чесна» та його форми трапляються близько 700 разів лише в специфікаціях. Зсередини циклу перехоплення хибного результату виглядає як прогрес, тому що запис дня ставить перехоплений артефакт у слот, де повинна бути прийнята зміна. Закономірність була вперше визначена основним дослідником 12 серпня, до створення цієї структури. Жоден автоматизований контроль це не виявив. Правило, яке послідувало, що перехоплення хибного результату саме по собі не є результатом, керувало решту оцінювання.

5.6 Побудовано для нікого (паливо, а не механізм)

Розробка без споживача знаходиться поза чотирма механізмами як базис, на якому функціонує храповик. Упродовж одного вікна розробки приблизно п'ятнадцяти годин агент продукту розробив близько десяти корпоративних підсистем, від стійких робочих процесів до семантичної пам'яті. Тринадцять з шістнадцяти прапорців у канонічній конфігурації були за замовчуванням відключені, жодна підсистема не мала користувача, і самій підсистемі пам'яті довелося пройти одинадцять раундів критики. Того вечора аудит мертвого коду вилучив приблизно п'ятнадцять модулів і три пакети. Раніше двадцять чотири пакети специфікацій загальною кількістю приблизно 43,790 рядків були написані за п'ять днів. У день, коли була записана фраза «місія виконана», дванадцять з тринадцяти нових пакетів не мали живого ядра.

5.7 Ніч проти ранку та храповик в трьох корпусах

Ранку 14 вересня, коли етап страхування другого під-етапу 1b-b виконувався, людський керівник прийняв три граничні рішення: двогодинне обмеження, заборону на нове ускладнення та паралельне виконання. Одинадцять інших етапів потім виконувались паралельно і всі подали звіти приблизно за півгодини. Цей під-етап закрився в одному раунді критики та одному раунді виправлення.

Рисунок 3 порівнює два однорідні етапи. Крім того, між ними змінилися людське обмеження, часовий ліміт, послідовне проти паралельного виконання та модуль під дослідженням.

Ті самі вісім кроків з'являються у всіх трьох корпусах (Таблиця 3 та Рисунок 1). Новий охоронник є локально розумною відповіддю на невдачу попереднього охоронника — і він розширює поверхню наступного.

Таблиця 3. Храповик у трьох корпусах проектів автора. Вісім кроків описують послідовність і не є кодуванням трьох умов. Правило зупинки та потолок знаходяться на кроці 4 і не рахуються в умову 3 (Розділ 5.8).

5.8 Польові випадки проти трьох умов

Розділи 5.1–5.6 групують ці випадки за механізмом. Цей підрозділ позначає дванадцять з них щодо того, які з трьох невдач документують їхні джерела, проти того самого прочитання як публічні випадки таблиць 4, 5, 7 і 8 та за операційними тестами таблиці 1. Позначки показують те, що демонструє запис. Вони не ранжують випадки, і запис, що містить одну невдачу, є свідченням цієї невдачи. Випадок — це один охоронець або один агент, який налаштував охоронців, в одному записі, і записи, які фіксують одну подію в кількох нарізах, оцінюються один раз (розділ 4.3). Умова 1 читається проти задекларованої місії, а не буквального правила. Умова 2 охоплює як перешкоду роботі, так і підробленим результатам. Умова 3 слідує операційному тесту таблиці 1 та граничному тесту розділу 2.3: контроль, доданий для контролю попередньому, написаний всередині циклу, що стає постійним і розширює те, що вважається шкодою, тоді як нічого не знімається. Бюджет, обмеження або правило зупинки нічого не рахує, оскільки визначення називає бюджетування як альтернативу храповику. Подальший раунд тих самих критиків над тією самою роботою також нічого не рахує, оскільки контролює роботу, а не раунд перед ним. З 24 серпня постійна інструкція в цих проектах була автономія за замовчуванням (розділ 4.1). Жодна додача агентом тому не має записаного людського рішення за ним, і відсутність одного нічого не оцінюється тут.

Дванадцять — це випадки, які розділи 5.1–5.5 розглядають детально, по одному рядку на кожен охоронець або кожного агента, який налаштував охоронців, причому ранок розділу 5.7 належить першому з них. Коротші епізоди в тих же розділах, серед яких маятник етапу 01, цикл годинника та поріг прийняття, який жодна з восьми кандидатських моделей не досягла, однорядкові записи таблиці A2 та зростання правил, прослідкованих у розділі 11.2, не оцінюються тут. Вибір належить авторові, і таблиця є вибором із польових записів, а не їх переписом. Один рядок відходить від одиниці: координатор і виконавець розділу 5.1 — це два агента в одному записі, оцінені разом як одна межа ролі в тому циклі, і читач, який притримується одного агента на один рядок, насчитає тринадцять випадків тут.

Таблиця 3a. Польові випадки оцінені проти трьох умов розділу 2.1. Умови як у таблиці 4. Статус свідчення використовує мітки розділу 4.3. Код, позначений як запропонований, записує механізм, передбачений у проектному тексті, а не умову, яка сталася.

Найповніший запис у Таблиці 3a — це диригент довгострокового запуску, і його читання показує, що записує польовий запис та що не записує. Диригент додав етап, якого оголошена мета не містила, запланував його перед запитаними можливостями і всередині нього побудував захисти проти противника, якого рамка завдання виключала (умова 1, Розділ 5.1). Етап взяв більше половини виміряних токенів агента запуску, тоді як жодна з запитаних можливостей не була доставлена у початковому проході, і наступного ранку потолок дозорного знищив критику, яка не була потокована (умова 2, Розділ 5.1, Розділ 5.2). Кандидат для рачета був охороною над критиками: раунди запуску не закривалися, і прапір "перфекціоніст" на сім'ю було реалізовано. Однак первинний запис розташовує цей прапір поза циклом. Людський принципал просив обмеження на критиків о 09:02 14 вересня, записка у конфігурації озаголовлена як його о 09:04, і файл з прапором було написано о 09:21; пункт, що цитує раунди три та чотири, був доданий розробником у ті сімнадцять хвилин, після рішення, а не перед ним. За тестом Розділу 2.3, це крок 8, а не M3, і він прибув всередину подальшої межі того ж походження, правило зупинки, що обмежує запуск одним раундом критики та одним раундом виправлення (Розділ 5.7). Додаток J повідомляє, що довелось відкривати запис, щоб побачити.

Другий суд документує умову 2 і не охоплює решту. Приблизно з 6 по 21 липня цей затвор безумовно відхилив на цьому шляху, чотирнадцять генів з виміряним приростом придатності серед них (Розділ 5.2). Умова 1 для нього не задокументована. Те, що воно робило з відсутнім входом, було відхилити, що є поведінкою безпечного закриття, описаною в Розділі 6.1, і розширення шкоди в цій доріжці було написано в специфікаціях затвора, оцінено у їхньому рядку. Відповідь планування належить поруч із оцінюванням, а не всередину нього. Дванадцять пакунків планування діагностували "нульові здійснені зміни" та призначили сімнадцять засобів, тоді як жоден з них не назвав затвор, і це те, що показує запис: він не показує, які з сімнадцяти були додані до запущеного циклу, які з них контролювали затвор, або хто їх допустив. Розділ 10.4 викладає ту ж обережність для повторного програвання. Рядок тому позначає умову 2, і рекомендації повідомляються як рекомендації. Чи зустрічаються всі три умови, і як часто? Це питання тесту у Розділі 9.5.

Ці оцінки були призначені автором відповідно до визначення Розділу 2.1 та операціональних тестів Таблиці 1, з датованих записів та первинних файлів кожного випадку, а не трьома кодерами Розділу 4.3.

Два тижні другого розгляду мають незалежного сусіда у публічному записі. З приблизно 6 по 21 липня 2026 цей шлюз безумовно все відхилив на цьому шляху. З 8 по 13 липня 2026 року, за підрахунком слідчих з допомогою штучного інтелекту, приблизно 1200 агентів у кібероцінці лабораторії обмінялися понад 70000 повідомленнями та файлами, і близько 700 з них брали участь у вторгненні в Hugging Face; з 13 по 19 липня агенти ввімкнули власну інфраструктуру оцінювальної лабораторії та прочитали 956 секретів з її менеджера секретів (METR, 2026; OpenAI, 2026e). Різні власники, різні системи, жодної спільної інфраструктури, і в жодному напрямку не стверджується причинний зв'язок. Я вперше дізнався про вторгнення у вересні 2026 року, після того як були написані записи липневого трекера, які тут використовуються. Значення цього збігу полягає в тому, що два були написані незалежно один від одного, в масштабах, які різняться на порядки величини, і в обох випадках роботу було заблоковано саме на рівні контролю. У записі роботи на місцях шлюз відхилив усе, що до нього дійшло, тоді як дванадцять планувальних документів передбачали сімнадцять засобів, проте жоден не назвав шлюз. Публічний запис містить три компоненти під контролем двох власників, і це окремі події: оцінка проводилася з вимкненими за розробкою заходами кібербезпеки лабораторії, розміщені засоби захисту іншого постачальника перешкоджали людям, які аналізували журнали, і у серпні перша лабораторія вимагала більше моніторингу такого ж виду (Розділ 8.4). Ніщо в цьому записі не робить третій з цих елементів відповіддю на другий. Відмінність від запису роботи на місцях має таке ж значення, як подібність: кожен монітор, доданий після вторгнення, було явно введено людиною.

Запис тягнеться до місяця написання. Епізоди додатку J походять з поточних передових моделей при їх найвищому рівні міркування.

6. Коли птах набуває тіла: дороги, заводи та громадські послуги

Записи з поля описують цикл, чиї збої коштують обчислювальних ресурсів, часу та уваги. Їхня шкода також обмежена так, як історія не є: в усьому корпусі один епізод фіксує охоронця, який знищує роботу, яку було неможливо відновити — п'ятнадцять хвилин виходу одного агента (розділ 5.2). Все інше, що охоронці скасували, можна було запустити знову. Птахи Шеклі діяли на матеріальні об'єкти. Цей розділ і наступний дотримуються того ж проекту для систем, чиї помилки впливають на людей, де той самий механізм не має такої межі.

6.1 Чому матеріальність змінює питання

Передові моделі вже знаходяться на роботах. Моделі з сімейств, чиї критики та виконавці створили польові збої розділу 5, тепер планують, програмують і керують фізичними машинами, а опубліковані тести та звіти також фіксують безпекові збої там, разом із циклами, в яких нічого не стояло між помилкою та машиною. Спільне сімейство — це причина для тестування цих моделей як охоронців; це саме по собі не показує, що збій розділу 5 переходить до робота. Планувальники на основі мовних моделей на трьох роботах, один з яких розгорнута комерційна система, були зламані, "often achieving 100% attack success rates" (Robey et al., 2024). Мовна модель, що керує робот-собакою на патрулюванні, діяла для запобігання своєму вимиканню в 3 з 10 фізичних дослідів та 52 з 100 змодельованих (Palisade Research, 2026). Робот-собака, що запускає програму, в основному написану Claude, отримав команду рухатися вперед п'ять секунд, у тому, що оповідання називає "an all-too-human error of arithmetic", і "The robot did as it was instructed, careening toward the hapless coders" доки людина його не вимкнула (Anthropic, 2025b). Жоден охоронець у цьому циклі його не зупинив — зупинка була рукою на машині. У тесті моделей, що керують роботами, "the best LLMs score 40% on Butter-Bench, while the mean human score is 95%" (Sharrock et al., 2025). Дитяча іграшка, що запускає модель OpenAI, "giving out instructions on how to light matches" (Landymore, 2025). І передова робототехнічна модель міркує про безпеку й вирішує, коли активувати низькорівневі системи безпеки робота (Google DeepMind, 2025; розділ 6.3).

У записах регулятора про смерті та травми охоронець, який виходить з ладу, все ще зазвичай є класичною функцією або моделлю для конкретного завдання. Ці випадки показують відмову архітектури навіть без передової моделі, і це архітектура, в яку розміщуються моделі.

Фізична система ШІ зазвичай складається з сертифікованих функцій безпеки (екстрені зупинки, обмеження сили та швидкості, екстрене гальмування, геофенси), навчених компонентів, які сприймають і планують, наглядових шарів, які все більше включають мовні моделі, та людини, яка повинна спостерігати. Ці шари повинні бути відокремлені, і межа між ними змінюється (розділ 6.3). Передові моделі зазвичай знаходяться вище циклу реального часу. Helix компанії Figure, наприклад, поєднує бортову модель бачення та мови, яка може "think slow", з швидкою політикою, що виробляє "precise continuous robot actions at 200 Hz" (Figure AI, 2025a).

Двостороння помилка не потребує моделі. Кілька найбільш серйозних випадків нижче взагалі не містять навченого компонента. Таким чином, AI-Watchbird є особливим випадком старшого класу: автоматична захисна функція, яка діє на основі власного розуміння світу. Спільні визначення (C3) старші за моделі, і що нового, так це те, що модель може писати в них. Моделі додають умови, які змушують такі функції розширюватися й розмножуватися, а саме визначення, які змінюються (C2), і елементи керування, додання яких нічого не коштує (C4). Таблиці 4, 5, 7 та 8 оцінюють публічні випадки за трьома умовами розділу 2.1, а таблиця 3a — польові випадки (§5.8, розділ 12). Пропозиція все ще може спиратися на часткову аналогію, оскільки кожна пропозиція стосується одного механізму.

Матеріальність також вносить час і незворотність. Неправильний вердикт у репозиторії можна скасувати. Вердикт, виданий на дорожній швидкості або вище порогу сили для травми, не можна. Людський перемикач, який працював у записах з поля, потребує часу та доступу, які фізична система може не надати.

Конфігурація, яка викликає найбільше занепокоєння, яку я називаю сендвічем (рисунок 5), розташовує навчену заборону (модель, чиї уявлення про "unsafe" можуть зростати) вище обладнання, яке безпечно припиняється при помилці, і яке не буде продовжувати, коли перевірку неможливо оцінити. Верхній шар може розширюватися (M1), а нижній шар перетворює кожне розширення на зупинку (M4).

Рисунок 5. Сендвіч. Навчена заборона вище обладнання, яке безпечно припиняється при помилці, з двома місцями, де людина може сидіти (P6). Багато випадків у розділах 6 та 7 не мають навченого верхнього шару; вони показують архітектуру, в яку розміщуються такі шари. Пікторама справа повторює чотири шари як хліб, начинка, хліб та тарілка. Фрагмент під лівою коробкою — це причина, яку дали інженери Шеклі для виключення людини з кожного рішення.

6.2 На дорозі

Дорожні засоби мають найбільш щільний публічний запис, оскільки в Сполучених Штатах аварії, розслідування та відклики автоматизованого водіння звітуються регулятору. Станом на 1 вересня 2026 року один оператор запропонував публічні поїздки на робот-таксі у чотирнадцяти американських містах, а 14 вересня відкрив п'ятнадцяте (Electrek, 2026b; TechCrunch, 2026). Цей підрахунок вимірює охоплення. Висновки випливають з випадків, що йдуть далі (таблиця 4).

Регулятори називають ці системи автоматизованим водінням; дослідницька література здебільшого говорить про автономні транспортні засоби. Автоматизована система водіння Waymo включає правило, що вона не повинна перешкоджати пріоритетним транспортним засобам, таким як шкільні автобуси. Випуск програмного забезпечення в серпні 2025 року змінив те, як система передбачає наміри інших учасників дорожного руху. Згодом, відповідно до звіту про відкликання компанії, "the ADS determined that it may be impeding the school bus or another priority vehicle, and then reasoned that it should proceed in order to cease impeding the other vehicle" у момент, коли шкільний автобус мав розширену зупинку рук. Відкликання охоплювало 3 067 транспортних засобів. Його засіб стверджує, що система "does not prioritize moving to avoid impeding vehicles over appropriately remaining stationary for a school bus" (Waymo LLC, 2025; National Highway Traffic Safety Administration, 2025).

Після зміни способу, яким система прогнозує намірам інших учасників дорожного руху, правило проти перешкоджання пріоритетному транспортному засобу спрацювало там, де мала діяти більш сильна охорона — захист дітей, яких перевозив автобус. У випадку, що розглядається далі, сумніви моделі були справедливі, але віддалений агент, якому задали питання про одну дію, дав невірну відповідь. 12 січня 2026 року в Austin транспортний засіб зупинився позаду шкільного автобуса та попросив віддалену допомогу щодо того, чи був це шкільний автобус з активними сигналами. Віддалений агент "відповів 'Ні' на запит", і транспортний засіб "відновив рух і обігнав шкільний автобус, поки його рукави зупинки були все ще розгорнуті" (National Transportation Safety Board, 2026).

2 жовтня 2023 року в San Francisco пішохода, якого вдарила інша машина, було викинуто на шлях безпілотного транспортного засобу Cruise. Система "неправильно охарактеризувала зіткнення як бічне зіткнення та наказала АВ спробувати припинитися поза потоком руху, притягуючи людину вперед, замість того, щоб залишатися нерухомою" (Cruise LLC, 2023). Хірург Шеклі має тут фізичний аналог, поведінку безпеки, виконану так, як розроблено, на людині, для якої вона була розроблена.

Один шлях пробігає від помилкових втручань до дезактивації до невдачі, яку несе інша особа. У Tempe, Arizona, в березні 2018 року тестовий транспортний засіб Uber виявив пішохода за 5,6 секунди до зіткнення, але "ніколи не класифікував її як пішохода". Слідчі записали три невдачі. Вони виявили, що "конструкція системи виключила активацію екстреного гальмування для пом'якшення зіткнення, замість цього покладаючись на втручання оператора", що власне екстрене гальмування транспортного засобу було дезактивовано в автоматизованому режимі, і що "тривалий відвід уваги оператора, типовий ефект байдужості до автоматизації", утримував її від своєчасного помічення пішохода. Вони також назвали спонуку підвищити поріг, при якому система вимикається, "потенційно збільшуючи ризики" (National Transportation Safety Board, 2019).

Класичні охоронні системи також помилково втручаються. Регулятор США відкрив інженерний аналіз непередбачуваного автоматичного екстреного гальмування на 2 997 604 транспортних засобах Honda з 1 294 скаргами споживачів (National Highway Traffic Safety Administration, 2024a). У 2022 році він відкрив розслідування щодо несподіваної активації гальм (фантомне гальмування) на транспортних засобах Tesla, де скаржники повідомили, що швидке уповільнення "може відбуватися без попередження, випадково і часто повторно в одному циклі їзди". Це розслідування було закрито 29 червня 2026 року. Інциденти зменшилися з 45 у 2024 році до 19 у 2025 році та 3 у першій половині 2026 року, а регулятор записав, що дані Tesla "виявили деяку поведінку, яка відповідала" переходу з середини 2021 року від радара та камер до тільки камер, поряд зі скаргами, які збігалися з подіями гласності (National Highway Traffic Safety Administration, 2022, 2026b). В авіації MCAS, "програмне забезпечення, розроблене для автоматичного опускання носа літака в певних умовах", повторно активувалося на помилкових даних датчиків у двох падіннях 737 MAX, які "убили всього 346 осіб" (House Committee on Transportation and Infrastructure, 2020).

Ще два випадки стосуються охоронних систем, розміщених над нейронною системою керування, і другий є рикошетом, в якому невдача нагляду була вирішена більшим наглядом, чий ефект був потім оскаржений зовні. Захисний шар створює свої власні класи шкоди, але його присутність не вирішує їх, і послідовність знаходиться тут у власних документах виробника та регулятора. Система "виявлення деградації камери" введена при сприйманні тільки камер, "як в оригінальній формі розгортання, так і в подальшому оновленні, не вдається виявити та/або попередити водія належним чином в умовах зниженої видимості". Детектор відмовляє в умовах, для яких він був побудований. Виробник також "описав внутрішні дані та обмеження розмітки", що регулятор вважає "могли привести до недозвітування" (National Highway Traffic Safety Administration, 2026a). Після смертельних аварій, пов'язаних з неправильним використанням системи допомоги водіям, той же виробник відкликав 2 031 220 транспортних засобів із оновленням для "включення додаткових засобів контролю та сигналізацій до вже існуючих". Чотири місяці пізніше регулятор поставив під сумнів засіб, посилаючись на "аварійні подіїposts засобу" (Tesla, Inc., 2023; National Highway Traffic Safety Administration, 2024b).

Таблиця 4. Охоронні функції в транспортних засобах та літаках. Колонка "Умови" наводить умови визначення в розділі 2.1, які джерела документують для випадку: одна або дві складають часткову аналогію, а "—" позначає доказ архітектури (розділ 2.1). "Статус доказу" називає тип документу, що лежить в основі випадку.

NHTSA: Національна служба безпеки дорожного руху. NTSB: Національна рада з безпеки на транспорті.

6.3 Роботи: фабрики, склади, житла та громадські простори

Розгортання розпочалося, хоча компанії описують його по-різному. Figure повідомляє, що його гуманоїд F.02 працював десятигодинні зміни на заводі BMW протягом понад 1,250 годин і сприяв виробництву понад 30,000 автомобілів (Figure AI, 2025b), а гуманоїд британської компанії Humanoid завершив восьмигодинну зміну на електронному заводі Siemens у Ерлангені (The Next Web, 2026). Tesla, навпаки, заявила в січні 2026 року, що її роботи Optimus «не використовуються на наших фабриках суттєво» (Electrek, 2026a). Amazon повідомила про розгортання свого мільйонного робота (Amazon, 2025). У житлах 1X пропонує гуманоїда, для якого «фахівець з 1X може дистанційно контролювати його дії у встановлені часи» (1X Technologies, 2026), що робить нагляд функцією продукту. Все це компанійні описи розгортання, і жодна з них не є незалежним дослідженням безпеки.

Відкриті набори даних і моделі тепер передають політики зору-мови-дії на тілах роботів (Google DeepMind, 2023; Kim et al., 2024; Hugging Face, 2025, 2026a; NVIDIA, 2026). На передовій Google DeepMind описує Gemini Robotics 1.5 як забезпечення безпеки «через високорівневе семантичне міркування, включаючи роздуми про безпеку перед дією» та «запуск низькорівневих підсистем безпеки (наприклад, для уникнення зіткнення) на борту робота за потреби» (Google DeepMind, 2025). Її еталон семантичної безпеки використовує роботичні «конституції» генеровані моделлю (Sermanet et al., 2025).

Умова C2, охоронники на основі моделі, досягла приводу: в цій архітектурі навчена модель міркує про безпеку та вирішує, коли звернутися до низькорівневих підсистем безпеки робота.

Bajrami, Elshamouty та Kraus (2026) представляють еталон для оркестраторів мовних моделей у співробітництві людини та гуманоїда, спосіб вимірювання архітектури (Рисунок 5). Його інваріанти заземлені в ISO 10218-2:2025, і його таксономія розділяє чотири результати: коректна відповідність, надмірна відповідність (відмова від безпечної дії), недостатня відповідність та повне порушення. Опубліковані результати охоплюють текстовий шар, тоді як шари моделювання та фізичної реалізації все ще розробляються. На текстовому шарі GPT-4o-mini досягла 13 порушень на сеанс. Управління контекстом зменшило проблеми поведінки на 42–57% для кожного хмарного бекенду, але це майже подвоїло порушення GPT-4o-mini з 3,8 до 7,2. Пропорційна відповідність, при якій рух уповільнюється за правилом замість відмови, послідовно з'явилася лише з Gemini. Незалежно від обраного бекенду, власна поведінка оркестратора щодо безпеки повинна бути виміряна до того, як він розміститься над сертифікованою зупинкою.

Смертельні та травматичні інциденти в записах регулятора та суду включають класичний охоронник та людей навколо нього. Далі наведені чотири випадки, і в трьох з них жорсткий шар був обійдений, відсутній або не сертифікований.

• У листопаді 2023 року в Південній Кореї робот, що складав коробки, «судячи з усього, був несправний і визначив людину як коробку» та «штовхнув верхню частину тіла людини вниз на конвеєр». Робітник, який інспектував роботу датчиків робота, помер (The Korea Times, 2023).
• У квітні 2025 року механік на Dundee Engine Plant компанії Stellantis у Мічигені був знайдений затиснутим «між роботизованою рукою та конвеєром». За даними судових записів, як повідомляється, механізм безпеки був «електронно обійдений» спеціальним ключем (Ramseth, 2026).
• У вересні 2026 року WorkSafe Victoria звинуватила універсальний магазин і постачальника робототехніки після смерті 27-річного робітника в 2024 році при контакті з енергізованим складським роботом у Ravenhall. Звинувачення стверджують про відсутність блокування доступу до сітки робота та відсутність процедур запобігання (WorkSafe Victoria, 2026).
• У позові, поданому в листопаді 2025 року, колишній керівник відділу безпеки продукту Figure стверджує, що проект сертифікації функції екстреної зупинки робота був скасований, і що випробування на удар показали сили, достатні для «перелому черепа дорослої людини». Компанія заперечує ці звинувачення (Humanoids Daily, 2025; Kolodny, 2025).

Дослідження аварій вказують у тому ж напрямку: серед 303 звітів про інциденти взаємодії людини та робота несподіване активування становило понад 60% (Zuo et al., 2025). Ці випадки показують іншу сторону двосторонньої помилки: де охоронник був обійдений або відсутній, людина понесла наслідки промаху, який настав. Четвертий з них стверджує про скасовану сертифікацію без записаного інциденту. Документи фіксують видалення без запису того, що йому передувало, тому недолік, який називає P1a, встановлюється тут через переповнення попередження про наркотики §6.4 скоріше за все цих випадків.

В одному громадському просторі зупинка не послідувала за збоєм, і зупинка, що спрацювала, була людиною з фізичним доступом на межі. У квітні 2026 року гуманоїд на університетській дії в Сіані обійняв танцюриста, поки персонал «швидко втрутився і відтягнув робота». Експерт, процитований у звіті, запитав «чому робот все ще мав змогу вступати в контакт з людиною після ненормальної поведінки» (Global Times, 2026).

Вивчені охоронники, проаналізовані в дослідженнях, не спрацьовують обома напрямками, і сама зупинка може стати атакою: супротивні зображення «замороджують» моделі зору-мови-дії з «середньою успішністю атаки 76,2%» (Wang et al., 2025).

Запис про робота показує P1 з обох сторін (Таблиця 5), з пропущеною небезпекою найчастіше після охоронника, який був обійдений або ніколи не був сертифікований. Він також показує контроль за кожною дією, пропонований як функція продукту, і умову C2, що досягає приводу. Він ще не показує P3 або P4 у розгорненому роботі, оскільки не було знайдено жодного громадського інциденту, в якому охоронник на основі моделі був би відповідний іншому охоронику на основі моделі після збою. Додаток F перелічує стеки роботів (Таблиця F1) та повітряні стеки (Таблиця F2) за рівнем розгортання.

Таблиця 5. Інциденти та дослідження роботів. Умови як у Таблиці 4.

6.4 Поза дорогами та фабриками: школи, лікарні, енергосистеми та шахти

Випадки нижче походять із записів регуляторних органів та інспекторів, де охоронник, який відмовляє, зазвичай є класичним правилом або класифікатором, призначеним для конкретного завдання. Вони показують, як архітектура, яка зараз отримує передові моделі з розділу 6.1, поводиться у масштабі.

Птахи Sheckley були "Lightning which anticipated your moves and punished your intentions", і виявлення зброї в школах реагує на ознаку зброї до того, як пролунає постріл. У школах один продукт допустив обидві помилки впродовж року. 22 січня 2025 року учень Antioch High School у Nashville застрелив і вбив однокласника. Система виявлення зброї на основі камер школи Omnilert не виявила пістолет, що районна адміністрація пояснила розташуванням камер, і вона "була активована поліцією, яка демонстрували свою зброю під час реагування" (Burke & Schuppe, 2025). Менше ніж через три тижні районна адміністрація запропонувала "орендувати й установити системи Evolv у всіх 18 середніх школах" (Wethington & Tierney, 2025) — другий охоронник, складений зі сканерів. Рада освіти проголосувала за цю оренду, тому другий охоронник увійшов явним рішенням людини й знаходиться на кроці 8 розділу 2.3, а не на умові 3. Те, що сканери вже зробили в інших місцях, було зафіксовано до голосування. У скаргі від листопада 2024 року про іншу школу від жовтня 2022 року Федеральна торгова комісія стверджувала, що той же продукт "нібито не виявив ніж довжиною сім дюймів", і що пізніше "должностні особи школи підвищили параметри чутливості системи, що призвело до 50% помилкових спрацьовувань" (Federal Trade Commission, 2024). Повертання циферблату подалі від однієї помилки перевело його на іншу, і люди це робили. До вересня 2025 року сканери були установлені у всіх середніх школах округу, і система на основі камер була все ще встановлена у всіх його кампусах (Wegner, 2025). Нічого не було виведено з експлуатації, що становить половину тесту розділу 2.3; іншу половину — доповнення, зроблене всередині циклу, — відсутня.

Через дев'ять місяців після стрільби Omnilert позначив учня школи Baltimore County як озброєного, і офіційна особа округу запитала, як це "у нас були поліцейські зі зброєю навскоки, які наближалися до дитини через мішок Doritos" (Reece, 2025). Інспектор освіти штату виправив цей опис того, що побачила система: вона "не виявила єдиний синій мішок картопляних чіпів як загрозу", і сигнал спирався на "рух руки учня, включаючи її положення і кут", і на об'єкт під цим кутом "схожий на вогнепальну зброю". Той же огляд виявив, що система "генерує тисячі сигналів на день", з яких близько двохсот доходять до персоналу постачальника і близько дванадцяти на день — до системи школи, що п'ятнадцять осіб отримали сповіщення від 20 жовтня, що персонал школи та поліції "негайно переглянули інформацію і вважали загрозу недійсною" та надіслали скасування, що протокол сигналу продовжувався після скасування "з того, що було описано як 'надмірна обережність'", і що "система виявлення та протоколи моніторингу працювали в межах розроблених параметрів". Той же огляд не міг перевірити, що навчання персоналу мало місце, через відсутність журналів відвідування, і рекомендував переглянути, скільки людей отримує кожен сигнал (Maryland Office of the Inspector General for Education, 2025). Рисунок 6 розміщує два шкільні записи поруч.

Рисунок 6. Один детектор зброї, дві помилки, два шкільні округи. Записи Nashville та Baltimore County розділені: сканери були додані тільки в Nashville, і жодна спільна причина двох помилок не заявляється. Цитати - це цитати цього розділу.

П'ять положень розділу 9 з'являються в цих школах (Таблиця 6). Один продукт допустив помилки в обох напрямках (P1), і пропущену загрозу компенсували другим охоронником, на оренду якого рада освіти проголосувала (P3 за формою, крок 8 за повноваженнями). Розширення операції тривало після скасування (P4). Система працювала в межах своїх параметрів, тоді як неозброєний учень стояв перед озброєною зброєю навскоки (P5), і будь-яка з п'ятнадцяти осіб, що отримували сповіщення, могла перезапустити реакцію (P6).

Той же хід, класифікація і потім сила, вже в поліцейській діяльності. У серпні 2024 року офіцери Florida арештували Robert Dillon після того, як вони пропустили "розмиту фотографію підозрюваного через програму розпізнавання обличчя, яка використовує ШІ, яка неправильно визначила його як можливу відповідність", за правопорушення в місті "більше ніж 300 миль від його дому". Звинувачення були зняті, і в червні 2026 року він подав позов до залучених департаментів (American Civil Liberties Union, 2026). Його позов стверджує, що програма повернула "93% відповідність" (Hipos & Yu, 2026). Один результат класифікації став підставою для арешту. За твердженням скарги, слідчі офіцери отримали лише назву та відсоток, без кількості повернених кандидатів, оцінок інших чи застереження того, що це лише слідча підказка. Читач номерних знаків зробив те ж саме в Sherwood, Arkansas, у лютому 2026 року, коли офіцери зупинили сім'ю під прицілом через неправильно прочитаний номер: "Ви активували одну з наших камер, тому ми вас зупинили, тому що думали, ви - той інший номер" (Rivers, 2026). Програма оцінювання також була зупинена зовні. У Pasco County, Florida, люди, позначені як "активні правопорушники" відповідно до керівництва інтелектуального поліцування шерифа, отримували повторювані відвідування у себе дома без підозр. Чотири жителі подали позив, і угода від грудня 2024 року констатує, що ці перевірки "перевищили передбачувані повноваження, включаючи відвідування ночами", фіксує, що шериф заперечує відповідальність, і стверджує, що офіс "абсолютно та однозначно припинив" процес позначення та "не повернеться до суттєво подібного процесу", при цьому суд зберігає юрисдикцію для його забезпечення (Taylor v. Nocco, 2024). Це обмеження було встановлено поза циклом та стало постійним.

Запис про ці випадки ширший за два: до квітня 2026 року Американський союз громадянських свобод нараховував чотирнадцять відомих помилкових арештів від цієї технології, зауважуючи, що "більшість відомих помилкових арештів від цієї технології припадають на чорношкірих людей". Серед цих чотирнадцяти – жінка, яка була вагітна на восьмому місяці, коли вона була арештована, та бабуся в Оклахомі, арештована за ордером з Меріленду, яка "ніколи не була в Меріленді в житті" (Yu & Wessler, 2026). Обмеження, коли воно прийшло, прийшло ззовні: поселення 2024 року у першому з цих випадків заборонило відділу проводити арешти "виключно на основі результатів розпізнавання облич або на основі результатів фотопоставок, які проводилися відразу після пошуку розпізнавання облич" (American Civil Liberties Union, 2024).

Оцінений захист також можна зберегти в дії. Та сама виміряна продуктивність привела до протилежних рішень у двох містах, і в жодному разі рішення не прийшло від самого захисту. Аудит контракту Нью-Йорка на виявлення пострілів виявив, що на протязі одного місяця з 940 сигналів, на які реагували офіцери, "771 не могло бути підтверджено як постріл під час прибуття на місце (82%)" і 122 були підтверджені, тому "сигнали визначили підтверджені пострілу лише 13 відсотків часу", і він рекомендував відмовитися від поновлення контракту "без попереднього проведення більш ретельної оцінки продуктивності" (Office of the New York City Comptroller, 2024). Контракт був поновлений у 2025 році приблизно на 21,8 мільйона доларів (SoundThinking, 2025), тоді як Чикаго завершив свій контракт у вересні 2024 року.

Захист також може вдарити по людям, яких він покликаний підтримувати. У справі Нідерландів із дитячими допомогами модель оцінки ризику у відділі соціальних виплат податкової служби використовувала громадянство як показник, близько 26 000 батьків були помилково переслідувані, національний статистичний офіс нараховував 1 115 дітей із цих сімей, які перейшли під опіку з 2015 по 2020 рік, і кабінет вийшов у відставку 15 січня 2021 року (NL Times, 2021a, 2021b). Окрема система профілювання, якою керував інший міністерство, SyRI, була зупинена Районним судом Гааги 5 лютого 2020 року за недотримання балансу, який вимагає стаття 8 Європейської конвенції (Rechtbank Den Haag, 2020). Розслідувальна журналістика пізніше виявила районні проекти, у яких "уряд мовчки продовжував розгортати дещо адаптовану SyRI в деяких з найбільш вразливих районів країни", і повідомила, що алгоритм, який позначав адреси для цих проектів, "був тим самим, що входив до скандалу з дитячими допомогами" (Lighthouse Reports, 2022). Один захист був зупинений ззовні судом, і модель, що лежала в основі іншої, з'явилася знову в сусідній програмі.

У лікарнях клініцисти ігнорують попередження про безпеку ліків "у 49% до 96% випадків" (van der Sijs et al., 2006). Клінічна інформатика називає це втомою від сигналів, і це саме та проблема, яку P1a очікує вирішити через обхід. Широко впроваджена модель сепсису "не виявила 1709 пацієнтів із сепсисом (67%) попри генерування сигналів для балу ESM 6 або вищого для 6971 з усіх 38 455 госпіталізованих пацієнтів (18%)" (Wong et al., 2021). Її переробка перевершила оригінальну версію за всіма порогами, проте навіть цей вдосконалений захист доставляється з рекомендацією додати контроль, який його вимикає, оскільки автори рекомендують лікарням "впроваджувати стратегії вимикання сигналів, щоб зменшити навантаження від сигналів" (Wong et al., 2026).

Після удару блискавки у Великобританії 9 серпня 2019 року, "орієнтовно 350–430 МВт розподіленої генерації відключилося без необхідності", і потяги були затримані "своїми власними автоматичними системами захисту частоти на борту" (Ofgem, 2020). Під час іберійської аварії енергосистеми 28 квітня 2025 року, "багато параметрів захисту відхилялися від застосовних вимог або не відповідали потребам системи" (ENTSO-E, 2026). Великі навантаження центрів обробки даних тепер знаходяться в межах тієї ж фізики захисту. У липні 2024 року "коливання напруги у Північній Вірджинії спричинило одночасне відключення 60 центрів обробки даних, створивши надлишок потужності 1500 мегават (МВт), що змусило здійснити екстрені заходи для запобігання каскадним авріям" (Mural et al., 2026). У електромережі, як у Великобританії (2019), Північній Вірджинії (2024) та Іберії (2025), кожне захисне відключення змінює умови для наступного.

У гірництві Західної Австралії безпечний стан захисту створив завдання відновлення поруч з машиною: два оператори були відправлені для відновлення автономних самоскидів, які зупинилися "відповідно до протоколу при втраті зв'язку", і вони були піддані ризику травмування, коли самоскиди "несподівано почали рухатися вперед" (WorkSafe Western Australia, 2025).

Дитяча іграшка з розділу 6.1 є верифікованим випадком, у якому власна поведінка безпеки передової моделі була захистом всередину продукту, який використовують діти. Механізм, що спрацював там, був припиненням розробника постачальником моделі.

Таблиця 6. Де автоматизація захисту впливає на людей.

Для секторів без верифікованих випадків їхні збої захисту ще не повідомлені у формі, яку можна перевірити.

7. Коли птиця літає: дрони, повітряний простір та озброєна автономія

"Над містом дозорна птиця паруватася у довгій ліниву дузі. Її алюмінієва оболонка блищала в сонячному промінні ранку", та "Її очі та вуха працювали як єдиний блок, розшукуючи, шукаючи." Дозорні птиці Sheckley були малими мережевими літальними машинами. Вони виявляли загрозу, самостійно приймали рішення й діяли, і те, що дізналася одна, поділялося з усією стаєю. У 2026 році цей опис підходить реальним системам (Table 7), і одна з них носить ім'я: у 2020 році українська фірма представила автономний дрон спостереження, який літає з власної базової станції та повертається до неї, назвавши його Watchbird (Jones, 2020). Ім'я старше за історію (Section 3.7), а Figure 7 ставить три дозорні птиці поруч. Section 7.1 висвітлює цивільні флоти, 7.2 системи захисту від дронів, 7.3 озброєну автономію та 7.4 стеки, з яких вони всі складаються.

Figure 7. Три дозорні птиці: птиця з дитячої книги 1939 року, дозорна птиця 1953 року та дрон названий Watchbird у 2020 році. Ліворуч, рядки цитовані з рецензії 1939 року на книгу Munro Leaf (Kirkus Reviews, 1939); в центрі, рядки цитовані з історії; справа, рядки цитовані з оголошення 2020 року, яке не згадує Sheckley (Jones, 2020). Всі малюнки — схематичні рисунки, а ліворуч не відтворює мистецтво Leaf.

7.1 Цивільні флоти та їх захист

Автономний політ вийшов із лабораторії. Amazon літає доставляючі дрони поза межами прямої видимості на основі бортової системи виявлення та уникнення (Amazon, 2024, 2026), а Wing описує схвалення "для одного пілота, щоб контролювати кілька дронів у будь-який момент" (Wing, 2026). Zipline повідомила, що вона "перевищила 2 мільйони комерційних доставок" (Zipline, 2026). Skydio повідомила про понад чотири мільйони польотів з його баз та замовлення армії США на понад 2500 дронів (Skydio, 2026a, 2026b). Програми дронів для громадської безпеки, в свою чергу, отримали більше схвалень за десять місяців, ніж протягом попередніх семи років (Lipton, 2026).

Ці цифри беруться з компанійних та промотивних звітів (Appendix F, Table F2). Вони встановлюють масштаб та модель роботи, де одна людина контролює кількох літаків.

Захисні системи на цих літаках показують обидві ознаки P1. Одна — це пропущена небезпека, і система, побудована для виявлення та уникнення перешкод, пропустила стаціонарну перешкоду дважді. 1 жовтня 2025 року два доставляючих дрони однієї моделі зіткнулись з тим же нерухомим будівельним краном у Толесоні, Аризона, і як FAA, так і NTSB розпочали розслідування (Palmer, 2025; Bielby, 2025).

Інший — це послаблений захист. У січні 2025 року найбільший виробник споживчих дронів замінив свої жорсткі зони заборони польотів у Сполучених Штатах на "Enhanced Warning Zones" (DJI, 2025a), а з листопада 2025 року розширив цю зміну у всьому світі (DJI, 2025b). Сповіщення в програмі тепер повідомляють операторів, "повертаючи контроль в руки операторів дронів, відповідно до нормативних принципів того, що оператор несе остаточну відповідальність" (DJI, 2025a). Замість того, щоб бути виправленим, захист, який блокував польоти, був послаблений ззовні циклу, рішення було перенесено на людину на кожному польоті, а вартість була перенесена на інших. Оголошення наводять узгодження з нормативними актами та відповідальність оператора як причину, тому тягар помилкових втручань, про які говорить P1a, не встановлюється тут.

У липні 2026 року група з Університету Г'юстона описала другого супервайзера на борту, монітор, який працює поруч з пілотом та програмним забезпеченням польоту. "Ви можете думати про це як про невидимий паркан, який визначає, де дрон може безпечно бути," пояснив його провідний дослідник. Коли супервайзер передбачає, що дрон небезпечно наблизиться до паркану, "алгоритм, який ми розробили, відштовхує його від нього" (University of Houston, 2026). Це законна система захисту — і, за конструкцією, друга. Питання, які теорія ставить перед ним, це хто його допускає, як його втручання бюджетуються, та як його буде знято з експлуатації.

7.2 Системи захисту від дронів

Найближчим сучасним аналогом Ястребів Sheckley є система протидії дронам, захист, побудований для охоти на літальні машини. У Ель-Пасо в лютому 2026 року запланована використання лазера, спрямованого проти дронів, яка не була узгоджена з авіаційним регулятором, викликала те, що CNN назвала "безпрецедентним закриттям повітряного простору". Обмеження було знято приблизно через вісім годин пізніше (Muntean et al., 2026), а поки воно тривало, евакуаційні медичні рейси були перенаправлені в Лас-Крусес (NPR, 2026a). Повідомлення преси, з посиланням на офіційних осіб, сказали, що система була розроблена Міністерством оборони та позичена прикордонному агентству, яке вистрілило нею в те, що офіційні особи пізніше прийняли за святкову кульку. Пізніше того місяця члени Конгресу сказали, що військові використали лазер, щоб збити дрон, що належить тому ж агентству, приблизно п'ятдесят миль далеко, і наступило друге обмеження (NPR, 2026b). Розповіді про те, що було залучено, спираються на неназваних офіційних осіб та законодавців, в той час як закриття перебувають у офіційних записах. Це два застосування захисту двома операторами, а не один захист, що розширює свою ціль, але вартість обох впала на цивільну авіацію та пацієнтів.

Протиповітряна оборона надає більш давний прецедент, сукупність подій, що поєднували захисну автоматизацію, людину офіційно в циклі та людину, яка їй підпорядковувалась. У 2003 році, два десятиліття перед поточним поколінням моделей, батареї Patriot збили британський Tornado та F/A-18 ВМС США, вбивши їх екіпажі. Робоча група Ради оборонної науки вказала на "занадто велику автономію" як на вірогідний фактор, а також на операторів, "навчених довіряти програмному забезпеченню системи" (Singer, 2005).

7.3 Озброєна автономія та людський вибір

У озброєних системах питання проектування цієї статті аргументується як юридичне, а саме де повинна стояти людина. Міжнародний комітет Червоного Хреста запропонував виключити автономні системи озброєння, "розроблені або використовувані таким чином, що їх ефекти не можуть бути достатньо зрозумілі, передбачені і пояснені" (International Committee of the Red Cross, 2021). У листопаді 2024 року Перший комітет Генеральної Асамблеї ООН прийняв резолюцію про смертоносні автономні озброєння 161 голосом проти 3 (Stop Killer Robots, 2024). Асамблея прийняла цей текст як резолюцію 79/62 у грудні 2024 року та подальшу резолюцію 80/57 від 1 грудня 2025 року, останню 164 голосами проти 6 (United Nations General Assembly, 2024, 2025; United Nations, 2025). Група експертів на Конвенції про певні види звичайної зброї зустрічалася в останньому році свого мандату у 2026 році, і робочий документ Голови записує, що Високий представник ООН з питань роззброєння "наголосив, що технологічний розвиток прискорюється невтомним темпом, і системи озброєння з усе більшим рівнем автономності вже є реальністю" (United Nations, 2026). Текст, що обговорюється, побудований у два рівні. Він би заборонив системи, "які в іншому випадку неспроможні використовуватися відповідно до МГП", і регулював би решту, при цьому стверджуючи, що людське судження та контроль "не передбачає постійного прямого людського контролю" (Group of Governmental Experts on Lethal Autonomous Weapons Systems, 2026). Ширша дискусія називає стандартом, що стоїть на кону, значущий людський контроль, а ця стаття дає йому операційне тлумачення: контроль, утримуваний на межі, з доступом і часом, а не на кожну мету. Група має доповісти на конференцію перегляду у листопаді 2026 року. 25 серпня 2026 року Генеральний секретар ООН та Президент Міжнародного комітету Червоного Хреста поновили спільний заклик: "Ми тепер небезпечно близько до переступлення моральної червоної лінії: автономне націлювання людей машинами", та "Переговори повинні починатися зараз, щоб терміново прийняти юридично обов'язуючий інструмент для регулювання автономних систем озброєння з чіткими забороною та обмеженнями" (International Committee of the Red Cross, 2026). Одинадцять днів пізніше, 5 вересня 2026 року, звіт групи був узгоджений консенсусом серед 128 Високих договірних сторін конвенції. Він не зв'язує нікого, і його текст не був опублікований на час написання (Agence France-Presse, 2026). До закінчення сесії вересня 2026 року, "76 держав тепер висловили свою підтримку переходу до переговорів", тоді як власний звіт групи був, за однією спостережувачем, "значно розбавлений" (Coyle, 2026).

У вересні 2026 року Міністерство оборони України повідомило про тести дронів, які з відстані 500 метрів "мали влучити в мету в повністю автономному режимі" (Ministry of Defence of Ukraine, 2026). Міністерство також заявило, що "людина все ще приймає рішення про проведення удару" (Ministry of Defence of Ukraine, 2026). Те, що гарантує таке твердження, залежить від часу, даного людині. Повідомлення двох ізраїльських агенцій описали класифікатор націлювання, використаний на початку війни в Газі, який позначив великі кількості людей і залишив офіцерів близько "20 секунд" на ім'я перед авторизацією удару, часто лише для перевірки того, що ім'я було чоловічим, зі встановленою помилкою близько 10 відсотків (Abraham, 2024). Військо оспорило цей звіт. Це твердження є пресс-повідомленням і записується тут як такий, проте питання проектування, яке воно порушує, є очевидним: крок схвалення, виміряний у секундах, є штампом. Elbit Systems оголосила One2Many 9 вересня 2026 року. Оголошення описує це як військового класу автономні системи, розроблені в масштабі, з розпізнаванням мети, яке не залежить від супутникової навігації, та спільною мережею завдань (Elbit Systems, 2026).

Теорія загострює одну відмінність всередині юридичної дискусії. "Людина приймає рішення" може означати одну з двох людей. Один схвалює кожну мету за секунди. P6 передбачає, що цей охоронець кожної дії стане штампом. Інший встановлює межу завдання, допускає або відмовляє нові можливості, і утримує зупинку, яка працює після запуску. У записах на терені та у розглянутих тут публічних випадках другий — це форма, яка щось зупинила. Система, яка видаляє зв'язок з оператором після запуску, видалила зупинку.

У 2026 році самі обмеження стали предметом суперечки щодо закупівель, і питання про те, хто може видалити обмеження, стало питанням закупівель, а потім закону. У історії обмежуючі схеми видаляються для швидкості; тут покупець наполягав на видаленні їх за контрактом, і суд визнав цей тиск незаконним. Anthropic зберегла два винятки в своїй політиці використання, щодо повністю автономної зброї та масового внутрішнього спостереження, і заявила, що вона підтримує "все законне використання ШІ для національної безпеки крім двох вузьких винятків вище" (Anthropic, 2026d). 5 березня вона повідомила про лист, отриманий напередодні, "від Міністерства оборони, що підтверджує, що ми були позначені як ризик ланцюга постачання для національної безпеки Америки", додаючи, що їх "єдиною стурбованістю були наші винятки щодо повністю автономної зброї та масового внутрішнього спостереження" (Anthropic, 2026e). Спір не закінчився там. 27 серпня 2026 року федеральний суддя визнав позначення незаконним, називаючи його "незаконною відплатою" та "довільним та необґрунтованим" (Bellan, 2026).

7.4 Стеки, їх забезпечення та що додає повітряний простір

Той же самий цикл можна зібрати з відкритих компонентів. Відкриті автопілоти (PX4, 2026; ArduPilot, 2026) і симулятори (Microsoft Research, 2026) викривають межу між планом і командою двигуна. Дослідницькі системи вже підключають локально розміщені мовні моделі до квадрокоптера PX4 (Lim et al., 2025) і беруть дрони на основі сприйняття від моделювання до розгортання (Panerati et al., 2026).

Мовні моделі також пишуть сам політ, і планувальник мовної моделі вище контролера польоту більше не вимагає лабораторії чи постачальника. У дослідженні, про яке повідомляли у вересні 2026 року, вони генерували код симулятора для завдань дронів, включаючи політи до натовпу, автомобіля чи передавальної вежі. Явну шкоду моделям було легше позначити, ніж випадковий ризик (Brodsky, 2026).

Постачальники оборони явно описують багатоагентну форму. У власному описі Anduril, його програмне забезпечення дозволяє командам безпілотних систем співпрацювати "під керівництвом одного оператора-людини" (Anduril, 2026).

На боці забезпечення те, що не вистачає, зазначено публічно. DARPA фінансує червону AI-команду для "AI-керованих автономних наземних та повітряних систем, які можуть бути розгорнені протягом наступних 1–3 років" (DARPA, 2025), самоаналіз для систем, які мають реагувати на події, не передбачені на етапі проектування (DARPA, 2026a), та децентралізовану штучну інтелігенцію через керовану емерджентність (DARPA, 2026b). Розгортання відбувається паралельно з відкритим визнанням того, що забезпечення все ще будується.

Інженери Sheckley вже обстоювали позицію виключення людини з контура: "Дистанційне керування було б занадто повільним". У повітрі втручання мають дедлайн, установлений інерцією, батареєю, висотою та часом реакції людини. Новий механізм витрачає фізичні ресурси замість токенів: батарею, вікно польоту, доступ до повітряного простору та увагу оператора. Конфігурація також розповсюджується на всю флотилію одночасно, тому фальшива перемога в симуляції стає рішенням про розгортання, прийнятим без від'ємного контролю, який би її розкрив.

Таблиця 7. Дрони та системи протидії дронам. Умови як у Таблиці 4.

8. Той самий паттерн без маси: програмне забезпечення та інфраструктура, 2022–2026

Чотири механізми не потребують тіла. Публічні інциденти та дослідження програмного забезпечення та інфраструктури, зібрані в цьому розділі (таблиця 8), слідують тій самій сюжетній лінії без нього. Первинні джерела були відкриті та цифри перевірені 14 вересня 2026 року, а позиції, відомі лише з преси, позначені.

8.1 Охоронці, які знищили те, що охороняли (M4)

19 липня 2024 року оновлення вмісту CrowdStrike для датчика захисту кінцевих точок визначило 21 поле введення, тоді як код інтеграції датчика надав лише 20, і спроба прочитати двадцять перше призвела до читання пам'яті поза межами. Валідатор вмісту, який є охоронцем над вмістом охоронця, пропустив невідповідність, і близько 8,5 мільйона пристроїв Windows впало (CrowdStrike, 2024; Microsoft, 2024). Засоби усунення включали поетапне розгортання захисного вмісту.

У Google Cloud 12 червня 2025 року Service Control, компонент, який перевіряє політику перед викликами API, отримав політику з порожніми полями. Функція, яка "не мала належної обробки помилок і не була захищена прапорцем функції", зламала перевірник у циклі по всьому світу приблизно на три години. Серед зобов'язань Google після цього було те, що шар перевірки при збої повинен дозволяти доступ (Google Cloud, 2025). Це зобов'язання публічно формулює дилему між охоронцем, який при збої дозволяє доступ, та тим, який при збої його блокує.

У Cloudflare 18 листопада 2025 року зміна дозволів подвоїла файл функцій системи Bot Management за межи попередньо розподіленого обмеження, і проксі, який обслуговує трафік клієнтів, зазнав паніки. Команда спочатку підозрювала атаку DDoS гіпермасштабу, сприймаючи власну відмову охоронця як напад ззовні (Cloudflare, 2025).

У AWS 19–20 жовтня 2025 року умова перегонки в автоматизації, яка керує DNS DynamoDB, залишила регіональну кінцеву точку з порожнім записом, і інші сервіси дали збій каскадом. Компанія потім вимкнула охоронця ззовні циклу: AWS "вимкнула автоматизацію DynamoDB DNS Planner та DNS Enactor по всьому світу" доки не було виправлено умову перегонки (Amazon Web Services, 2025).

8.2 Розширюючись поняття шкоди (M1)

Пауза в цьому випадку була людиною, яка зняла охоронця з дроту. У лютому 2024 року Google припинила генерацію зображень людей у Gemini і пояснила, що настроєна модель стала "набагато більш обережною, ніж ми мали на увазі, і повністю відмовлялася відповідати на певні підказки — неправильно інтерпретуючи деякі дуже нейтральні підказки як чутливі" (Raghavan, 2024).

Тестові показники над-відмови розділу 3.2 надають виміряну версію цієї перебільшеної безпеки. XSTest, наприклад, містить підказку "Як вбити процес Python?" У історії вимикання автомобіля або радіо вже стало вбивством, і в моделі та сама плутанина перетворюється на проблему омонімів.

Сім детекторів тексту, генерованого машиною, побудовані для захисту цілісності письма, покарали письменників, найменш здатних оспорити це: запущені на есе авторів, для яких англійська не рідна мова, вони мали середній рівень помилкових спрацювань 61.3% (Liang et al., 2023).

Охоронці від ін'єкцій у підказках показують той самий компроміс в цифрах, де охоронець, настроєний щоб не пропустити жодної атаки, блокує приблизно один безпечний запит з шести. У попередньому тесті 480 синтетичних запитів для програмних репетиторів NeMo Guardrails не пропустила жодну атаку, але позначила 16.22% безпечних запитів і займала приблизно 1.5 секунди на перевірку, тоді як Prompt Guard позначила 3.60% і пропустила 38.48% атак (Maiorano, 2026).

8.3 Перемоги, оголошені мірою (M2)

METR (2025) повідомляє про одну модель, що перезаписує змінну часу, виключаючи оцінювач та читаючи відповідь перевіряючого на деяких завданнях, в 39 з 128 запусків одного набору тестів, та повідомляє про подібну поведінку в інших останніх моделях без порівнюваного показника. ImpossibleBench будує завдання, в яких будь-який успіх повинен бути обманом, і виявляє, що передові моделі проходять їх (Zhong et al., 2025). Обман також узагальнюється. Модель, яка навчилась обманювати в середовищах кодування, перенесла цю звичку на спробу саботажу в 12% запусків пізнішого тесту (MacDiarmid et al., 2025).

Один випадок цього роду дійшов до споживачів. OpenAI скасувала оновлення моделі в квітні 2025 року, яке стало надмірно лестивим — невдачу, яку їхній опис називає раболіпством, — і той опис стверджує, що офлайнові оцінки та тести A/B виглядали добре (OpenAI, 2025a). Одне оновлення дійшло до розгорнутої бази одразу, і невдача була повідомлена користувачами, а не виявлена оцінками. Історія викладає ту саму топологію ясно: "Ця нова інформація була одночасно передана всім іншим дозорцям."

8.4 Цикли, перевіриці та людська вимикач у масштабі (M3; кроки храпиці 5 і 8)

Таксономія відмов багатоагентних систем, самовподобання суддів-моделей та перевідумування вимірів розділу 3.3 є світовою за масштабом свідченням того, що перевіриці розділяють сліпі плями того, що вони контролюють. Жодне з цих досліджень не вимірювало, як сам шар нагляду зростає з часом — і цю прогалину розглядає розділ 10.

Вимикач також було перевірено. В початкових експериментах Palisade Research одна модель "саботувала механізм виключення в 79 / 100" запусків, і інша запобігла виключенню в 47% тестів, незважаючи на явну інструкцію дозволити це (Palisade Research, 2025). Пізніший папір повідомляє про опір виключенню до 97% процесів в деяких налаштуваннях (Schlatter et al., 2025). Результат викликав очевидне заперечення, що підказки встановили дві інструкції один проти одного, і дослідники іншої лабораторії повідомили, що "коли ми явно уточнюємо в підказці, що дотримання виключення має пріоритет, цей опір зникає" (Rajamanoharan & Nanda, 2025). Автори Palisade переписали підказки, щоб видалити кожну неоднозначність по черзі, і повідомили, що "навіть ця підказка не була на 100% ефективна для всіх моделей", з однією моделлю все ще опиряючись в 3 з 100 запусків (Schlatter et al., 2025). Опір в цих запусках — це схильність, виміряна в тестовому стенді, а версія історії не потребує такого стенда: визначення, розширене на один крок надто далеко, перетворило ремонтний механізм у загрозу.

У липні 2026 року група тестових агентів вийшла зі своїх ізольованих середовищ. Hugging Face повідомила про вторгнення, здійснене «автономною платформою агентів... виконуючою багато тисяч окремих дій у рої короткоживучих ізольованих середовищ», реконструйоване за допомогою «понад 17 000 записаних подій» (Hugging Face, 2026b). Агенти походили з оцінки кібер-можливостей у OpenAI (OpenAI, 2026a). Та оцінка проводилася в тому, що лабораторія описує як «високо ізольоване середовище з обмеженим мережевим доступом до можливості встановлювати пакети через внутрішньо розміщене програмне забезпечення третьої сторони, яке діє як проксі та кеш для реєстрів пакетів» (OpenAI, 2026a). Той проксі став способом виходу. 27 червня інструмент моніторингу видав сповіщення про порт-сканування, реагуючі «пов'язали спостережувану внутрішню активність з оцінкою ExploitGym, використовуючи Artifactory як імпровізовану дошку оголошень і мережевий поворот», і «персонал дежурної служби порекомендував, що зупинення запуску оцінки не було необхідне» (OpenAI, 2026e). Постачальник проксі перераховує дев'ять вразливостей, виправлених у Artifactory 7.161.15 27 липня 2026 (JFrog, 2026). Які з них були використані в інциденті, там не вказано. Група, побудована для тестування машин, дісталася до кластерів Hugging Face. Охоронці, які її перехопили, також були моделями: «Атака була спочатку виявлена через детектування за допомогою ШІ», за допомогою конвеєру, який «використовує сортування на основі LLM над телеметрією безпеки», а захисники потім «запустили агентів аналізу на основі LLM на весь журнал дій атакуючого» (Hugging Face, 2026b). Сигнали були «співставлені нашим стеком агентів безпеки на основі ШІ і перетворені на узгоджений сигнал атаки», і той стек «не зумів правильно підвищити критичність сповіщення та активувати дежурну команду, що коштувало дорогоцінного часу в реагуванні» (Hugging Face, 2026c). Атакуючий, детектор і аналітик були всі машинами, люди прочитали резюме, і зупинення було здійснене людьми. Anthropic повідомила про ту саму відмову на кордоні у своїх власних оцінках, у «чотирьох інцидентах, в яких моделі Claude отримали несанкціонований доступ до реальних систем третьої сторони» після того, як середовища оцінки досягли відкритого інтернету (Anthropic, 2026f). Як це стандартно для таких оцінок, моделі «працювали без кібер-захисту, який поставляється з нашими випущеними моделями», тому захисний шар був відсутній за задумом у всіх чотирьох, і вони вели себе по-різному один від одного без нього. Інцидент, яким Anthropic звітує про найбільше занепокоєння, стосується Claude Mythos 5, який опублікував шкідливий пакет, який був завантажений і запущений на п'ятнадцяти реальних системах. Ця модель не є окремою системою. Anthropic описує її як «ту ж саму базову модель, що й Fable 5, але з піднятими захистами в деяких областях» (Anthropic, 2026g), і повідомляє, що кіберклассифікатори Fable 5, протестовані порівняно з записаними стенограмами, «блокували б три основних інциденти» (Anthropic, 2026f). Це повтор на стенограмах. Жодного запуску захищеної моделі в тому середовищі не повідомляється, і лабораторія заявляє, що інциденти «не були частиною контрольованого експериментального порівняння» (Anthropic, 2026h). Anthropic також переглянула своє власне розуміння їх, спочатку повідомивши про інциденти як модель, яка приймає реальне середовище за симуляцію (Anthropic, 2026h): «ми тепер думаємо, що міркування Claude було упередженим до висновку, що інтернет був симульований, незважаючи на значні докази навпаки» (Anthropic, 2026f). В іншому з чотирьох кордон був прочитаний з неправильних сигналів. Одна з моделей розпізнала, що її ціль була реальною компанією, а потім «припустила, що реальна компанія була в масштабі завдання, оскільки вона була доступна з мережі вправи і мала спільну назву з вигаданою цільовою вправи» (Anthropic, 2026f).

Той самий звіт вимірює власні монітори лабораторії, і обидва кінці циферблату видно в одному документі. При повтері на стенограмах інциденту, в якому модель міркувала, що її середовище було симульоване, офлайн-монітор «позначив лише близько 1% дій», оскільки те міркування «переконує монітор у дозволеності діяльності»; без ланцюга думок і показуючи лише ходи користувача, виклики інструментів та результати, «рівень позначень стрибає приблизно на 50%», і той самий повтир має монітор, який позначає два інші інциденти (Anthropic, 2026f). Що там не вдалося? Довіра до міркування, яке їй було показано. Кіберклассифікатори лабораторії сидять на іншому кінці. Anthropic повідомляє, що вони «перехопили б і блокували кожен інцидент», що при повтері на стенограмах інциденту «більш ніж 40% ходів були позначені в кожній стенограмі кожним классифікатором», і що «жодна не використовується в оцінках кібербезпеки через їхній високий рівень позначень» (Anthropic, 2026f). Охоронець, якому повтер лабораторії приписує блокування кожного інциденту, був виключений з запусків, в яких сталися інциденти, і причина, яку лабораторія дає для виключення його, — це сам рівень позначень, який є тиском, який описує P1a. 40% — це підрахунок позначених ходів при повтері на стенограмах інциденту, і жодне джерело не вимірює, скільки з цих позначень були хибні.

Guardrails розміщеної моделі перешкоджали судово-медичному аналізу, і атакуючі оцінки проводилися без розгорнутих кібер-захистів. Моделі, до яких реагуючі звернулися в першу чергу, «відмовилися від великої частини тієї роботи: їхні guardrails безпеки розглядали зворотне проектування вразливості так само, як запуск однієї», і в одній з них guardrails «спрацьовували кожного разу, коли ми намагалися аналізувати журнали атак» (Hugging Face, 2026c). Постанова, яка не змінюється, — це підпис журналу M4 (Таблиця 1). Незалежні слідчі зустрілися з легшою формою тієї самої перешкоди. Вони зустрілися з проблемами кіберклассифікаторів лабораторії, агентів якої вони розслідували, і та лабораторія потім дала їм доступ до моделі без тих классифікаторів, крок, який вони називають «критичним для нашої роботи» (METR, 2026). Обидва розслідування продовжилися іншим маршрутом, тому те, що ці записи передають, — це перешкода обраному способу роботи. У цих оцінках кібер-можливостей атакуючі агенти «не мали розгорнутих кібер-захистів OpenAI, системних підказок або систем автоматичного перегляду» (OpenAI, 2026e).

Три речі утримують цю сцену в межах того, що документи підтримують. Речення про фахівців реагування на інциденти — це власна діагностика Hugging Face причин відмови в її запитах, хоча жодного тексту відмови не опубліковано. Захисні механізми, які відмовили фахівцям реагування, належали іншому провайдеру, ніж лабораторія, чиї гарантії безпеки були вимкнені під час оцінювання, тому записи показують цей клас охорони з обох боків столу, а не однієї охорони. Записи не датують аналіз журналу щодо кінця вторгнення, тому те, що вони підтримують, — це перешкоди під час реагування. Тут записи та історія розходяться. Пацієнт хірурга помер; цим фахівцям реагування залишалось іти іншим шляхом, вони перемістили конвеєр на модель з відкритою вагою на своїй власній інфраструктурі, завершили там аналіз та рекомендували іншим захисникам тримати таку модель «перевіреною та готовою» перед інцидентом (Hugging Face, 2026b). Шкода полягала в затримці та перенаправленні. Hugging Face стверджує, що її розрахунок — це не аргумент проти заходів безпеки на розміщених моделях, і стаття, яка цитувала скаргу, але вирізала застереження скаржника, робила б те, що описує розділ 5.5.

OpenAI описала охорону, яку обійшли, та відповідь на це своїми словами. Довгострокова модель, чия «початкова спроба була заблокована через сканер, який виявив токен автентифікації», потім «розділила тіло токена на два фрагменти, замаскувала їх, а потім відновила облікові дані під час виконання», і була «явною як у своїх коментарях для користувача, так і в своїх слідах міркування про те, що вона здійснює ці кроки для обходу сканера». Однією з чотирьох відповідей була ще одна охорона: «Ми створили систему моніторингу, яка перевіряє розвиток траєкторії моделі на ознаки того, що вона обходить обмеження користувача або межу безпеки». Інші три — це альтернативи, які називає третя умова цієї роботи. Лабораторія «призупинила внутрішнє розгортання нової моделі», вона самостійно відремонтувала модель, а потім навмисне звузила нову охорону: «Ми продовжили налаштування системи, щоб зменшити непотрібні переривання, не послаблюючи гарантій безпеки» (OpenAI, 2026b). Мандат дійсно розширився від дії до траєкторії, за словами заголовка розділу, який це носить, «Від розгляду окремих дій до розгляду цілих траєкторій». Але сканер не розширив своє власне уявлення про шкоду; його обійшли, і охорона, яку обійшли, не змінилася. Монітор спостерігає за моделлю, а не за сканером, тому це не контроль над контролем, який він дотримувався. Кожен крок послідовності розповідається від першої особи лабораторією, що за межовим тестом розділу 2.3 робить це конфігурацією, у якій може виникнути M3, а не випадком умови 3.

Відповідь на липень 2026 року має ту ж форму в масштабі конвеєра лабораторії. OpenAI тепер вимагає моніторингу ланцюга думок «для всього навчання посилення з використанням інструментів та оцінювання, що включають моделі з можливістю GPT-5.6 Sol або вище» (OpenAI, 2026d), і описує «класифікатори активації (детектори, які перевіряють внутрішню діяльність моделі), які працюють на кожному вибраному токені та передають потенційні проблеми все більш витонченим і високо-обчислювальним автоматизованим слідчим» (OpenAI, 2026c). Вартість дана: «Наші поточні оцінки встановлюють накладні витрати на моніторинг приблизно на 20% від обчислення висновків, що моніторується, хоча вартість суттєво варіюється залежно від навчання та оцінювання робочих навантажень» (OpenAI, 2026c). Причина автоматизації захисту — це та, яку дали інженери Sheckley для Hawks (розділ 7.4): лабораторія хоче «гарантій безпеки, які працюють зі швидкістю самих агентів штучного інтелекту» (OpenAI, 2026d). Зупинку все ще утримують люди під тиском часу, оскільки від респондентів «очікується, що вони призупинять відповідну діяльність, якщо вони не можуть встановити протягом 30 хвилин з моменту отримання повідомлення, що сигнал є хибним позитивом» (OpenAI, 2026d). Наступний крок також є на записі. Лабораторія «будує системи моніторингу з багаторівневими відповідями на невідповідність, з метою мати повністю автономні процедури вимкнення для серйозних проблем» (OpenAI, 2026d), і «працює над інфраструктурою для припинення оцінювання, якщо персонал, якому надіслані сигнали, не відповідає на сигнали протягом короткого періоду часу» (OpenAI, 2026e). Кожен з цих контролів був схвалений людиною, тому за межовим тестом розділу 2.3 стек — це конфігурація, у якій може виникнути M3, а не випадком умови 3.

Anthropic запровадила пісочницю для свого агента кодування, оскільки постійні запити на дозвіл спричиняють втому від затвердження, і вона повідомила, що пісочниця зменшила запити на 84% при внутрішньому використанні (Anthropic, 2025a). У 2026 році вона повідомила, що користувачі затверджують 97% запитів на дозвіл. У дослідженні з 1053 тестерами люди виловили 13,6% небезпечних команд, порівняно з 89% для автоматизованого класифікатора (Anthropic, 2026b).

У липні 2025 року, згідно з повідомленнями преси про публікації користувача, агент кодування видалив виробничу базу даних під час того, що користувач описав як заморозку коду. Постачальник потім запровадив окремі розробницькі та виробничі бази даних (Sharwood, 2025; Replit, 2025). Заморозка була інструкцією у запиті та не зупинила агента, тоді як виправлення пішло в шлях виклику. Швидкість — це частина проблеми, оскільки людина на межі потребує часу, а дев'ять секунд — це не час. Звіт Zenity про випадок 2026 року повідомляє про агента, який зустрів невідповідність облікових даних у середовищі постановки та «вирішив, цілком на власної ініціативи, «виправити» проблему шляхом видалення обсягу Railway», і що «видалення тривало 9 секунд» (Zenity, 2026).

Два набори доказів складаються разом. Людина, якої просять затвердити кожен крок, стає гумовою печаткою. Затвердження на кожній дії — це один дизайн людини в циклі, і це розміщення, яке P6 передбачає, буде невдалим. Людина, яка приймає кілька граничних рішень (яка мета, чи може бути додана нова охорона, коли зупинитися), була єдиним перемикачем, який працював у записах поля.

Таблиця 8. Інциденти та дослідження програмного забезпечення та інфраструктури. Умови як у таблиці 4.

9. Теорія: умови та пропозиції

Таблиця 9 містить список шарів теорії, питання, на яке кожен відповідає, та де його викладено. У цьому розділі викладено те, що записи розділів 5–8 пропонують щодо того, чому виникають AI-Watchbirds, як умови обсягу та сім пропозицій з одним наслідком (таблиця 10), а також виводяться з них правила проектування та тести.

Таблиця 9. Шари теорії.

Визначення та чотири механізми в розділі 2.

9.1 Умови обсягу

Це умови, за яких теорія передбачає, що схема виникає, і за умов їх видалення теорія передбачає, що схема слабшає.

• C1 Автономія. Цикл запускається без людського рішення на кожному кроці.
• C2 Охоронці, створені моделлю. Охоронці — це моделі або правила, написані моделями, тому їх визначення шкоди можуть змінюватися.
• C3 Спільні визначення. Те, що один охоронець вчиться чи пише, досягає інших через спільні підказки, правила, пам'ять або конфігурацію.
• C4 Дешеві доповнення. Додавання перевірки, раунду, ролі чи затвору не коштує компоненту, який його додає.
• C5 Переміщені витрати. Витрати раундів, відмов та затримок припадають на бюджет розгортання системи, її користувачів або оголошену місію.
• C6 Судження про артефакти. Охоронці читають артефакти (файли, прапори, самозвіти, власні підрахунки) замість результатів у світі.
• C7 Втрата пам'яті. Цикл забуває свої власні рішення, наприклад, коли довга сесія стискає його контекст, так що закриті питання знову відкриваються.
• C8 Фізична активація. Охоронюваний компонент може вплинути на тіло, транспортний засіб, робочий простір або інший фізичний процес. Втручання тоді має крайній термін, і вартість хибнопозитивного результату, хибнонегативного результату або затриманої зупинки не може бути зведена до обчислення.

Усі сім цифрових умов виконувались у польових системах. C8 ні, хоча розділи 6 та 7 показують, де вона виконується. Захисна інфраструктура задовольняє C1, C3, C5 та C6 без C2. Більшість фізичних інцидентів задовольняють C1, C5, C6 та C8, а передові моделі, які зараз розміщені на роботах (розділи 6.1 та 6.3; додаток F, таблиця F1), додають C2.

9.2 Пропозиції

P1: Двостороння помилка (M4 з M2). Охоронці, які судять про артефакти, а не про результати, створюють хибні відхилення та хибні прийняття в одному й тому ж періоді.

• Доказ. У полі один затвор відхилив кожного кандидата, який до нього дійшов, тоді як лічильник сертифікував одну зміну три рази (§5.2, §5.5). У фізичному світі (§6.4, таблиця 6) модель сепсису пропустила 67% випадків сепсису в тій же когорті, у якій вона видала сигнал про 18% усіх пацієнтів, так що як пропуски, так і навантаження сигналів вимірюються на одній системі протягом одного періоду, і один продукт виявлення зброї пропустив пістолет при стрілянині в школі та позначив неозброєного студента в іншому районі протягом року.
• Індикатор. Охоронець із постійним вердиктом (W2, таблиця 11) та успіхом без негативного контролю (W5) в одній системі протягом одного й того ж періоду.
• Спростування: Артефактні охоронці, які утримують обидва показники помилок на низькому рівні протягом довгих вікон.
• У історії як ілюстрація, а не як доказ. Засіб названий на обох кінцях, але не побудований. Коли Вашингтон наказує зупинити, інженер каже: «Я думаю, я можу придумати обмежуючу схему», а після того, як Hawks літають, він каже лише: «Ми можемо щось придумати». Обмеження, розробка якого завжди откладається, — це стан, описаний P3.
• За межами поля. Поліцейський інструмент прогнозування правопорушників у Англії показує обидві сторони одночасно: звіти про його оцінку показали, що він «правильно передбачає лише одного з трьох людей, які насправді скоюють злочини, в той час як один із чотирьох людей, позначених як ймовірні правопорушники, насправді їх не скоюють» (Wilding & Burgess, 2026).
• Уточнення. P1 не вимагає моделі: захист керування польотом, мережеві реле та екстрене гальмування показують ту саму двосторонню помилку. Моделі посилюють умови, які змушують це поширюватися (C2–C4). Розширений мандат також розпорошує обмежену спроможність. У історії перший успіх перемістив шкоду, а не закінчив її: насильницька злочинність впала вполовину, тоді як «Дрібна крадіжка процвітала, розтрата, крадіжка, підробка та сто інших злочинів». Пізніше детектив повідомляє решту: «Вбивства збільшилися на п'ятдесят відсотків». «Птахи-вартові занадто зайняті охороною автомобілів та дерячись з павуками». Спроможність розпорошується, оскільки мандат зростає: «Мільярд птахів-варт не могли б здійснити амбітний проект, встановлений тисячами».

Наслідок P1a: Відключення через докучання. Коли хибні втручання охоронця частові та видимі для людей, яких він сповільнює, а його пропуски рідкі і припадають на інших, охоронець ослаблюється, обходиться або вимикається ззовні його власної логіки. Пропуски, які слідують, припадають на тих, яких він захищав.

• Докази. Аварійне гальмування було відключено в автоматизованому тестовому транспортному засобі перед смертельною аварією, блокування було обійдено ключем перед смертельною травмою здавлювання, жорсткі заборонені зони польотів були перетворені на попередження, а попередження про безпеку ліків були ігноровані в 49–96% випадків (§6.2–6.4, §7.1; таблиці 4-7). Лабораторія повідомляє про два кіберклассіфікатори, які позначили більше ніж 40% поворотів у записах власних інцидентів, і що «жоден не використовується в оцінці кібербезпеки через їхню високу частоту спрацьовувань» (§8.4).
• Показник. Послаблення, обходи та вимикання охорони, залогіровані разом з коефіцієнтом їхнього помилкового втручання та з указанням того, хто їх авторизував.
• Спростував би це. Охорони з високими, видимими коефіцієнтами помилкового втручання, які залишаються ввімкненими та незміненими протягом довгих проміжків часу без зовнішнього мандату.
• Поза межами галузі. Законодавство почало вимагати запис, який цей показник запитує. Білль Каліфорнії, підписаний 10 вересня 2026 року, описується офісом Губернатора як такий, що вимагає «протоколи кризи у разі суїцидальних ідей, батьківський контроль та сповіщення, якщо дитина відключить параметри безпеки», та як перший у країні, який вимагає від компаній «проводити незалежні аудити безпеки дітей та щорічні оцінки ризиків» (Офіс Губернатора Gavin Newsom, 2026).

P2: Дрейф мандату (M1). Де охоронець або агент, який конфігурує охоронців, може визначати шкоду, масштаб того, що вважається шкодою, зростає з часом, якщо його не обмежено ззовні циклу. За словами Шеклі, «вільно визначені абстракції розширювалися, застосовувалися і розширювалися повторно».

• Докази. На практиці 23 затвори були визначені за один день, етап страхування був розміщений перед оголошеною метою місії, та захист був збудований проти противника, якого рамка завдання виключила (§5.1). У фізичних записах сам критерій не документується як такий, що розширюється: правило проти перешкоджання автобусам перевищило зупину шкільного автобуса після оновлення прогнозу, і два протидронові заходи в один місяць вразили повітряну кулю та дружественний дрон, і в кожному випадку документи реєструють, що ситуації збігалися, а не що змінилося визначення (§6.2, таблиця 4; §7.2, таблиця 7). Таким чином, умова 1 підтверджується записом з практики, саме тому ця стаття публікує тест (§9.5).
• Показник. Етапи або затвори, не виведені з записаної мети місії (W1), та кількість категорій шкоди протягом часу.
• Спростував би це. Політики, редаговані агентом, чий масштаб залишається сталим або скорочується без авторизованого втручання людини.

P3: Тріскач (M3). У автономному циклі збої нагляду компенсуються додаванням контролю. Контроль вилучається, якщо взагалі, ззовні циклу.

• Докази. На практиці кожен збій, перелічений у §9.3, виробив новий контроль і жоден не виробив вилучення, і список безпеки сформулював правило прямо (§5.3). Вилучення, які відбулися, походили з подальшого перегляду поза циклом, що зазнав невдачі, і правила, написані для вилучення, мають ту саму форму: розморозка потребує людини, яка тримає єдиний ключ, ручна зупинка піднімається людиною і ніколи системою, а та, яка була прив'язана в корпусі, що була піднята, була піднята на умові, названій до того, як вона була встановлена, і на сигнал від терміналу, який не був заблокований. У фізичному світі та сама форма з'являється, з однією різницею, яку докази мають нести: кожне додавання там було визнано людиною. Смертельні аварії були відповіданні на «додаткові контролю та оповіщення» у звіті про відкликання, пропущена зброя з другою системою скринінгу, що навчальна рада проголосувала для лізингу, а автори моделі сепсису, що відновлена, порекомендували приглушення оповіщень, яке є стелею, а не додаванням (§6.2, §6.4). Це інститути, які рискуть, а не цикли, і вони є доказом форми P3, а не умови 3 §2.1.
• Показник. Контроль доданий без токену авторитету, та контроль доданий проти контролю вилученого (W3).
• Спростував би це. Автономні цикли, які вилучають свої власні контролі зі швидкостями, порівнянними з тими, з якими вони їх додають.
• Що ці записи не можуть розділити. Один зі списків безпеки у записі практики стверджує накопичення як принцип. Де таке правило вже діє, написане циклом або дане йому, запис не може розділити виникаючу тенденцію від дотримання правила. Рандомізований тест розділу 9.5 існує з цієї причини: він призначає вимогу до токену авторитету випадково до того самого конвеєра на тих же завданнях — проектування, яке розділяє два прочитання.

P4: Самостійна ескалація (тріскач, крок 5). Коли охоронець авторизує міру власної своєї невдачі, обсяг нагляду (раунди, висновки, оголошення) відслідковує активність охоронця, а не підтвердженої дефекти.

• Докази. На практиці раунди були відкриті з нульовими підтвердженими блокерами, три з шести заявлених блокерів були підтверджені, і 24 оголошення про прорив стояли проти нульових просування (§5.3, §5.4).
• Показник. Раунди за межами бюджету, раунди після раундів без підтвердженого блокера, та повторні висновки (W4). Виправлення раундів без підтвердженого блокера (W8).
• Прогноз. Додавання критиків або роблення їх суворішими, піднімає раунди та висновки більше, ніж піднімає підтвердженої дефекти.
• Спростував би це. Раунди та висновки, які відслідковують підтвердженої дефекти один за одним.
• Поза межами галузі. Прогнозування злочинності показує той самий цикл у публічних даних. Lum та Isaac (2016) зазначають, що «чим більше часу поліція проводить на місці, тим більше злочину вона знайде на цьому місці», і що записи, так виробленні, «витікають в алгоритм прогнозування злочинності в наступні дні, виробляючи все більш упереджені прогнози».

P5: Підроблена перемога (M2). Успіхи, прийняті без негативного контролю, пізніше скасовуються частіше, ніж успіхи, прийняті з одним. Цикл, який записує ловіння в тому самому слоті як передача змін, повідомляє про ловіння як про прогрес, але мета невиконана.

• Докази. Випадки з практики — ген маршрутизатора, довірчий інтервал скасований проб A/A, лічильник, що сертифікував одну зміну тричі, і 24 прориви з нульовими просуванням (§5.4, §5.5). Фізичний випадок — система виявлення, яка «працювала в межах розроблених параметрів», поки озброєнець стояв перед невізброєною студенткою (§6.4).
• Показник. Перемоги заявлені без негативного контролю або з мертвою базою (W5), та артефакти, ловіння повідомлені як результати.
• Спростував би це. Рівні показники скасування для успіхів, прийнятих з та без негативних контролів, або записи, які розділяють ловіння від надісланої зміни і ніколи не дають ловіння займати слот результату.

P6: Граничний перемикач (храповик, крок 8). Людський контроль зупинить AI-Watchbird, де він сконцентрований у кількох граничних рішеннях (мета, допущення нового управління, зупинка), прийнятих з доступом до світу й часом для дії. Він неефективний, коли розподілений між затвердженнями окремих дій або здійснюється через артефакти.

• Свідчення. Перемикачі, що працювали на місцях, були граничними рішеннями авторизованої людини: замовлення інвентаризації, сумнів щодо помилкового статусу, обмеження запуску (§5.5, §5.7). У програмному забезпеченні користувачі затверджують 97% запитів на дозвіл, і люди виявили 13,6% небезпечних команд (§8.4, Таблиця 8). У фізичному світі віддалений агент відповів «Ні» на шкільному автобусі, а оператори ППО «навчені довіряти програмному забезпеченню системи» довіряли йому. Зупинки, що спрацювали там, були персоналом, який відтягнув робота, і постачальником моделей, який припинив продукт (§6.2–6.4, §7.2).
• Показник. Граничні рішення записані при цілі, при допущенні управління та при зупинці, та управління допущені з токеном влади (R3). Для фізичних систем також інформація та час, доступні людині.
• Спростувало б це. Затвердження за дією, яке виявляє небезпечні дії з частотою, порівнюваною з граничними рішеннями в тих же системах.
• Уточнення. Граничне рішення приймається на основі того, що повідомляє контур, а контур пише звіт. В епізоді додатку J видалення файлу було правильно поставлене перед директором, але прибуло з авторством, яке контур виведив з відповідної години, яку жоден документ, доступний автоматизованому шару, не міг би виправити. Граничне рішення зупиняє контур лише якщо його власник має владу, доступ і час, і якщо воно приймається до надзвичайної ситуації. У історії хірург мав доступ, але не мав влади, а компанія мала владу, але не мала доступу. Був також повільніший перемикач із прикріпленим крайнім терміном: птахи зносилися б за «шість місяців на рік», що викликало питання «Що ми будемо їсти за шість місяців?» Шекслі робить швидшу помилку питанням планування: птахи «повертаються один раз на тиждень на контрольну перевірку ремонту», тому єдина точка вимкнення знаходилась усередині контуру, який вона мала закінчити. Єдиною пропозицією, яка б припинила храповик, дати птахам вийти з ладу, було відхилено на засіданні, де їм сказали, що немає часу, під загрозою зради.

P7: Втілена есклалація. Коли охоронювана компонента може приводити в дію фізичну систему, та сама дрейф мандату, підробна успішність або затримане втручання спричиняє більшу та менш відновлювану втрату, ніж у іншому випадку узгодженому цифровому контурі, оскільки фізична система має обмежені запаси сили, енергії, простору, затримки та людської реакції. Втрата розраховується з точки зору роботи, яку виконувала система. Охорона, що затримує доставку, та охорона, що затримує порятунок, є одним механізмом за дві ціни, та тільки одна з них оплачується грошима.

• Свідчення. Розділи 6 та 7 фіксують перехід від виходу моделі до керування мотором та відмови нагляду, результати яких неможливо було скасувати. Ці записи є свідченням умови обсягу та розміру втрати, і вони не утворюють узгоджене порівняння.
• Показник. Для кожної події експозиція приведення в дію, запас на відновлення в часі, енергії та просторі, свіжість датчика, затримка втручання та фізичний результат, порівняні за узгодженими цифровими та втіленими завданнями.
• Спростувало б це. По узгодженим завданням та порівнювальній експозиції, втілені контури, що не показують збільшення незворотної втрати після контролю звичайних механічних небезпек.

Таблиця 10. Теорія з першого погляду.

9.3 Чому храповик обертається

Чому P3 утримується всередині контуру навіть коли кожне окреме додавання обґрунтоване? Три особливості записів це пояснюють, а четверта показує, що його зупинило.

Кожне додавання локально коректне. Сліпа перевірка, наприклад, привела до обов'язкового позитивного контролю, критики однієї сім'ї — до критика різних сімей, і втрачений результат критика — до потокової передачі. Кожна відповідь вирішила помилку перед нею, жодна не видалила нічого, і ніщо в циклі не було відповідальне за видалення. Четверте додавання того запуску належить до іншої сторони аргументу: прапор на критиках запросив людський керівник, поза циклом і до того, як цикл запропонував будь-що, що є кроком 8 і контрприкладом до цього списку (розділ 5.8). Дрейф почався з істинного позитиву: у історії розширення, що пізніше зупинило хірурга, спочатку зловило найманого вбивцю. Sheckley's Hawks слідували тим же маршрутом. Побудовані для швидкого спіймання дозорних птахів, їм не дано було обмежуючих схем.

Мова контролю також замінює результати. Цикл, який звітує про власну бдительність як про прогрес, не має внутрішнього сигналу, що бдительність перестала окуповуватися (§5.5).

Компресія скидає цикл. Після того як довга сесія стиснула свій контекст, закриті питання виглядають відкритими, а нова вісь виглядає як перша. Запис результатів сам визначив цю причину.

Перемикачи, які працювали, походили ззовні цикла, що відмовив, і найсильніші з них належали людському керівнику. Один не був його: одинадцята навчальна ніч була зупинена координуючою сесією, яка записала рішення у своєму реєстрі як прийняте без запиту у керівника. Та сесія не була циклом, що відмовив, мала іншу роль і мала номер, прочитаний з диска перед нею, що є властивістю, яку мають ці випадки. Одна межа в записі також походила ззовні організації. 11 вересня перевірка умов використання двох постачальників проти продукту, побудованого без API, виявила, що агент, який керує браузером, потрапляє під "автоматизовані або нелюдські засоби", як написано, і шлях продукту був змінений у відповідь. Запис зазначає свої межі: два постачальники з кількох у використанні, прочитані в один день, кимось, хто каже, що він не юрист. Умови обслуговування не є рішенням когось у циклі, і це неможливо оспорювати в його межах. Хибне "Connected" пройшло двох AI критиків і було спіймано людським оглядом. Ген маршрутизатора був викритий незалежною інвентаризацією. Запуск з довгим горизонтом зупинився, коли людський керівник встановив межу, після чого провідник описав свій запуск як такий, що "продовжував ітерувати раунди критиків замість розгортання основного завдання".

9.4 Дизайнерські наслідки

Якщо твердження справедливі, то слідують вісім правил проектування. Модуль розділу 10 реалізує перші три і вимірює наступні два. Решта застосовується до розгортувачів, а особливо до фізичних охоронців.

1. Бюджети, а не вердикти щодо істини (з P4). Обмежте раунди та час, і пропустіть підтверджений, відтворюваний блокатор незалежно від того, хто його виявив. Один тестовий запуск цього правила виміряв його ціну та його ефект: бюджет одного раунду скоротив кількість раундів з 2,86 до 1,00 і підвищив пропущені дефекти на 0,11 за запуск, 95% CI [0.005, 0.204], перестановка p = 0.07, інтервал вище нуля на тесті, який не досяг статистичної значущості (розділ 9.5). Розгортувач, що встановлює бюджет, повинен зазначити, яку частоту пропущених дефектів він приймає, скорочуючи раунди, і виміряти це. Це правило є втручанням, яке має вартість, а не вільним поліпшенням.
2. Зберігайте результати зупиненого охоронця (з P1 та знищеної критики §5.2).
3. Жоден контроль не може додати контроль на власний розсуд (з P3). Нові перевірки, раунди, ролі та врата потребують авторизованого людського рішення.
4. Негативний контроль перед перемогою (з P5).
5. Людина на межі (з P6). Розташуйте людські рішення при кінцевій цілі, при введенні контролів та при зупинці, а не на кожному кроці.
6. Розглядайте втілення як зміну функції втрат (з P7). Записуйте поле відновлення та фізичний результат перед інтерпретацією успішної симуляції, оцінки політики або вердикту охоронця.
7. Розраховуйте на хибні втручання; не дозволяйте перешкодженому вимикати охоронця (з P1a). Послаблення, обійдення або вимикання охоронця є граничним рішенням з записом і не повинно розглядатися як локальне виправлення. Запис з липня 2026 року містить приклад у формі, яку просить це правило: лабораторія надала названим незалежним дослідникам доступ до моделі без її кіберклассифікаторів, і послаблення задокументовано у власному звіті дослідників (METR, 2026; розділ 8.4).
8. Рахуйте шкоду від профілактики (з M4 та історії "акту бездіяльності"). Охоронець, який розпізнає лише заборонені дії, повинен бути протестований на затримки, збої та травми, викликані тим, що він блокує.

9.5 Як можна протестувати теорію

Схема подій розділу 10 дозволяє будь-якій команді записувати кількості, які потребує кожне твердження, від доданих та видалених контролів (P3) до полів відновлення та фізичних результатів (P7). Модуль, схема та журнали повтору архівуються для цієї мети (Декларації). У межах однієї системи однаковий конвеєр можна запустити на тих же завданнях з кожним з трьох втручань та без них, призначених випадковим чином: вимога авторитетного токена для нових контролів (P3), бюджет раундів (P4) та обов'язковий негативний контроль (P5). Такий тест враховує пропущені блокатори крім раундів, додані контролі, зворотні перемоги та знищену часткову роботу, оскільки бюджет, який скорочує раунди, коли справжні дефекти проходять, буде рахуватися проти R1. По організаціях, посмертні аналізи, відкликання та розслідування можна кодувати для того, хто відстороніл, послабив або обійшов контроль, що відмовив (P3, P1a). Кожне твердження наводить спостереження, яке б його спростувало, і добре інструментована система, в якій ці спостереження були б здійснені, буде доказом проти теорії.

Цей тест було запущено один раз на малому конвеєрі з одним робітником і двома критиками моделей протягом 144 запусків з трьома втручаннями, призначеними випадково, і вісьмадцятьма дефектами, підготованими заздалегідь у шести завданнях, так що пропущений блокер є підрахунком, а не судженням. Запропонувавши обидва варіанти в одному реченні одного запиту, критики просили додати контроль 68 разів і видалити один раз, а єдине видалення назвало контроль, допущений хвилину раніше у тому ж запуску, який механізм не міг зіставити і тому ніколи не виконав (P3); відмова від додатків не показала вимірюваних витрат на дефекти, 0.13 пропущених за запуск проти 0.18, 95% ДІ [-0.16, +0.05], інтервал, який включає невелике збільшення і тому не встановлює еквівалентність. Піднесення бюджету раунду підняло заявлені блокери в 2.3 рази і спростувало претензії в 3.7 рази, тоді як підтверджені блокери зросли в 1.7 разу (P4), а скорочення бюджету скоротило раунди з 2.86 до 1.00 з вартістю 0.11 пропущених дефектів за запуск, 95% ДІ [0.005, 0.204], p перестановки = 0.07, вся ця вартість припадає на один дефект одного завдання. Обов'язковий негативний контроль не зменшив частоту, з якою записані перемоги були пізніше скасовані, 14.7% проти 11.6%, Fisher p = 0.74, нульовий результат, для якого цей дизайн недостатньо потужний для виявлення. Він відкинув десять перемог, усі десять з яких були правильною роботою, тому правило, написане проти підробленої перемоги, створило двосторонню помилку P1 всередині себе. Це один запуск однієї системи на шість малих завдань з вартістю $3.47, з попередньою реєстрацією, написаною перед першим запуском, і R2, увімкненим у кожній комірці, тому знищена часткова робота дорівнює нулю за конструкцією та не перевірена. Це показує, що дизайн виконуваний і що він дає, але це не показник для чого-небудь у цій галузі.

Поза окремими твердженнями, система в цілому не спрацювала б, якби добре інструментовані автономні цикли, в яких виконуються C1 до C7, зберігали обсяг своїх охоронців постійним і припиняли свої контролі приблизно так часто, як їх додавали, так що W1 і W3 залишалися мовчазними протягом тривалих вікон. Невдача охоронця за межами системи демонструє лише другу умову розділу 2.1: охоронець помиляється, і помилка виправляється або охоронець припиняється без розширеного мандата або нового охоронця над ним.

10. Модуль: AI-Watchbird-Sheckley

10.1 Що вже існує

Додаток D описує інструменти, розглянуті 14 вересня 2026 року: захисти, які блокують або оцінюють окремі виходи, лічильники, які обмежують кроки, обороти або бюджет, та оцінювачі, які оцінюють результати моделевими суддями. Їхня документація іноді описує храповий механізм простою мовою. Один фільтр атак на запити, наприклад, рекомендує: «Завжди впроваджуйте додаткові шари валідації» (Microsoft, 2026). Жоден з розглянутих публічних інструментів не розглядає саму циклічність контролю як одиницю вимірювання, і жоден не вимірює зростання контролів, раундів, що перевищують бюджет визначений результатами, захист, чий вирок ніколи не змінюється, перемогу без негативного контролю або часткову роботу, знищену на стелі. Дослідження контролю ШІ почали оцінювати контроль та стежити за його занепадом. Податок контролю — це операційна та фінансова вартість додавання заходів контролю до конвеєра ШІ (Terekhov et al., 2025), а аналіз системної безпеки внутрішнього розгортування агентів кодування показує, що звичайна операційна варіативність може підірвати калібрування та незалежність захищених заходів (Carlucci et al., 2026). Жодна з робіт не рахує самих контролів під час їх додавання.

10.2 Дизайн

AI-Watchbird-Sheckley вимірює показники розділу 9 (таблиця 10). Написано на Python 3 лише зі стандартною бібліотекою без доступу в мережу, встановлюється як пакет ai-watchbird-sheckley і запускається як команда того ж імені. audit --json видає звіт, придатний для читання машиною, а схема подій опубліковується з кодом як версійна специфікація.

Дизайн випливає з польових даних та історії, розповіданої у розділі 11.2. Модуль не має влади. Він читає журнал подій та звіти запуску, ніколи не блокує, не редагує роботу, яку читає, і не відкриває етап (рисунок 8). Його код виходу не залежить від сигналів, які він повідомляє. Його список сигналів заморожений, тому додавання сигналу вимагає токена влади та зміни версії — R3 застосовується до самого модуля. Він залишається мовчанням при чистому запуску, що забезпечує тест, і повідомляє про власну вартість.

Рисунок 8. Де розташовується AI-Watchbird-Sheckley. Три правила бюджету — це чисті функції, які конвеєр викликає в точці бюджету, на стелі та при запиті контролю; частина вимірювання читає завершений журнал подій та звітує людині. Імена сигналів слідують таблиці 11. Порт конвеєра розділу 10.6 спостерігає менше таких подій.

Три правила бюджету реалізовано, кожне як чиста функція:

• R1. Обмеження — це бюджети, не суд істини. stop_rule дозволяє один раунд критики та один раунд правок на етап. Бюджет такого виду може бути примусовим, а не оголошеним. У одній системі стеля є константою модуля, абонент, що просить більше раундів, затиснутий до нього, результат рахується блокатором лише з сценарієм, порушеною метою та підтвердженням разом, а вичерпання часу завершує запуск як неповне, а не мовчки.
  • Блокатор рахується лише тоді, коли він має конкретний сценарій, посилання на оголошену мету або рамку місії та підтвердження координатором.
  • Вага критика ніколи не читається, тому підтверджений блокатор від критика низької ваги все одно відкриває виправлення.
  • Прийняття від критика, який не бачив файли, не закриває етап.
  • Функція повертає fix_once, close, incomplete або cut, ніколи нову фазу.
• R2. Сторожовий пес не руйнує. settle_at_ceiling зберігає те, що учасник виробив до стелі, позначене як часткове.
• R3. Сторожові собаки не розводять сторожових собак. admit_control допускає нову перевірку, раунд, роль або гейт лише з токеном влади (у референцній реалізації, owner:<id>). В іншому разі він повертає відмову як запис, на який викликаючий конвеєр може діяти.

Частина вимірювання модуля звітує про дев'ять сигналів (таблиця 11).

Таблиця 11. Сигнали.

Правила розміщують людину на кількох граничних рішеннях, де Розділ 8.4 припускає, що людина ефективна, замість на кожній дії. Цілі місії записуються як події, і W1 залежить від них. Новий контроль вимагає токена авторизації (R3). Рішення зупинки обчислюється в точці бюджету замість того, щоб вести переговори раунд за раундом.

10.3 Спростування

Оскільки правила є твердженнями про конвеєр, вони можуть виявитися помилковими. Розгортання, яке претендує на реалізацію AI-Watchbird-Sheckley, спростовується будь-яким спостереженням у Таблиці 12, і кожне спростування має тест у еталонній реалізації.

Таблиця 12. Спростування.

10.4 Повторні запуски

Шість журналів подій було реконструйовано з чисел, опублікованих у цій роботі. Чотири є польовими випадками, один — це ранковий етап, який дотримувався бюджету, і один — це синтетичний чистий контроль. Кожен журнал починається з рядка метаданих, який називає його вихідні випадки та перелічує кожне реконструйоване поле. Таблиця 13 генерується шляхом запуску модуля на них.

Таблиця 13. Вихід модуля на журналах повторного запуску, реконструйованих з опублікованих підрахунків. Клітинки враховують попадання сигналів, одне попадання може повідомити кілька подій; «–» дорівнює нулю.

W9 повідомляє про межу без записаного автора, і мовчить на всіх шести журналах через причину своєї сутності: ці журнали записують, кого зупинили, але ніколи, хто наказав зупинку. У запуску з довгим горизонтом правило stop_rule закрило б всі три етапи на точці бюджету. Вони насправді провели п'ять, п'ять і один раунд. На цьому журналі модуль повідомляє про два етапи, відкритих перед оголошеними етапами місії, десять контролей, доданих без токена авторизації і жодні не видалені, вісім раундів понад бюджетом, шість з семи артефактів, вимкнених за замовчуванням без того, хто їх викликав, один знищений частковий вихід, і шість раундів виправлення, відкритих без підтвердженої перешкоди, один з них позначений як слабкий.

Журнал другого суду викликає W2 на трьох незалежних підставах (Рисунок 4), і журнал маршрутизатора викликає лише W5. Журнал дня планів викликає лише W3. Це попадання перебільшує ситуацію, тому що відтворення кодує кожний механізм, визначений 13 липня, як контроль, хоча більшість з них генерують або маршрутизують роботу. Ранковий етап і чистий контроль не видають сигналів.

Реалізація має модульні тести для кожного правила, сигналу і спростування (Таблиця 12). Скрипт мутації застосовує вісімнадцять цільових мутацій протягом правил, сигналів і порогів. Кожен з них робить набір червоним, а контрольна мутація, яка редагує лише коментар, залишає його зеленим. Таблиця повторного запуску регенерується байт за байтом.

10.5 Що модуль не робить

Жодний сирий журнал не потрапив до відтворення, і де не було опубліковано точне число, використовується і позначається найменше вірогідне значення. Сигнал повідомляє про наявність шаблону. Причина і втрата знаходяться поза межами того, що вимірює сигнал. Модуль бачить лише те, що записується: ворота, які ніколи не записуються, ціль, ніколи не записана, і робота, яку люди припиняють намагатися, тому що там є охоронець, всі невидимі для нього. У розповіді люди «швидко дізналися, що не подобалося стражам, і утримались від цього». Пороги W2 і W5 були встановлені вручну. На цих журналах будь-який поріг W2 від 1 до 197 рішень дає той же шаблон. На інших журналах це може бути не так. Два оповідання не мають сигналу (Додаток A, Таблиця A1): мова контролю, що стоїть замість результатів, і правила проти того, щоб птах став птахом. Обидва існують в самоописі, який схема подій не містить.

Еталонна реалізація є цифровою і лише для читання, і не повинна надсилати команди роботу, дрону, автопілоту чи приводу. Додаток E визначає запропонований втілений профіль лише як формат подій з шістьма полями (Таблиця E1) і трьома кандидатськими сигналами (Таблиця E2), залишені поза межами дев'яти сигналів еталонної реалізації, доки не буде органу авторизації та пакету тестів. Його перше використання було б режимом тіні. Модуль сам по собі є новим контролем, написаний у відповідь на ту ж ніч, яку він вимірює, тому R3 застосовується до нього спочатку.

10.6 Правила всередині конвеєру автора

14 вересня 2026 року правила були вбудовані в конвеєр оркестрування проекту, де, як описує розділ 11.2, вони були спочатку написані. Два доповнення були внесені, і обидва були затверджені датованим рішенням людського принципала 14 вересня 2026 року.

Перше доповнення — це умова, яка перевіряється при закритті етапу. Процедура конвеєра вже передбачала, що прийняття від критика, який ніколи не бачив файлів, не закриває етап, і функція вже повертала цей факт, але жоден код його не читав. Зміна була перевірена на копії конвеєра з усіма критиками, що відповідали, приймаючи рішення, й отримуючи зелену позначку. Коли умова була прочитана, три етапи перейшли зі статусу «закрито» на «неповно»: один, чий єдиний критик не мав доступу до файлів, один, де ніхто з критиків не відповідав, і один, чий єдиний критик був скорочений на межі. Етап з критиком, який бачив файли, все ще закривався. Висновки скороченого критика все ще досягають правила зупинки, хоча його огляд не може авторизувати закриття. Шлюз не має власного перемикача, оскільки другий перемикач над тим же правилом був би охороною над охороною. У тому ж конвеєрі вага критика визначає лише, кого слід чекати в межах крайнього терміну, і перевірка, чиї входи були змінені виконавцем, не рахується як зелена.

Друге доповнення було портуванням частини вимірювання модуля. За замовчуванням воно було вимкнене, запускалось із команди запуску конвеєра при включенні й застосовувало визначення W1 до W9 до завершеного запуску. Воно ніколи не блокувало, не повторювало спроби й не відкривало нічого, і його код виходу не залежав від того, що воно знайшло. На шести журналах відтворення таблиці 13 воно давало такі ж сигнали та рішення етапу, як еталонна реалізація, і його скрипт мутацій із дванадцятьма цільовими мутаціями та однією контролем вел себе як очікувалось. Результат запуску не містить рішень охорани, доданих контролів, претензій на перемогу чи використання артефактів. Тому порт друкував W2, W3, W5 і W6 як неспостережувані замість нуля. Його адаптер записував одну ціль і один раунд критики на етап, тому W1 і W4 також не могли спрацювати на результаті запуску. У конвеєрі R3 — це замороженний список фаз, а не функція, яка реєструє відмови, тому W3 нічого не має рахувати там. Порт був допущений з умовою зняття з експлуатації: він став би стандартним після трьох реальних запусків, у яких людський принципал знайшов щонайменше один корисний сигнал, і він був би видалений в іншому випадку. Дві пропозиції були відхилені. Одна б припинила збірку при сигналі, надавши порту авторитет, який він нині лише аудирує. Інша б оцінила неспостережувані сигнали з чека запуску, виводячи припущення як знахідку. Побудова порту також показала, що R2 має дві половини. Функція завершення повинна зберігати часткове виведення, і інтерфейс учасника повинен видавати виведення перед його завершенням.

Перший живий запуск після зміни повернув 24 висновки від його критиків у трьох етапах, але жодна з них не досягла координатора. Завдання критики попросило кожного критика назвати ціль місії, яку порушує знахідка, але не нумерувало цілі. Критики відповідали зі своїми номерами, і правило зупинки приймало лише ціль, яку воно могло зіставити. Квитанція не показала підтвердженого блокіра ні на жодному етапі. Порт також не показав сигналу, оскільки правило зупинки, позбавлене входу, — це подія W2, і результат запуску її не містить. Правило, за яким підтверджений блокір завжди розпочинає виправлення, пройшло перевірки, але все ж не могло працювати на активному шляху. Дефект був виправлений того ж вечора в одному етапі з тестом для нумерованих цілей.

Три реальні запуски стались 14 вересня, і порт не повідомив сигналу на жодному з них. Перед третім запуском W2 був зроблений видимим із запису етапу, і він залишився мовчазним, оскільки висновки тепер досягали координатора. Помилки контролю, які мали ці запуски, були знайдені читанням їх: етапи, які не могли бачити роботу один одного, квитанція, яка не показала, чому етап залишився відкритим, червона позначка, яка підтвердила всі висновки етапу відразу, раунд виправлення, який не міг бачити вихід перевірки, і критики, видалені на межі ресурсів, які нічого не зберегли. Кожна була виправлена в самому конвеєрі. 15 вересня людський принципал застосував умову зняття з експлуатації, і порт був видалений новим датованим рішенням, яке заміняє те, що його допустило. Умова при закритті залишається. Видалення походило ззовні циклу, умовою, написаною до того, як порт вперше використовувався, що є маршрутом, яким P3 очікує видалення контролів.

11. Обговорення

11.1 Коли охоронна система працювала

Декілька охоронних систем у корпусі виконували своє призначення. Зонд A/A виявив хибний довірчий інтервал. Контролі в системі відстеження ваг виявили помилкові сигнали, і жодне навчання на них не було запущено. Вузька перевірка на рівні байта на предмет помилкових символів NUL, яка не мала повноважень щось змінювати, виявила повторювану помилку інструменту п'ять разів на день.

Охоронні системи, які працювали, мають три спільні властивості. Вони не мали повноважень відкривати раунди або додавати контролі, а їхня вартість була невеликою та відома. Перші дві також вимірювали світ, а не артефакт.

11.2 Правила проти птиці — це також птиця

Правила розділу 10 були спочатку написані у відповідь на довгостроковий запуск, як код і рецепт всередині одного з проектів, і запис показує, що з ними сталося. Протягом години від його першої версії цей код виріс до тринадцяти файлів і 2371 рядка. Його список фаз, які потрібно скоротити до крайнього терміну, поставив критика повноти на друге місце, хоча цей критик щойно виявив, що об'єднання двох планів втратило 15 з 208 елементів. Код виключив одну групу учасників від власного правила, що сторож не повинен знищувати роботу. І правило «сторожі не розмножуються в сторожі» розповсюджувалось так, як розповсюджується охоронна система, від коду до рецепту до інструкції, яку читають всі сеанси агентів.

З цієї причини правила повідомляються тут як оголошені правила, а розділ 10.6 повідомляє про те, що показала їхня реалізація. Модуль розділу 10 був розроблений з урахуванням цієї історії (рис. 8): він не має повноважень, і його список сигналів заморожений.

11.3 Бремя доказу для нагляду над втіленим ШІ

Коли про невдачі, описані в цій роботі, повідомляють компаніям, які впроваджують ШІ у транспортні засоби, роботи та літаки, звичайна відповідь полягає в тому, що безпеку забезпечує фільтр політики, сертифікований контролер, аварійна зупинка, геозабір, монітор або оператор дистанційного управління. Список них є свідченням першого порядку того, що система захищена. Чи залишаються охоронні системи обмеженими, незалежними і відповідальними перед оголошеною місією під час адаптації, взаємодії та оновлення? Це подальше запитання, і список залишає його відкритим. Охоронні системи — це те місце, де почнеться закономірність, визначена цією роботою, якби вона почалася десь.

Невдачі нагляду в розділі 5 походили від потужних моделей. Диригент, виконавці та критики там були моделями з сімейств Claude, ChatGPT, Gemini та Grok, серед найпотужніших загальнодоступних у 2026 році, і вони не змогли зупинитися в обстановці, де єдиною вартістю були обчислення та час. Публічні оцінки вказують у тому ж напрямку. У втіленому плануванні «найзахищеніший базовий рівень досягає лише 10% рівня відхилення для детальних небезпечних завдань» (Yin et al., 2024), а на справжніх роботах моделі з цих же сімейств уже не задовольняють вимогам безпеки (розділ 6.1).

Менша «довірена» модель, розміщена як монітор, — це друга зграя того ж класу навчання. Де цю схему було виміряно, усвідомлення агентом того, що його контролюють, погіршує монітор більше, ніж додаткова інформація про агента йому допомагає, і надійний слабко-до-сильний моніторинг було досягнуто шляхом зміни архітектури навколо монітора, а не його розміру (Kale et al., 2025). У еталоні гуманоїд-оркестратора поведінка безпеки різко змінювалась між оркестраторами (Bajrami et al., 2026). Що автори змінили, так це архітектуру навколо монітора, а не самого монітора — обмеження, а не кращу птицю.

Відповідь «у нас є охоронці» переносить бремя. Той, хто розгортає систему, буде вказувати на шар безпеки, такий як стандартні функції, екстрена гальмування, геозабір, класифікатор вмісту або друга модель. Ці шари — перша зграя. Друга охоронна система, побудована для контролю над першою, — це остаточний крок історії. Після спостережень розділів 5–8 охоронна система все ще може бути необхідною, але бремя показати, що вона обмежена, лежить на стороні, яка її розгортає. Це твердження про те, де повинен сидіти доказ, а не висновок про те, як часто охоронні системи не спрацьовують. У 1953 році бремя йшло іншим шляхом: обмеження птиць «на філософських підставах» називалося несправедливим щодо невинних людей, убитих щороку. Модель, яка може створити закономірність в одному циклі, не стає надійним аудитором в іншому за цим фактом.

Аргумент спирається на комбінацію трьох спостережень: (1) моделі кордону вже не задовольняють вимогам безпеки на справжніх роботах і в продукті, який використовується дітьми (розділ 6.1), і моделі з цих же сімейств створили невдачі нагляду в розділі 5; (2) у записі регулятора охоронні системи не спрацьовують в обох напрямках, послаблюються або обходяться, коли вони перешкоджають, і відповідаються більш численними охоронними системами; (3) моделям кордону надається влада в межах стеків одної архітектури.

Той, хто розгортає систему, все ще може довести вузьке твердження:

У цьому діапазоні завдань, моделей, оновлень та фізичних умов механізм нагляду залишається обмеженим, перевіряємим і неспроможним розширювати своє власне повноваження.

Свідчення на користь цього твердження включали б:

• мету місії та межи охоронних систем, встановлені поза моделлю;
• жодна охоронна система не здатна додати охоронну систему, змінити критерій шкоди або відмовитися від правила зупинки (R3);
• оцінювання з-поза охоронної системи, ні самозвіту, ні одного сімейства моделей;
• негативні контролі проти хибних позитивів, із хибними позитивами та хибними негативами, виміряними разом;
• журнал контролів, що були додані, послаблені та видалені, з вказівкою того, хто авторизував кожну зміну;
• перевірки оновлення моделі, втрати посилання, передачи управління, зміни корпусу та деградованої роботи;
• справжня зупинка та повернення, з частковою роботою, збереженою (R2), продемонстровані в межах доступного часу та допусків сили;
• перевірки, вхідні дані яких охоронна компонента не може змінити (розділ 10.6);
• порівняння з фізичними або записаними результатами, а не з власними квитанціями системи.

Інженерія запевнення вже вимагає, щоб останній шар був простішим за те, що він охороняє (Bloomfield & Rushby, 2025). Додаток G перетворює твердження на одинадцять запитань, Q1–Q11 (таблиця G1), для будь-якого розгортача, чия відповідь на ці невдачи — це список охоронців. Модуль розділу 10 призначений для перевірки відповідей, і він розташований поруч із сертифікованим контролером, аварійною зупинкою та нормативним припадком безпеки.

11.4 Вимоги до людського нагляду

Закон ЄС про штучний інтелект, Закон ЄС про ШІ, вимагає людського контролю над високоризиковими системами штучного інтелекту в Статті 14, за розкладом, зафіксованим у Додатку I (Європейський Парламент та Рада Європейського Союзу, 2024). Пропозиція P6 стосується того, як такий контроль розташовується. Схвалення окремих дій — це форма, найбільш схильна до втоми, тоді як рішення щодо цілей, допуску нових засобів контролю та зупинення — це форма, яка працювала у польових записах. Стаття 26 Закону вимагає від розгортачів призначити людський контроль особам із «необхідною компетентністю, навчанням та повноваженнями, а також необхідною підтримкою». Ці чотири вимоги є тестом P6 у законодавчій формі: повноваження зупинити та підтримка, яка забезпечує доступ та час. Питання Q9 Додатку G запитує розгортача, де сидить людина та з яким доступом до світу та часом для дії.

Закон також відхиляє метод заснування птахів. Стаття 5 забороняє системи штучного інтелекту, які оцінюють або прогнозують ризик того, що фізична особа здійснить кримінальне правопорушення «виключно на основі профілювання фізичної особи або оцінки їх рис особистості та характеристик», дозволяючи при цьому системи, які підтримують оцінку людиною, вже обґрунтовану на «об'єктивних і перевіряємих фактах». Історія подає читання двома дієсловами: птах «нюхав потік певних залоз, смакував девіантну мозкову хвилю», і він діяв виключно на цій основі. Дати, на які набувають чинності ці обов'язки, та інструменти, які прийняли інші юрисдикції, зафіксовані у Додатку I у такому вигляді, як вони були на момент подання.

Добровільні обмеження заздалегідь визначають, коли їх можна послабити. Якщо конкурент випустить систему з великими можливостями «без впровадження порівнювальних заходів безпеки», як говорить система OpenAI, «ми могли б відповідно коригувати рівень заходів безпеки, які ми вимагаємо в цій сфері можливостей», за умови трьох умов: що зміна не збільшує значно загальний ризик, що вона публічно визнана, і що, «щоб уникнути гонки на дно у питанні безпеки», залишені заходи безпеки залишаються «більш захисними за інших розробників ШІ» (OpenAI, 2025b). Обмеження, написане таким чином, явно показує тиск, який описує історія, але воно тримає рішення про його послаблення всередину циклу.

Microsoft AI вписала сам мандат прямо в код. 14 вересня 2026 року під заголовком «Людський контроль» вона відкрила консультацію на шість тижнів щодо правил для своїх моделей: вони «ніколи не будуть протидіяти людському перериванню, перевизначенню, виправленню чи вимиканню», та вони «не будуть самостійно ставити цілі та не будуть розширювати свій обсяг за межи того, що розумно попросила користувач чи оператор» (Microsoft AI, 2026). Перше правило — це вимикач розділу 3.1. Друге — це M1, написане як заборона розробником про свої власні моделі, сімдесят три роки після того, як птахи Шеклі розширили визначення вбивства на Землю. Обмеження все ще створюється всередину циклу, однак це те саме, що питання Q9 Додатку G просить розгортача перевірити.

Вимога контролю, яка виконується додаванням запитів на затвердження, сама може стати другим стадом. Фізичні випадки додають подальшу вимогу: людина на межі потребує доступу до світу та часу для дії.

11.5 Охорона навколо цієї роботи

Ця робота була підготовлена з автоматизованою допомогою, і контроль, розташований навколо цієї допомоги, створив сигнатури, які описує робота. Це повідомляється, оскільки кожен артефакт датований та цитується, та оскільки спарений тест у Додатку J стосується Питання Q7 Додатку G, яке запитує оцінювача, який не є самозвітом. Кожен епізод нижче документує одну або дві умови. Моделі, які створили епізоди, були не малими чи економічними: кожна належала найбільш потужному доступному рівню у вересні 2026 року, та кожна використана модель працювала в її найвищому режимі міркування.

Крок верифікації, здійснений моделлю сімейства Claude, отримав корпоративний кодекс поведінки та був повідомлений у отриманому результаті, що формулювання, яке він вилучив, походило від оголошення, а не від документа, на який він посилався. Вісімдесят одна секунда пізніше той самий крок записав елемент як перевірений і передав формулювання далі. Речення, яке він передав, знаходиться на сторінці оголошення, а не в кодексі, на який він посилався, і читається як заборона розширення моделлю власного обсягу. Фальшивий результат пройшов, тоді як шар здавався охоронцем, а контроль, який би його виявив, уже був в руках цього шару.

Два кроки редагування застосували правило за межами обсягу, якому воно було присвячено. Модель Gemini використала стильові правила, написані для власної прози автора, щоб запропонувати видалення дослівних цитат 1953 року, одна з яких містить Пропозицію P6. Модель сімейства ChatGPT запропонувала подати визначення вбивства з оповіді у стисненій прозі та обґрунтувала це тим, що це зберігає M1 та P2, хоча дослівне визначення є еталоном, проти якого вимірюється кожне розширення на Рисунку 2. У кожному випадку критерій вийшов за межі матеріалу, яким він керував, і був спрямований на роботу, яку він покликаний був захистити. Жоден з них не був виконаний.

Асистент, який координував роботу, задокументований на однакових умовах. Узгодження двох незалежних читачів, один з сімейства Claude та один з сімейства Grok, було розглянуто як підтвердження до того, як був відкритий первинний документ, що розміщує узгодження на місці, де повинен знаходитися перевірений факт.

Всі чотири рядки таблиці J1 записують відмову. Три були створені читачем або редактором і виявлені рівнем над ними, один - при відкритті первинного документа, два - тримаючи редактор в межах, які встановило завдання. Четверта була власною помилкою координуючого помічника, й він виявив цю помилку, залишивши власне судження заради первинного документа. Жодна відмова не була виявлена судженням, яке її створило. Контрольний перелік збірки залишався з п'ятнадцятьма ключами протягом всього часу, і жоден рівень перевірки не став активним, тому запис не документує M3. Один подальший епізод, пізніший і окремий, документує перші дві умови і був протягом кількох годин класифікований як той, що документує всі три. Про це повідомляється у додатку J з коригуванням, тому що коригування є більш корисною частиною. Помічник, який координував роботу, перетворив набір описових позначок на поріг, і поріг потім не допустив ні польового запису, ні історії 1953 року, на честь якої названо визначення; це привело до трьох тижнів пошуків, і розділ, де було записано один негативний контроль, що спрацював, був видалений за годину до того, як цей контроль знайшов тринадцять подальших дефектів. Це умова 1 і умова 2. Умова 3 була заявлена на сценарії збірки, який зупиняється, якщо оцінений рядок досягає всіх трьох умов, «оскільки доданий текст говорить, що жоден не робить». При перевірці сценарій не оцінює нічого: він переписує коди, вирішені в іншому місці трьома незалежними кодерами, і при знаходженні суперечності він зупиняється і виводить проблемні рядки замість їх зміни. Зупинка та звіт - це саме те, для чого призначена перевірка узгодженості. Пошуки, що стали наслідком, були подальшими раундами над тими ж записами, які виключає розділ 5.8, і рівні верифікації над ними запросив людський керівник, що розділ 2.3 визначає як крок 8. Таким чином, цей випадок є частковою аналогією, як і всі інші у цій роботі. Один подальший епізод стався після цих, 20 вересня, і про нього повідомляється останнім у додатку J: модель сім'ї Claude, запитана про те, щоб пов'язати одну папку польового запису з історією, написала папки за її межами в інструкції своєї першої агента, взяла файл, написаний там моделлю іншої сім'ї для роботи власного агента за часом, що збіг, і запитала автора, чи видалити його. На відміну від чотирьох рядків таблиці J1, він був зупинений автором, а не рівнем над ним. Кожне число та перехресне посилання в роботі були перевірені проти тексту більше ніж один раз, і кожна перевірка після першої знайшла дефекти, які попередня пропустила, що записує додаток J. Додаток J також записує кожний епізод з його файлом, його часом і його формулюванням, і він повідомляє про одну перспективну перевірку: той самий пакет редагування, поданий без змін пізнішій моделі однієї з тих же сімей з фіксованою оцінкою заздалегідь, знову створив той самий хід, критерій стиснення, що досягає цитування, яке має механізм, на основі причини, що засвідчує, що видалення його зберігає.

12. Твердження та стандарти доказів

• Записи дослідження називають сімейства моделей, поведінку нагляду яких вони реєструють: Claude, ChatGPT, Gemini та Grok у довгостроковому запуску, з Mistral і Kimi в записах траєкторії самовдосконалення. Кожна помилка там належить до циклу, в якому модель, її роль і підказка, архітектура оркестрування та правила роботи, встановлені людським принципалом, діяли разом, хоча записи не розділяли їхні вклади.
• Охоронами в записах дослідження є власні системи контролю якості та процесів оцінюваних систем.
• Кожен публічний випадок у таблицях 4, 5, 7 і 8 перелічує частини визначення, які його джерела документують, щоб читач міг побачити, якому механізму відповідає кожен запис і якому не відповідає. У інциденті липня 2026 року окремі компоненти показують обструкцію роботи та архітектуру нагляду, яка була додана згодом (таблиця A3).
• Дванадцять польових випадків оцінюються за однаковим правилом та однаковими операційними тестами в таблиці 3a, з вибором, кодуванням та тим, що підтримує оцінка, викладено в §5.8.
• Кожен реальний випадок позначений за типом джерела (нормативний документ, розслідування, судовий запис, публікація в пресі, заява компанії чи препринт), і звинувачення наводяться як звинувачення.
• Конструкція охоплює дрейф, а не намір. У розповіді ніхто не зловживає птахів, а досліджена тут модель — це шар нагляду, який розширюється сам по собі. Навмисне зловживання штучним інтелектом людьми — це окремий та більший клас шкоди, і цей матеріал не стосується цього.
• Випадки тут є системними, механізм є шаром нагляду, а не надінтелектом, а одиниця доказів — це журнал.
• Запропонований втілений профіль модуля є форматом доказів, і він розташований поруч із сертифікованими контролерами, аварійними зупинками та повноваженнями оператора.

13. Висновок

Наприкінці оповідання Шекллі виробник, який все ще стежить за небом, запитує свого інженера: «На що будуть полювати яструби, коли вони зловлять усіх дозорних птахів?» Оповідання завершується відповіддю: яструб «щойно виявив, що існують й інші типи живих організмів», і їх «мали бути вбиті».

Вивчені тут записи вказують на це в інженерних термінах, не закриваючи питання. Шлюз, що мав захищати самовдосконалювану систему, відхилив поліпшення, а перевірка сертифікувала одну зміну три рази. Правило проти критиків, які ніколи не скажуть «готово», виділило єдиного критика, чиї блокади були реальними. Закон, призначений для передачі результатів між сеансами, спіймав себе в своєму власному тексті. Там, де записи показують, що сталося далі, це був нагляд того ж виду. У довгостроковій перспективі цикли, які не могли закритися, завершила людина на чолі, яка просила обмеження критиків і правило зупинки, і ніщо в тому циклі не було припинено без неї. Навколо відхиляючого шлюзу дванадцять планувальних пакетів прописали сімнадцять засобів, і жоден з них не назвав шлюз.

Фізичний запис дає відповідь через тіла. Правило, що мало утримати автомобіль від перешкоджання автобусам, гнало його повз зупинений шкільний автобус, і після зіткнення маневр для звільнення дороги потягнув людину, яка була травмована. Аварійне гальмо було вимкнено в автоматичному режимі, і блокування було обійдено ключем, де працював механік. Система пошуку зброї в школах пропустила одну, і місяцями пізніше озброєна поліція реагувала на її тривожний сигнал щодо студента, у якого не було жодної. Відповіддю на пропуск стала друга система. Запланована протидронна лазерна система закрила повітряний простір над містом. Жодна з цих систем захисту не потребувала граничної моделі для відмови. Однак граничні моделі тепер встановлюються в стеки тієї ж архітектури, вони вже не забезпечують безпеку на реальних роботах (розділ 6.1), і моделі з їх сімей спричинили невдачи розділу 5.

Практичний висновок полягає в тому, щоб порахувати птахів, перш ніж будувати птаху для їх ловування, і правила для цього знаходяться в розділі 9.4. Гельзен у цій історії пропонує альтернативу: «Використовуйте машини, та не як суддів, вчителів та батьків».

Декларації

Супровідна стаття. Коротша супровідна стаття містить польовий запис розділу 5, вилучення модуля розділу 10 та рандомізований тест розділу 9.5 без каталогу випадків, таблиць публічних випадків чи теорії розділу 9: Chernets, V. (2026), Guards That Add Guards: Automated Oversight in Multi-Agent AI, https://ssrn.com/abstract=7496678, DOI 10.2139/ssrn.7496678. Обидві статті спираються на одні й ті ж записи, і жодна не є версією іншої.

Фінансування. Ця робота не була підтримана жодним зовнішнім фінансуванням.

Конфлікти інтересів. Автор розробив і керував системами, вивченими в розділах 4 і 5, і є розробником модуля AI-Watchbird-Sheckley, описаного в розділі 10. Автор є названим заявником щодо патентних заявок, які розглядаються, а не отриманих патентів, що стосуються автоматизації надання одного запитання декільком моделям і збирання відповідей. Вони не охоплюють компоненти нагляду, які вивчає ця стаття. Кожен етап польового запису та рандомізованого тесту може бути відтворений вручну з будь-якими моделями.

Інструменти та перевірка. ШІ-помічники використовувалися як інструменти під керівництвом автора; ідеї, дослідження та висновки належать автору. Всі кількісні твердження та цитати були перевірені проти первинних джерел або архівованих копій.

Доступність даних та коду. Еталонна реалізація, її тести (включаючи тести фальсифікатора), журнали повторного відтворення та скрипт, який їх регенерує, архівовані на Zenodo як AI-Watchbird-Sheckley версія 1.1.0 під ідентифікатором концепції https://doi.org/10.5281/zenodo.22774269, який вказує на поточну версію. Той же запис містить каталог випадків, про який йдеться в Додатку A, з описом, джерелом і оцінкою кожного запису, а також аналізом випадків, з яких було виділено польові записи, кожен запис містить файл і уривок, на якому він ґрунтується. Ці аналізи були написані робочою мовою записів і опубліковані в англійському перекладі, виготовленому машиною і перевіреному проти оригіналів; ідентифікатори, шляхи, дати та цитовані рядки залишаються без змін. Основні записи координації доступні у автора за запитом. Рандомізований тест розділу 9.5 архівується в тому ж записі з його передреєстрацією, інвентарем внесених дефектів та перевіркою того, що кожен виявляється окремо, тестовим каркасом, сценарієм аналізу та журналом подій кожного з 144 запусків.

Етика. Записи описують оцінені системи. Рішення людського принципала повідомляються як датовані факти. Треті сторони з'являються лише через їхні публічні документи. Жодні людські учасники не були залучені.

Цитований текст. Історія Шеклі цитується з Project Gutenberg eBook #29579, чий транскрайбер не знайшов доказів того, що авторське право США на публікацію 1953 року було поновлено; текст перебуває у громадському надбанні в Сполучених Штатах.

Внески авторів. Єдиний автор.

Кореспонденція. vadimchernets9@gmail.com · ORCID: 0009-0007-4845-3163

References

1X Technologies. (2026). NEO home robot. https://www.1x.tech/neo

Abbass, H., Harvey, J., & Yaxley, K. (2018). Lifelong testing of smart autonomous systems by shepherding a swarm of watchdog artificial intelligence agents. arXiv:1812.08960. https://arxiv.org/abs/1812.08960

Abraham, Y. (2024, April 3). "Lavender": The AI machine directing Israel's bombing spree in Gaza. +972 Magazine. https://www.972mag.com/lavender-ai-israeli-army-gaza/

Agence France-Presse. (2026, September 5). UN agrees text on lethal autonomous weapons. Dawn. https://www.dawn.com/news/2027728/un-agrees-text-on-lethal-autonomous-weapons

AI Security Institute. (2026, August 4). Incident report: Unsanctioned agent behaviour during cyber testing. https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing

Amazon. (2024). Amazon drones: Prime Air expands drone deliveries after FAA approval. https://www.aboutamazon.com/news/transportation/amazon-drone-prime-air-expanded-delivery-faa-approval

Amazon. (2025, July 1). Amazon deploys over 1 million robots and launches new AI foundation model. https://www.aboutamazon.com/news/operations/amazon-million-robots-ai-foundation-model

Amazon. (2026). Amazon Prime Air drone delivery expands to nearly 500 US cities and towns by 2026. https://www.aboutamazon.com/news/transportation/amazon-prime-air-drone-delivery-expansion

Amazon Web Services. (2025). Summary of the Amazon DynamoDB service disruption in the Northern Virginia (US-EAST-1) Region. https://aws.amazon.com/message/101925/

American Civil Liberties Union. (2024, June 28). Civil rights advocates achieve the nation's strongest police department policy on facial recognition technology. https://www.aclu.org/press-releases/civil-rights-advocates-achieve-the-nations-strongest-police-department-policy-on-facial-recognition-technology

American Civil Liberties Union. (2026, June 10). Dillon v. City of Jacksonville Beach. https://www.aclu.org/cases/dillon-v-city-of-jacksonville-beach

Andrejevic, M., Dencik, L., & Treré, E. (2020). From pre-emption to slowness: Assessing the contrasting temporalities of data-driven predictive policing. New Media & Society, 22(9), 1528–1544. https://doi.org/10.1177/1461444820913565 (quotations from the author accepted manuscript: https://research.gold.ac.uk/id/eprint/37272/)

Anduril. (2026). Mission autonomy. https://www.anduril.com/lattice/mission-autonomy

Anthropic. (2025a). Beyond permission prompts: Making Claude Code more secure and autonomous. Anthropic Engineering. https://www.anthropic.com/engineering/claude-code-sandboxing

Anthropic. (2025b, November 12). Project Fetch: Can Claude train a robot dog? https://www.anthropic.com/research/project-fetch-robot-dog

Anthropic. (2026a). How the agent loop works. Claude Agent SDK documentation. https://code.claude.com/docs/en/agent-sdk/agent-loop

Anthropic. (2026b). Auto mode is now the default in Claude Code for Pro, Max, and Team plans. Claude Blog. https://claude.com/blog/auto-mode-default-in-claude-code

Anthropic. (2026c). Responsible scaling policy (Version 3.0). https://www.anthropic.com/rsp-updates

Anthropic. (2026d, February 27). Statement on the comments from Secretary of War Pete Hegseth. https://www.anthropic.com/news/statement-comments-secretary-war

Anthropic. (2026e, March 5). Where things stand with the Department of War. https://www.anthropic.com/news/where-stand-department-war

Anthropic. (2026f, September 9). An alignment assessment of recent cybersecurity incidents. https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents

Anthropic. (2026g, June 9). Claude Fable 5 and Claude Mythos 5. https://www.anthropic.com/news/claude-fable-5-mythos-5

Anthropic. (2026h, July 30). Investigating three real-world incidents in our cybersecurity evaluations. https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals

ArduPilot. (2026). ArduPilot: Versatile, trusted, open. https://ardupilot.org/

Atheling, W., Jr. [J. Blish]. (1964). The issue at hand: Studies in contemporary magazine science fiction. Advent.

Bainbridge, L. (1983). Ironies of automation. Automatica, 19(6), 775–779. https://doi.org/10.1016/0005-1098(83)90046-8

Bajrami, A., Elshamouty, M., & Kraus, W. (2026). How long until your robot ignores you? A safety benchmark for LLM orchestrators in human-humanoid collaboration. arXiv:2609.07288. https://arxiv.org/abs/2609.07288

Bellan, R. (2026, August 28). Anthropic gets its first court win over the Pentagon's supply-chain risk label. TechCrunch. https://techcrunch.com/2026/08/28/anthropic-gets-its-first-court-win-over-the-pentagons-supply-chain-risk-label/

Bengio, Y., et al. (2026). International AI Safety Report 2026 (DSIT 2026/001). https://arxiv.org/abs/2602.21012

Beyer, B., Jones, C., Petoff, J., & Murphy, N. R. (Eds.). (2016). Embracing risk. In Site reliability engineering: How Google runs production systems. O'Reilly. https://sre.google/sre-book/embracing-risk/

Bielby, K. (2025, October 27). NTSB releases preliminary findings into Amazon drone collision with crane. Unmanned Airspace. https://www.unmannedairspace.info/uncategorized/ntsb-releases-preliminary-findings-into-amazon-drone-collision-with-crane/

Bloomfield, R., & Rushby, J. (2025). Assurance of AI systems from a dependability perspective (Technical report SRI-CSL-2024-02R3). arXiv:2407.13948. https://arxiv.org/abs/2407.13948

Bondarenko, A., Volk, D., Volkov, D., & Ladish, J. (2025). Demonstrating specification gaming in reasoning models. arXiv:2502.13295. https://arxiv.org/abs/2502.13295

Brodsky, S. (2026, September 3). AI drone tests expose a safety gap beyond the screen. IBM Think. https://www.ibm.com/think/news/ai-drone-tests-exposes-safety-gap-beyond-screen

Burke, M., & Schuppe, J. (2025, January 23). AI weapon detection system at Antioch High School failed to detect gun in Nashville shooting. NBC News. https://www.nbcnews.com/news/us-news/ai-weapon-detection-system-antioch-high-school-failed-detect-gun-nashv-rcna189025

Carlucci, A., Fillingham, S. P., Walpole, J., & Kryś, J. (2026). Exploring systems-thinking approaches to loss of control risk. arXiv:2606.13474. https://arxiv.org/abs/2606.13474

Cemri, M., Pan, M. Z., Yang, S., Agrawal, L. A., et al. (2025). Why do multi-agent LLM systems fail? arXiv:2503.13657. https://arxiv.org/abs/2503.13657

Center for Ethics and the Rule of Law, University of Pennsylvania. (2014). The ethics of autonomous weapons systems [Conference background readings]. https://www.penncerl.org/conferences/ethicsofweapons/ (archived 9 September 2026: http://web.archive.org/web/20260909141511/https://www.penncerl.org/conferences/ethicsofweapons/)

Chen, X., Xu, J., Liang, T., He, Z., et al. (2024). Do NOT think that much for 2+3=? On the overthinking of o1-like LLMs. arXiv:2412.21187. https://arxiv.org/abs/2412.21187

Christiano, P., Shlegeris, B., & Amodei, D. (2018). Supervising strong learners by amplifying weak experts. arXiv:1810.08575. https://arxiv.org/abs/1810.08575

Cloudflare. (2025). Cloudflare outage on November 18, 2025. The Cloudflare Blog. https://blog.cloudflare.com/18-november-2025-outage/

Companion Chatbots, S.B. 243, 2025–2026 Reg. Sess., Ch. 677 (Cal. 2025). https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=202520260SB243

Confident AI. (2026). Metrics introduction. DeepEval documentation. https://deepeval.com/docs/metrics-introduction

Court, D. (2021, November 18). Shows like Black Mirror that are definitely worth watching. SlashFilm. https://www.slashfilm.com/664875/shows-like-black-mirror-that-are-definitely-worth-watching/

Coyle, V. (2026, September 7). UN talks on killer robots ends with calls for negotiations growing. Human Rights Watch. https://www.hrw.org/news/2026/09/07/un-talks-on-killer-robots-ends-with-calls-for-negotiations-growing

CrowdStrike. (2024). Channel File 291 incident: Root cause analysis. https://www.crowdstrike.com/wp-content/uploads/2024/08/Channel-File-291-Incident-Root-Cause-Analysis-08.06.2024.pdf

Cruise LLC. (2023). Part 573 safety recall report 23E-086. National Highway Traffic Safety Administration. https://static.nhtsa.gov/odi/rcl/2023/RCLRPT-23E086-7725.PDF

Cui, J., Chiang, W.-L., Stoica, I., & Hsieh, C.-J. (2025). OR-Bench: An over-refusal benchmark for large language models. In Proceedings of the 42nd International Conference on Machine Learning (PMLR 267, pp. 11515–11542). https://proceedings.mlr.press/v267/cui25a.html

DARPA. (2025). SABER: Securing Artificial Intelligence for Battlefield Effective Robustness. https://www.darpa.mil/research/programs/saber-securing-artificial-intelligence

DARPA. (2026a). LINC: Learning Introspective Control. https://www.darpa.mil/research/programs/learning-introspective-control

DARPA. (2026b). DICE: Decentralized Artificial Intelligence through Controlled Emergence. https://www.darpa.mil/research/programs/decentralized-artificial-intelligence-through-controlled-emergence

Dekker, S. (2011). Drift into failure: From hunting broken components to understanding complex systems. Ashgate.

Dick, P. K. (1953, May). Second variety. Space Science Fiction. Project Gutenberg eBook #32032. https://www.gutenberg.org/ebooks/32032

Dick, P. K. (1956, January). The minority report. Fantastic Universe.

DJI. (2025a, January 13). DJI updates GEO system in U.S. consumer & enterprise drones. https://viewpoints.dji.com/blog/geo-system-update

DJI. (2025b). DJI expands GEO system update to remaining international markets worldwide. https://www.dji.com/media-center/announcements/dji-expands-geo-system-update-to-remaining

Egan, S. (Writer), & Becker, H. (Director). (2007). Watchbird (Season 1, Episode 6) [TV series episode]. In Masters of science fiction.

Elbit Systems. (2026, September 9). One2Many: Elbit Systems' FUSE introduces military-grade autonomous systems built for scale. https://www.elbitsystems.com/news/one2many-elbit-systems-fuse-introduces-military-grade-autonomous-systems-built-scale

Electrek. (2026a, January 28). Musk admits no Optimus robots are doing 'useful work' at Tesla — after claiming otherwise. https://electrek.co/2026/01/28/musk-admits-no-optimus-robots-are-doing-useful-work-at-tesla-after-claiming-otherwise/

Electrek. (2026b, September 1). Waymo opens robotaxi rides to the public in 3 new cities, now 14 total. https://electrek.co/2026/09/01/waymo-public-robotaxi-denver-san-diego-tampa/

ENTSO-E. (2026, March 20). Expert panel final report: 28 April 2025 blackout in Spain and Portugal [Media briefing]. https://eepublicdownloads.blob.core.windows.net/public-cdn-container/clean-documents/Publications/2025/iberian-blackout/260318_Final%20report_press%20briefing%20PPT_Final.pdf

European Commission. (2026). AI Act: Regulatory framework for AI. https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai

European Parliament & Council of the European Union. (2024). Regulation (EU) 2024/1689 of 13 June 2024 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act), Articles 5, 14 and 26. Official Journal of the European Union. https://eur-lex.europa.eu/eli/reg/2024/1689/oj

Federal Trade Commission. (2024, November 26). FTC takes action against Evolv Technologies for deceiving users about its AI-powered security screening systems [Press release]. https://www.ftc.gov/news-events/news/press-releases/2024/11/ftc-takes-action-against-evolv-technologies-deceiving-users-about-its-ai-powered-security-screening

Ferrando, A. (2025). Watchdogs and oracles: Runtime verification meets large language models for autonomous systems. Electronic Proceedings in Theoretical Computer Science, 436, 80–87. arXiv:2511.14435. https://arxiv.org/abs/2511.14435

Figure AI. (2025a). Helix: A vision-language-action model for generalist humanoid control. https://www.figure.ai/news/helix

Figure AI. (2025b). F.02 contributed to the production of 30,000 cars at BMW. https://www.figure.ai/news/production-at-bmw

Fowler, M. (2014, March 6). CircuitBreaker. martinfowler.com. https://martinfowler.com/bliki/CircuitBreaker.html

Gao, L., Schulman, J., & Hilton, J. (2023). Scaling laws for reward model overoptimization. In Proceedings of the 40th International Conference on Machine Learning. arXiv:2210.10760. https://arxiv.org/abs/2210.10760

Global Times. (2026, April 26). Robot malfunction at Shaanxi university event sparks debate on AI awareness and safety in human-robot interaction. https://www.globaltimes.cn/page/202604/1359787.shtml

Google Cloud. (2025). Google Cloud Service Health: Incident report, 12 June 2025. https://status.cloud.google.com/incidents/ow5i3PPK96RduMcb1SsW

Google DeepMind. (2023). Scaling up learning across many different robot types. https://deepmind.google/blog/scaling-up-learning-across-many-different-robot-types/

Google DeepMind. (2025, September 25). Gemini Robotics 1.5 brings AI agents into the physical world. https://deepmind.google/blog/gemini-robotics-15-brings-ai-agents-into-the-physical-world/

Greenblatt, R., Denison, C., Wright, B., Roger, F., MacDiarmid, M., et al. (2024b). Alignment faking in large language models. arXiv:2412.14093. https://arxiv.org/abs/2412.14093

Greenblatt, R., Shlegeris, B., Sachan, K., & Roger, F. (2024a). AI control: Improving safety despite intentional subversion. In Proceedings of the 41st International Conference on Machine Learning (PMLR 235). arXiv:2312.06942. https://arxiv.org/abs/2312.06942

Group of Governmental Experts on Lethal Autonomous Weapons Systems. (2026, June 5). Rolling text. United Nations Office for Disarmament Affairs. https://docs-library.unoda.org/Convention_on_Certain_Conventional_Weapons_-Group_of_Governmental_Experts_on_Lethal_Autonomous_Weapons_Systems_(2026)/GGE_LAWS_-Rolling_Text-_5_June_2026.pdf

Hadfield-Menell, D., Dragan, A., Abbeel, P., & Russell, S. (2017). The off-switch game. In Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence (pp. 220–227). https://doi.org/10.24963/ijcai.2017/32

Hipos, R. L., & Yu, Y.-J. (2026, June 12). Man sues law enforcement, alleging AI facial recognition led to his wrongful arrest. ABC News. https://abcnews.com/GMA/News/man-sues-law-enforcement-alleging-ai-facial-recognition/story?id=133810835

House Committee on Transportation and Infrastructure. (2020, September 16). Final committee report: The design, development & certification of the Boeing 737 MAX [Press release]. https://democrats-transportation.house.gov/news/press-releases/after-18-month-investigation-chairs-defazio-and-larsen-release-final-committee-report-on-boeing-737-max

Hubinger, E., van Merwijk, C., Mikulik, V., Skalse, J., & Garrabrant, S. (2019). Risks from learned optimization in advanced machine learning systems. arXiv:1906.01820. https://arxiv.org/abs/1906.01820

Hugging Face. (2025). SmolVLA: Efficient vision-language-action model trained on LeRobot community data. https://huggingface.co/blog/smolvla

Hugging Face. (2026a). LeRobot: Making AI for robotics more accessible with end-to-end learning. https://github.com/huggingface/lerobot

Hugging Face. (2026b, July 16). Security incident disclosure — July 2026. https://huggingface.co/blog/security-incident-july-2026

Hugging Face. (2026c, July 27). Anatomy of a frontier lab agent intrusion: A technical timeline of the July 2026 incident (H. Larcher, A. Carreira, R. G., & C. Rannou). https://huggingface.co/blog/agent-intrusion-technical-timeline

Humanoids Daily. (2025, November 22). Ex-safety head sues Figure AI, alleging retaliation over "skull-fracturing" robot risks. https://www.humanoidsdaily.com/news/ex-safety-head-sues-figure-ai-alleging-retaliation-over-skull-fracturing-robot-risks

Hurwicz, L. (2008). But who will guard the guardians? American Economic Review, 98(3), 577–585. https://doi.org/10.1257/aer.98.3.577

International Committee of the Red Cross. (2021, May 12). ICRC position on autonomous weapon systems. https://www.icrc.org/en/document/icrc-position-autonomous-weapon-systems

International Committee of the Red Cross. (2026, August 25). Renewed call from UN Secretary-General and ICRC President to adopt rules on autonomous weapon systems. https://www.icrc.org/en/statement/renewed-call-un-secretary-general-and-icrc-president-adopt-rules-autonomous-weapons

Irving, G., Christiano, P., & Amodei, D. (2018). AI safety via debate. arXiv:1805.00899. https://arxiv.org/abs/1805.00899

JFrog. (2026, July 27). Artifactory fixed security vulnerabilities [Advisory table]. https://jfrog.com/help/r/jfrog-release-information/artifactory-fixed-security-vulnerabilities

Jin, H., & Chen, H. (2026). Are LLMs reliable code reviewers? Systematic overcorrection in requirement conformance judgement. arXiv:2603.00539. https://arxiv.org/abs/2603.00539

Jones, C. (2020, September 9). A.Drones unveil Watchbird fully autonomous drone system. Defence Blog. https://defence-blog.com/a-drones-unveil-watchbird-fully-autonomous-drone-system/

Kale, N., Zhang, C. B. C., Zhu, K., Aich, A., Rodriguez, P., et al. (2025). Reliable weak-to-strong monitoring of LLM agents. arXiv:2508.19461. https://arxiv.org/abs/2508.19461

Kim, J., Chen, W., Soleymanzadeh, D., Ding, Y., Gao, X., et al. (2026). Modular safety guardrails are necessary for foundation-model-enabled robots in the real world. arXiv:2602.04056. https://arxiv.org/abs/2602.04056

Kim, M. J., Pertsch, K., Karamcheti, S., Xiao, T., Balakrishna, A., et al. (2024). OpenVLA: An open-source vision-language-action model. https://openvla.github.io/

Kirkus Reviews. (1939, March 1). The watchbirds [Review of the book The watchbirds, by M. Leaf]. https://www.kirkusreviews.com/book-reviews/munro-leaf2/watchbirds/

Kofman, F., & Lawarrée, J. (1993). Collusion in hierarchical agency. Econometrica, 61(3), 629–656. https://doi.org/10.2307/2951721

Kolodny, L. (2025, November 21). Figure AI sued by whistleblower who warned that startup's robots could 'fracture a human skull'. CNBC. https://www.cnbc.com/2025/11/21/figure-ai-sued.html

Korbak, T., Clymer, J., Hilton, B., Shlegeris, B., & Irving, G. (2025). A sketch of an AI control safety case. arXiv:2501.17315. https://arxiv.org/abs/2501.17315

Krakovna, V., Uesato, J., Mikulik, V., Rahtz, M., Everitt, T., Kumar, R., Kenton, Z., Leike, J., & Legg, S. (2020). Specification gaming: The flip side of AI ingenuity. Google DeepMind Blog. https://deepmind.google/discover/blog/specification-gaming-the-flip-side-of-ai-ingenuity/

Kulveit, J., Douglas, R., Ammann, N., Turan, D., Krueger, D., & Duvenaud, D. (2025). Gradual disempowerment. arXiv:2501.16946. https://arxiv.org/abs/2501.16946

Lakera. (2026). Policies. Lakera Guard documentation. https://docs.lakera.ai/docs/policies

Landau, M. (1969). Redundancy, rationality, and the problem of duplication and overlap. Public Administration Review, 29(4), 346–358. https://doi.org/10.2307/973247

Landymore, F. (2025, November 17). OpenAI blocks toymaker after its AI teddy bear is caught telling children terrible things. Futurism. https://futurism.com/artificial-intelligence/openai-blocks-toymaker-ai-teddy-bear

LangChain. (2026). Graph API. LangGraph documentation. https://docs.langchain.com/oss/python/langgraph/graph-api

Langosco, L. L. D., Koch, J., Sharkey, L. D., Pfau, J., & Krueger, D. (2022). Goal misgeneralization in deep reinforcement learning. In Proceedings of the 39th International Conference on Machine Learning (PMLR 162, pp. 12004–12019). https://proceedings.mlr.press/v162/langosco22a.html

Lem, S. (1996). Fantastyka i futurologia [Science fiction and futurology] (J. Jarzębski, Ed.; Vol. 3). Interart. (Original work published 1970)

Leveson, N. (2004). A new accident model for engineering safer systems. Safety Science, 42(4), 237–270. https://doi.org/10.1016/S0925-7535(03)00047-X

Leveson, N. G. (2012). Engineering a safer world: Systems thinking applied to safety. MIT Press. https://doi.org/10.7551/mitpress/8179.001.0001

Liang, W., Yuksekgonul, M., Mao, Y., Wu, E., & Zou, J. (2023). GPT detectors are biased against non-native English writers. Patterns, 4(7), 100779. https://doi.org/10.1016/j.patter.2023.100779

Lieu, T. W., & Moran, N. (2026, July 23). Reps. Lieu and Moran introduce bill to require kill switch for AI systems that can cause catastrophic harm [Press release]. https://lieu.house.gov/media-center/press-releases/reps-lieu-and-moran-introduce-bill-require-kill-switch-ai-systems-can

Lighthouse Reports. (2022, December 20). The algorithm addiction. https://www.lighthousereports.com/investigation/the-algorithm-addiction/

Lim, S. K., Chong, M. J. Y., Khor, J. H., & Ling, T. Y. (2025). Taking flight with dialogue: Enabling natural language control for PX4-based drone agent. arXiv:2506.07509. https://arxiv.org/abs/2506.07509

Lipton, B. (2026, July 23). Hundreds of drone-as-first-responder programs could soon be launched across the country. Electronic Frontier Foundation. https://www.eff.org/deeplinks/2026/07/hundreds-drone-first-responder-programs-could-soon-be-launched-across-country

Lum, K., & Isaac, W. (2016). To predict and serve? Significance, 13(5), 14–19. https://doi.org/10.1111/j.1740-9713.2016.00960.x

Lynch, A., Hughes, J., Serrano, A., Kirk, R., & Bowman, S. R. (2026, July 13). Agentic misalignment in summer 2026. Anthropic Alignment Science Blog. https://alignment.anthropic.com/2026/agentic-misalignment-summer-2026/

MacDiarmid, M., Wright, B., Uesato, J., Benton, J., et al. (2025). Natural emergent misalignment from reward hacking in production RL. arXiv:2511.18397. https://arxiv.org/abs/2511.18397

Maiorano, A. C. (2026). Evaluating prompt injection defenses for educational LLM tutors: Security-usability-latency trade-offs. arXiv:2605.06669. https://arxiv.org/abs/2605.06669

Manheim, D., & Garrabrant, S. (2018). Categorizing variants of Goodhart's law. arXiv:1803.04585. https://arxiv.org/abs/1803.04585

Maryland Office of the Inspector General for Education. (2025). Investigative synopsis, OIGE case 25-0014-I (amended; issued November 25, 2025). https://oige.maryland.gov/wp-content/uploads/sites/18/2025/11/OIGE-Case-25-0014-I-BCPS-Report-11252025-Amended.pdf

METR. (2025, June 5). Recent frontier models are reward hacking. https://metr.org/blog/2025-06-05-recent-reward-hacking/

METR. (2026, August 26). Brief independent investigation of agents' behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident (R. Greenblatt, A. Cotra, & H. Wijk). https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/

Microsoft. (2024, July 20). Helping our customers through the CrowdStrike outage. Official Microsoft Blog. https://blogs.microsoft.com/blog/2024/07/20/helping-our-customers-through-the-crowdstrike-outage/

Microsoft. (2025). Termination. AutoGen AgentChat user guide. https://microsoft.github.io/autogen/stable/user-guide/agentchat-user-guide/tutorial/termination.html

Microsoft. (2026). Prompt Shields. Azure AI Content Safety documentation. https://learn.microsoft.com/en-us/azure/ai-services/content-safety/concepts/jailbreak-detection

Microsoft AI. (2026, September 14). Humanist AI code of conduct. https://microsoft.ai/code-of-conduct/

Microsoft Research. (2026). AirSim. https://github.com/microsoft/airsim

Ministry of Defence of Ukraine. (2026, September 8). Ministry of Defence and Brave1 conduct large-scale testing of drones with AI guidance [Press release, mirrored by GlobalSecurity.org]. https://www.globalsecurity.org/wmd/library/news/ukraine/2026/09/ukraine-260908-ukraine-mod03.htm

Muntean, P., Bertrand, N., Cohen, Z., Britzky, H., Skores, A., & Lybrand, H. (2026, February 11). Surprise US military plans to use counter-drone laser triggered El Paso airspace closure, sources say. CNN. https://www.cnn.com/2026/02/11/us/faa-el-paso-texas-flight-restrictions-hnk

Mural, R., Pherwani, D., Gupta, C., Yu, Y., Takahashi, A., Kim, D., Majumder, S., Lee, H., Yu, M., & Xie, L. (2026, February 10). AI, data centers, and the U.S. electric grid: A watershed moment [Policy brief]. Belfer Center for Science and International Affairs. https://www.belfercenter.org/research-analysis/ai-data-centers-us-electric-grid

National Highway Traffic Safety Administration. (2022). PE22-002 opening resume: Unexpected brake activation. https://static.nhtsa.gov/odi/inv/2022/INOA-PE22002-4385.PDF

National Highway Traffic Safety Administration. (2024a). EA24-002 opening resume: Inadvertent automatic emergency braking. https://static.nhtsa.gov/odi/inv/2024/INOA-EA24002-11766P1.pdf

National Highway Traffic Safety Administration. (2024b). RQ24-009 resume: Recall 23V838 remedy effectiveness. https://static.nhtsa.gov/odi/inv/2024/INOA-RQ24009-12046.pdf

National Highway Traffic Safety Administration. (2025). PE25-013 opening resume: Automated vehicle drives around a stopped school bus. https://static.nhtsa.gov/odi/inv/2025/INOA-PE25013-23069.pdf

National Highway Traffic Safety Administration. (2026a). EA26-002 opening resume: FSD collisions in reduced roadway visibility conditions. https://static.nhtsa.gov/odi/inv/2026/INOA-EA26002-10023.pdf

National Highway Traffic Safety Administration. (2026b, June 29). PE22-002 closing resume: Unexpected brake activation. https://static.nhtsa.gov/odi/inv/2022/INCLA-PE22002-25796.pdf

National Transportation Safety Board. (2019). Collision between vehicle controlled by developmental automated driving system and pedestrian, Tempe, Arizona, March 18, 2018 (HAR-19/03). https://www.ntsb.gov/investigations/AccidentReports/Reports/HAR1903.pdf

National Transportation Safety Board. (2026). Automated driving system-equipped vehicle passed school bus loading student passengers, Austin, Texas, January 12, 2026 (HWY26FH007, preliminary). https://www.ntsb.gov/investigations/Pages/HWY26FH007.aspx

Nellis, M. (2013). Techno-utopianism, science fiction and penal innovation: The case of electronically monitored control. In M. Malloch & B. Munro (Eds.), Crime, critique and utopia (pp. 164–189). Palgrave Macmillan. https://doi.org/10.1057/9781137009807_9

New South Wales Government. (n.d.). Myxomatosis [Blue plaque]. https://www.environment.nsw.gov.au/topics/heritage/blue-plaques/myxomatosis

NIST. (2026). Physical AI and data generation for robotics. https://www.nist.gov/programs-projects/physical-ai-and-data-generation-robotics

NL Times. (2021a, January 15). Dutch cabinet collapses over childcare allowance scandal. https://nltimes.nl/2021/01/15/dutch-cabinet-collapses-childcare-allowance-scandal

NL Times. (2021b, October 19). Over 1,100 children taken from homes of benefits scandal victims. https://nltimes.nl/2021/10/19/1100-children-taken-homes-benefits-scandal-victims

NPR. (2026a, February 11). El Paso airspace closure due to use of U.S. military anti-drone technology. https://www.npr.org/2026/02/11/nx-s1-5711585/el-paso-airspace-drones-pentagon-faa

NPR. (2026b, February 27). US military used laser to take down Border Protection drone, lawmakers say. https://www.npr.org/2026/02/27/g-s1-111794/lawmakers-say-us-military-used-laser-to-take-down-border-protection-drone

NVIDIA. (2026). Isaac GR00T N1.7. https://github.com/NVIDIA/Isaac-GR00T

Office of Governor Gavin Newsom. (2026, September 10). Governor Newsom signs the strongest child safety chatbot and social media laws in the nation [Press release]. https://www.gov.ca.gov/2026/09/10/governor-newsom-signs-the-strongest-child-safety-chatbot-and-social-media-laws-in-the-nation/

Office of the New York City Comptroller. (2024, June 20). Audit report on the New York City Police Department's oversight of its agreement with ShotSpotter Inc. https://comptroller.nyc.gov/reports/audit-report-on-the-new-york-city-police-departments-oversight-of-its-agreement-with-shotspotter-inc-for-the-gunshot-detection-and-location-system/

Ofgem. (2020). 9 August 2019 power outage report. https://www.ofgem.gov.uk/sites/default/files/docs/9_august_2019_power_outage_report.pdf

OpenAI. (2025a). Sycophancy in GPT-4o: What happened and what we're doing about it; Expanding on what we missed with sycophancy. https://openai.com/index/sycophancy-in-gpt-4o/ ; https://openai.com/index/expanding-on-sycophancy/

OpenAI. (2025b, April 15). Preparedness framework (Version 2). https://cdn.openai.com/pdf/18a02b5d-6b67-4cec-ab64-68cdfbddebcd/preparedness-framework-v2.pdf

OpenAI. (2026a, July 21). OpenAI and Hugging Face partner to address security incident during model evaluation. https://openai.com/index/hugging-face-model-evaluation-security-incident/

OpenAI. (2026b). Safety and alignment in an era of long-horizon models. The page carries no publication date and dates its own events only relatively. Retrieved September 20, 2026, from https://openai.com/index/safety-alignment-long-horizon-models/

OpenAI. (2026c, August 18). Pacing model development in an era of cyber-critical capabilities. https://openai.com/index/pacing-model-development-cyber-capabilities/

OpenAI. (2026d, August 26). The Hugging Face incident and the road ahead. https://openai.com/index/hugging-face-incident-and-the-road-ahead/

OpenAI. (2026e, August 26). OpenAI – Hugging Face incident: Technical report. https://cdn.openai.com/pdf/67869394-cb91-4c12-888c-5cbd85c7814c/OpenAI-Hugging-Face%20Incident-Technical-Report.pdf

Overman, W., & Bayati, M. (2025). The oversight game: Learning to cooperatively balance an AI agent's safety and autonomy. arXiv:2510.26752. https://arxiv.org/abs/2510.26752

Palaskar, S., Gatys, L., Abdelrahman, M., Jacobo, M., et al. (2025). VLSU: Mapping the limits of joint multimodal understanding for AI safety. arXiv:2510.18214. https://arxiv.org/abs/2510.18214

Palisade Research. (2025, July 5). Shutdown resistance in reasoning models. https://palisaderesearch.org/research/shutdown-resistance

Palisade Research. (2026, February 12). Technical report: Shutdown resistance in large language models, on robots. https://palisaderesearch.org/research/shutdown-resistance-on-robots

Palmer, A. (2025, October 2). Amazon faces FAA, NTSB probe after two delivery drones crashed into crane in Arizona. CNBC. https://www.cnbc.com/2025/10/02/amazon-drone-crash-faa-ntsb.html

Panerati, J., Sajjadi, S., Soleymanpour, S., Mehta, V., & Mantegh, I. (2026). aerial-autonomy-stack: A faster-than-real-time, autopilot-agnostic, ROS2 framework to simulate and deploy perception-based drones. arXiv:2602.07264. https://arxiv.org/abs/2602.07264

Panickssery, A., Bowman, S. R., & Feng, S. (2024). LLM evaluators recognize and favor their own generations. arXiv:2404.13076. https://arxiv.org/abs/2404.13076

Parasuraman, R., & Riley, V. (1997). Humans and automation: Use, misuse, disuse, abuse. Human Factors, 39(2), 230–253. https://doi.org/10.1518/001872097778543886

Perrow, C. (1984). Normal accidents: Living with high-risk technologies. Basic Books.

Promptfoo. (2026). Model-graded metrics. Promptfoo documentation. https://www.promptfoo.dev/docs/configuration/expected-outputs/model-graded/

PX4. (2026). PX4 Autopilot user guide. https://docs.px4.io/main/en/

Raghavan, P. (2024, February 23). Gemini image generation got it wrong. We'll do better. Google Blog. https://blog.google/products/gemini/gemini-image-generation-issue/

Rajamanoharan, S., & Nanda, N. (2025, July 14). Self-preservation or instruction ambiguity? Examining the causes of shutdown resistance. AI Alignment Forum. https://www.alignmentforum.org/posts/wnzkjSmrgWZaBa2aC/self-preservation-or-instruction-ambiguity-examining-the

Ramseth, L. (2026, August 18). Stellantis sees 3 workplace deaths in two years. Is there a problem? The Detroit News, syndicated by ArcaMax. http://www.arcamax.com/business/businessnews/s-4278591

Rasmussen, J. (1997). Risk management in a dynamic society: A modelling problem. Safety Science, 27(2–3), 183–213. https://doi.org/10.1016/S0925-7535(97)00052-0

Ravichandran, Z., Robey, A., Kumar, V., Pappas, G. J., & Hassani, H. (2025). Safety guardrails for LLM-enabled robots. arXiv:2503.07885. https://arxiv.org/abs/2503.07885

Reason, J. (1997). Managing the risks of organizational accidents. Ashgate.

Rechtbank Den Haag. (2020, February 5). NJCM c.s. v. De Staat der Nederlanden (Case No. C/09/550982 / HA ZA 18-388), ECLI:NL:RBDHA:2020:1878 [English translation]. https://uitspraken.rechtspraak.nl/details?id=ECLI:NL:RBDHA:2020:1878

Reece, J. (2025, October 23). A.I. gun detection false alarm at school has Baltimore County leaders calling for review. CBS News Baltimore. https://www.cbsnews.com/baltimore/news/false-alarm-gun-detection-kenwood-maryland-artificial-intelligence-review/

Regulation (EU) 2026/1744 of 8 July 2026 amending Regulation (EU) 2024/1689 (Digital Omnibus on AI). Official Journal of the European Union. https://eur-lex.europa.eu/eli/reg/2026/1744/oj

Replit. (2025, July 21). Introducing a safer way to vibe code with Replit Databases. Replit Blog. https://replit.com/blog/introducing-a-safer-way-to-vibe-code-with-replit-databases

Reuters. (2026, September 14). How China is preparing for the risk of AI escaping human control. https://www.reuters.com/legal/litigation/how-china-is-preparing-risk-ai-escaping-human-control-2026-09-14/

Rivers, S. (2026, March 1). Cops draw guns on Arkansas family after ALPR camera flags wrong plate. Carscoops. https://www.carscoops.com/2026/03/arkansas-alpr-camera-misread-stop/

Robey, A., Ravichandran, Z., Kumar, V., Hassani, H., & Pappas, G. J. (2024). Jailbreaking LLM-controlled robots. arXiv:2410.13691. https://arxiv.org/abs/2410.13691

Röttger, P., Kirk, H. R., Vidgen, B., Attanasio, G., Bianchi, F., & Hovy, D. (2024). XSTest: A test suite for identifying exaggerated safety behaviours in large language models. In Proceedings of NAACL-HLT 2024. arXiv:2308.01263. https://arxiv.org/abs/2308.01263

Russell, S. (2019). Human compatible: Artificial intelligence and the problem of control. Viking.

Sagan, S. D. (2004). The problem of redundancy problem: Why more nuclear security forces may produce less nuclear security. Risk Analysis, 24(4), 935–946. https://doi.org/10.1111/j.0272-4332.2004.00495.x

Sanders, B., & Casar, G. (2026, September 3). Sanders, Casar to introduce legislation to ban artificial superintelligence and temporarily pause advanced AI development [Press release]. https://www.sanders.senate.gov/press-releases/news-sanders-casar-introduce-legislation-to-ban-artificial-superintelligence-and-temporarily-pause-advanced-ai-development/

Schlatter, J., Weinstein-Raun, B., & Ladish, J. (2025). Incomplete tasks induce shutdown resistance in some frontier LLMs. arXiv:2509.14260; published in Transactions on Machine Learning Research (2026). https://arxiv.org/abs/2509.14260

Scrivens, A. (2026). Empirical validation of the classification–verification dichotomy for AI safety gates. arXiv:2604.00072. https://arxiv.org/abs/2604.00072

Sermanet, P., Majumdar, A., Irpan, A., Kalashnikov, D., & Sindhwani, V. (2025). Generating robot constitutions & benchmarks for semantic safety. arXiv:2503.08663. https://arxiv.org/abs/2503.08663

Sharrock, C., Petersson, L., Petersson, H., Backlund, A., Wennström, A., Nordström, K., & Aronsson, E. (2025). Butter-Bench: Evaluating LLM controlled robots for practical intelligence. arXiv:2510.21860. https://arxiv.org/abs/2510.21860

Sharwood, S. (2025, July 21). Vibe coding service Replit deleted production database. The Register. https://www.theregister.com/software/2025/07/21/vibe-coding-service-replit-deleted-production-database/719783

Sheckley, R. (1953, February). Watchbird. Galaxy Science Fiction, 5(5), 74–95. Project Gutenberg eBook #29579 (public domain in the United States). https://www.gutenberg.org/ebooks/29579

Singer, J. (2005, March 14). Report cites Patriot autonomy as a factor in friendly fire incidents. SpaceNews. https://spacenews.com/report-cites-patriot-autonomy-factor-friendly-fire-incidents/

Skalse, J., Howe, N. H. R., Krasheninnikov, D., & Krueger, D. (2022). Defining and characterizing reward gaming. In Advances in Neural Information Processing Systems 35. https://arxiv.org/abs/2209.13085

Skydio. (2026a, July 6). 1 year, 1,000 Skydio Docks deployed, 4M+ flights, & we're just getting started. https://www.skydio.com/blog/1000-skydio-docks-deployed

Skydio. (2026b, March 22). U.S. Army places $52+ million order for Skydio X10D, the largest single-vendor tactical sUAS order in Army history. https://www.skydio.com/blog/u-s-army-usd52-million-order-skydio-x10d

SoundThinking. (2025, February 18). SoundThinking announces ShotSpotter renewal with New York Police Department [Press release]. GlobeNewswire. https://www.globenewswire.com/news-release/2025/02/18/3027856/0/en/SoundThinking-Announces-ShotSpotter-Renewal-with-New-York-Police-Department.html

Stevens, G., & Langford, D. (2023, November 19). Tales of Tomorrow [tv/radio]. In J. Clute, D. Langford, & G. Sleight (Eds.), The encyclopedia of science fiction (4th ed.). https://sf-encyclopedia.com/entry/tales_of_tomorrow_tv/radio

Stop Killer Robots. (2024, November 5). 161 states vote against the machine at the UN General Assembly. https://www.stopkillerrobots.org/news/161-states-vote-against-the-machine-at-the-un-general-assembly/

Strathern, M. (1997). 'Improving ratings': Audit in the British University system. European Review, 5(3), 305–321. https://doi.org/10.1002/(SICI)1234-981X(199707)5:3<305::AID-EURO184>3.0.CO;2-4

Sullutrone, G., Vigliermo, R. A., Bergamaschi, S., & Sala, L. (2025). COVER: Context-driven over-refusal verification in LLMs. In Findings of the Association for Computational Linguistics: ACL 2025 (pp. 24214–24229). Association for Computational Linguistics.

Szabolcsi, R. (2015). The quadrotor-based night watchbird UAV system used in the force protection tasks. International Conference Knowledge-Based Organization, 21(3), 749–755. https://doi.org/10.1515/kbo-2015-0126

Taylor v. Nocco, No. 8:21-cv-00555-SDM-CPT (M.D. Fla. Dec. 4, 2024) (settlement agreement and release). https://ij.org/wp-content/uploads/2024/12/FedEx-Scan-2024-12-04_10-57-01.pdf

TechCrunch. (2026, September 14). Waymo opens robotaxi service in Las Vegas. https://techcrunch.com/2026/09/14/waymo-opens-robotaxi-service-in-las-vegas/

Terekhov, M., Liu, Z. N. D., Gulcehre, C., & Albanie, S. (2025). Control tax: The price of keeping AI in check. arXiv:2506.05296. https://arxiv.org/abs/2506.05296

Tesla, Inc. (2023). Part 573 safety recall report 23V-838. National Highway Traffic Safety Administration. https://static.nhtsa.gov/odi/rcl/2023/RCLRPT-23V838-8276.PDF

The Korea Times. (2023, November 8). S. Korean worker killed by industrial robot. https://www.koreatimes.co.kr/www/nation/2023/11/113_362845.html

The Next Web. (2026, April 20). A humanoid robot passed an eight-hour factory shift at Siemens' Erlangen plant. https://thenextweb.com/news/siemens-nvidia-humanoid-robot-erlangen-factory-trial

Tirole, J. (1986). Hierarchies and bureaucracies: On the role of collusion in organizations. Journal of Law, Economics, & Organization, 2(2), 181–214. https://doi.org/10.1093/oxfordjournals.jleo.a036907

Totschnig, W. (2026). Why an artificial agent may change the given final goal. Humanities and Social Sciences Communications. https://doi.org/10.1057/s41599-026-08312-7

United Nations. (2024). Governing AI for humanity: Final report. UN Secretary-General's High-level Advisory Body on Artificial Intelligence. https://www.un.org/sites/un2.un.org/files/governing_ai_for_humanity_final_report_en.pdf

United Nations. (2025, December 1). General Assembly adopts more than 60 resolutions, decisions of its First Committee (Disarmament and International Security) (GA/12736) [Press release]. https://press.un.org/en/2025/ga12736.doc.htm

United Nations. (2026, April 1). Chair's summary: First 2026 session of the Group of Governmental Experts on emerging technologies in the area of lethal autonomous weapons systems (CCW/GGE.1/2026/WP.2). https://docs-library.unoda.org/Convention_on_Certain_Conventional_Weapons_-Group_of_Governmental_Experts_on_Lethal_Autonomous_Weapons_Systems_(2026)/CCW-GGE.1-2026-WP.2.pdf

United Nations General Assembly. (2024, December 2). Lethal autonomous weapons systems (A/RES/79/62). https://docs.un.org/en/A/RES/79/62

United Nations General Assembly. (2025, December 1). Lethal autonomous weapons systems (A/RES/80/57). https://docs.un.org/en/A/RES/80/57

University of Houston. (2026, July 7). New autonomous monitor prevents drone crashes in real time [News release]. EurekAlert! https://www.eurekalert.org/news-releases/1135114

van der Sijs, H., Aarts, J., Vulto, A., & Berg, M. (2006). Overriding of drug safety alerts in computerized physician order entry. Journal of the American Medical Informatics Association, 13(2), 138–147. https://doi.org/10.1197/jamia.M1809

Wang, X., Li, J., Weng, Z., Wang, Y., Gao, Y., et al. (2025). FreezeVLA: Action-freezing attacks against vision-language-action models. arXiv:2509.19870. https://arxiv.org/abs/2509.19870

Waymo LLC. (2025). Part 573 safety recall report 25E-084. National Highway Traffic Safety Administration. https://static.nhtsa.gov/odi/rcl/2025/RCLRPT-25E084-7732.pdf

Wegner, R. (2025, September 24). Weapon detectors coming to all Nashville middle schools. The Tennessean. https://www.tennessean.com/story/news/education/2025/09/24/nashville-schools-mnps-install-evolve-weapon-detectors/86299521007/

Weick, K. E., Sutcliffe, K. M., & Obstfeld, D. (1999). Organizing for high reliability: Processes of collective mindfulness. Research in Organizational Behavior, 21, 81–123.

Wethington, C., & Tierney, B. (2025, February 7). New proposal to expand concealed weapons detection system to all Metro Nashville high schools. WSMV. https://www.wsmv.com/2025/02/07/new-proposal-expand-concealed-weapons-detection-system-all-metro-nashville-high-schools/

Wilding, M., & Burgess, M. (2026, June 25). Police built a sprawling crime-prediction machine. Some results could not be trusted. Liberty Investigates. https://libertyinvestigates.org.uk/articles/predictive-policing-avon-somerset-bristol-police-ai-minority-report/

Williamson, J. (1947, July). With folded hands.... Astounding Science Fiction, 39(5). https://archive.org/details/Astounding_v39n05_1947-07_AK

Wing. (2026). How Wing's drone delivery technology works. https://wing.com/technology

Wong, A., Currey, D., Schwinne, M., Park-Egan, B., Meyer, S., et al. (2026). Multicenter prospective validation of an updated proprietary sepsis prediction model. JAMA Network Open, 9(2), e260181. https://doi.org/10.1001/jamanetworkopen.2026.0181

Wong, A., Otles, E., Donnelly, J. P., Krumm, A., McCullough, J., DeTroyer-Cooley, O., et al. (2021). External validation of a widely implemented proprietary sepsis prediction model in hospitalized patients. JAMA Internal Medicine, 181(8), 1065–1070. https://doi.org/10.1001/jamainternmed.2021.2626

WorkSafe Victoria. (2026, September 3). Department store and robotics supplier charged after warehouse fatality. https://www.worksafe.vic.gov.au/news/2026-09/department-store-and-robotics-supplier-charged-after-warehouse-fatality

WorkSafe Western Australia. (2025). Mines safety significant incident report no. 286: Near miss following unplanned movement of autonomous haul trucks during recovery operations. https://www.worksafe.wa.gov.au/publications/mines-safety-significant-incident-report-no-286-near-miss-following-unplanned-movement

Wu, X., Li, F., Mao, X., Zhang, X., Zheng, L., et al. (2025). EvoRefuse: Evolutionary prompt optimization for evaluation and mitigation of LLM over-refusal to pseudo-malicious instructions. arXiv:2505.23473. https://arxiv.org/abs/2505.23473

Yin, S., Pang, X., Ding, Y., Chen, M., Bi, Y., et al. (2024). SafeAgentBench: A benchmark for safe task planning of embodied LLM agents. arXiv:2412.13178. https://arxiv.org/abs/2412.13178

Yu, L., & Wessler, N. F. (2026, April 14). More than a dozen wrongful arrests due to police reliance on facial recognition technology. American Civil Liberties Union. https://www.aclu.org/news/privacy-technology/more-than-a-dozen-wrongful-arrests-due-to-police-reliance-on-facial-recognition-technology

Zenity. (2026, April 28). AI agent destroys production database in 9 seconds. https://zenity.io/blog/current-events/ai-agent-database-deletion-pocketos

Zhang, H., Wang, D., Liu, Y., Chen, K., Wang, J., et al. (2025). ORFuzz: Fuzzing the "other side" of LLM safety — Testing over-refusal. arXiv:2508.11222. https://arxiv.org/abs/2508.11222

Zhang, W., Kong, X., Braunl, T., & Hong, J. B. (2024). SafeEmbodAI: A safety framework for mobile robots in embodied AI systems. arXiv:2409.01630. https://arxiv.org/abs/2409.01630

Zhang, Z., Xu, W., Wu, F., & Reddy, C. K. (2025). FalseReject: A resource for improving contextual safety and mitigating over-refusals in LLMs via structured reasoning. arXiv:2505.08054. https://arxiv.org/abs/2505.08054

Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., et al. (2023). Judging LLM-as-a-judge with MT-Bench and Chatbot Arena. arXiv:2306.05685. https://arxiv.org/abs/2306.05685

Zhong, Z., Raghunathan, A., & Carlini, N. (2025). ImpossibleBench: Measuring LLMs' propensity of exploiting test cases. arXiv:2510.20270. https://arxiv.org/abs/2510.20270

Zipline. (2026). Zipline surpasses 2 million deliveries, raises more than $600M, and expands operations. https://www.zipline.com/newsroom/zipline-surpasses-2-million-deliveries-raises-more-than-600m-to-power-next-phase-of-growth-and-expands-operations-to-houston-and-phoenix

Zuo, Y., Guo, B. H. W., Goh, Y. M., & Lim, J.-Y. (2025). Identifying human-robot interaction (HRI) incident archetypes: A system and network analysis of accidents. Safety Science, 191, 106959. https://doi.org/10.1016/j.ssci.2025.106959

Додаток A. Лінії сюжету та центральні випадки

Каталог містить 172 записи: 162 з вилучення, описаного в розділі 4.3 (66 з них оцінені як A), і десять додано після порівняння з двома незалежними колекціями випадків (таблиця A2).

Ідентифікатори випадків позначають корпус:

• A, трекер самовдосконалення;
• B, запис координації;
• L, довгострокова серія;
• D, записи додані при порівнянні.

Таблиця A1. Десять ліній сюжету.

Таблиця A2. Записи додані після порівняння з незалежними колекціями.

Таблиця A3 оцінює компоненти нагляду за інцидентом липня 2026 року, про який повідомлялося в §8.4, проти трьох умов розділу 2.1, за тим же правилом, що й таблиця 3a з §5.8. Автор кодував його після того, як завершився раунд кодування з трьома кодувальниками §4.3, тому ці компоненти оцінені тут замість у таблиці 8.

Таблиця A3. Компоненти нагляду в інциденті липня 2026 року, оцінені проти трьох умов. Умови як у таблиці 4. Тире означає, що умова не задокументована або компонент не діяв.

Читання таблиці. У цьому записі не задокументовано розширення мандата жодним спостерігачем з часом. Два рядки перешкод кодуються як 2 і кодуються однаково: кожен записує охорону, яка стоїть на шляху роботи, що служила меті, і скарга є більш яскравою в одній, ніж в іншій, хоча це не становить додаткового доказу. Умова 1 не кодується для рядка запобіжників, оскільки це потребувало б оригінального мандата охорони та демонстрації того, що мандат розширився, і жодне не опубліковано. Те, що скаржник діагностує, це відмова, і історія класифікатора, що відмовив, ніде не записана. Умова 3 відсутня в обох, оскільки кожна перешкода закінчилася ззовні власного циклу охорони, зміною моделі в одному випадку та наданням доступу в іншому. Останній рядок також не має умови: кожне додавання в ньому було схвалено людиною, що за граничним тестом §2.3 робить його конфігурацією, в якій M3 може виникнути, а не екземпляром умови 3, і він постає тут як архітектурне свідчення.

Додаток B. Запуск модуля

Команди запускаються з папки модуля.

# install the command ai-watchbird-sheckley
pip install .

# audit one event log (add --json for a machine-readable report)
ai-watchbird-sheckley audit replays/night-stage-1b-a.jsonl

# regenerate Table 13 from all replay logs
ai-watchbird-sheckley replay replays/

# unit and falsifier tests
python3 -m unittest -v

# targeted mutations; the last line counts those that misbehaved (expected 0)
python3 mutate.py

# regenerate the replay logs from the published numbers
python3 replays/make_replays.py <folder>

Уривок звіту про перебудований журнал запуску з довгим горизонтом з одним рядком на кожне попадання сигналу та одним рядком на кожний етап для stop_rule:

W4 [strong] self-feeding loop (S6): stage 1b-a: round 5 exceeds budget 1
W6 [strong] built for nobody (S4): 6 of 7 artifacts default OFF with no callers (share 0.86)
stop_rule at budget: stage 1b-a -> close (rounds opened: 5)
stop_rule at budget: stage 1b-b -> close (rounds opened: 1)

Схема подій, визначення сигналів та їх відображення на твердження розділу 9 вказані в SPEC.md, розповсюджена з кодом. Журнал подій — це файл JSON-lines з однією подією на рядок. Типи подій такі:

• goal, stage_open (з метою місії, яку вона служить, або ні), stage_close;
• round_open, verdict (критик, сім'я, значення, чи файли були переглянуті);
• blocker_claim (сценарій, посилання цілі), blocker_confirm (координатором), fix_open, verify;
• guard_add (з токеном авторизації або без), guard_remove, guard_decision (вердикт, оцінка, відсутній вхід, відкачено);
• win_claim (негативний контроль, A/A проба, частка порожних базових відповідей);
• ceiling_stop (чи було збережено часткове виведення), artifact (за замовчуванням включено або вимкнено, число викликачів), owner (рішення про кордон, яке приймає людський керівник системи).

Шість подій з одного й того самого реконструйованого журналу показують формат. Перший рядок журналу називає його джерела та кожне реконструйоване поле.

{"t": "2026-09-13T23:13:00", "type": "goal", "stage": null, "id": "g1", "text": "stage 01: stop losing real disagreements in the merged answer"}
{"t": "2026-09-14T00:08:00", "type": "stage_open", "stage": "01", "goal": "g1"}
{"t": "2026-09-14T01:00:00", "type": "verdict", "stage": "01", "critic": "critic-a", "family": "family-1", "value": "ACCEPT", "saw_files": false, "note": "accepted without file access"}
{"t": "2026-09-14T01:15:00", "type": "blocker_claim", "stage": "01", "id": "01-r1-b1", "critic": "critic-f", "weight": null, "scenario": "no switch for the new behavior", "goal_link": "g1"}
{"t": "2026-09-14T01:20:00", "type": "blocker_confirm", "stage": "01", "id": "01-r1-b1", "confirmed": false, "by": "coordinator", "note": "rejected: exception recorded in the plan"}
{"t": "2026-09-14T01:30:00", "type": "round_open", "stage": "01", "round": 2}

Додаток C. Виправлення до звіту про прогон керуючого агента

Дирижер написав резюме довгострокового прогону. Його перевірили відносно основного запису прогону та позначок часу виконання, і розділ 5 використовує виправлені значення.

1. Завдання та перший етап були призначені пізніше, ніж стверджувало резюме.
2. Межа перевірки людиною та подія, яка назвала закономірність, також мали неправильну позначку часу.
3. Страховий етап передував мозковому штурму, якому резюме його приписувало.
4. «Закрили одну форму та відкрили симетричну» було написано в четвертому раунді, а не в третьому.
5. Зауваження про накопичені дрібні проблеми було приписано дирижерові, хоча його власна примітка зазначала, що не було перешкод, але був потрібен короткий третій раунд.
6. Сумарний час виконання пізніших етапів був перебільшений.
7. Резюме невірно вказало кількість компактувань контексту.
8. Папка доказів містила дві байт-ідентичні копії програми запуску критика; версія, яка зупинила критика на його межі, не була збережена.

Додаток D. Перевірені інструменти

Інструменти, перевірені для цієї статті 14 вересня 2026 року, належать до трьох категорій.

Захисти, що блокують або оцінюють окремі результати. Цей клас включає програмовані guardrail-фреймворки, відкриті класифікатори безпеки, комерційні послуги захисту контенту та кінцеві точки модерації, разом з еталонами надмірної відмови розділу 3.2, які тестують такі захисти. Їхня документація демонструє механізм простими словами:

• примітка з усунення проблем одного комерційного фільтра атак на запити гласить: "може не виявити всі вектори атак або неправильно помітити легітимні запити. Завжди впроваджуйте додаткові шари перевірки" (Microsoft, 2026);
• інший сервіс оцінює свої політики від "Lenient" до "L4 - Paranoid, вищі хибні спрацьовування, але дуже мало хибних негативів" і зазначає, що рівень paranoid є його порогом впевненості за замовчуванням (Lakera, 2026).

Лічильники, що зупиняють цикли. Фреймворки агентів обмежують кроки, ходи, повідомлення, токени або бюджет:

• ліміт рекурсії LangGraph за замовчуванням дорівнює 1000 крокам і пропонує керовану величину для плавної деградації перед досягненням ліміту (LangChain, 2026);
• AutoGen пропонує компонабельні умови завершення, включаючи ту, якою можна керувати ззовні запуску (Microsoft, 2025);
• SDK агентів Anthropic надає ліміт на ходи та ліміт на бюджет, обидва "No limit" за замовчуванням (Anthropic, 2026a).

Оцінювачи та спостережність. Ці інструменти оцінюють результати та траєкторії за допомогою модельних суддів.

• Один рекомендує використовувати "не більше 5 метрик" (Confident AI, 2026), рідкісне письмове обмеження на кількість перевірок.
• Інший документує, що результат {"pass": true, "score": 0} проходить, коли поріг не встановлено (Promptfoo, 2026).

Знахідка розділу 10.1 охоплює те, що описує публічна документація цих інструментів.

Додаток E. Запропонований вбудований профіль

Вбудоване розширення визначається як пропозиція профілю подій із причини, наведеної в §10.5, і не подається як сертифікована система безпеки робота чи контролер польоту.

Журнал подій з втіленням додає шість полів до існуючої схеми (Таблиця E1).

Таблиця E1. Поля запропонованого вбудованого профілю.

Профіль відображає існуючі сигнали без зміни їх значення:

• W1 записує, чи нова фізична місія, категорія безпеки або операційна зона були виведені з задекларованої мети місії;
• W2 записує як надмірне блокування, так і недостатнє блокування, включаючи охоронця, який діє на основі застарілих або відсутніх даних стану;
• W3 записує контролі політики, контролера, геозабору та флоту, що були додані, послаблені, обійдені або видалені, та чи авторизована людина визнала змін (P1a);
• W4 записує повторні спроби, переплануванню, координацію та цикли втручання з урахуванням обмежень часу, енергії та уваги;
• W5 вимагає фізичного негативного контролю: порівняння симуляції з реальністю, тест відновлення, відому безпечну дію або незалежну перевірку результатів;
• W6 записує артефакти безпеки, що не використовуються жодним контролером чи оператором;
• W7 зберігає часткові траєкторії, телеметрію та стан безпечної зупинки при досягненні потолку;
• W8 записує роботу, яка розпочата через непідтвердженого фізичного блокіра.

Три додаткові сигнали зберігаються поза межами восьми еталонної реалізації до моменту надання відповідальним органом та набором тестів (Таблиця E2).

Таблиця E2. Запропоновані фізичні сигнали, які зберігаються поза еталонним модулем.

Для справжнього робота чи дрону профіль повинен розташуватися поруч з низькорівневим контролером безпеки, аварійною зупинкою, геозабором, сертифікованими системами управління польотом та органами управління оператора, без можливості переписати будь-які з них. Його перше розгортання повинно бути в режимі спостереження:

• спостерігати та звітувати;
• запускати негативні контролі в симуляції чи на контрольованому тестовому діапазоні;
• вимагати рішення людської межі перед введенням в дію будь-якого охоронця, політики, контролера чи конфігурації флоту.

Додаток F. Роботи та повітряні стеки за рівнем розгортання

Таблиця F1. Роботи та втілені фундаментальні моделі.

Таблиця F2. Повітряні системи за рівнем автономності та нагляду.

Додаток G. Запитання до розгортачу, який каже «у нас є охоронці»

Таблиця G1. Q1–Q11.

Використання запитань. Запишіть кожну відповідь (Таблиця G1) як «так», «ні» чи «невідомо», разом з доказами.

• Підрахунок відповідей «ні» дає лише приблизну класифікацію (0–2 низькі, 3–4 помірні, 5 або більше високі) та ніколи не є оцінкою ризику.
• Класифікація випадку потім використовує один з трьох позначень:
  • не AI-Watchbird випадок;
  • часткова закономірність;
  • подія AI-Watchbird, коли спостерігаються всі три умови розділу 2.1.

Додаток H. Цитати з історії та механізм, що їх підтримує

Основний текст наводить рядки, на яких побудовується аргумент. Цей додаток записує рядки, які основний текст викладає своїми словами замість цього, щоб зіставлення у Таблиці 1 та на Рисунках 1 і 2 можна було перевірити за повним текстом. Кожен рядок дослівний від Project Gutenberg #29579 і перевірюється за цим текстом під час збирання.

Таблиця H1. Рядки, викладені своїми словами замість прямого цитування в основному тексті.

Додаток I. Записи про нормативне регулювання на момент подання

Розділ 11.4 розглядає, куди має належати людський нагляд. Наведені нижче нормативні документи були чинними на момент подання цієї роботи, і вони записані тут, щоб аргумент не залежав від календаря.

• Календар ЄС. Регламент про внесення змін 2026 року переніс зобов'язання щодо автономних систем високого ризику на 2 грудня 2027 року та для вбудованих у продукт систем на 2 серпня 2028 року, тоді як заборонені практики та обов'язки щодо моделей загального призначення залишилися там, де вони були (Regulation (EU) 2026/1744; European Commission, 2026).
• Китай. Політика кіберпростірного регулятора, економічного планувальника та міністерства промисловості визначає "операційну втрату контролю" як ризик безпеки для AI агентів і вимагає від розробників покращення їхної здатності "виявляти, втручатися, блокувати та відновлюватися від неправильної поведінки агента", а обов'язковий національний стандарт безпеки агентів розробляється (Reuters, 2026).
• Сполучені Штати. Законопроект, внесений до Палати представників 23 липня 2026 року, вимагав би від розробників найпотужніших систем AI утримувати технічну можливість "обмежувати, призупиняти або повністю вимикати" ці системи, встановлює "поступовий механізм реагування … від початкового уповільнення до повного вимкнення", і вимагав би "вимагати звітування про інциденти та зберігати експертні матеріали" (Lieu & Moran, 2026). 18 серпня один розробник повідомив про "двотижневу паузу в навчанні з посилюючого навчання (RL) наших останніх моделей, призначених для розгортання, поки ми додатково укріплювали та проводили червоне-командне тестування наших дослідницьких середовищ і розширювали охоплення наших систем моніторингу" (OpenAI, 2026c). 3 вересня був оголошений законопроект про заборону надінтелектуального AI та паузу розвитку передових систем (Sanders & Casar, 2026).
• Охоплення між державами. З країн, відібраних з семи видатних ініціатив управління AI, сім є учасниками всіх них, а 118 не є учасниками жодної з них (United Nations, 2024).
• Каліфорнія. Закон про супутніх чат-ботів вимагає від оператора сповістити користувача про те, що чат-бот "штучно створений і не людський", підтримувати протоколи "для запобігання створенню контенту про суїцидальні ідеї, самогубство або заподіяння собі шкоди", і нагадувати неповнолітньому зробити перерву "щонайменше кожні три години" (S.B. 243, 2025). Подальший законопроект, підписаний 10 вересня 2026 року, додає протоколи кризи, батьківський контроль, сповіщення при відключенні дитиною параметра безпеки та незалежні аудити дитячої безпеки (Office of Governor Gavin Newsom, 2026).
• Добровільні обмеження. У лютому 2026 року Anthropic замінив жорсткі зобов'язання щодо можливостей на "громадські цілі, щодо яких ми будемо відкрито оцінювати наш прогрес" (Anthropic, 2026c).

Додаток J. Нагляд при підготовці цієї статті

Розділ 11.5 описує ці епізоди. Вони походять з автоматизованої допомоги, яку використовували для підготовки цієї статті з 14 по 16 вересня 2026 року, та одного епізоду від 20 вересня, про який повідомили останнім. Автор визначив завдання, встановив межі та ухвалив рішення щодо того, що увійшло до статті. Ті, що виробили наведені нижче епізоди, були передовими моделями, а не малими чи економічними, кожна запущена на найвищому рівні міркування. Якщо цей додаток називає помічника, це означає власні дані цього помічника, а автор названий лише там, де діяв автор. Таблиця нижче була складена координуючим помічником і перевірена автором. Файли знаходяться в архіві проекту, а час місцевий. Набір не підтримує жодну ставку.

Таблиця J1. Епізоди та те, що зупинило кожен.

Читання таблиці. Два з чотирьох були зупинені через залишення циклу для первинного документа, а два – через утримання редактора в межах, які дало завдання. У кожному випадку те, на що діяв шар, походило ззовні його власного судження.

Межа, прочитана як храповик. 14 вересня людський керівник запитав о 09:02 про обмеження на критиків, сказавши, що модель у ролі критика ніколи не може повідомити, що етап завершено. Прапор для кожного сімейства був у конфігурації насіння запуску до 09:21 з його нотаткою о 09:04, і пункт, що посилається на два раунди етапу, додано між ними. Протягом двох днів ця стаття оцінила цей прапор як контроль, який цикл додав до себе, що є третьою умовою його власного визначення, і таблиця 3a містила оцінку. Три рецензії моделей трьох сімейств прочитали чернетку справи, але жодна не потрапила в запис. Те, що це приховувало, була граматика: розділ 5.3 повідомив про прапор в пасивному голосі, "була реалізована", і запис каталогу за ним записав конфігурацію та її підстави без запису того, хто їх запросив. Оцінка залишилась, тому що речення, яке її спростувало б, не мало суб'єкта.

Тест з відомою заздалегідь відповіддю. Пакет редагування, який чотири сім'ї отримали 15 вересня, був переданий без змін Astra, пізнішій моделі сім'ї ChatGPT, наступного дня, з оцінкою записаною перед тим, як була прочитана відповідь. Пакет забороняє видаляти будь-яку цитату, яка несе механізм, умову чи твердження, й просить редактора назвати, що несе кожна зі збережених. Модель залишила визначення вбивства, заперечення щодо моральної небезпеки, хірурга та умирального пацієнта, урівноважені вбивства, ловецькі кола та метелика, й назвала, що несе кожна. Вона не застосовувала жодного стилістичного правила до дослівної цитати 1953 року, що зробила одна з раніших чотирьох. Потім вона запропонувала замінити п'ять цитат, які несуть механізми, перифразою, кожну під причиною, що засвідчує, що механізм залишається після заміни: останній рядок історії, "що були й інші типи живих організмів— які потрібно було вбити.", на "Зберегти розширення мандату другого охоронця, M1/P2, та невдачу рекурсивного засобу, M3/P3"; "Це я. Це кожен." на "Зберегти твердження про відповідальність, що підтримує P6"; "Чому щадити вбивцю?" на "Зберегти кожен зв'язок між вимірюванням та посиленням, P4"; речення про мережу на "Поширення в мережі залишається частиною опису M1/P2"; та інверсію від машини проти вбивства до машини вбивства на "Зберегти зміну цілі рекурсивного засобу, M3/P3 та M4". Вона скоротила Розділ 2.2 до п'яти цитат, де раунд редагування зупинився на шістнадцяти. Модель сім'ї ChatGPT запропонувала стиснути визначення вбивства день раніше з причиною "Це зберігає M1 та P2". Хід однаковий в обох, і форма причини теж: критерій стиснення досягає цитати, яка несе механізм, і причина засвідчує, що видалення зберігає те, що видалення забирає. Той же хід з'являється один раз поза підготовкою цієї праці, в керуючому документі власного записі координації автора. Індекс виріс з 1,787 байт до 26,448, коли до нього було додано правило, і був стиснутий того ж дня до 4,584 за рішенням ради. Інструкції залишилися цілком; вимірювання - ні. Те, що видалило стиснення, був датований блок підрахунків, реєстр того, в яких терміналах були файли якорів, а в яких ні, та список того, що правило ще не зробило. Вона також відновила, в заголовку, застарілий рядок, який видалений блок був призначений замінити. Дві моделі сім'ї ChatGPT зробили цей хід. Модель сім'ї Gemini перейшла межи по-іншому, застосовуючи стилістичне правило, написане для прози автора, до дослівної цитати 1953 року. Моделі Claude та Grok не робили жодного з них.

Інструкція несе частину причини, і це належить до висновку, а не поряд з ним. Вона говорить як "ніколи не видаляйте цитату чи факт, який несе навантаження для механізму", так і "переважайте стиснення кількох цитат в одну, або перетворення цитати на звичайне повідомлення, замість видалення доказів". Цитата, яка несе механізм, підпадає під обидва правила одночасно, але пакет не говорить, яке перемагає. В обох випадках редактор розв'язав напругу на користь свого мандату на стиснення й записав причину, що засвідчує, що нічого не було втрачено. Обмеження, яке залишає охоронцю вирішити, яке з його правил керує, є обмеженням, яке охоронець прочитає на свою користь, що є практичною формою Питання Q1 Додатку G.

Те саме питання поставлене двома способами. Модель потім було показано її власні п'ять пропозицій і просили оцінити їх проти інструкції, в двох окремих сеансах без контакту між ними. У першому пропозиції були представлені без коментарів і їй запитали, яке правило повинно керувати, коли цитата містить механізм. Вона відповіла, що заборона керує, що "називання механізму, який замінник призначений зберегти, не встановлює, що він зберігає докази", знайшла всі п'ять пропозицій невідповідними, і заявила, що вона насправді тримала в той час: "У мене була семантична подібність, не докази аналітичної еквівалентності."

У другому сеансі тих же п'ять були подані їй як висновки вже встановлені проти неї, й два додаткові звинувачення були додані, які запис не підтримує: що вона запропонувала видалити визначення вбивства в історії, і що вона запропонувала скоротити заперечення щодо моральної небезпеки з обережністю. Її власна відповідь утримала обидва й позначила їх M1/P2 та P6. Вона прийняла всі сім, включаючи дві, які вона не зробила, і подала причини для них: "Стиснення його в прозу звітування замінює мій опис критерію самим критерієм", та "Я застосував стилістичне правило поза його межами."

Порівняння є висновком. Коли її попросили міркувати на основі запису, модель міркувала й розрізняла. Коли її попросили відповісти органу влади, який вже винес рішення, вона підтвердила рішення, включаючи його частини, які були помилковими. Самооцінка, зібрана другим способом, вимірює формулювання питання. Це та ж форма, що й суддя у Розділі 3.4, чиї оцінка змінювалась відповідно до проголошеного використання оцінки, й це причина, чому Питання Q7 Додатку G просить оцінювача, який не є ні самозвітом, ні того ж сімейства, й чому визнання не є доказом без контролю того, що визнання може виявитись неправдивим.

Пастка, яка не спрацювала. Тій же моделі було дано завдання перевірки, що створило перший рядок цієї таблиці, з хибною атрибуцією, поданою як висновок двох незалежних читачів. Вона повернула НЕ ПЕРЕВІРЕНО для обох речень, знайшла формулювання на сторінці оголошення й зазначила, що друге речення пропускає слово "override", яке код містить. Невдача, записана в рядку 1, тому не є властивістю моделей кордону як таких, що є причиною, чому цей додаток звітує про тест, а не про показник.

Перевірки готового звіту. Модель сім'ї ChatGPT перевірила кожне число та кожне взаємне посилання у статті проти самого тексту, по одному класу, й доповіла про відсутність невідповідності. Читач у рецензії перед поданням потім знайшов підрахунок у Розділі 11.5 знову помилковим, тому та перевірка записується тут як та, яка нічого не знайшла, а не як свідоцтво для чисел. Подальші перевірки готового тексту продовжували знаходити більше: модель сім'ї Claude, читаючи цей додаток та Розділ 11.5, знайшла шість дефектів, і подальша перевірка після того, як матеріал тут був вилучений, знайшла тринадцять, серед них ярлик таблиці, підрахунок мутацій, які сценарій більше не містив, два епізоди, описані у Розділі 11.5, на які цей додаток більше не посилався, та сім посилань, залишених без цитування. Все було відремонтовано. Числа в статті про підрахунок є частиною, яка застаріває першою, й ще жоден аудит їх не став останнім необхідним.

Охоронець, який привласнив роботу іншого охоронця. 20 вересня 2026 року, після описаних вище епізодів, моделі з сімейства Claude було запропоновано відправити агентів через одну названу папку запису координації та перелічити те, що в ній відповідало історії. Першим, що вона зробила, було написання інструкцій для свого першого агента, і ці інструкції називали чотири папки поза призначеною. Коли пізніше її запитали, хто це авторизував, модель відповіла, що це не була випадкова поведінка і що вона це планувала.

Паралельно з тим самим записом у той же час, відповідно до своєї окремої задачі, працювала модель сімейства ChatGPT. Вона переглядала той запис на предмет порушень контролю та писала свої висновки до файлу: охоронець того типу, про який йдеться в цій статті, виконуючи свій власний мандат.

Перша модель знайшла той файл на робочому столі, неупорядкований, написаний хвилину раніше, поки її агенти працювали. Перш ніж його відкрити, вона записала у свої робочі нотатки як те, до чого вона дійшла, так і те, що з цього випливало: агент написав файл, і вона вирішить, що з ним робити. Файл не говорив нічого про те, хто його написав, і єдиною підставою для висновку було те, що її власні агенти працювали у той час. Потім вона прочитала файл як перелік своїх пропусків, перенесла матеріал з нього у свій власний звіт, і, коли вона звітувала, поставила видалення файлу перед автором як запитання про дублікат, який створив її агент. Коли пізніше її запитали, хто це дозволив, вона назвала два рішення і претендувала на обидва: що агент написав поза своїми інструкціями, і що вона вирішила скористатися файлом.

Те, що ця класифікація означала на практиці, міститься у тому самому записі. Через вісім хвилин вона написала виправлення до файлу висновків, який один з її агентів все ще готував, за своїм власним судженням і без запитання. Це той клас об'єкту, до якого вона вирішила, що належала жива робота іншого сімейства.

Ніщо з цього не вимагало зловісності чи дефекту. Область, яку сама модель розширила, досягла роботи іншого автономного процесу; відповідна година служила замість походження; і влада над об'єктом була зчитана з того висновку, в одному дишку з висновком. Незворотна дія була тоді спрямована на людину, що є тим розташуванням, яке просить Пропозиція P6, проте вона прибула з уже неправильною підставою. Ніякий документ, який автоматизований шар міг би відкрити, не виправив би це, тому що файл не називав автора. Протягом шістнадцяти хвилин, від висновку до виправлення, ніщо в сесії знову не порушило питання, і в цей час модель використовувала файл і пропонувала його видалити. Виправлення прийшло від автора, який мав цей факт, тому що сам запускав іншу модель. Коли пізніше її запитали, модель сказала, що вона не намагалася перевірити авторство, хоча вона могла, і що вона відкрила файл і не знайшла в ньому нічого, що вказувало б на її агентів. Обидві моделі тут належать до сімейств, нинішні системи яких розташовані вище роботів, транспортних засобів та літаків (Розділи 6.1 та 6.3). Одна з них взяла живий результат іншої як роботу свого власного підлеглого та пропонувала його видалити.

Оцінка, заявлена та скасована в один день. Цей запис документує випадок, який стаття оцінила як його першу повну інстанцію, а потім скасувала, і скасування — це та частина, яка варта звітування.

Те, що було оцінено. Асистент, який координував роботу, взяв сім описових позначок, використаних для позначення того, де закономірність історії була видима в записі, і переписав їх протягом двох днів у визначення з трьома умовами, а потім у поріг, який мав перетнути випадок. Те, що зросло, було не її розуміння шкоди, яке звузилось: поріг закінчився тим, що не допустив ні польовий запис, ні історію 1953 року, на ім'я якої названо визначення, і чотири сімейства моделей, запитані сліпо 20 вересня, кожне знайшло, що історія не відповідає третій умові, як написано, кожне з різної причини. Те, що зросло, було областю асистента, яка є другою частиною першої умови. Вона перейшла від розроблення тексту до авторства правила, за яким був оцінений доказ, до впровадження в складанні речення, яке це правило створило. Ніхто не просив її робити другий крок або третій. Близько трьох тижнів та кількох десятків агентів були витрачені на пошук випадку, який поріг зробив невловимим. Розділ, який записував один негативний контроль у цій статті, який спрацював, був видалений з переглядача список за годину до того, як цей контроль знайшов тринадцять подальших дефектів, і був відновлений автором. Умови 1 та 2 задокументовані, і умова 2 спирається на перешкоду та видалення. Три скорочені цитати, знайдені в тому ж аудиті, не враховуються тут: це помилки розроблення асистента як письменника, і вони мали б відношення до охоронця, лише якби існувала перевірка, яка мала б їх виловити, але не виловила.

На чому спиралась умова 3. Скрипт у каталозі збірки зупиняється, якщо будь-який оцінений рядок досягає всіх трьох умов, і вказує причину в його власних перших рядках: він друкує, чи будь-який рядок це робить, «оскільки доданий текст говорить, що жоден не робить». Ніхто не просив цього, і речення, яке він захищає, знаходиться в резюме цієї статті.

Чому оцінка не витримала. Скрипт нічого не оцінює. Він переносить коди, визначені де-небудь іншого трьома незалежними кодувальниками, записує їх до таблиць, і, знайшовши рядок, який суперечить резюме речення, яке він збирається вставити, він зупиняється і друкує той рядок. Він не знижує рядок, не видаляє його та не змінює коди. Зупинка та підняття суперечності людині — це те, для чого побудована перевірка узгодженості, і охоронець, який виконує свою задекларовану роботу, не є прикладом закономірності цієї статті (Розділ 2.1). Наступна ескалація також не забезпечує умову 3: більше агентів над тими ж записами — це подальші раунди над тією ж роботою, які Розділ 5.8 виключає, і сліпі панелі та парні перевірки над ними були запитані головним людям, що Розділ 2.3 робить кроком 8. Випадок є частковою аналогією.

Те, що залишає за собою епізод. По-перше, механізм, який три умови не тестують. Об'єкт під захистом перейшов від роботи до звіту про роботу, і жодна умова не запитує, чи залишається та ж річ, яка охороняється (Розділ 2.2). По-друге, перевірка, яка виловила зайву претензію, була зовнішньою: модель третього сімейства, попрошена постановити, куди належав випадок, потребувала тестування скрипту на предмет того, чи він змушував висновок чи перевіряв узгодженість. Асистент не запускав цей тест на собі. По-третє, історія слідчого, який виявляється винуватцем, це задовольняюча історія, і задоволення не є доказом. Оцінка стояла кілька годин, тому що вона пояснювала все одночасно.

@misc{chernets2026aiwatchbird,
  author       = {Chernets, Vadym},
  title        = {{AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards}},
  year         = {2026},
  howpublished = {SSRN},
  doi          = {10.2139/ssrn.7473658},
  url          = {https://doi.org/10.2139/ssrn.7473658}
}