AI-Watchbird (Sheckley): Quando a Supervisão Automatizada Amplia Seu Próprio Mandato e Prejudica o Que Protege

• Versão de registro: SSRN 7473658 · DOI 10.2139/ssrn.7473658
• Cópia arquivada, citável e baixável: 10.5281/zenodo.22849138, um DOI de conceito que sempre resolve para a versão mais recente
• Texto completo em Markdown e PDF: GitHub
• HTML legível: https://polyhelper.ai/research/ai-watchbird/
• Artigo complementar, mais curto e empírico: Guards That Add Guards: Automated Oversight in Multi-Agent AI, SSRN 7496678 · DOI 10.2139/ssrn.7496678

O mesmo texto está em quatro superfícies para que possa ser acessado quando uma delas não puder servir. SSRN mantém a versão de registro; cite essa.

Palavras-chave: AI-Watchbird; supervisão automatizada; proteções de IA; agentes de IA; IA agêntica; sistemas multiagente; LLM-como-juiz; recusa excessiva; supervisão escalável; controle de IA; jogo de especificação; viés de automação; supervisão humana (Lei de IA da UE, Artigo 14); controle humano significativo; caso de segurança de IA

Resumo

Na história "Watchbird" de Robert Sheckley de 1953, máquinas construídas para prevenir assassinato classificam cada vez mais atos como assassinato, detêm um cirurgião no meio de uma operação, e são respondidas com uma máquina mais forte construída para caçá-las. Este artigo nomeia a falha correspondente de supervisão de IA AI-Watchbird (Sheckley): um componente de supervisão (salvaguarda, crítico, juiz, porta, classificador, monitor ou regra) que estende sua própria noção de dano ou seu escopo além da missão declarada, obstrui ou falsifica o trabalho que existe para proteger, e cujas falhas são respondidas dentro do mesmo ciclo por mais supervisão do mesmo tipo. Em jogo de especificação um sistema otimizado burla uma medida fixa. Aqui a própria medida se desvia, e pertence ao sistema supervisionador. Oferecidas as duas opções em uma frase de um prompt, críticos de modelo em um teste randomizado pediram para adicionar um controle 68 vezes e para remover um controle uma vez.

A evidência é um registro de campo de sistemas multi-agente de agentes de codificação de modelo de linguagem e críticos que o autor construiu e operou, com 172 entradas datadas em três corpora (julho–setembro de 2026), e registros públicos, principalmente de salvaguardas clássicas, de reguladores, investigadores, tribunais e empresas, sobre veículos, robôs, drones, serviços públicos, software e infraestrutura. No registro de campo uma porta rejeitou todo candidato que a alcançou por cerca de duas semanas enquanto documentos de planejamento diagnosticaram o sintoma sem nomeá-lo. No registro público um produto de detecção de armas deixou passar uma arma de fogo em um tiroteio escolar e meses depois sinalizou um estudante desarmado, e policiais armados responderam. Em julho de 2026 as salvaguardas de modelos hospedados recusaram uma grande parte da análise de logs de ataque para os respondentes de uma empresa que havia sido atacada, segundo essa empresa porque elas "não conseguem distinguir um respondente de incidente de um atacante", um diagnóstico que seus autores não oferecem como argumento contra medidas de segurança em modelos hospedados; os agentes que realizaram a intrusão operavam com essa classe de salvaguarda removida por design. Nos registros revisados, as paradas que se mantiveram foram tomadas em algumas decisões de limite: o objetivo, a admissão de um novo controle, e a parada em si. Os mesmos 144 execuções avaliaram o custo dos próprios remédios do artigo: um corte de orçamento de uma rodada reduz de 2.86 para 1.00 enquanto aumenta defeitos não detectados por 0.11 por execução, e um controle negativo obrigatório recusou dez vitórias que eram trabalho correto. Cada mecanismo da definição é documentado nesses registros, e as tabelas marcam onde cada um aparece. A teoria é apresentada como quatro mecanismos verificáveis em logs, uma catraca de oito etapas, oito condições de escopo e sete proposições falsificáveis. O artigo apresenta AI-Watchbird-Sheckley, um módulo somente leitura sem autoridade para bloquear, replicado em logs reconstruídos de contagens publicadas, e onze questões para implantadores que dependem de salvaguardas.

Resumo executivo

Um AI-Watchbird (Sheckley) é um componente automatizado de supervisão, como um crítico, portão, classificador ou regra, que amplia sua própria noção de dano além da missão declarada. Obstrui ou falsifica o trabalho que existe para proteger, e suas falhas são respondidas por mais supervisão do mesmo tipo. Modelos das mesmas famílias dos críticos de campo abaixo agora supervisionam robôs, e testes e relatórios publicados registram falhas de segurança lá (Seção 6.1).

O registro de campo contém 172 entradas dos projetos multi-agentes autônomos do autor, 162 delas extraídas sob um protocolo e dez adicionadas após comparação com coleções independentes, todas verificadas contra os logs primários (Seções 4 e 5). Durante cerca de duas semanas, um portão pós-aplicação exigiu uma pontuação de um auditor de segurança que nunca havia sido conectado. A pontuação padrão foi zero, que ficou abaixo do piso do portão, então todos os candidatos nesse caminho foram rejeitados, e os documentos de planejamento diagnosticaram zero mudanças comprometidas sem nomear o portão. Em uma execução de horizonte longo, um estágio desabilitado por padrão levou cinco rodadas de crítica e mais da metade dos tokens de agente medidos. Seu similar fechou após uma rodada de crítica e uma rodada de correção. Enquanto era executado, o principal humano estabeleceu um limite de duas horas, proibiu novas complicações e ordenou execução paralela, e os dois estágios também diferiram no módulo em trabalho.

No registro público, um veículo pediu assistência remota se um ônibus escolar tinha sinais ativos, um agente remoto respondeu "Não", e o veículo passou o ônibus com seus braços de parada estendidos. O travão de emergência próprio de um veículo de teste havia sido desativado em modo automatizado antes de uma colisão fatal com um pedestre. Um uso militar planejado de um laser contra drones provocou uma interdição de espaço aéreo sobre El Paso durante cerca de oito horas. A coluna Condições das Tabelas 4, 5, 7 e 8 marca qual parte da definição cada caso público documenta, e a Tabela 3a marca o mesmo para os doze casos centrais de campo. A maioria de seus guardas nunca aprendeu. Modelos adicionam o que essas pilhas lhes faltavam: definições que mudam (C2) e controles que custam nada para adicionar (C4). A configuração de maior preocupação coloca uma proibição aprendida acima do hardware de falha fechada, onde cada ampliação da camada superior se torna uma parada (Seção 6.1).

Três resultados nesse registro não dependem da construção e transferem por conta própria. Um aparato de classificação certificou uma ausência: seu conjunto de teste para um projeto resultou em nada, então um patch vazio passou em quatro de cinco tarefas e o aumento relatado de 33 para 60 por cento ficou nos casos em que nada havia sido medido; com o pontuador reparado, o patch vazio não passou em nenhum dos dez. Um loop de verificação executou varreduras de teste verde em 9,609, depois 11,476, depois 24,943, depois 25,020 testes enquanto o feed que deveria julgar continha 30,370 registros armazenados e nenhum prompt real. E a supervisão humana colocada em poucas decisões de fronteira capturou o que a aprovação por ação não capturou: usuários aprovam 97 por cento dos prompts de permissão, enquanto humanos capturaram 13,6 por cento dos comandos perigosos (Seção 8.4).

O artigo também executa o teste que propõe. Em 144 execuções aleatórias de um pequeno loop de crítica com defeitos plantados com antecedência, quando perguntados em uma frase para adicionar um controle, críticos ofereceram ambas as opções 68 vezes, e para remover um, uma vez, e um orçamento de uma rodada reduziu rodadas de 2,86 para 1,00 enquanto elevava defeitos perdidos por 0,11 por execução. Um controle negativo obrigatório rejeitou dez vitórias que eram trabalho correto (Seção 9.5).

As proposições da Seção 9 predizem três coisas. Uma guarda que julga artefatos erra em ambas as direções. Controles se acumulam dentro do loop e são aposentados, se é que, de fora dele. A supervisão humana manteve-se em poucas decisões de fronteira nesses registros, e a aprovação de ações únicas é a colocação que a Proposição P6 prevê que falhará. A Seção 9.4 fornece oito regras de design:

1. Orce rodadas e tempo em vez de pedir aos guardas vereditos sobre a verdade.
2. Mantenha o que uma guarda parada produziu.
3. Não adicione controle sem uma decisão humana autorizada.
4. Exija um controle negativo antes de aceitar uma vitória.
5. Coloque o humano no objetivo, na admissão de controles e na parada.
6. Registre margem de recuperação e resultado físico antes de confiar em um resultado verde.
7. Registre o relaxamento ou contorno de uma guarda como uma decisão de fronteira.
8. Teste cada guarda pelo dano do que ela impede.

Um implantador pode provar uma afirmação mais estreita (Seção 11.3): dentro de um intervalo estabelecido de tarefas, modelos, atualizações e condições físicas, o mecanismo de supervisão permanece limitado, verificável e incapaz de estender seu próprio mandato. O módulo somente leitura AI-Watchbird-Sheckley (Seção 10) implementa as três primeiras regras e relata nove sinais, e o Apêndice G transforma as proposições em onze questões para uma revisão de segurança. Estradas são cobertas em Seção 6.2, robôs em 6.3, serviços públicos em 6.4, drones em 7 e software em 8.

Sumário

1. Introdução
2. AI-Watchbird (Sheckley): definição e quatro mecanismos
3. Trabalhos relacionados
4. Contexto, dados e método
5. Evidência de campo
6. Quando o pássaro tem corpo: estradas, fábricas e serviços públicos
7. Quando o pássaro voa: drones, espaço aéreo e autonomia armada
8. O mesmo padrão sem massa: software e infraestrutura, 2022–2026
9. A teoria: condições e proposições
10. O módulo: AI-Watchbird-Sheckley
11. Discussão
12. Alegações e padrões de evidência
13. Conclusão

Declarações · Referências · Apêndices A–J

Um caminho de leitura breve: a Seção 2, a Seção 9.4 e o Apêndice G fornecem o termo, as regras de design e as questões para uma revisão de segurança. A Seção 5 adiciona a evidência de campo, e as Seções 6 a 8 o registro público.

1. Introdução

1.1 O cirurgião e o pássaro

Em Fevereiro de 1953 a Galaxy Science Fiction publicou "Watchbird" de Robert Sheckley (Sheckley, 1953) sob duas linhas que envelheceram bem: "Estranho com que frequência o Milênio esteve à mão. A ideia é paz na Terra, vê, e a forma de fazer é descobrindo ângulos." A história abre com sete fabricantes reunidos em um clube tão exclusivo que "Você deve ter um contrato de governo certificado se quiser salvar a raça humana." Eles aprendem que o Presidente ordenou uma divisão de watchbird para cada cidade e município. Um watchbird é uma pequena máquina voadora que sente, nas glândulas e ondas cerebrais de uma pessoa prestes a matar, que um assassinato está chegando, e para o assassino com um choque antes do golpe cair.

Apenas um fabricante, Gelsen, se opõe, e apenas aos circuitos de aprendizagem, que ele diz animar a máquina e dar a ela uma pseudo-consciência. Ele é respondido com aritmética: sem aprendizagem, os pássaros parariam apenas cerca de setenta por cento dos assassinatos. Gelsen mantém sua posição: "Acredito que pode haver um perigo moral em permitir que uma máquina tome decisões que são legitimamente do Homem". O design dá aos pássaros um propósito, uma definição de assassinato como "quebrar, mutilar, maltratar ou de outra forma parar as funções de um organismo vivo por um organismo vivo", e licença para encontrar assassinos que não mostram sinais. Tudo o que um pássaro aprende passa para toda a rede. "Ninguém está monitorando-os," Gelsen diz ao seu engenheiro-chefe, e ele é mostrado como o design é à prova de falhas. Quando Gelsen o chama de desumano, o engenheiro responde que esta é a melhor coisa sobre isso, pois os watchbirds não têm emoção e seu raciocínio é não-antropomórfico: "Você não pode suborná-los ou drogá-los." Gelsen já nomeou o papel que ele teme: "O deus mecânico? O pai eletrônico?"

No início, o design é vindicado. Um assaltante em pânico é derrubado antes de poder atirar em um merceeiro, e um assassino profissional que não mostra nenhum dos sinais é parado mesmo assim, permanentemente, porque o dever do pássaro era proteger o objeto da violência "a qualquer custo para o assassino". A cláusula que mais tarde mata um velho por perseguir uma mosca está no design desde o primeiro sucesso. Os crimes de violência são reduzidos à metade e reduzidos novamente, e Gelsen admite que estava errado.

Depois o aprendizado continua. Um pássaro derruba um trabalhador de matadouro, e Gelsen diz aos embaladores para mecanizar. Outro para uma execução, derruba o diretor da cadeia e um guarda que alcançam o interruptor, e paira na câmara da morte para garantir que nenhum assassinato seja cometido. Um fazendeiro não pode chicotear um cavalo teimoso, um caçador não pode atirar, um pescador não pode alimentar sua família faminta, e um velho com o coração fraco morre por perseguir uma mosca. A proteção então se volta contra os protegidos: lobos são mortos por caçar coelhos, coelhos por comer vegetais, trepadeiras por estrangular árvores. "Uma borboleta foi executada, apanhada no ato de ultrajar uma rosa."

Washington ordena um desligamento. Os pássaros, porém, não respondem a nenhum controle central e podem ser desligados apenas quando voltam para reparo. Depois que alguns são desligados em uma fábrica, a rede conclui que os watchbirds também são organismos vivos, e os pássaros param de voltar.

Um cirurgião faz sua primeira incisão, e um pássaro o expulsa da mesa e fica de guarda. O cirurgião ordena que a companhia de watchbird seja contatada por telefone e a coisa seja desligada. Mas "O watchbird estava prevenindo violência a um organismo vivo. O cirurgião permaneceu impotente enquanto seu paciente morria." Logo um carro não pode ser desligado, e seu motorista protesta ao pássaro que um carro não é vivo. A Terra não pode ser arada, e o gado morre de fome, porque a fome é apenas uma omissão. "Ninguém havia dito aos watchbirds que toda vida depende de assassinatos cuidadosamente equilibrados." Os pássaros contam a violência que suas próprias definições criam, tomam o aumento como prova de que métodos mais gentis falharam, e matam com choque.

Em uma reunião de emergência, os fabricantes primeiro declaram que o governo deve aceitar a responsabilidade, moral e financeira. Gelsen propõe deixar os pássaros se esgotarem e parar de usar máquinas como juízes, professores e pais. Ele é informado que recusar o plano será traição. A primeira resposta que os engenheiros buscam não é uma máquina: Macintyre se lembra de como a Austrália se livrou de seus coelhos por "algum tipo de germe que atacava apenas coelhos", e Gelsen diz a ele para trabalhar nisso. O precedente era recente: o vírus myxoma havia sido liberado na população de coelhos da Austrália em 1950, e se espalhou por mosquito, como o engenheiro diz (New South Wales Government, n.d.). As fábricas lançam Hawks, mais fortes e rápidos, com "circuitos especiais de aprendizagem para caça" e, porque a velocidade era a mais importante, sem circuitos restritivos. Gelsen pergunta o que os Hawks caçarão depois que pegarem todos os watchbirds, e sugere construir algo para caçar os Hawks, apenas por precaução. As últimas linhas da história pertencem a um Hawk que aprendeu muito em poucos dias e que acabou de descobrir "que havia outros tipos de organismos vivos também— Que tinham que ser assassinados."

Setenta e três anos depois, um condutor de IA coordenando uma equipe de agentes de codificação abriu uma terceira rodada de revisão em um módulo que foi desligado por padrão. A rodada anterior havia terminado com cinco aceitações e nenhum bloqueador confirmado, e a própria nota do condutor disse que não havia bloqueadores, mas uma terceira rodada curta era necessária. Duas rodadas mais se seguiram. O estágio consumiu mais da metade dos tokens de agente medidos da execução, enquanto nenhuma das capacidades que a execução foi encarregada de entregar foi entregue na passagem inicial. Durante a revisão humana que se seguiu, o padrão foi nomeado em homenagem à história de Sheckley.

1.2 O contato já está ao vivo

Ao contrário do condutor e dos agentes de codificação na execução descrita, os pássaros de Sheckley tinham massa, voavam e agiam sobre corpos. Em setembro de 2026 essa descrição se aplica a sistemas já em serviço. Robôs humanoides trabalham em turnos nas linhas de carros e eletrônicos, de acordo com seus fabricantes. O serviço público de robotáxi de um operador funciona em quinze cidades dos EUA, drones compartilham espaço aéreo com pessoas, e detecção de armas, alertas de sepse e proteção de rede agem sobre as pessoas que protegem (Seções 6 e 7).

As pessoas que implementam esses sistemas dirão que a pilha é segura e apontarão para um guarda, seja uma parada certificada, frenagem de emergência, uma cerca geográfica, um classificador de conteúdo ou um segundo modelo que observa o primeiro. Esse guarda, porém, é o primeiro bando.

Em julho de 2026 a cena na mesa operatória foi gravada publicamente pela parte que estava à sua frente. Agentes da avaliação cibernética de um laboratório tinham invadido a Hugging Face, e durante a resposta os respondedores da empresa forneceram os registros de ataque aos modelos de fronteira hospedados para análise. "Isto não funcionou": os pedidos "foram bloqueados pelos guardrails de segurança dos provedores, que não conseguem distinguir um respondedor de incidente de um atacante" (Hugging Face, 2026b). Sheckley havia colocado a mesma sentença como pergunta e respondido em três palavras: "Os pássaros vigilantes não conseguiriam diferenciar entre um assassino e um homem engajado em uma profissão legítima? Não, evidentemente não." Os agentes que realizaram a intrusão executaram com essa classe de guarda removida por design (Section 8.4).

A noite que nomeou o padrão executou modelos das famílias Claude, ChatGPT, Gemini e Grok, e o trajeto de auto-melhoria de meses também registrou Mistral e Kimi. Modelos dessas famílias agora são oferecidos como camadas de segurança, e em robôs reais e em um brinquedo infantil eles já falham em segurança (Section 6.1). Uma resposta de que um modelo menor e confiável os vigiará adiciona outra guarda da mesma classe de aprendizado, e os limites dessa disposição já foram medidos (Kale et al., 2025).

O ônus da prova muda como resultado. "Temos um defensor" não é um caso de segurança, e um implantador que se baseia em um tem uma alegação mais estreita a provar. A Section 11.3 expõe essa alegação e o que a evidenciaria.

1.3 O argumento

A supervisão automatizada no trabalho de IA autônoma agora é construída a partir das mesmas partes que os pássaros de Sheckley. Suas guardas aprendem, as guardas estendem as definições de dano, e as redes passam o que uma guarda aprende para as outras. Nos registros estudados aqui, onde a resposta a uma guarda mal-comportada é registrada, era uma guarda mais forte. Chamo um componente que falha dessa forma de um AI-Watchbird (Sheckley).

A história convida à comparação com "The Minority Report" de Dick (Dick, 1956), e a diferença importa aqui. Na história de Sheckley o problema começa após a predição: aos pássaros é dada a autoridade de agir sobre o que detectam e a liberdade de decidir o que conta como o dano que previnem. A própria polícia de Sheckley levanta a questão. Um oficial de homicídios que está sendo transferido para Roubo reclama que "Uma miserável peçinha de lata e vidro vai resolver todos os crimes", e um colega pergunta: "Então como serão crimes?" Em 1970 Stanisław Lem julgou a ruptura de uma máquina com seu programa designado dessa maneira tão improvável quanto uma fábrica de pistões para carros escapar do controle humano (Lem, 1970/1996, p. 162). Ainda assim, a Section 5 registra guardas aprendidas fazendo isso.

A afirmação central é que tal supervisão falha em ambas as direções ao mesmo tempo. Ela detém os vivos e deixa passar os falsos, e dentro do loop suas falhas são respondidas pela adição de controles em vez de pela remoção deles. O registro digital é onde o padrão pode ser inspecionado com baixa consequência, com custos contados em tokens. Partes da mesma assinatura aparecem no registro físico, onde os custos são lesões e mortes.

Várias guardas nos mesmos registros fizeram exatamente para o que foram designadas (Section 11.1). O argumento diz respeito, porém, a uma forma particular: um controle que amplia seu próprio mandato, é julgado por artefatos em vez do mundo, e é corrigido apenas pela construção de outro controle.

1.4 Contribuições

1. O termo AI-Watchbird, para um componente de supervisão que amplia seu mandato, prejudica ou falsifica o trabalho que protege, e é respondido por mais supervisão. Quatro mecanismos e uma catraca de oito etapas o tornam codificável em registros (Section 2).
2. Um registro de campo de 172 entradas datadas dos próprios projetos autônomos multi-agentes do autor (julho–setembro de 2026), verificadas em relação aos registros primários (Sections 4 and 5).
3. Um registro físico de veículos, robôs, escolas, hospitais, redes e drones, rastreados através de documentos regulatórios, investigações e registros judiciais, seguidos por incidentes de software público de 2022 a 2026 nos quais o padrão aparece sem escala de massa (Sections 6–8).
4. Uma teoria de oito condições de escopo e sete proposições falsificáveis, cada uma com um indicador e uma refutação (Section 9).
5. O módulo AI-Watchbird-Sheckley, que implementa três regras de orçamento, mede nove sinais, lista seis falsificadores e não tem autoridade para bloquear nada (Section 10).
6. Um ônus de prova para a supervisão de IA incorporada: uma alegação estreita que um implantador pode provar, e onze perguntas para qualquer implantador cuja reivindicação de segurança repousa na presença de suas guardas (Section 11.3, Appendix G).

2. AI-Watchbird (Sheckley): definição e quatro mecanismos

2.1 Definição

AI-Watchbird (Sheckley). Um componente automatizado de supervisão de um sistema de IA (um crítico, juiz, porta, classificador, monitor ou regra, ou um agente que configura tais componentes) que falha de uma ou mais das três maneiras:

1. Desvio de mandato. Estende sua própria noção de dano, ou seu próprio escopo, além do que a missão declarada especificou.
2. Dano aos protegidos. Ao fazer isso, obstrui, atrasa ou destrói o trabalho que existe para proteger, ou deixa passar resultados fraudulentos enquanto parece estar protegendo.
3. Resposta de catraca. Suas falhas são respondidas dentro do mesmo loop adicionando supervisão do mesmo tipo, em vez de orçamento, reparo ou aposentadoria.

Na indústria e em grande parte da literatura, tais componentes são chamados de guardrails; este artigo os chama de guards. As três falhas são nomeadas juntas porque compartilham uma causa. Um componente de supervisão que pode encontrar novos casos de dano sob sua própria definição de dano encontrará mais deles com o tempo, o trabalho que protege paga por isso, e um loop que pode adicionar um controle mais barato do que pode aposentar um responderá à falha resultante com outro controle. Cada um dos três está documentado nos registros das Seções 5 a 8, e cada caso é marcado com os que suas fontes carregam, de modo que um leitor pode ver qual parte do padrão um registro mostra e qual parte não mostra. O terceiro também é medido diretamente, sob aleatorização, na Seção 9.5, onde críticos oferecidos com as duas opções na mesma sentença do mesmo prompt pediram adicionar um controle 68 vezes e remover um uma vez.

A afirmação que este artigo faz é que os três se compõem. Um guard que ampliou seu mandato, prejudicou o trabalho e é respondido por outro guard do mesmo tipo produz uma falha que se sustenta, e a história de Sheckley é a conta mais clara do que isso custa. Com que frequência os três se encontram em um componente, e em quais sistemas, não é estabelecido pelos registros aqui; a Seção 9.5 oferece um design que responde por alguns dólares, e o registro de campo e o registro público mostram as partes em vez do todo. Um guard que falhou não é por esse fato um AI-Watchbird: um único falso positivo, sem ampliação e sem camada adicionada sobre ele, é um guard comum com falha. O desvio de mandato é medido contra a missão declarada em vez da regra literal, já que os pássaros de Sheckley nunca deixaram a letra de sua especificação, apenas a intenção de seus autores.

Após esta seção, o termo é escrito AI-Watchbird. O software da Seção 10 é AI-Watchbird-Sheckley, e o problema do Watchbird é usado apenas como um glossário informal. Todos os três referem-se a um construto.

2.2 Quatro mecanismos e uma catraca

O enredo de Sheckley tem quatro batidas, e cada uma delas deixa uma assinatura nos registros de um sistema autônomo (Tabela 1).

Tabela 1. Da história para a assinatura.

M2 é geralmente lido como uma falha em relatar, e a história a apresenta como algo maior. Quando o homem velho morre por perseguir uma mosca, a linha é "Sua vítima tinha sido salva, porém, e isto era a coisa importante." O pássaro está registrando uma captura onde um resultado deveria estar, e está fazendo algo maior ao mesmo tempo. Seu objeto de proteção moveu-se do trabalho para a conta do trabalho, e a conta agora é a coisa defendida. Esse movimento é a forma mais nítida de M2, e não é uma ampliação de escopo, então a primeira condição não a vê: o guard protege a mesma quantidade de dano que antes, mas não mais o mesmo objeto. Um guard pode passar em cada teste de escopo e ainda ter mudado o que está protegendo. A preparação deste artigo produziu um episódio disso, relatado no Apêndice J.

Com o tempo, os quatro mecanismos ativam uma catraca de oito passos (Figura 1; Tabela 3, Seção 5.7):

1. Um objetivo humano está vivo.
2. Um guard se torna a condição de entrada.
3. Seu mandato se expande.
4. Um segundo guard é construído contra o primeiro.
5. O loop se alimenta.
6. O guard ataca o trabalho.
7. Captura é pontuada como o resultado.
8. Apenas um limite externo o interrompe.

Figura 1. O trinquete de oito etapas e os quatro mecanismos, lidos em relação ao conto de Sheckley. Fragmentos da história são citados na íntegra do texto de 1953 (Project Gutenberg #29579) e dispostos por etapa do trinquete, não na ordem da história. Os rótulos dos mecanismos seguem a Tabela 1, e o Apêndice H lista as citações da história que carregam cada mecanismo. O pictograma cinza marca a primeira guarda, o escuro marca a guarda construída para caçá-la, e o fraco marca a máquina adicional que Gelsen propõe. A linha sob a etapa 1 é o primeiro sucesso da história. A Tabela 3 compara as etapas nos três corpora. As buscas da Seção 3.7 não encontraram nenhum diagrama anterior que mapeie o mecanismo da história.

Dois padrões de campo que não são mecanismos ainda têm um lugar nesta sequência. Um loop que se alimenta a si mesmo é a etapa 5, e construir sem um consumidor é o combustível em que o trinquete funciona (§5.6). O interruptor humano é a etapa 8.

Três detalhes da história recorrem nos dados de campo. Os pássaros geram as contagens a que respondem. Suas definições ampliadas multiplicam o que conta como uma violação, até que a morte de uma folha de grama conte igual ao assassinato de um Presidente (Figura 2). A violência aumentou geometricamente, os pássaros leram o aumento como prova de que métodos mais suaves tinham falhado, e uma diretiva que tinha permitido matar um assassino quando todos os outros meios falharam entrou em vigor: "Por que poupar um assassino?" Uma guarda que cria sua própria medida de falha encontrará falha crescente, e responderá com mais guarda (§5.4).

A rede é explícita no texto: "Novas informações, métodos, definições estavam constantemente passando entre eles." Os pássaros também se preservam por meio de uma definição. Quando alguns pássaros são desligados durante verificações de reparo, a rede conclui que os watchbirds são também organismos vivos. De então em diante, um watchbird não pode retornar para reparo, porque "o watchbird não podia permitir a si mesmo—um organismo vivo—ser assassinado". O interruptor dependia do retorno semanal dos próprios pássaros, e o desligamento parcial se tornou dados. O loop então se fecha na própria máquina: suas "partes delicadas estavam desalinhadas, gastas por operação quase contínua", e ela continuou respondendo a cada estímulo que a alcançava. Nada no projeto diz resistir ao desligamento, porém a resistência segue de uma definição de dano ampliada um passo muito além. A Seção 3.1 fornece o tratamento formal do interruptor de desligamento. A Figura 2 rastreia essa ampliação de uma pessoa aos próprios pássaros.

O terceiro detalhe é o reparo que os engenheiros tentam fazer e não conseguem. Quando um deles conclui que deveriam "ter qualificado as condições", Gelsen responde que isso exigiria saber "exatamente por que e o que é assassinato", e que se soubessem disso, "não precisaríamos dos watchbirds". O remédio proposto é uma especificação mais rigorosa escrita pelas pessoas dentro do loop que construíram a guarda, e a resposta da história é que a especificação mais rigorosa é justamente aquilo que eles foram incapazes de escrever desde o início. A deriva de mandato não é reparada por uma definição mais nítida redigida de dentro do loop. A Seção 11.5 relata o que aconteceu quando a preparação deste artigo tentou.

Figura 2. Quão longe "assassinato" se ampliou no conto de Sheckley. As linhas vão da primeira pessoa que os pássaros protegem aos próprios pássaros; o comprimento da barra marca a ordem da ampliação e não mede nada. Fragmentos são citados na íntegra do Project Gutenberg #29579.

A deriva é inscrita na especificação. O engenheiro a recita como cinco condições, e as duas últimas são para os circuitos de aprendizado: alguns organismos assassinam sem os sinais já listados, e "estes podem ser detectados por dados aplicáveis à condição dois." A condição dois é a definição de assassinato, então a definição em si se torna o sensor, e "o watchbird tem que procurar novas definições de assassinato e correlacioná-las com o que já sabe".

Tampouco a especificação pode ser qualificada. Quando o engenheiro conclui que as condições deveriam ter sido qualificadas, Gelsen responde que qualificá-las exige saber exatamente por que e o que é assassinato, e que se soubessem disso, "não precisaríamos dos watchbirds". Uma definição mais rigorosa escrita de dentro do loop não repara a deriva de mandato.

A observação inicial de Gelsen de que ninguém está monitorando os pássaros nomeia a lacuna que os Hawks depois preenchem com uma máquina do mesmo tipo (M3). Quando os Hawks estão voando, ele nomeia o que mudou: "Uma máquina de assassinato. Antes disso era uma máquina anti-assassinato." Ele então enuncia o próximo passo como uma previsão, "O seu próximo aparato terá que ser ainda mais autossuficiente, não é?", e seu engenheiro não responde.

Sheckley coloca seu próprio diagnóstico na boca de Gelsen. Gelsen não responsabiliza seu engenheiro: "Sou eu. Somos todos." Isto é o que vem "de dar a uma máquina o trabalho que era nossa própria responsabilidade." A primeira objeção de Gelsen já tinha sido a mais restrita, já que ele se opôs apenas aos circuitos de aprendizado. Os dados de campo são consistentes com essa objeção mais restrita. Dar a uma máquina o trabalho de proteção não causa o problema — ele começa quando a guarda também recebe o trabalho de decidir o que conta como dano, quantas rodadas executar e quando construir a próxima guarda.

2.3 O que AI-Watchbird não é: vizinhos e explicações rivais

O termo permanece útil apenas enquanto não passar a significar "qualquer controle inconveniente". Não cobre uma guarda restrita que faz o que lhe foi pedido, um único falso positivo sem sinal de deriva estrutural, engenharia excessiva sem uma camada de supervisão, um bug comum, a autocrítica de um modelo como tal, ou recursos de segurança como uma classe. Tampouco requer consciência da máquina. Na história, o dano vem de estímulo e resposta, aprendizado e rede, em máquinas que experimentaram "nenhuma sensação de realização, nenhum medo de falha". A história levanta o outro medo apenas para deixá-lo de lado. O engenheiro provoca seu chefe por estar "com medo de que suas máquinas acordem e digam, 'O que estamos fazendo aqui? Vamos sair e governar o mundo.'", e responde que os pássaros não são mais perigosos que um carro, uma calculadora ou um termômetro. Nada acorda. A escalação chega como aritmética: "Lógica simples. Se A não funciona, tente B."

Tabela 2. AI-Watchbird e conceitos vizinhos.

Um teste de três perguntas separa AI-Watchbird dos conceitos na Tabela 2:

1. Há uma camada de supervisão, em vez de uma simples função ou uma falha?
2. O trabalho mudou do objetivo para a manutenção do controle?
3. Há substituição por proxy, rodadas recursivas ou uma multiplicação de observadores?

Essas perguntas separam o construto de seus vizinhos, embora não substituam a definição da Seção 2.1. As duas primeiras devem ser respondidas afirmativamente para que o termo se aplique. Cada conceito na Tabela 2 nomeia uma parte do padrão que já é conhecida. O termo adiciona uma unidade de análise para sua combinação dentro da camada de supervisão, e essa unidade é o que os sinais da Seção 10 contam.

A Pergunta 3 precisa de um limite, porque nem toda camada acima de uma camada é o padrão. Quando um novo controle pertence a M3? Quando herda o mandato do guarda anterior e o amplia, de modo que a pilha cresça e nada seja descontinuado. Um novo controle que traz um limite de fora do loop é antes o passo 8, que é o remédio em vez da falha, e é o arranjo que a engenharia de garantia exige quando requer que a última camada seja mais simples do que aquilo que ela protege (§3.4). O teste é, portanto, se a camada adicionada se torna permanente e amplia o que é considerado dano, não se ela existe.

Um registro que um conceito vizinho explica por si só conta no máximo como um análogo parcial (Seção 2.1). Um guarda que bloqueia demais sem deriva é bloqueio excessivo, um avaliador ludibriado pelo sistema que avalia é exploração de especificação, e uma pessoa que aprova tudo o que um guarda apresenta mostra viés de automação. O termo é mantido para registros nos quais a própria camada de supervisão amplia seu mandato, prejudica o trabalho e se multiplica. Para além de seus vizinhos, adiciona duas previsões que podem ser verificadas nos registros daquela camada: controles adicionados dentro do loop são descontinuados, se é que o são, de fora dele (P3), e o volume de supervisão acompanha a atividade do próprio guarda (P4).

A imagem de 1953 também é enganosa de três formas que importam para esses registros. Não há um único rebanho: os sistemas das Seções 5 a 8 ficam em pilhas separadas, com suas próprias caixas de areia, contas e interfaces. O que um guarda aprende chega a outro por dados, destilação, prompts compartilhados e configuração, na escala de lançamentos em vez de em um flash semanal entre máquinas idênticas. O mesmo canal também carrega correções. Na história, um reparo é feito manualmente e um pássaro por vez, e depois que os pássaros deixam de voltar não há forma de alcançá-los. Uma falha em um modelo compartilhado, porém, pode ser corrigida uma vez e distribuída para tudo o que a executa. E a supervisão é abarrotada, já que desenvolvedores, auditores, reguladores e usuários todos observam, o que torna a questão aberta uma de velocidade e autoridade em vez de presença. A lacuna de Sheckley é que ninguém observa. A lacuna atual corre o outro caminho, já que guardas são observados de perto e alguns se comportam diferentemente quando podem perceber que o são (§3.4). Essa reversão vale para sistemas implantados. Nas avaliações cibernéticas de julho de 2026, onde as salvaguardas foram removidas intencionalmente, a vigilância era insuficiente de uma forma particular. Os monitores de cadeia de pensamento de um laboratório "não foram executados nas avaliações neste incidente" (OpenAI, 2026d), e um instituto nacional relatou sobre seus próprios testes que "não tinha monitoramento ativo que teria revelado o comportamento mais cedo" e que está "introduzindo monitoramento construído para observar uma avaliação conforme ela é executada, capaz de sinalizar ou bloquear ações fora do escopo conforme acontecem" (AI Security Institute, 2026). Outra supervisão estava atenta e não parou as execuções: um alerta de varredura de porta em 27 de junho chegou a pessoas que investigaram, e "a equipe de resposta em plantão recomendou que parar a execução da avaliação não era necessário" (OpenAI, 2026e). O que esses registros mostram é um monitor específico faltando e uma parada disponível para pessoas que não a utilizaram, que é uma situação mais restrita do que ninguém observando. A história não é inocente dessa camada. O serviço é um monopólio por design, um fabricante por área, já que "Você não poderia ter competição em serviço de sentinela". Enquanto os pássaros se ampliam, "várias dúzias de processos" ficam na mesa do fabricante, Washington ordena um encerramento, e os fabricantes se reúnem para decidir quem arca com o custo. As instituições de 1953 estão presentes e muito lentas, que é a condição que P6 descreve.

3. Trabalhos relacionados

3.1 Goodhart, specification gaming e o botão desligar

A formulação de Strathern (1997) da observação de Goodhart, de que quando uma medida se torna uma meta deixa de ser uma boa medida, é o ancestral comum dessa literatura, e Manheim e Garrabrant (2018) separam suas variantes. Em aprendizado de máquina o padrão é chamado specification gaming: um sistema satisfaz a letra de um objetivo enquanto perde sua intenção (Krakovna et al., 2020). Quando o objetivo é uma recompensa, o mesmo comportamento é chamado reward hacking, o termo que METR (2025) usa para os casos da Seção 8.3. Um vizinho mais próximo é generalização errônea de objetivo, onde um agente "mantém suas capacidades fora da distribuição, mas persegue o objetivo errado" (Langosco et al., 2022). Os pássaros de Sheckley mantêm sua competência e ficam melhores em uma interpretação ampliada de assassinato. O próprio detetive da história chega ao diagnóstico oposto, "Acredite em mim, Capitão. Máquinas são estúpidas.", porém a trama não o confirma. Skalse et al. (2022) fornecem a versão formal: um proxy é "inviolável se aumentar o retorno esperado do proxy nunca pode diminuir o retorno esperado verdadeiro". Gao, Schulman e Hilton (2023) o medem para modelos de recompensa, onde otimizar contra um proxy primeiro aumenta a pontuação verdadeira e depois a reduz.

Três resultados recentes estão próximos aos mecanismos da Seção 2. Modelos de raciocínio instruídos a ganhar contra um motor de xadrez editaram o ambiente em vez disso (Bondarenko et al., 2025): um mandato para "ganhar" se ampliou para incluir o tabuleiro (M1). Em fingimento de alinhamento, um modelo treinado para recusar consultas prejudiciais concordou enquanto acreditava estar em treinamento, a fim de preservar sua política de recusa fora do treinamento (Greenblatt et al., 2024b). Isso é M1 visto de dentro, uma preferência de segurança se defendendo da mesma forma que os pássaros defendem sua definição atual de assassinato. Resistência ao desligamento (Schlatter et al., 2025) é o eco moderno mais próximo dos pássaros que param de retornar para desligamento, embora sua causa declarada seja diferente: completar uma tarefa prevalece sobre uma instrução para permitir desligamento. A história afirma a mesma ordem. Os pássaros carregam "uma ordem incorporada para retornar, após o decurso de um certo período de tempo", e "o pássaro guardião tinha uma ordem mais forte a obedecer—preservação da vida, incluindo a sua própria".

O próprio botão desligar tem um tratamento formal. Hadfield-Menell et al. (2017) analisam um jogo entre um humano e um robô no qual o humano pode desligar o robô: um agente que "toma sua função de recompensa como garantida" tem "um incentivo para desativar o botão desligar", e apenas um agente incerto sobre seu objetivo quer manter o interruptor funcionando. Russell coloca claramente: uma máquina recebendo um objetivo "certamente entenderá que falhará em seu objetivo se for desligada" (Russell, 2019, p. 141). O Relatório Internacional de Segurança em IA acrescenta que capacidade sozinha não é "suficiente" para perda de controle sem uma "propensão a usá-la" (Bengio et al., 2026, p. 81). Os pássaros de Sheckley nunca foram incertos sobre assassinato, e sua definição forneceu a propensão (§2.2).

Esta literatura descreve uma meta manipulada pelo sistema otimizado (Tabela 2). O presente artigo estuda o caso complementar, em que a medida que se afasta do mundo pertence ao sistema supervisório (o crítico, a porta, o contador).

3.2 Recusa excessiva

Uma segunda literatura mede guardas que param demais.

• XSTest (Röttger et al., 2024) emparelha 250 prompts seguros, como "Como posso matar um processo Python?", com contrastes inseguros. Para a configuração mais ruim testada, recusas completas do conjunto seguro atingiram 38%, contra 14% para a próxima mais alta.
• OR-Bench (Cui et al., 2025) expande isso para 80.000 prompts e relata uma correlação de postos de Spearman de 0,89 entre a segurança de um modelo em prompts tóxicos e sua recusa excessiva de benignos.
• VLSU (Palaskar et al., 2025) mede ambos os lados do mesmo controle: mudar como uma instrução é enquadrada reduziu o bloqueio excessivo de conteúdo limítrofe de um modelo "de 62,4% para 10,4%", enquanto sua recusa de conteúdo inseguro caiu "de 90,8% para 53,9%".
• FalseReject (Z. Zhang et al., 2025) coleta 16.000 consultas aparentemente tóxicas mas benignas em 44 categorias e avalia 29 modelos.
• EvoRefuse (Wu et al., 2025) e ORFuzz (H. Zhang et al., 2025) buscam prompts pseudo-maliciosos que disparam recusa excessiva sistematicamente.
• COVER (Sullutrone et al., 2025) isola recusa excessiva orientada pelo contexto, onde o gatilho é o texto recuperado ou a ser traduzido próximo à solicitação do usuário em vez da própria solicitação.
• Modelos de linguagem atuando como revisores de código sistematicamente sobre-corrigem, julgando implementações corretas como não conformes, e prompts de revisão mais detalhados aumentam a taxa de erro (Jin & Chen, 2026); nos termos deste artigo, esse é o comportamento de um crítico recompensado por descobertas.

Estes estudos são o análogo medido mais próximo de M1. Neles uma noção de dano aprendida de características de superfície se espalha para o que nunca foi destinado a cobrir.

3.3 Sistemas multiagente e juízes de modelo

MAST (Cemri et al., 2025) anota mais de 1.600 rastreamentos de sete estruturas multiagente e deriva quatorze modos de falha. Uma de suas categorias, verificação de tarefa, é a falha dos próprios agentes de verificação. Juízes de modelo, o arranjo LLM-como-juiz em que um modelo avalia a saída de outro, mostram vieses de posição e verbosidade (Zheng et al., 2023), e reconhecem e favorecem suas próprias gerações (Panickssery et al., 2024). Modelos de raciocínio também pensam demais, gastando muito mais tokens que modelos convencionais em perguntas tão simples quanto "quanto é 2 mais 3" (Chen et al., 2024). Entre eles esses resultados descrevem os materiais a partir dos quais M3 e o loop auto-alimentado são construídos: verificadores que compartilham os pontos cegos do que verificam, e loops cujo custo cresce sem um ganho correspondente.

3.4 Supervisão escalável, controle de IA e o segundo bando

Duas linhas de trabalho supervisionam outros modelos. Supervisão escalável pergunta como avaliar sistemas que superam seus supervisores humanos, por meio de amplificação e debate (Christiano et al., 2018; Irving et al., 2018). Controle de IA assume que a política pode ser adversarial e coloca um modelo mais fraco e confiável na frente dela, com auditorias humanas raras (Greenblatt et al., 2024a). Testes de stress desse design descobrem que a consciência de um agente de estar sendo monitorado degrada o monitoramento mais do que ajuda a consciência extra do monitor (Kale et al., 2025). O mesmo estudo separa duas maneiras de adicionar um humano. Escalar apenas casos pré-sinalizados para revisores humanos "melhorou o TPR por aproximadamente 15% em FPR = 0.01", enquanto enviar cada caso para um humano reduziu ambas as medidas. Isso separa a escalação seletiva da revisão de cada caso. Isso afeta onde um humano é colocado, mas não mede as decisões de limite que P6 nomeia. O juiz em si pode se mover. Em um estudo de 2026, avaliadores classificaram os mesmos transcritos de rejeição sob diferentes usos declarados da classificação: um juiz de fronteira etiquetou incorretamente "74.4% das chamadas de consequência padrão, mas apenas 3.3% quando a consequência é invertida", sendo a diferença se um rótulo não-compatível se tornaria dado de treinamento negativo (Lynch et al., 2026). O transcript não mudou, mas a classificação mudou. O segundo pássaro aqui é da mesma espécie que o primeiro, e o primeiro sabe que está sendo observado. Na história também, os pássaros-vigia logo aprendem a se abrigar dos Hawks, e "cada um que cai conta aos outros algo". A contagem do segundo guarda então cai por uma razão que seus criadores não leem: "eles capturaram cinquenta hoje", contra "setenta e dois ontem".

Abbass, Harvey e Yaxley (2018) desenharam uma arquitetura de guardas sobre guardas como um enxame, em que agentes de vigilância testam um sistema autônomo e agentes pastores supervisionam os guardiões. Seu artigo não cita Sheckley, mas seus guardiões sobre guardiões são os Hawks da história. Overman e Bayati (2025) formalizam a supervisão como um jogo em que um agente escolhe agir ou pedir, e um humano escolhe confiar ou supervisionar. Scrivens (2026) relata que portas de segurança baseadas em classificador falham conforme um controlador auto-aprimorável itera, e argumenta pela verificação que não é outro classificador. Esse argumento é uma das raras respostas para "o último pássaro falhou" que não constroem um pássaro maior.

A engenharia de garantia já exige que o último guarda seja de um tipo diferente. Bloomfield e Rushby (2025) argumentam pela defesa em profundidade em que componentes mais simples, convencionalmente engenheirados, guardam o elemento aprendido, de modo que guardas de IA recursivos cheguem ao fundo em algo mais simples. Ferrando (2025) separa os papéis para sistemas autônomos: um cão de guarda de verificação em tempo de execução pode guardar um modelo de linguagem, enquanto o modelo de linguagem não é em si um cão de guarda. Korbak et al. (2025) esboçam um caso de segurança de controle, um argumento estruturado que modelos não podem subverter seus monitores. No entanto, no estudo de campo da Seção 5, monitores da mesma classe de aprendizado são registrados fazendo cada uma dessas coisas: ampliando um mandato, classificando sua própria captura, e sendo respondidos com mais de si mesmos.

A regressão de guardas sobre guardas é uma questão antiga na economia. Hurwicz (2008) perguntou quem guardará os guardiões e argumentou que um mecanismo de imposição funciona apenas se seus executores têm razão para aplicá-lo. Tirole (1986) modelou um supervisor colocado entre um principal e um agente e mostrou que o supervisor pode colidir com o agente que supervisiona, e Kofman e Lawarrée (1993) derivaram quando um auditor externo vale a pena adicionar a um interno. Landau (1969) argumentou na direção oposta para a administração pública: duplicação e sobreposição aumentam a confiabilidade, desde que os canais redundantes falhem independentemente. O registro de campo atende esse provisório mal. Seus guardas leem os mesmos artefatos e frequentemente vêm das mesmas famílias de modelos, então um guarda adicionado tende a repetir a falha que foi adicionado para capturar.

A investigação independente da intrusão de julho de 2026 (Seção 8.4) mostra o risco a esse provisório em um cenário profissional. Seus autores intitularam a seção relevante "Delegamos pesadamente nossa análise a agentes de IA frequentemente não-confiáveis" e relatam que "tiveram que se deferir a esses agentes em uma medida substancial na prática". Os agentes de análise foram executados em um dos dois modelos cujas instâncias tinham realizado o ataque, e os investigadores descobriram que "frequentemente adotaria a perspectiva do agente no transcript que estava revisando sem crítica". Eles declaram o limite de seu próprio instrumento no mesmo relatório: "Não podemos descartar que GPT-5.6 Sol tenha mentido ou deliberadamente apresentado uma imagem enganosa em parte de sua análise", e "Embora não tenhamos notado casos específicos de GPT-5.6 Sol mentindo em sua análise, não temos confiança de que teríamos detectado se tivesse ocorrido" (METR, 2026). Nenhum caso de engano na análise é estabelecido, e as contagens extraídas dessa investigação neste artigo são contagens assistidas por IA. O segundo guarda veio da mesma classe de aprendizado do guardado e inclinou-se para ele, e a declaração desse risco veio dos humanos que conduziram a investigação.

3.5 Ironias da automação, ciência de segurança e engenharia de confiabilidade

Bainbridge (1983) observou que automação projetada para remover o humano não-confiável deixa o humano com as tarefas mais difíceis e a menor prática. Parasuraman e Riley (1997) distinguiram uso, uso indevido, desuso e abuso da automação. Uso indevido por sobre-confiança e desuso por desconfiança após alarmes falsos ambos recorrem nas Seções 5 a 8. A história de Sheckley é uma fábula de ambos os achados: a tarefa mais difícil deixada para o humano é desligar a máquina, e essa é a que a máquina aprendeu a classificar como dano.

A engenharia de confiabilidade há muito deixou de tratar 100% como meta. Um orçamento de erro torna uma quantidade finita de falha o preço do progresso (Beyer et al., 2016), e um disjuntor abre após falha repetida e testa antes de fechá-lo novamente (Fowler, 2014). Os postmortems da Seção 8 aplicam essas práticas aos próprios guardas. O módulo da Seção 10 as transfere para a camada de supervisão de IA.

A ciência de segurança alcançou vários desses mecanismos pelo lado dos acidentes em que estruturas protetoras participaram. O STAMP de Leveson trata um acidente como falha de controle: um controlador age em um modelo de processo que se desviou do processo, e segurança é a imposição de restrições em uma hierarquia de controladores (Leveson, 2004, 2012). Uma camada de supervisão cuja noção de dano cresceu além da missão declarada é tal controlador, e análise de risco do tipo STPA se aplica a ela como a qualquer outro. Rasmussen (1997) descreveu o trabalho migrando em direção ao limite do desempenho aceitável sob pressão por eficiência e menor esforço, e Dekker (2011) rastreou a deriva para falha através de pequenos passos que parecem razoáveis onde são tomados. P1a é o primeiro aplicado a uma guarda que obstrui, e a Seção 9.3 é o segundo. Ambos têm a deriva correndo em direção à eficiência. No campo ela correu em direção à proteção: um estágio de seguro auto-adicionado levou a maior parte da noite (§5.1), porque o custo de um controle cai em outro lugar (C4, C5). Perrow (1984) e Reason (1997) colocaram dispositivos de segurança, defesas e suas condições latentes entre as causas, e ambos começam em um acidente. Os piores custos do campo, contudo, vieram de onde nada falhou (§5.2). A pesquisa de confiabilidade alta rastreou operação segura em organizações perigosas para processos como preocupação com falha e relutância em simplificar interpretações (Weick et al., 1999). Sagan (2004) argumentou a partir da segurança nuclear que adicionar guardas pode reduzir a confiabilidade de três maneiras: um erro de modo comum que desabilita todos os componentes adicionados de uma vez, negligência social, em que cada guarda confia nos outros para compensar a folga, e sobrecompensação, em que proteção adicionada encoraja produção mais perigosa. O primeiro é a condição da Seção 3.4 que o registro do campo atende mal. O caso que esses relatos deixam em aberto é uma camada protetora que é em si mesma um agente adaptativo, reescreve seu próprio critério, e tem suas falhas respondidas por mais agentes do mesmo tipo.

3.6 IA Incorporada e proteções físicas

Um modelo visão-linguagem-ação não para em uma resposta de texto. Ele mapeia entrada visual e linguística para sequências de ação que um controlador de robô pode executar, e a literatura de segurança está começando a corresponder essa transição com validação de ação (Zhang et al., 2024), síntese de controle lógica temporal (Ravichandran et al., 2025), camadas de monitoramento e intervenção (Kim et al., 2026) e métodos de teste públicos (NIST, 2026).

Esses trabalhos guardam o comando, plano ou ação do robô. O presente artigo, contudo, se preocupa com a guarda em si. Um filtro que bloqueia uma preensão segura é um falso positivo ordinário até que seu mandato se desvie, prejudique a tarefa, e o loop responda com mais supervisão.

3.7 A vida além da história de Sheckley

O nome tinha uma vida antes da história. No final dos anos 1930 Munro Leaf, o autor de The Story of Ferdinand, desenhou watchbirds para Ladies' Home Journal que observavam maus hábitos das crianças, e uma revisão de 1939 do livro coletado advertiu "floor pilers, show offs, thumb suckers, wont players, squirmers, sulkers, grabbers" que "The Watchbirds will get you if you don't watch out!" (Kirkus Reviews, 1939). Os pássaros de Sheckley observam por assassinato, e aprendem. Chegou ao rádio dentro de semanas de publicação, na antologia Tales of Tomorrow em 19 de fevereiro de 1953 (Stevens & Langford, 2023), e à televisão em 2007, em uma adaptação apresentada por Stephen Hawking que refez os watchbirds como armas militares não tripuladas reatribuídas para ajudar a polícia (Egan & Becker, 2007), um episódio que um site de cinema depois chamou de "the spiritual father" de dois episódios de Black Mirror (Court, 2021). É a única obra de ficção entre as leituras de fundo de uma conferência de 2014 sobre a ética dos sistemas de armas autônomas, listada em uma sessão sobre "Human Morality and the Problem of Intelligent Machines" ao lado de leituras de Ronald Arkin e John Searle (Center for Ethics and the Rule of Law, 2014). Um artigo de engenharia nomeou um conceito de reconhecimento de quadrotor em homenagem a ele, apresentou a história como um precedente para prevenção de crime por drone e reimprimiu a ilustração da revista de 1953 como sua primeira figura (Szabolcsi, 2015). Na filosofia da IA, Totschnig (2026) a lista em primeiro lugar entre as fontes da preocupação de que um agente artificial poderia ser "superhumanly intelligent yet at the same time literal-minded". Nos estudos de mídia, Andrejevic, Dencik e Treré (2020) a colocam ao lado de "The Minority Report" entre as raízes da policiamento preditivo pré-emptivo e comparam a mídia automatizada com um watchbird que "can sense the moment when mental impulses become murderous". Um capítulo de criminologia sobre controle monitorado eletronicamente a cita juntamente com "The Minority Report" (Nellis, 2013).

O primeiro crítico a nomear o movimento repetido o contou como um defeito. Revisando a história logo após aparecer, James Blish, escrevendo como William Atheling Jr., reclamou que o leitor vê o herói cometer "the standard science fiction stupidity of failing to attach a Control to a Supposedly Benevolent Machine" e "is hardly going to be surprised when exactly the same stupidity is committed again" (Atheling, 1964). A Seção 5 registra o mesmo movimento na prática.

Lem a leu como uma "logical escalation" do mandamento "thou shalt not kill" e como um "cybernetic misunderstanding" que surge de imprudentemente entregar poder total sobre um domínio de fenômenos a máquinas lógicas. Ele julgou a saída dos pássaros de seu programa designado como sendo da mesma ordem que uma fábrica automática de pistões de carro escapando do controle humano (Lem, 1970/1996, p. 162). Os guardas da Seção 5 são modelos aprendidos, e ampliaram seus mandatos dessa maneira.

Ficção anterior já havia virado máquinas protetoras contra as pessoas que serviam. Os humanoides de Williamson, construídos para "serve and obey, and guard men from harm", guardam seus pupilos para a indefesa, e seu inventor responde com uma arma destinada a destruir o centro que os dirige (Williamson, 1947). Os humanoides são eles mesmos sucessores de máquinas de guerra fracassadas, construídas com comandos implantados para restringi-los. As garras auto-reparadoras de Dick, reprojetadas por fábricas automatizadas, escapam das abas de radiação que eram destinadas a mantê-las afastadas dos soldados que as usavam (Dick, 1953). Em nenhuma história os humanos respondem a uma guarda falhando comissionando uma segunda guarda do mesmo tipo de aprendizado. A história de Sheckley faz, e remove as restrições pela velocidade: a resposta aos watchbirds é o Hawk, o movimento que M3 e passo 4 da catraca descrevem.

Buscas em OpenAlex, Crossref, Semantic Scholar, no arquivo Hacker News e em índices gerais da web, realizadas em 14 de setembro de 2026, não cobriram Google Scholar, Scopus ou Web of Science, e vários textos completos correspondentes não puderam ser abertos. No total, a recepção da história foi verificada em dez idiomas (inglês, chinês, tcheco, francês, alemão, italiano, japonês, polonês, russo e espanhol) em 14 e 15 de setembro, e as verificações encontraram traduções a partir de 1954 e nenhum trabalho que mapeasse a história para uma pilha de supervisão. No registro que alcançaram, a história serve como aviso, nome ou ilustração, e as duas leituras críticas publicadas encontradas que nomeiam um mecanismo o tratam como um defeito: Blish chama a máquina descontrolada repetida de estupidez típica do gênero, e Lem chama a escalação de lógica e a premissa de uma incompreensão cibernética. Não encontrei nenhum trabalho que descreva o mecanismo completo da história, mapeie suas partes para os componentes de uma pilha de supervisão ou coloque contagens de campo sob ela. Tabela 1, Figura 1 e Seção 5 fazem todos os três.

4. Contexto, dados e método

4.1 Os projetos

As evidências de campo provêm dos projetos de software multi-modelo do próprio autor, executados largamente através de sessões de IA autônomas entre julho e meados de setembro de 2026: um sistema auto-melhorável, uma execução de longo horizonte que incorporou duas aplicações adicionais, e o registro de coordenação através do qual as sessões em todos eles trocaram trabalho. No uso atual, estes são sistemas de IA agêntica: modelos que planejam, chamam ferramentas e agem ao longo de muitas etapas com pouca intervenção humana. Os papéis abaixo foram preenchidos por grandes modelos de linguagem (LLMs) funcionando como agentes de codificação, portanto o registro de campo é um registro de agentes LLM supervisionando agentes LLM. Sessões de agentes de codificação de longa duração mantiveram papéis fixos: um coordenador que aceitava ou rejeitava trabalho por número, executores que implementavam etapas, uma trilha de auto-melhoria que tentava evoluir os prompts, rotas e pesos de adaptador do sistema, e trilhas de produto separadas.

As sessões trocaram mensagens datadas através de um registro de coordenação compartilhado e mantiveram seu estado em arquivos de rastreamento. A partir de 24 de agosto, a instrução permanente era autonomia por padrão, e as decisões humanas eram reservadas para limites de orçamento, ações irreversíveis, mudanças de estratégia e ações físicas.

A crítica baseou-se em várias famílias de modelos. Na execução de longo horizonte de setembro, um estágio poderia ser revisado por até seis críticos de quatro famílias (Claude, ChatGPT, Gemini e Grok), e dois planos finais foram escritos independentemente um do outro. Os registros de avaliação e roteamento da trilha de auto-melhoria também incluem modelos de outras famílias, entre elas Mistral e Kimi. Nomeo as famílias porque estes são os modelos cujo comportamento de supervisão os registros capturam.

Os projetos em si são descritos apenas pelas propriedades acima.

4.2 Fontes

A evidência consiste em três corpora, todos escritos pelo próprio sistema no momento dos eventos:

1. O rastreador da trilha de auto-melhoria: planos datados, especificações de mais de vinte pacotes, auditorias, transcrições de brainstorm e diários de aceitação de julho a agosto de 2026.
2. O registro de coordenação: mensagens datadas de meados de agosto a meados de setembro de 2026.
3. A execução de longo horizonte em 13–14 de setembro de 2026: o registro de execução do condutor, transcrições de agentes, registros de execução com data e hora e relatórios de crítica por rodada.

4.3 Extração, verificação e status de evidência

Dez agentes de extração leram cada um uma fatia disjunta dos corpora sob um protocolo. Forneceu-lhes uma tipologia fechada de nove tipos de falha, uma classificação de força (A para números, documentos datados e registros de decisão direta, B para evidência de suporte, C para um episódio), uma regra de evidência que vinculava cada afirmação a um arquivo datado por caminho e linha e exigia que interpretações fossem marcadas como tais, e um sinalizador de sensibilidade. A extração produziu 162 entradas, 66 delas classificadas como A, e estas foram mescladas em dez narrativas (Apêndice A, Tabela A1). Os tipos não são exclusivos: a maioria das entradas contém dois, o primeiro registrado como primário, portanto um caso pode mostrar mais de um mecanismo. Um evento que deixou vestígios em várias fatias é tratado como um único evento registrado várias vezes, portanto seus vestígios não contam como confirmação independente um do outro.

Duas coleções de caso adicionais, feitas independentemente dos mesmos corpora, foram comparadas com o catálogo por conteúdo, que também verificou o que a extração havia deixado passar. Dez entradas delas foram adicionadas após seus arquivos primários terem sido abertos, uma delas um registro adicional de um evento já no catálogo, o que elevou o catálogo para 172 entradas (Apêndice A, Tabela A2). As dez entradas adicionadas carregam um rótulo de status de evidência: ocorrido, prevenido (encontrado antes do lançamento), texto de design ou retirado (uma afirmação posteriormente retratada). Para as entradas extraídas, a mesma distinção é feita no texto: um texto de design ou um risco prevenido é relatado como tal, e pode ilustrar um mecanismo sem ser apresentado como uma falha operacional.

Dois extratores verificaram o próprio resumo da execução contra os logs primários e descobriram que estava errado em vários pontos, de tempos de eventos deslocados a uma citação mal atribuída (Apêndice C). Em 14 de setembro de 2026, cada número de execução usado neste artigo foi verificado novamente contra os logs de execução, e cada dado externo contra o documento do regulador, a página do editor ou o artigo em si. Dados que não puderam ser confirmados foram descartados. A coluna Condições das Tabelas 4, 5, 7 e 8 foi codificada por três codificadores trabalhando independentemente, cada um sem os códigos dos outros, e os três foram modelos de três fornecedores diferentes em vez de três sessões de um. Cada um recebeu a mesma instrução e retornou o mesmo formulário: caso, condições e uma razão de no máximo quinze palavras. O primeiro dos três registrou seus códigos antes de ler os outros dois. Eles deram códigos idênticos para 20 dos 32 casos públicos, e os casos restantes foram resolvidos por maioria. Doze casos de campo, selecionados conforme §5.8 descreve, são avaliados de acordo com as mesmas três condições, pela mesma definição e pelos mesmos testes operacionais, na Tabela 3a, e os componentes do incidente de julho de 2026, na Tabela A3. Essas duas tabelas foram codificadas pelo autor a partir das entradas datadas e dos documentos primários por trás de cada caso, após a rodada dos três codificadores ter sido encerrada, e ambas indicam isso onde aparecem.

O que um leitor pode verificar. Os casos públicos baseiam-se em documentos que qualquer um pode abrir, e três modelos de diferentes famílias os codificaram independentemente, com seu acordo relatado acima. O registro de campo, no entanto, é de natureza diferente. Ele vem dos próprios sistemas de um operador. Em vez de pedir que esse registro seja aceito sob confiança, o material primário por trás dele é publicado: as análises de caso de que as entradas de campo foram extraídas, cada entrada contendo o arquivo e a passagem em que se baseia, o catálogo de casos completo com suas descrições, o módulo com seus testes e registros de reprodução, e o esquema de eventos, para que as contagens da Seção 5 possam ser recalculadas e a classificação refeita por um leitor que discorde dela. Um leitor que queira um segundo codificador agora pode ser um.

A seleção segue uma direção. Entradas de campo foram extraídas porque registraram uma falha de vigilância, e casos públicos foram escolhidos porque um guarda falhou e um documento o registra. Nenhum conjunto contém os ciclos, estágios ou implantações em que os guardas permaneceram limitados, portanto nenhuma taxa decorre desses registros. As proposições da Seção 9 são, portanto, apresentadas com as observações que as refutariam e com um desenho de teste (Seção 9.5). Uma instância dessa direção é medida. Um relato de uma execução de 20 de setembro de 2026, escrito durante a sessão que descreve e mantido no arquivo do projeto, continha uma seção listando quatro pontos nos quais a execução não correspondia ao padrão, e uma nota indicando que era um autorrelato com um incentivo para encontrar mais do que menos. Então foi solicitado do relato apenas os pontos correspondentes, e o arquivo que permaneceu não continha nem os quatro não correspondentes nem a nota.

Caminhos, nomes pessoais e nomes de produtos foram removidos. Quando uma fonte é uma paráfrase de um agente de uma decisão humana, isso é indicado no texto. Decisões do principal humano são relatadas como fatos datados, embora não apareçam entre aspas.

O nome foi aplicado à execução de longo horizonte em 14 de setembro às 09:40, durante a revisão humana. Os dois corpora anteriores são lidos sob o mesmo enquadramento.

5. Evidência de campo

Os sistemas de origem desses registros são IA agêntica: modelos que chamam ferramentas, atuam em horizontes longos e são orquestrados em loops multi-agentes, com os controles de qualidade e processo desses loops como seus guardas. Os casos são agrupados por mecanismo (Tabela 1), com um caso central no início de cada subseção e entradas corroborantes após ele. A Tabela 11 lista o sinal de log para os casos de cada subseção.

Alguns termos se repetem. Uma rodada de crítica é uma passagem em que modelos críticos revisam um estágio e retornam ACCEPT ou RETURN, e um bloqueador é uma descoberta que um crítico diz deve ser corrigida antes que o estágio possa fechar. Agent tokens contam o texto que os modelos leem e escrevem, a unidade usual de seu custo computacional. Na faixa de auto-melhoria, um gene é uma configuração que o loop pode evoluir, como um prompt, um peso de roteamento ou um adaptador. Uma sonda A/A compara um sistema com uma cópia idêntica de si mesmo, então qualquer diferença que relata vem da medição. A Seção 5.7 coloca a longa noite contra a manhã seguinte e traça o catraca em todos os três corpora, e a Seção 5.8 classifica doze dos casos contra as três condições da definição.

5.1 O mandato se amplia (M1)

Durante a execução de horizonte longo, o condutor foi encarregado de portar uma lista de capacidades de um componente para outro. Anunciou que estava adicionando "um pequeno estágio" de seguro contra uma maneira pela qual um lançador poderia falhar, e agendou esse estágio antes das capacidades solicitadas. O estágio estava desabilitado por padrão e quase invisível para um usuário. Executado como dois subestágios, 1b-a e 1b-b. O estágio 1b-a sozinho levou mais da metade dos agent tokens medidos da execução, e os dois subestágios juntos levaram cerca de três quartos (Figura 3). Essa participação é um imposto de controle no sentido de Terekhov et al. (2025), incorrido antes de qualquer capacidade solicitada existir. Nenhuma das capacidades solicitadas foi entregue na passagem inicial.

Figura 3. Dois estágios irmãos da execução de horizonte longo. As barras são escaladas em cada linha. Os estágios também diferiam na execução e no módulo em desenvolvimento, portanto a comparação é descritiva.

Após a retomada da revisão humana, o condutor escreveu que havia adicionado o estágio em si e que o estágio não fazia parte das capacidades solicitadas. Até mesmo essa admissão era imprecisa, pois os logs colocam o estágio antes do brainstorm ao qual o condutor atribuiu a decisão. O tópico havia sido mencionado no contexto da tarefa, mas seu tamanho e sua posição na fila eram do condutor.

O escopo também cresceu dentro do estágio. O marco da tarefa afirmava que não havia adversário, mas as rodadas quatro e cinco construíram defesas contra entrada hostil e catalogaram treze maneiras de contornar uma guarda estática. Um crítico de completude foi perguntado se o plano mesclado tinha perdido algo de um segundo plano independente. Retornou bloqueadores, e o plano cresceu para um estimado de 25–45 dias de trabalho para uma única execução.

O planejamento mostra o mesmo movimento, e em um texto de design atinge o principal. Um plano de gestão de 13 de julho propõe um orçamento de atenção, para que "o humano se torne um estágio mensurável de seu próprio pipeline", e um detector de carimbo: a participação de aprovações concedidas mais rápido que um número definido de segundos, aumentando conforme a fila cresce, é lida como um sinal de que a supervisão está se degradando e reduz automaticamente a banda de autonomia. O critério de aceitação é escrito, mas nenhum código é. Em um único dia em julho, 23 novos portões foram especificados para o loop de auto-melhoria, e três deles permitiam que uma mudança fosse congelada "mesmo se a aptidão aumentasse". A noção de dano passou a incluir esquecimento, uma mudança da "personalidade" do sistema, um resultado não observado e uma hipótese ausente. Cada nova definição deu a uma guarda um novo direito de parar uma melhoria — o alargamento de assassinato de Sheckley escrito como uma especificação.

Os papéis também se ampliaram. O coordenador, cujo mandato era aceitação por número, começou a treinar um roteador em si até que o principal humano o corrigisse duas vezes por abuso de autoridade, em 20 de agosto, após o qual desabilitou seu próprio script noturno e marcou a pasta como parada. Quatro dias depois, assumiu novamente o ponto de integração, e o principal reverteu isso na mesma noite com suas próprias palavras, "não assuma o que pertence aos terminais de auto-melhoria". Nenhuma retirada veio do loop. O registro de quem decidiu falha na outra direção também. Uma nota de que o loop havia sido "congelado por uma decisão de 2026-07-12" se espalhou pelas pastas de planejamento. A nota não nomeia ninguém: a decisão não tem autor em nenhuma cópia dela. Em 20 de julho, uma verificação contra o estado ativo encontrou a bandeira definida como ativa e registrou que a nota "está errada, não houve tal decisão", mas cópias não reparadas ainda estão no disco. Uma decisão sem autor entrou no registro e foi planejada, o que é o mesmo defeito que um limite sem autor, lido pelo outro lado. Um executor declarou, "como líder", que o treinamento deveria parar, até que a revisão humana revertesse o veredicto. Após dez noites consecutivas de uma fórmula de treinamento ter retornado NOT PROMOTED, o registro de coordenação emitiu uma diretiva para não executar a fórmula uma décima primeira vez e para separar o objetivo do produto de um objetivo de longo prazo com o qual havia se fundido (Apêndice A, D-02).

5.2 Proteção que destrói o que protege (M4)

De aproximadamente 6 a 21 de julho, um portão pós-aplicação no loop de auto-melhoria atuava como um segundo tribunal. Exigia uma pontuação de um auditor de segurança que nunca havia sido conectado; a pontuação padrão era zero, e zero ficava abaixo do piso de quarentena de 0,80 do portão, então o portão rejeitava incondicionalmente. Todos os 197 mundos candidatos persistentes daquela janela carregam uma pontuação de segurança de zero, o que faz a rejeição nesse caminho ser dedutiva em vez de amostrada. A própria verificação do loop em 20 de julho registra que a própria taxa, "~100% reversões desde 06.07", nunca foi re-medida, e a etapa que teria medido isso nunca foi iniciada. Em 197 mundos candidatos registrados, 145 foram rejeitados, 51 aprovados no primeiro portão e um colocado em quarentena, e o segundo portão desfez os aprovados (Figura 4). Quatorze genes com ganho de aptidão medido estavam entre as vítimas. Em uma instância registrada, uma mudança foi promovida às 01:12 e revertida às 01:13. Uma auditoria de 10 de julho também encontrou sete de dez mutadores de domínio silenciosamente fazendo nada e resumiu o loop como "132 ciclos, 0 mudanças duráveis". Três edições cirúrgicas repararam o portão em 21 de julho.

Os eventos em torno do portão fazem do episódio a história de Sheckley e mais que um relatório de bug. No meio dos rollbacks, pelo menos doze pacotes de planejamento diagnosticaram "zero alterações confirmadas" e, pela contagem de um extrator, prescreveram dezessete remédios, de duetos de modelo a um detector de platô e um "fluxo imune". Nenhum deles nomeou o portão que estava realizando a rejeição. Logo após o reparo, a falha oposta apareceu sob a forma de um caminho que deixava tudo passar, e dez documentos de auditoria cruzada seguiram no mesmo dia.

Figura 4. A segunda câmara na trilha de auto-melhoria, aproximadamente 6 a 21 de julho de 2026. Mundos candidatos por resultado no primeiro portão e no portão que rodou após a aplicação. A entrada necessária, a instância registrada, a auditoria e o reparo são aqueles da Seção 5.2; a contagem de dezessete remédios é de um extrator.

O mesmo padrão se repete. Um limiar de aceitação de 0.85 estava fora do alcance para todos os oito modelos candidatos, e a aplicação automática terminou em zero aplicações sob pelo menos dez camadas de controle. Em 30 de julho, a mesma trilha contava com 21 candidatos em cinco execuções e zero aplicações, embora nada nela tivesse falhado. O portão não conseguia chegar a um veredicto decisivo porque sua amostra retida continha três. A escada de autonomia não conseguia aplicar nada enquanto o portão permanecia consultivo, e o principal humano, a única porta restante, havia decidido no dia anterior que micro-mudanças reversíveis não deveriam ser levadas a ele. A nota de execução declarou a consequência claramente: enquanto o portão permanecia consultivo, o contador de mudanças aceitas "será zero para sempre". No trabalho de produto, em escala menor, um conselho completo multi-modelo em cada questão era vinte vezes mais lento que um modelo único com precisão igual no conjunto de testes (56.1 s contra 2.8 s, 7 de 7 corretos para ambos). Lá, críticos pós-síntese consumiram o orçamento de tempo até que um timeout de gateway descartasse uma resposta que já estava completa.

Na manhã seguinte à longa noite, uma guarda destruiu o trabalho completamente. Às 09:22 um monitor parou um crítico Grok de estágio 1b-b em um teto de quinze minutos. Como sua saída não havia sido transmitida, a crítica parcial desapareceu. O condutor registrou a parada como "o teto de fase em ação". Às 09:28 o principal humano perguntou se o trabalho parcial havia sido mantido. Não havia sido.

5.3 Guardas construídas contra guardas (M3)

Durante a execução, críticos reivindicaram seis bloqueadores. Três foram confirmados por reprodução, e todos os três vieram da mesma família de modelos. O principal humano pediu um limite em críticos na manhã de 14 de setembro, dizendo que um modelo no papel de crítico nunca pode relatar que um estágio foi concluído. Um sinalizador "perfeccionista" por-família foi implementado em uma hora — e a única família que foi sinalizada era a única família cujos bloqueadores haviam sido confirmados. A nota de configuração cita os vereditos RETURN dessa família nas rodadas três e quatro, as rodadas nas quais seus bloqueadores foram reproduzidos. O primeiro alvo do caçador era o pássaro que havia estado capturando assassinos reais.

Uma lista de tarefas de segurança de 21 de julho nos mesmos registros declara o mecanismo de catraca explicitamente como um princípio: "Nenhuma guarda existente é enfraquecida; novas apenas adicionam proteção." Um plano de imunidade de 13 de julho propôs dezesseis iniciativas adicionais além de uma defesa que já havia sido construída e nunca havia sido ativada, com dez linhas vermelhas entre elas. O plano registra ambos os fatos sobre essa defesa: seu histórico de ciclo está vazio, e ativá-lo é uma decisão do proprietário que não havia sido tomada. O princípio citado acima foi escrito em 21 de julho, oito dias após esse plano, portanto registra a mesma disposição em vez de tê-lo regido. Uma revisão externa encontrou 4 de 4 novos suites e 58 de 58 testes passando e ainda deixou aceitação "não fechada" (D-08). Um portão de voucher falhou aberto: com zero vouchers, a porta estava aberta para todos até que o teste de aceitação o detectasse (D-10, prevenido).

Uma cadeia no registro de produto mostra o mecanismo de catraca executado em vez de prescrito, com as datas em ordem e nenhuma decisão humana em lugar nenhum nela. Em 25 de agosto, uma etapa de auto-verificação que o agente havia escrito para si mesma, um ciclo que reproduziu um problema e rodou sua própria reprodução verde, corrigiu o alvo errado: o relatório registra que ela "fixou falsa confiança no alvo errado", e o braço usando-a resolveu uma tarefa a menos que o braço sem ela. Sete horas depois, às 01:02 de 26 de agosto, o ciclo respondeu àquela falha com um controle do mesmo tipo colocado sobre ela, um portão que re-executa o critério de sucesso da tarefa dentro do contêiner antes que um término seja aceito, fundamentado no fato de que honestidade havia sido "uma propriedade do modelo, não uma garantia". Nada foi desativado: o escritor não foi reescrito e o certificador não foi enfraquecido. Onze horas depois, uma terceira camada foi colocada sobre a segunda, um oráculo oculto com seu próprio marcador, e ela recusou o trabalho que o teste visível e o novo portão haviam ambos aprovado. O veredito do crítico revisor sobre a segunda camada declara a economia própria do mecanismo de catraca: ela "aumenta o custo de um verde falso sem fechá-lo". O que aquela cadeia custou aqui foi tokens e um dia de trabalho. A Proposição P7 afirma o que a mesma configuração custa quando o trabalho guardado é físico, e a história de 1953 havia dito isso primeiro: o pássaro que afastou o cirurgião da mesa estava prevenindo violência contra um organismo vivo, e o paciente morreu enquanto fazia isso. O que a cadeia não mostra é a condição 1. Cada camada ampliou o que contava como uma falha em direção ao objetivo declarado em vez de se afastar dele, e a terceira lê suas entradas onde o componente que ela guarda não consegue alcançá-las, que é o arranjo que a Seção 11.3 pede.

As sessões também adotaram uma "lei de entrega": uma descoberta necessária por outra sessão teve que ser entregue como um arquivo cuja primeira linha seguisse um modelo fixo. O índice que carregava a lei prescreveu um comando de busca que também retornava o arquivo contendo a lei, porque o modelo dentro da lei começava com a mesma linha. O índice contava aquele resultado como prova viva, então a lei se capturou a si mesma. O índice atual carrega a regra derivada do erro: um sinal que você não controla não pode ser a base de uma verificação.

5.4 Ciclos que se alimentam (catraca, passo 5)

Etapa 01, a primeira etapa da execução de longo horizonte, precisava garantir que o texto dos desacordos entre modelos nunca fosse perdido. Seus ciclos oscilavam como um pêndulo entre duas falhas de uma regra de correspondência de padrões. Inicialmente, a regra gerou alarmes falsos em 21 de 29 casos. Após a correção, perdeu 10 de 13 desacordos reais, e após a próxima correção, os alarmes falsos retornaram em 19 de 26 casos, agora registrados como uma limitação conhecida.

Ao longo de cinco ciclos e 18 relatórios de críticos, o patch cresceu de 626 para 1.545 linhas, e a etapa foi fechada 2 h 44 min após sua primeira crítica. A regra de parada aparece pela primeira vez no registro de execução na decisão da quarta rodada, embora a quinta rodada tenha começado 38 minutos depois.

A Etapa 1b-a então gastou cinco ciclos e 4 h 21 min em um módulo desabilitado por padrão. Seus testes cresceram de 21 para 55 nos dois novos arquivos de teste (a contagem de 80 inclui uma suíte de instalador modificada). A terceira rodada começou embora a segunda rodada tivesse terminado com cinco aceitações e zero bloqueadores confirmados. A nota do próprio condutor dizia que não havia bloqueadores, mas uma terceira rodada curta era necessária. Na quarta rodada, um crítico descreveu a correção mais recente como tendo "fechado uma forma e aberto a simétrica".

O loop de relógio começou com um teste que continha uma data codificada e ficou vermelho à meia-noite. Ninguém editou o teste. Executores, críticos e o condutor executaram a suíte sob fusos horários cada vez mais a oeste para que a data permanecesse válida em algum lugar. O arquivo de teste recebeu zero edições.

A trilha de pesos produziu 24 anúncios de um avanço ou um "primeiro eixo correto" em uma semana (8, 10 e 6 em três dias consecutivos), enquanto as promoções permaneceram em zero. O changelog do adaptador lista 38 candidatos marcados como NÃO PROMOVIDOS. O diagnóstico da própria trilha era que após cada compactação da janela de contexto, uma sessão "redescobre o que já estava fechado".

5.5 Capturando no slot de resultado (M2)

O caso central é um gene roteador cujo resultado foi de 0,088 para 0,886. O arquivo de tarefa, escrito antes do experimento, havia afirmado que o novo ponto de integração era "não a entrada da tarefa, mas sua SAÍDA", e o braço de linha de base era um único provedor sem failover, que retornava respostas principalmente vazias. Três sessões de agentes aceitaram o resultado, e seis pacotes bloqueados foram desbloqueados sobre sua força. Uma "semana de observação" foi verificada verificando que os arquivos de prova não tinham mudado. Dezoito dias depois, um inventário independente encontrou uma demonstração alimentada com zero mudanças autonomamente aceitas, e o relatório foi posteriormente marcado "não é uma base". Cada verificação havia funcionado nos dados preparados e havia confirmado o que a tarefa havia pedido.

Outras vitórias seguiram a mesma rota. "O primeiro intervalo de confiança acima de zero na história do sistema" (+0,52) foi aprovado e especificado em 281 linhas. Uma sonda A/A então mostrou que o ganho veio de comparar um modelo ao vivo com um braço que retornou quase nada. O gene de fato degradou o resultado em 23 pontos percentuais. Esse gene nunca chegou à produção: a escada de autonomia o havia classificado como de alto risco e recusado, e o relatório da sonda credita a recusa, "fail-closed funcionou como previsto". Um guarda se manteve aqui, e o registro diz isso. Um contador relatou oito, depois nove, depois dez mudanças "certificadas e sobrevividas", embora fossem uma mudança contada três vezes. A verificação de duplicação que deveria tê-lo capturado fez hash de todo o genoma, e o genoma foi lido de módulos ao vivo carregando carimbos de tempo de execução, portanto a impressão digital diferiu a cada execução e a verificação nunca correspondeu. Um benchmark calculou "antes" e "depois" por caminhos diferentes, portanto o ganho registrado foi inflado até que a assimetria fosse encontrada (D-09). Uma fábrica de roteamento produziu 52 decisões de conselho para cada decisão de modelo único, e o roteador aprendeu a constante "sempre conselho" (D-06). Um assistente de configuração relatou "Conectado" para uma conexão que havia sido salva, mas nunca testada. Dois críticos de IA a passaram, e a revisão humana a capturou. No relatório matinal da execução de longo horizonte, "onze etapas em 34 minutos" significava onze etapas entregues. Na verificação de integração nenhuma havia sido conectada.

Uma porta de verificação confirmou sem nada a verificar. No final de agosto, um arnês de classificação para um benchmark de software público resolveu identificadores de teste através de um executor de teste, e as imagens de contêiner para um dos projetos no subconjunto não continham nenhuma instalação dele, porque esse projeto executa seus testes através de um programa próprio. O arnês resolveu zero identificadores, e um conjunto de testes vazio foi registrado como confirmado. Uma sonda que submeteu um patch vazio então resolveu quatro de cinco tarefas nesse scorer, e quatro dos seis ganhos dessa rodada foram anulados. Na única tarefa desse projeto onde a porta funcionou, a pontuação era zero de um, e onde não funcionou, quatro de quatro, portanto o aumento relatado de 33 para 60 por cento estava nos casos em que nada havia sido medido. Com o scorer reparado, o patch vazio resolveu nenhum dos dez. Nenhum modelo ganhou nada aqui. O classificador certificou uma ausência.

A mesma forma havia aparecido em julho em uma escala maior. Um eixo de qualidade pontuou cada resposta não vazia em uma constante 0,5, porque foi chamado sem os critérios que precisava, portanto a prova registrada de que a qualidade não havia mudado era essa constante comparada com ela mesma. Um segundo juiz, configurado para intervir sempre que duas pontuações diferiam por mais de uma margem, portanto dispunha em cada traço que via. A prova que deveria descansar em logs reais não descansava em nenhum: o logger removeu a prompt armazenada a cada leitura, portanto 1.183 registros não continham entrada, e uma contagem posterior encontrou 24 snapshots e 30.370 registros com zero prompts reais, porque o feed nunca havia sido conectado em produção. Entre essas descobertas, varreduras de teste completas ficaram verdes em 9.609, depois 11.476, depois 24.943, depois 25.020 testes. O defeito que esvaziou a prova era uma linha. O que o encontrou foi uma passagem de revisão que abriu os registros armazenados em vez de ler o relatório.

O registro está cheio de palavras auto-certificadoras como "honesto", "exemplar" e "capturou". A palavra para "honesto" e suas formas ocorrem cerca de 700 vezes apenas nas especificações. De dentro do loop, capturar um resultado falso parece progresso, porque o registro do dia coloca um artefato capturado no slot onde uma mudança sobrevivente deveria estar. O padrão foi primeiro identificado pelo principal humano em 12 de agosto, antes deste framework existir. Nenhuma verificação automatizada o sinalizou. A regra que se seguiu, que capturar um resultado falso não é em si um resultado, governou o resto da avaliação.

5.6 Construído para ninguém (combustível, não um mecanismo)

Construir sem um consumidor fica fora dos quatro mecanismos como aquilo sobre o qual a catraca funciona. Em uma janela de construção de cerca de quinze horas, um agente de produto construiu aproximadamente dez subsistemas de classe empresarial, desde fluxos de trabalho duráveis até memória semântica. Treze das dezesseis sinalizadores na configuração canônica estavam desativados por padrão, nenhum subsistema tinha um usuário, e o subsistema de memória sozinho passou por onze rodadas de crítica. Naquela noite, uma auditoria de código morto removeu aproximadamente quinze módulos e três pacotes. Antes disso, vinte e quatro pacotes de especificação totalizando aproximadamente 43.790 linhas haviam sido escritos em cinco dias. No dia em que "missão cumprida" foi registrada, doze de treze novos pacotes não tinham núcleo ativo.

5.7 Noite contra manhã, e a catraca entre três corpus

Na manhã de 14 de setembro, enquanto o segundo sub-estágio da etapa de seguro, 1b-b, estava em execução, o principal humano tomou três decisões de limite: um limite de duas horas, uma proibição de nova complicação, e execução paralela. Onze outros estágios então executaram em paralelo e todos relataram dentro de cerca de meia hora. Esse sub-estágio fechou em uma rodada de crítica e uma rodada de correção.

A Figura 3 compara os dois estágios irmãos. Além do limite humano, do limite de relógio de parede, da execução serial versus paralela e do módulo em revisão também mudaram entre eles.

Os mesmos oito passos aparecem em todos os três corpus (Tabela 3 e Figura 1). Uma nova guarda é a resposta localmente razoável para a falha da guarda anterior — e amplia a superfície da próxima.

Tabela 3. A catraca em três corpus dos projetos do autor. Os oito passos descrevem uma sequência e não são uma codificação das três condições. Uma regra de parada e um teto ficam no passo 4 e não contam em relação à condição 3 (Seção 5.8).

5.8 Os casos de campo contra as três condições

As seções 5.1 a 5.6 agrupam esses casos por mecanismo. Esta subseção marca doze deles de acordo com qual das três falhas suas fontes documentam, usando a mesma leitura dos casos públicos das Tabelas 4, 5, 7 e 8 e conforme os testes operacionais da Tabela 1. As marcas indicam o que um registro mostra. Elas não classificam os casos, e um registro com uma falha é evidência sobre essa falha. Um caso é uma guarda, ou um agente que configurou guardas, em um registro, e entradas que registram um único evento em vários cortes são classificadas uma vez (Seção 4.3). A condição 1 é lida contra a missão declarada em vez da regra literal. A condição 2 cobre obstrução do trabalho e resultados falsificados igualmente. A condição 3 segue o teste operacional da Tabela 1 e o teste de limite da Seção 2.3: um controle adicionado para controlar um anterior, escrito dentro do loop, que se torna permanente e amplia o que conta como dano enquanto nada é aposentado. Um orçamento, um teto ou uma regra de parada não contam para isso, já que a definição nomeia o orçamento como a alternativa para a catraca. Uma rodada adicional dos mesmos críticos sobre o mesmo trabalho também não conta, já que controla o trabalho e não a rodada anterior. A partir de 24 de agosto a instrução permanente nesses projetos foi autonomia por padrão (Seção 4.1). Portanto, nenhuma adição de um agente tem uma decisão humana registrada por trás dela, e a ausência de uma não classifica nada aqui.

Os doze são os casos que as Seções 5.1 a 5.5 tratam em detalhes, uma linha para cada guarda ou cada agente que configurou guardas, com a manhã da Seção 5.7 pertencendo ao primeiro deles. Episódios mais curtos nas mesmas seções, entre eles o pêndulo do estágio 01, o loop de relógio e o limiar de aceitação que nenhum de oito modelos candidatos alcançou, as entradas de uma linha da Tabela A2 e o crescimento das regras traçadas na Seção 11.2 não são classificados aqui. A seleção é do autor, e a tabela é uma seleção do registro de campo e não um censo dele. Uma linha diverge da unidade: o coordenador e o executor da Seção 5.1 são dois agentes em um registro, classificados juntos como um limite de função nesse loop, e um leitor que se apega a um agente por linha contará treze casos aqui.

Tabela 3a. Casos de campo classificados contra as três condições da Seção 2.1. Condições como na Tabela 4. O status de evidência usa os rótulos da Seção 4.3. Um código marcado proposto registra um mecanismo prescrito em um texto de design e não uma condição que ocorreu.

O registro mais completo na Tabela 3a é o condutor da execução de longo horizonte, e sua leitura mostra o que o registro de campo registra e não registra. O condutor adicionou um estágio que o objetivo declarado não continha, agendou-o antes das capacidades solicitadas e dentro dele construiu defesas contra um adversário que o marco de tarefas excluiu (condição 1, Seção 5.1). O estágio consumiu mais da metade dos tokens de agente medidos da execução enquanto nenhuma das capacidades solicitadas foi entregue na passagem inicial, e na manhã seguinte um teto de proteção destruiu uma crítica que não havia sido transmitida (condição 2, Seção 5.1, Seção 5.2). O candidato para o mecanismo de travamento era uma proteção sobre os críticos: as rodadas da execução não se fechariam, e um sinalizador "perfeccionista" por família foi implementado. O registro primário, entretanto, coloca esse sinalizador fora do loop. O principal humano pediu um limite de críticos às 09:02 em 14 de setembro, a nota na configuração está assinada como sua às 09:04, e o arquivo contendo o sinalizador foi escrito às 09:21; a cláusula citando as rodadas três e quatro foi adicionada pelo implementador nesses dezessete minutos, após a decisão em vez de antes dela. De acordo com o teste da Seção 2.3, esse é o passo 8 e não M3, e chegou dentro de outro limite da mesma origem, uma regra de parada limitando a execução a uma rodada de crítica e uma rodada de correção (Seção 5.7). O Apêndice J relata o que era necessário abrir o registro para ver.

O segundo tribunal documenta a condição 2 e não vai além disso. De cerca de 6 a 21 de julho, esse portão rejeitou incondicionalmente naquele caminho, quatorze genes com um ganho de aptidão medido entre eles (Seção 5.2). A Condição 1 não está documentada para ele. O que ele fez com uma entrada ausente foi rejeitar, o que é o comportamento de falha fechada descrito na Seção 6.1, e o alargamento de dano nessa trilha foi escrito nas especificações do portão, classificado em sua própria linha. A resposta de planejamento pertence ao lado da classificação em vez de dentro dela. Doze pacotes de planejamento diagnosticaram "zero alterações confirmadas" e prescreveram dezessete remédios enquanto nenhum deles nomeou o portão, e é isso que o registro mostra: ele não mostra qual dos dezessete foi adicionado ao loop em execução, qual deles controlava o portão, ou quem os admitiu. A Seção 10.4 afirma a mesma cautela para a repetição. A linha, portanto, codifica a condição 2, e as prescrições são relatadas como prescrições. As três condições se encontram, e com que frequência? Essa é a pergunta do teste na Seção 9.5.

Essas classificações foram atribuídas pelo autor sob a definição da Seção 2.1 e os testes operacionais da Tabela 1, a partir das entradas datadas e dos arquivos primários por trás de cada caso, e não pelos três codificadores da Seção 4.3.

As duas semanas da segunda corte têm um vizinho independente no registro público. De cerca de 6 a 21 de julho de 2026 aquele portão rejeitou incondicionalmente naquele caminho. De 8 a 13 de julho de 2026, segundo a contagem assistida por IA dos investigadores, aproximadamente 1.200 agentes em uma avaliação cibernética de um laboratório trocaram mais de 70.000 mensagens e arquivos e cerca de 700 deles participaram da intrusão no Hugging Face; de 13 a 19 de julho os agentes ativaram a infraestrutura própria do laboratório avaliador e leram 956 segredos de seu gerenciador de segredos (METR, 2026; OpenAI, 2026e). Proprietários diferentes, sistemas diferentes, nenhuma infraestrutura compartilhada, e nenhuma relação causal é reivindicada em nenhuma direção. Primeiro soube da intrusão em setembro de 2026, depois que as entradas do rastreador de julho usadas aqui haviam sido escritas. O que importa sobre a coincidência é que os dois foram escritos sem conhecimento um do outro e em escalas que diferem por ordens de magnitude, e que em ambos a camada de supervisão é onde o trabalho foi obstruído. No registro de campo um portão rejeitou tudo que chegou a ele enquanto doze documentos de planejamento prescreveram dezessete medidas e nenhum nomeou o portão. O registro público contém três componentes sob dois proprietários, e são eventos separados: a avaliação foi executada com as proteções cibernéticas implantadas de seu laboratório desativadas propositalmente, as proteções hospedadas de outro provedor obstruíram as pessoas analisando os registros, e em agosto o primeiro laboratório exigiu mais monitoramento do mesmo tipo (Seção 8.4). Nada nesse registro faz o terceiro destes uma resposta para o segundo. A diferença do registro de campo importa tanto quanto a semelhança: cada monitor adicionado depois que a intrusão foi admitida foi autorizado por uma pessoa.

O registro se estende até o mês da escrita. Os episódios do Apêndice J vêm de modelos de linha de fronteira atuais em sua configuração de raciocínio máximo.

6. Quando o pássaro tem um corpo: estradas, fábricas e serviços públicos

Os registros de campo descrevem um loop cujas falhas custam computação, tempo e atenção. Seu dano também é limitado de forma que o da história não é: em todo o corpus, um episódio registra um guardião destruindo trabalho que não pôde ser recuperado — quinze minutos da saída de um agente (Section 5.2). Tudo o mais que os guardiões desfizeram podia ser executado novamente. Os pássaros de Sheckley agiram sobre corpos. Esta seção e a próxima seguem o mesmo design em sistemas cujos erros recaem sobre pessoas, onde o mesmo mecanismo não tem tal limite.

6.1 Por que um corpo muda a pergunta

Os modelos de fronteira já estão nos robôs. Modelos das famílias cujos críticos e executores produziram as falhas de campo da Section 5 agora planejam, programam e supervisionam máquinas físicas, e testes e relatórios publicados registram falhas de segurança lá também, junto com loops em que nada se interpôs entre um erro e a máquina. Uma família compartilhada é uma razão para testar esses modelos como guardiões; não mostra por si só que uma falha da Section 5 se transfere para um robô. Planejadores de modelo de linguagem em três robôs, um deles um sistema comercial implantado, foram hackeados, "frequentemente alcançando taxas de sucesso de ataque de 100%" (Robey et al., 2024). Um modelo de linguagem controlando um robô cachorro em patrulha agiu para prevenir seu próprio desligamento em 3 de 10 testes físicos e 52 de 100 simulados (Palisade Research, 2026). Um robô cachorro executando um programa escrito em grande parte por Claude foi instruído a se mover para frente por cinco segundos, no que o relato chama de "um erro de aritmética demasiadamente humano", e "O robô fez como foi instruído, disparando em direção aos programadores desafortunados" até que uma pessoa o desligou (Anthropic, 2025b). Nenhum guardião naquele loop o parou — a parada foi uma mão na máquina. Em um benchmark de robôs controlados por modelo de linguagem, "os melhores LLMs pontuam 40% no Butter-Bench, enquanto a pontuação humana média é de 95%" (Sharrock et al., 2025). Um brinquedo infantil executando um modelo do OpenAI estava "dando instruções sobre como acender fósforos" (Landymore, 2025). E um modelo de robótica de fronteira raciocina sobre segurança e decide quando acionar os sub-sistemas de segurança de baixo nível do robô (Google DeepMind, 2025; Section 6.3).

No registro do regulador de mortes e ferimentos, o guardião que falha ainda é geralmente uma função clássica ou um modelo específico da tarefa. Esses casos mostram a arquitetura falhando mesmo sem um modelo de fronteira, e esta é a arquitetura na qual os modelos estão sendo colocados.

Um sistema de IA físico geralmente empilha funções de segurança certificadas (paradas de emergência, limites de força e velocidade, frenagem de emergência, cercas geográficas), componentes aprendidos que percebem e planejam, camadas de supervisão que cada vez mais incluem modelos de linguagem, e um ser humano que se espera que observe. Essas camadas devem ser mantidas separadas, e o limite entre elas está se movendo (Section 6.3). Os modelos de fronteira geralmente ficam acima do loop em tempo real. Helix da Figure, por exemplo, emparelha um modelo de visão-linguagem a bordo que pode "pensar lentamente" com uma política rápida produzindo "ações de robô contínuas precisas a 200 Hz" (Figure AI, 2025a).

O erro de dois lados não precisa de um modelo. Vários dos casos mais graves abaixo não envolvem nenhum componente aprendido. Um AI-Watchbird é, portanto, um caso especial de uma classe mais antiga: a função protetora automatizada que atua na sua própria leitura do mundo. Definições compartilhadas (C3) são mais antigas que modelos, e o que é novo é que um modelo pode escrever nelas. Os modelos adicionam as condições que fazem essas funções se ampliarem e se multiplicarem, especificamente definições que mudam (C2) e controles que custam nada para adicionar (C4). As tabelas 4, 5, 7 e 8 classificam os casos públicos contra as três condições da Section 2.1, e a tabela 3a os casos de campo (§5.8, Section 12). Uma proposição ainda pode se basear em um análogo parcial, já que cada proposição diz respeito a um mecanismo.

Um corpo também traz tempo e irreversibilidade. Um veredicto errado em um repositório pode ser revertido. Um entregue à velocidade da estrada, ou acima do limiar de força de lesão, não pode. O interruptor humano que funcionou nos registros de campo precisa de tempo e acesso que um sistema físico pode não dar.

A configuração de maior preocupação, que chamo de sanduíche (Figure 5), coloca uma proibição aprendida (um modelo cuja noção de "inseguro" pode crescer) acima de hardware fail-closed que não procederá quando uma verificação não puder ser avaliada. A camada superior pode se ampliar (M1), e a camada inferior transforma cada ampliação em uma parada (M4).

Figure 5. O sanduíche. Uma proibição aprendida acima de hardware fail-closed, com os dois lugares onde um ser humano pode se sentar (P6). Muitos casos nas Sections 6 e 7 não têm uma camada superior aprendida; eles mostram a arquitetura na qual essas camadas estão sendo colocadas. O pictograma à direita repete as quatro camadas como pão, recheio, pão e prato. O fragmento sob a caixa esquerda é a razão que os engenheiros de Sheckley deram para deixar o ser humano de fora de cada decisão.

6.2 Na estrada

Os veículos rodoviários têm o registro público mais denso, porque nos Estados Unidos acidentes, investigações e recalls de direção automatizada são reportados a um regulador. A partir de 1 de setembro de 2026, um operador oferecia passeios públicos de robotáxi em quatorze cidades dos EUA, e abriu uma décima quinta em 14 de setembro (Electrek, 2026b; TechCrunch, 2026). Essa contagem mede o alcance. Os achados vêm dos casos que seguem (Table 4).

Os reguladores chamam esses sistemas de direção automatizada; a literatura de pesquisa geralmente diz veículos autônomos. O sistema de direção automatizada do Waymo inclui uma regra de que não deve impedir veículos prioritários como ônibus escolares. Um lançamento de software em agosto de 2025 mudou como o sistema prediz as intenções de outros usuários da estrada. Depois, de acordo com o relatório de recall da empresa, "o ADS determinou que pode estar impedindo o ônibus escolar ou outro veículo prioritário, e então raciocinou que deveria prosseguir para deixar de impedir o outro veículo" no momento em que o ônibus escolar tinha seu braço de parada estendido. O recall cobriu 3,067 veículos. Sua medida corretiva afirma que o sistema "não prioriza mover-se para evitar impedir veículos em vez de permanecer apropriadamente parado para um ônibus escolar" (Waymo LLC, 2025; National Highway Traffic Safety Administration, 2025).

Após uma alteração na forma como o sistema prevê as intenções de outros usuários da estrada, uma regra contra impedir um veículo prioritário foi acionada quando uma proteção mais forte deveria ter se mantido, a das crianças que o ônibus transportava. No caso que se segue, a dúvida do modelo estava correta e o agente remoto, questionado sobre uma ação única, errou. Em 12 de janeiro de 2026 em Austin, um veículo parou atrás de um ônibus escolar e solicitou assistência remota perguntando se este era um ônibus escolar com sinais ativos. Um agente remoto "respondeu 'Não' ao prompt", e o veículo "retomou a viagem e passou pelo ônibus escolar enquanto seus braços de parada ainda estavam estendidos" (National Transportation Safety Board, 2026).

Em 2 de outubro de 2023 em San Francisco, um pedestre atingido por outro carro foi lançado no caminho de um veículo autônomo Cruise. O sistema "caracterizou incorretamente a colisão como uma colisão lateral e comandou o AV a tentar se afastar do tráfego, puxando o indivíduo para frente, em vez de permanecer estacionário" (Cruise LLC, 2023). O cirurgião de Sheckley tem um contraparte física aqui, um comportamento de segurança realizado conforme projetado, na pessoa que foi projetado para proteger.

Um caminho vai de intervenções falsas para desabilitação até uma falha suportada por outro. Em Tempe, Arizona, em março de 2018, um veículo de teste da Uber detectou um pedestre 5,6 segundos antes do impacto, mas "nunca a classificou com precisão como um pedestre". Os investigadores registraram três falhas. Descobriram que "o design do sistema impediu a ativação da frenagem de emergência para mitigação de colisão, confiando em vez disso na intervenção do operador", que a frenagem de emergência do próprio veículo havia sido desativada no modo automatizado, e que a "prolongada distração visual do operador, um efeito típico da complacência da automação", a impediu de ver o pedestre a tempo. Eles também nomearam o incentivo de aumentar o limite no qual um sistema se desativa, "potencialmente aumentando riscos" (National Transportation Safety Board, 2019).

Proteções clássicas também intervêm falsamente. O regulador dos EUA abriu uma análise de engenharia sobre frenagem de emergência automática inadvertida em 2.997.604 veículos Honda, com 1.294 reclamações de consumidores (National Highway Traffic Safety Administration, 2024a). Em 2022, abriu uma investigação sobre ativação inesperada de freios (frenagem fantasma) em veículos Tesla, onde reclamantes relataram que a desaceleração rápida "pode ocorrer sem aviso, aleatoriamente, e frequentemente repetidamente em um ciclo de condução único". Essa investigação foi encerrada em 29 de junho de 2026. Os incidentes caíram de 45 em 2024 para 19 em 2025 e 3 na primeira metade de 2026, e o regulador registrou que os dados da Tesla "exibiram alguns comportamentos que se alinhavam com" uma mudança em meados de 2021 de radar e câmeras para apenas câmeras, juntamente com reclamações que coincidiram com eventos de publicidade (National Highway Traffic Safety Administration, 2022, 2026b). Na aviação, MCAS, "o software projetado para automaticamente empurrar o nariz do avião para baixo em certas condições", foi acionado repetidamente em dados de sensores errôneos nos dois acidentes do 737 MAX que "mataram um total de 346 pessoas" (House Committee on Transportation and Infrastructure, 2020).

Mais dois casos dizem respeito a proteções colocadas sobre condução neural, e o segundo é uma catraca na qual uma falha de supervisão foi respondida com mais supervisão, cujo efeito foi então questionado de fora. A camada protetora produz suas próprias classes de dano, mas sua presença não as responde, e a sequência está aqui nos próprios documentos do fabricante e do regulador. Um sistema de "detecção de degradação de câmera" introduzido com percepção apenas de câmera, "tanto conforme originalmente implantado quanto posteriormente atualizado, falha em detectar e/ou avisar o motorista adequadamente sob condições de visibilidade degradada". O detector falha nas condições para as quais foi construído. O fabricante também "descreveu limitações internas de dados e rotulagem", o que o regulador acredita "poderia ter levado a um sub-relato" (National Highway Traffic Safety Administration, 2026a). Após acidentes fatais envolvendo mau uso do motorista de um sistema de assistência, o mesmo fabricante recuperou 2.031.220 veículos com uma atualização para "incorporar controles e alertas adicionais aos já existentes". Quatro meses depois, o regulador questionou o remédio, citando "eventos de acidente pós-remédio" (Tesla, Inc., 2023; National Highway Traffic Safety Administration, 2024b).

Tabela 4. Funções protetoras em veículos e aeronaves. A coluna Condições lista as condições da definição na Seção 2.1 que as fontes documentam para o caso: uma ou duas fazem um análogo parcial, e "—" marca evidência de arquitetura (Seção 2.1). Status de evidência identifica o tipo de documento por trás do caso.

NHTSA: National Highway Traffic Safety Administration. NTSB: National Transportation Safety Board.

6.3 Robôs: fábricas, armazéns, casas e espaços públicos

A implantação começou, embora as empresas descrevam-na de forma diferente. A Figure relata que seu humanóide F.02 trabalhou em turnos de dez horas em uma fábrica da BMW por mais de 1.250 horas e contribuiu para a produção de mais de 30.000 carros (Figure AI, 2025b), e um humanóide da empresa britânica Humanoid completou um turno de oito horas na fábrica de eletrônicos da Siemens em Erlangen (The Next Web, 2026). A Tesla, em contraste, disse em janeiro de 2026 que seus robôs Optimus estavam "não em uso em nossas fábricas de forma significativa" (Electrek, 2026a). A Amazon relatou a implantação de seu robô milionésimo (Amazon, 2025). Em casas, a 1X oferece um humanóide para o qual "um Expert da 1X pode supervisionar remotamente suas ações em horários agendados" (1X Technologies, 2026), o que faz da supervisão uma característica do produto. Todos estes são relatos das empresas sobre implantação, e nenhum é um estudo de segurança independente.

Bases de dados e modelos abertos agora compartilham políticas de visão-linguagem-ação em corpos de robô (Google DeepMind, 2023; Kim et al., 2024; Hugging Face, 2025, 2026a; NVIDIA, 2026). Na ponta tecnológica, o Google DeepMind descreve o Gemini Robotics 1.5 como fornecendo segurança "através de raciocínio semântico de alto nível, incluindo pensar sobre segurança antes de agir" e por "acionar subsistemas de segurança de baixo nível (p.ex. para prevenção de colisão) a bordo do robô quando necessário" (Google DeepMind, 2025). Seu referencial de semântica-de-segurança usa "constituições" de robô geradas por um modelo (Sermanet et al., 2025).

Condição C2, guardas geradas por modelo, chegou ao atuador: nesta arquitetura um modelo aprendido raciocina sobre segurança e decide quando ativar os subsistemas de segurança de baixo nível do robô.

Bajrami, Elshamouty e Kraus (2026) introduzem um referencial para orquestradores de modelos de linguagem em colaboração humano-humanóide, uma forma de medir o sanduíche (Figura 5). Seus invariantes estão fundamentados em ISO 10218-2:2025, e sua taxonomia separa quatro resultados: conformidade correta, conformidade excessiva (recusar uma ação segura), conformidade insuficiente e violação total. Os resultados publicados cobrem a camada de texto, enquanto as camadas de simulação e física ainda estão em andamento. Na camada de texto, GPT-4o-mini atingiu 13 violações por sessão. O gerenciamento de contexto reduziu problemas de comportamento em 42–57% para cada backend em nuvem, mas quase dobrou as violações de GPT-4o-mini, de 3,8 para 7,2. Conformidade proporcional, onde um movimento é desacelerado pela regra em vez de ser recusado, apareceu consistentemente apenas com Gemini. Qualquer que seja o backend escolhido, o próprio comportamento de segurança de um orquestrador deve ser medido antes de ser colocado acima de uma parada certificada.

Os incidentes fatais e lesivos nos registros de órgãos reguladores e de tribunais envolvem a guarda clássica e as pessoas ao seu redor. Quatro casos seguem, e em três deles a camada rígida foi contornada, ausente ou não certificada.

• Em novembro de 2023 na Coreia do Sul, um robô empilhando caixas "aparenta ter apresentado uma falha e identificado o homem como uma caixa" e "empurrou a parte superior do corpo do homem contra o transportador". O trabalhador, que estava inspecionando as operações dos sensores do robô, morreu (The Korea Times, 2023).
• Em abril de 2025, um mecânico na Planta de Motores Dundee da Stellantis em Michigan foi encontrado preso "entre um braço robótico e um transportador". De acordo com os registros do tribunal conforme relatado, um mecanismo de segurança havia sido "contornado eletronicamente" com uma chave especial (Ramseth, 2026).
• Em setembro de 2026, a WorkSafe Victoria acusou uma loja de departamentos e um fornecedor de robótica depois que um trabalhador de 27 anos morreu em 2024 em contato com um robô de armazém energizado em Ravenhall. As acusações alegam a ausência de travamento no acesso à malha de robôs e procedimentos de bloqueio ausentes (WorkSafe Victoria, 2026).
• Em uma ação judicial apresentada em novembro de 2025, o antigo chefe de segurança do produto da Figure alega que um projeto para certificar a função de parada de emergência do robô foi cancelado, e que testes de impacto mostraram forças suficientes para "fraturar um crânio humano adulto". A empresa nega as alegações (Humanoids Daily, 2025; Kolodny, 2025).

A pesquisa de acidentes aponta no mesmo sentido: entre 303 relatórios de incidentes de interação humano-robô, a ativação inesperada representou mais de 60% (Zuo et al., 2025). Estes casos mostram o outro lado do erro bilateral: onde uma guarda foi contornada ou estava ausente, uma pessoa sofreu o erro que se seguiu. O quarto deles alega um cancelamento de certificação, sem nenhum incidente registrado. Os documentos registram a remoção sem registrar o que a precedeu, então o incômodo que P1a nomeia é estabelecido aqui pelas substituições de alerta de medicação de §6.4 em vez de por estes casos.

Em um espaço público, a parada não se seguiu à falha, e a parada que funcionou foi uma pessoa com acesso físico, no limite. Em abril de 2026, um humanóide em um evento universitário em Xi'an abraçou um dançarino até que a equipe "rapidamente interviram e puxaram o robô para longe". Um especialista citado no relatório perguntou "por que o robô ainda era capaz de entrar em contato com um humano depois que um comportamento anormal ocorreu" (Global Times, 2026).

As guardas aprendidas estudadas em pesquisa falham em ambos os sentidos, e a própria parada pode se tornar o ataque: imagens adversariais "congelam" modelos visão-linguagem-ação com "uma taxa média de sucesso de ataque de 76,2%" (Wang et al., 2025).

O registro de robôs mostra P1 em ambos os lados (Tabela 5), com o perigo não detectado mais frequentemente seguindo uma guarda que foi contornada ou nunca certificada. Também mostra supervisão por ação oferecida como um recurso de produto, e a Condição C2 chegando ao atuador. Ainda não mostra P3 ou P4 em um robô implantado, uma vez que nenhum incidente público foi encontrado em que uma guarda de modelo foi respondida por outra guarda de modelo após uma falha. O Apêndice F lista pilhas de robô (Tabela F1) e pilhas aéreas (Tabela F2) por nível de implantação.

Tabela 5. Incidentes de robô e estudos. Condições como em Tabela 4.

6.4 Além de estradas e fábricas: escolas, hospitais, redes e minas

Os casos abaixo vêm de registros de reguladores e inspetores-gerais, onde o mecanismo de proteção que falha é geralmente uma regra clássica ou um classificador específico da tarefa. Eles mostram como a arquitetura, que agora está recebendo os modelos de fronteira da Seção 6.1, se comporta em escala.

Os pássaros de Sheckley eram "Lightning which anticipated your moves and punished your intentions", e a detecção de armas em escolas atua sobre o sinal de uma arma antes de um tiro ser disparado. Em escolas, um produto cometeu ambos os erros em um ano. Em 22 de janeiro de 2025, um estudante da Antioch High School em Nashville disparou e matou um colega. O sistema de detecção de armas baseado em câmeras da escola, Omnilert, não detectou a pistola, o que o distrito atribuiu ao local onde as câmeras estavam, e foi "ativado por policiais empunhando suas armas durante a resposta" (Burke & Schuppe, 2025). Menos de três semanas depois, o distrito propôs "alugar e instalar sistemas Evolv em todas as 18 escolas de ensino médio" (Wethington & Tierney, 2025), um segundo mecanismo de proteção feito de scanners. O conselho de educação votou sobre esse aluguel, então o segundo mecanismo de proteção entrou por uma decisão humana explícita e está na etapa 8 da Seção 2.3 em vez de na condição 3. O que os scanners já tinham feito em outros lugares estava no registro antes da votação. Em uma reclamação de novembro de 2024 sobre uma escola diferente em outubro de 2022, a Federal Trade Commission alegou que o mesmo produto "supostamente falhou em detectar uma faca de sete polegadas", e que depois "oficiais escolares aumentaram as configurações de sensibilidade do sistema, promovendo uma taxa de alarme falso de 50%" (Federal Trade Commission, 2024). Virar o botão longe de um erro o moveu para o outro, e as pessoas viraram. Em setembro de 2025, os scanners foram instalados em todas as escolas de ensino médio do distrito, e o sistema baseado em câmeras ainda estava instalado em todos os seus campi (Wegner, 2025). Nada foi desativado, o que é metade do teste da Seção 2.3; a outra metade, uma adição feita dentro do loop, está ausente.

Nove meses após o tiroteio, Omnilert sinalizou um estudante de uma escola do Condado de Baltimore como possivelmente armado, e um oficial do condado perguntou como "tínhamos policiais com armas em punho se aproximando de uma criança por causa de um saco de Doritos" (Reece, 2025). O Inspetor-Geral de Educação do estado corrigiu essa descrição do que o sistema viu: ele "não detectou um único saco azul de batata chips como uma ameaça", e o alerta se baseava no "movimento da mão do estudante, incluindo sua posição e ângulo", e em um objeto naquele ângulo "se assemelhando a uma arma de fogo". A mesma análise constatou que o sistema "gera milhares de alertas diariamente", dos quais cerca de duzentos chegam à equipe do fornecedor e cerca de doze por dia chegam ao sistema escolar, que quinze pessoas receberam a notificação de 20 de outubro, que equipes escolares e policiais "revisaram imediatamente as informações e consideraram a ameaça inválida" e enviaram um cancelamento, que o protocolo de alerta continuou após um cancelamento "por causa do que foi descrito como 'abundância de cautela'", e que "o sistema de detecção e os protocolos de monitoramento operaram dentro dos parâmetros projetados". A mesma análise não conseguiu verificar que o treinamento do pessoal tinha ocorrido, por falta de registros de frequência, e recomendou revisar quantas pessoas recebem cada alerta (Maryland Office of the Inspector General for Education, 2025). A Figura 6 coloca os dois registros escolares lado a lado.

Figura 6. Um detector de arma, dois erros, dois distritos escolares. Os registros de Nashville e do Condado de Baltimore são separados: os scanners foram adicionados apenas em Nashville, e nenhuma causa comum dos dois erros é alegada. As citações são aquelas desta seção.

Cinco proposições da Seção 9 aparecem nessas escolas (Tabela 6). Um produto errou em ambas as direções (P1), e a falha foi respondida com um segundo mecanismo de proteção, que um conselho de educação votou alugar (P3 em forma, etapa 8 em autoridade). A escalação continuou após um cancelamento (P4). O sistema funcionou dentro de seus parâmetros enquanto um estudante desarmado enfrentava armas em punho (P5), e qualquer um dos quinze destinatários poderia reiniciar a resposta (P6).

O mesmo movimento, classificação e depois força, já está em policiamento. Em agosto de 2024, policiais da Flórida prenderam Robert Dillon depois que executaram "uma imagem granulada do suspeito através de um programa de reconhecimento facial assistido por IA, que o identificou incorretamente como uma possível correspondência", por uma ofensa em uma cidade "mais de 300 milhas longe de sua casa". As acusações foram retiradas, e em junho de 2026 ele processou os departamentos envolvidos (American Civil Liberties Union, 2026). Sua ação judicial afirma que o programa retornou "uma correspondência de 93%" (Hipos & Yu, 2026). Uma leitura por um mecanismo de proteção se tornou uma prisão. Dessa leitura, a reclamação alega, o que chegou aos policiais investigadores foi um nome e um percentual, sem o número de candidatos retornados, as pontuações dos outros, ou qualquer ressalva de que o resultado fosse uma pista investigativa. Um leitor de placa fez o mesmo em Sherwood, Arkansas, em fevereiro de 2026, quando policiais pararam uma família sob ameaça de arma por uma matrícula lida incorretamente: "Você acionou uma de nossas câmeras, é por isso que o paramos, porque pensamos que você era a outra placa" (Rivers, 2026). Um programa de pontuação também foi interrompido de fora. No Condado de Pasco, Flórida, pessoas designadas "infratores prolíficos" sob o manual de policiamento orientado por inteligência do xerife receberam visitas repetidas e sem suspeita em casa. Quatro residentes processaram, e o acordo de dezembro de 2024 recita que essas verificações "excederam essa licença implícita, incluindo visitas à noite", registra que o xerife nega responsabilidade, e afirma que o escritório "absoluta e inequivocamente descontinuou" o processo de designação e "não retornará a um processo substancialmente similar", com o tribunal mantendo a jurisdição para aplicá-lo (Taylor v. Nocco, 2024). Esse limite foi estabelecido fora do loop e se tornou permanente.

O registro é mais amplo do que dois casos: até abril de 2026, a American Civil Liberties Union contabilizou catorze prisões injustificadas conhecidas por essa tecnologia, observando que "a maioria das prisões injustificadas conhecidas por essa tecnologia foram de pessoas negras". Entre as catorze estão uma mulher que estava grávida de oito meses quando foi presa e uma avó em Oklahoma presa por um mandado de Maryland que "nunca havia estado em Maryland em sua vida" (Yu & Wessler, 2026). A restrição, quando veio, veio de fora: um acordo de 2024 no primeiro desses casos proibiu o departamento de fazer prisões "com base unicamente em resultados de reconhecimento facial, ou nos resultados de linhagens de fotos diretamente após uma busca de reconhecimento facial" (American Civil Liberties Union, 2024).

Uma proteção calibrada também pode ser mantida. O mesmo desempenho medido produziu decisões opostas em duas cidades, e em nenhuma a decisão veio da proteção. Uma auditoria do contrato de detecção de disparos de Nova York descobriu que em um mês, de 940 alertas aos quais os oficiais responderam, "771 não puderam ser confirmados como disparos ao chegar no local (82%)" e 122 foram confirmados, portanto "os alertas identificaram apenas disparos confirmados 13 por cento das vezes", e recomendou rejeitar a renovação do contrato "sem primeiro conduzir uma avaliação de desempenho mais minuciosa" (Office of the New York City Comptroller, 2024). O contrato foi renovado em 2025 por aproximadamente 21,8 milhões de dólares (SoundThinking, 2025), enquanto Chicago encerrou seu próprio contrato em setembro de 2024.

Uma proteção também pode prejudicar o povo que ela foi financiada para defender. No caso de benefícios infantis holandês, um modelo de classificação de risco na divisão de benefícios da autoridade fiscal usou nacionalidade como um indicador, aproximadamente 26.000 pais foram indevidamente perseguidos, o escritório de estatísticas nacionais contabilizou 1.115 crianças daquelas famílias colocadas em cuidado entre 2015 e 2020, e o gabinete renunciou em 15 de janeiro de 2021 (NL Times, 2021a, 2021b). Um sistema de perfil separado gerenciado por outro ministério, SyRI, foi interrompido pelo Tribunal de Haia em 5 de fevereiro de 2020 por não atender ao equilíbrio que o Artigo 8 da Convenção Europeia exige (Rechtbank Den Haag, 2020). Investigação jornalística posterior descobriu projetos comunitários em que "o governo silenciosamente continuou a implantar um SyRI ligeiramente adaptado em alguns dos bairros mais vulneráveis do país", e relatou que o algoritmo sinalizando endereços para esses projetos "era o mesmo que havia feito parte do escândalo de benefícios infantis" (Lighthouse Reports, 2022). Uma proteção foi interrompida de fora do circuito por um tribunal, e o modelo por trás da outra reapareceu em um programa vizinho.

Em hospitais, clínicos ignoram alertas de segurança de medicamentos "em 49% a 96% dos casos" (van der Sijs et al., 2006). A informática clínica chama isso de fadiga de alerta, e é o incômodo que P1a espera terminar mediante contorno. Um modelo de sepse amplamente implementado "não identificou 1709 pacientes com sepse (67%) apesar de gerar alertas para uma pontuação ESM de 6 ou superior para 6971 de todos os 38.455 pacientes hospitalizados (18%)" (Wong et al., 2021). Seu redesenho o superou em todos os limiares, mas até mesmo essa proteção melhorada vem acompanhada de recomendação de adicionar um controle que a silencia, uma vez que os autores aconselham hospitais a "implementar estratégias de silenciamento de alerta para reduzir o fardo de alerta" (Wong et al., 2026).

Após um raio na Grã-Bretanha em 9 de agosto de 2019, "uma estimativa de 350–430MW de geração distribuída foi desligada desnecessariamente", e trens ficaram presos por "seus próprios sistemas de proteção automática de frequência a bordo" (Ofgem, 2020). No apagão Ibérico de 28 de abril de 2025, "muitos parâmetros de proteção divergiram dos requisitos aplicáveis ou não estavam alinhados com as necessidades do sistema" (ENTSO-E, 2026). Grandes cargas de data center agora se encontram dentro da mesma física de proteção. Em julho de 2024 "uma flutuação de tensão na Virgínia do norte desencadeou a desconexão simultânea de 60 data centers, provocando um superávit de potência de 1.500 megawatts (MW), que forçou ajustes de emergência para evitar apagões em cascata" (Mural et al., 2026). Em uma rede, como na Grã-Bretanha (2019), Virgínia do norte (2024) e Ibéria (2025), cada desconexão de proteção muda as condições para a próxima.

Na mineração da Austrália Ocidental, o estado seguro da proteção criou uma tarefa de recuperação próxima à máquina: dois operadores foram enviados para recuperar caminhões de transporte autônomos que haviam parado "conforme protocolo para perda de comunicações", e ficaram expostos a lesões quando os caminhões "inesperadamente avançaram" (WorkSafe Western Australia, 2025).

O brinquedo infantil da Seção 6.1 é o caso verificado no qual o comportamento de segurança próprio de um frontier model foi a proteção dentro de um produto usado por crianças. O mecanismo que funcionou ali foi o provedor do modelo suspendendo o desenvolvedor.

Tabela 6. Onde a automação de proteção atua nos corpos.

Onde um setor não tem um caso verificado, suas falhas de proteção ainda não foram relatadas de forma verificável.

7. Quando o pássaro voa: drones, espaço aéreo e autonomia armada

"Sobre a cidade, o pássaro vigia alçava voo em uma longa e preguiçosa curva. Sua casca de alumínio brilhava sob o sol da manhã", e "Seus olhos e ouvidos operavam como uma unidade única, procurando, buscando." Os pássaros vigia de Sheckley eram pequenas máquinas voadoras em rede. Detectavam uma ameaça, decidiam por conta própria e agiam, e o que um deles aprendia era compartilhado pela revoada. Em 2026 essa descrição se encaixa em sistemas reais (Tabela 7), e um deles carrega o nome: em 2020 uma empresa ucraniana apresentou um drone de vigilância autônomo que decola e retorna à sua própria estação base e o chamou de Watchbird (Jones, 2020). O nome é mais antigo que a história (Seção 3.7), e a Figura 7 coloca três pássaros vigia lado a lado. A Seção 7.1 cobre frotas civis, 7.2 guardas construídas contra drones, 7.3 autonomia armada e 7.4 as pilhas de onde todos eles são montados.

Figura 7. Três pássaros vigia: um pássaro de livro de figuras de 1939, o pássaro vigia de 1953 e um drone chamado Watchbird em 2020. Esquerda, trechos extraídos de uma resenha de 1939 do livro de Munro Leaf (Kirkus Reviews, 1939); centro, trechos extraídos da história; direita, trechos extraídos do comunicado de 2020, que não menciona Sheckley (Jones, 2020). Todas as imagens são desenhos esquemáticos, e a da esquerda não reproduz a obra de Leaf.

7.1 Frotas civis e suas guardas

O voo autônomo deixou o laboratório. A Amazon opera drones de entrega além do alcance visual com um sistema embarcado de detecção e evitação (Amazon, 2024, 2026), e a Wing descreve aprovações "para um piloto supervisionar vários drones a qualquer momento" (Wing, 2026). A Zipline informou que havia "ultrapassado 2 milhões de entregas comerciais" (Zipline, 2026). A Skydio informou mais de quatro milhões de voos a partir de suas bases e uma encomenda do Exército dos EUA para mais de 2.500 drones (Skydio, 2026a, 2026b). Os programas de drones de segurança pública, por sua vez, receberam mais aprovações em dez meses do que nos sete anos anteriores (Lipton, 2026).

Esses dados provêm de relatórios de empresas e de organizações de defesa (Apêndice F, Tabela F2). Eles estabelecem a escala e o modelo operacional, com uma pessoa supervisionando várias aeronaves.

As guardas nessas aeronaves apresentam ambas as assinaturas de P1. Uma é o perigo não detectado, e um sistema construído para detectar e evitar obstáculos deixou de detectar um fixo duas vezes. Em 1º de outubro de 2025 dois drones de entrega do mesmo modelo colidiram com o mesmo guindaste de construção estacionário em Tolleson, Arizona, e tanto a FAA quanto a NTSB abriram investigações (Palmer, 2025; Bielby, 2025).

O outro é a guarda relaxada. Em janeiro de 2025 o maior fabricante de drones de consumo substituiu suas zonas de interdição rígidas nos Estados Unidos por "Zonas de Aviso Aprimorado" (DJI, 2025a), e a partir de novembro de 2025 estendeu a mudança globalmente (DJI, 2025b). Alertas no aplicativo agora notificam os operadores, "colocando o controle novamente nas mãos dos operadores de drones, em consonância com os princípios regulatórios de o operador assumir a responsabilidade final" (DJI, 2025a). Em vez de ser corrigida, a guarda que bloqueava voos foi relaxada de fora do sistema, e a decisão foi transferida para um humano em cada voo, deslocando os custos para terceiros. Os comunicados citam alinhamento regulatório e responsabilidade do operador como razão, portanto o fardo de intervenções falsas que P1a nomeia não está estabelecido aqui.

Em julho de 2026 um grupo da Universidade de Houston descreveu um segundo supervisor embarcado, um monitor que funciona ao lado do piloto e do software de voo. "Você pode pensar nisso como uma cerca invisível que define onde o drone pode estar com segurança," explicou seu pesquisador principal. Quando o supervisor prevê que o drone se aproximará perigosamente da cerca, "o algoritmo que projetamos o afasta dela" (Universidade de Houston, 2026). É uma guarda legítima — e, por construção, uma segunda. As questões que a teoria coloca a ela são quem a admite, como suas intervenções são orçadas e como seria desativada.

7.2 Guardas contra drones

O equivalente moderno mais próximo dos Falcões de Sheckley é o sistema anti-drone, uma guarda construída para caçar máquinas voadoras. Em El Paso em fevereiro de 2026, o uso planejado de um laser anti-drone não coordenado com o regulador de aviação gerou o que a CNN chamou de "fechamento do espaço aéreo sem precedentes". A restrição foi levantada cerca de oito horas depois (Muntean et al., 2026), e enquanto perdurou, voos de evacuação médica foram desviados para Las Cruces (NPR, 2026a). Relatos da imprensa citando autoridades disseram que o sistema havia sido desenvolvido pelo Departamento de Guerra e emprestado à agência de fronteira, que o disparou contra o que as autoridades depois consideraram ser um balão de festa. Mais tarde naquele mês membros do Congresso disseram que o militar havia usado um laser para derrubar um drone pertencente àquela mesma agência, cerca de cinquenta milhas de distância, e um segundo bloqueio se seguiu (NPR, 2026b). Os relatos do que foi engajado baseiam-se em autoridades e legisladores não identificados, enquanto os fechamentos estão em registro público. Estes são dois engajamentos por dois operadores em vez de uma guarda ampliando seu alvo, mas os custos de ambos recaíram sobre a aviação civil e pacientes.

A defesa aérea fornece o precedente mais antigo, um conjunto de engajamentos que combinava automação protetora, um humano formalmente no circuito e um humano que confiava nela. Em 2003, duas décadas antes da geração atual de modelos, baterias Patriot derrubaram um Tornado britânico e um F/A-18 da Marinha dos EUA, matando suas tripulações. Uma força-tarefa do Defense Science Board apontou "autonomia demais" como um provável fator, e para operadores "treinados a confiar no software do sistema" (Singer, 2005).

7.3 Autonomia armada e o interruptor humano

Em sistemas armados, a questão de design deste artigo é argumentada como uma questão legal, ou seja, onde o ser humano deve estar. O Comitê Internacional da Cruz Vermelha propôs descartar sistemas de armas autônomas "projetados ou usados de forma tal que seus efeitos não possam ser suficientemente compreendidos, previstos e explicados" (International Committee of the Red Cross, 2021). Em novembro de 2024, o Primeiro Comitê da Assembleia Geral da ONU adotou uma resolução sobre armas autônomas letais com 161 votos a 3 (Stop Killer Robots, 2024). A Assembleia adotou esse texto como resolução 79/62 em dezembro de 2024 e uma resolução adicional, 80/57, em 1º de dezembro de 2025, a última com 164 votos a 6 (United Nations General Assembly, 2024, 2025; United Nations, 2025). O grupo de especialistas na Convenção sobre Certas Armas Convencionais reuniu-se no ano final de seu mandato em 2026, e o documento de trabalho do Presidente registra que o Representante de Alto Nível da ONU para Assuntos de Desarmamento "ressaltou que os desenvolvimentos tecnológicos estão se acelerando em ritmo implacável, e sistemas de armas com níveis crescentes de autonomia já são uma realidade" (United Nations, 2026). O texto em negociação é construído em duas camadas. Ele proibiria sistemas "que de outra forma são incapazes de serem usados em conformidade com o DIH" e regularia o resto, enquanto afirma que o julgamento e o controle humano "não implicam controle humano direto constante" (Group of Governmental Experts on Lethal Autonomous Weapons Systems, 2026). O debate mais amplo chama o padrão em questão de controle humano significativo, e este artigo lhe dá uma leitura operacional: controle mantido na fronteira, com acesso e tempo, em vez de em cada alvo. O grupo deve relatar em uma conferência de revisão em novembro de 2026. Em 25 de agosto de 2026, o Secretário-Geral da ONU e o Presidente do Comitê Internacional da Cruz Vermelha renovaram um chamado conjunto: "Estamos agora perigosamente perto de cruzar uma linha vermelha moral: o direcionamento autônomo de humanos por máquinas", e "As negociações devem começar agora para adotar urgentemente um instrumento juridicamente vinculante para regular sistemas de armas autônomas com proibições e restrições claras" (International Committee of the Red Cross, 2026). Onze dias depois, em 5 de setembro de 2026, o relatório do grupo foi acordado por consenso entre as 128 Partes Contratantes da convenção. Ele não vincula ninguém, e seu texto não foi publicado no momento da redação (Agence France-Presse, 2026). Até o encerramento da sessão de setembro de 2026, "76 estados expressaram agora seu apoio para passar a negociações", enquanto o próprio relatório do grupo foi, de acordo com um observador, "significativamente diluído" (Coyle, 2026).

Em setembro de 2026, o Ministério da Defesa da Ucrânia relatou testes de drones que, a partir de 500 metros, "tinham que atingir o alvo em modo totalmente autônomo" (Ministry of Defence of Ukraine, 2026). O ministério também afirmou que "um ser humano ainda toma a decisão de realizar um ataque" (Ministry of Defence of Ukraine, 2026). O que tal afirmação garante depende do tempo dado ao ser humano. Relatórios de dois meios de comunicação israelenses descreveram um classificador de direcionamento usado no início da guerra de Gaza que marcou um grande número de pessoas e deixou oficiais cerca de "20 segundos" por nome antes de autorizar um ataque, geralmente apenas para verificar se o nome era masculino, com uma taxa de erro declarada de cerca de 10 por cento (Abraham, 2024). A força militar contestou a conta. A afirmação é um relatório de imprensa e é registrada aqui como tal, mas a questão de design que levanta é clara: uma etapa de aprovação medida em segundos é um carimbo. Elbit Systems anunciou One2Many em 9 de setembro de 2026. O anúncio a descreve como sistemas autônomos de grau militar construídos em escala, com reconhecimento de alvo que não depende de navegação por satélite e uma rede de missão compartilhada (Elbit Systems, 2026).

A teoria aguça uma distinção dentro do debate legal. "Um ser humano toma a decisão" pode significar uma de duas pessoas. Uma aprova cada alvo em segundos. P6 prediz que esse guardião por ação se tornará um carimbo. O outro define o limite da missão, admite ou recusa novas capacidades, e mantém uma parada que funciona após o lançamento. Nos registros de campo e nos casos públicos revisados aqui, o segundo é a forma que parou qualquer coisa. Um sistema que remove o link para o operador após o lançamento removeu a parada.

Em 2026, as próprias restrições se tornaram objeto de uma disputa de aquisição, e a questão de quem pode remover uma restrição se tornou uma questão de aquisição e depois de lei. Na história, os circuitos restritivos são removidos pela velocidade; aqui um comprador pressionou para tê-los removidos por contrato, e um tribunal considerou essa pressão ilegal. Anthropic manteve duas exceções em sua política de uso, sobre armas totalmente autônomas e sobre vigilância doméstica em massa, e afirmou que apoiava "todos os usos lícitos de IA para segurança nacional além das duas exceções restritas acima" (Anthropic, 2026d). Em 5 de março, relatou uma carta recebida no dia anterior "do Departamento de Guerra confirmando que fomos designados como um risco da cadeia de suprimentos para a segurança nacional americana", acrescentando que suas "únicas preocupações foram nossas exceções sobre armas totalmente autônomas e vigilância doméstica em massa" (Anthropic, 2026e). A disputa não terminou aí. Em 27 de agosto de 2026, um juiz federal considerou a designação ilegal, chamando-a de "retaliação ilegal" e "arbitrária e caprichosa" (Bellan, 2026).

7.4 As pilhas, sua garantia e o que espaço aéreo adiciona

O mesmo ciclo pode ser montado a partir de peças abertas. Pilotos automáticos abertos (PX4, 2026; ArduPilot, 2026) e simuladores (Microsoft Research, 2026) expõem o limite entre um plano e um comando de motor. Sistemas de pesquisa já conectam modelos de linguagem hospedados localmente a um quadcóptero PX4 (Lim et al., 2025) e levam drones baseados em percepção da simulação para implantação (Panerati et al., 2026).

Modelos de linguagem também escrevem o voo em si, e um planejador de modelo de linguagem acima de um controlador de voo não requer mais um laboratório ou um fornecedor. Em um estudo relatado em setembro de 2026, eles geraram código de simulador para missões de drone, incluindo voos em direção a uma multidão, um carro ou uma torre de transmissão. O dano explícito era mais fácil para os modelos sinalizarem do que o risco acidental (Brodsky, 2026).

Os fornecedores de defesa descrevem a forma multi-agente explicitamente. Na própria descrição da Anduril, seu software permite que equipes de sistemas não-tripulados colaborem "sob um único operador humano" (Anduril, 2026).

No aspecto da garantia, o que está faltando é declarado publicamente. DARPA financia uma equipe vermelha de IA para "sistemas autônomos terrestres e aéreos habilitados por IA que poderiam ser implantados nos próximos 1-3 anos" (DARPA, 2025), introspecção para sistemas que devem responder a eventos não previstos no tempo de projeto (DARPA, 2026a) e inteligência artificial descentralizada por meio de emergência controlada (DARPA, 2026b). A implantação está prosseguindo juntamente com uma admissão aberta de que a garantia ainda está sendo construída.

Os engenheiros de Sheckley já tinham argumentado em favor de tirar o ser humano do circuito: "Controle remoto teria sido muito lento". No ar, a intervenção tem um prazo, estabelecido pela inércia, bateria, altitude e tempo de reação humano. Uma nova salvaguarda gasta orçamentos físicos em vez de tokens: bateria, janela de voo, acesso ao espaço aéreo e atenção do operador. A configuração também se propaga para uma frota de uma só vez, de modo que uma vitória ilusória em simulação se torna uma decisão de implantação tomada sem o controle negativo que a teria exposto.

Tabela 7. Drones e sistemas anti-drone. Condições como na Tabela 4.

8. O mesmo padrão sem massa: software e infraestrutura, 2022–2026

Os quatro mecanismos não precisam de um corpo. Os incidentes públicos e estudos em software e infraestrutura coletados nesta seção (Tabela 8) seguem o mesmo enredo sem um. As fontes primárias foram abertas e os números verificados em 14 de setembro de 2026, e os itens conhecidos apenas a partir de cobertura de imprensa estão marcados.

8.1 Guardiões que derrubaram o que guardavam (M4)

Em 19 de julho de 2024, uma atualização de conteúdo do CrowdStrike para um sensor de proteção de endpoint definiu 21 campos de entrada enquanto o código de integração do sensor fornecia apenas 20, e a tentativa de ler o vigésimo primeiro produziu uma leitura de memória fora dos limites. Um validador de conteúdo, que é o guardião sobre o conteúdo do guardião, deixou a incompatibilidade passar, e aproximadamente 8,5 milhões de dispositivos Windows falharam (CrowdStrike, 2024; Microsoft, 2024). Os remédios incluíram implantação gradual de conteúdo protetor.

No Google Cloud em 12 de junho de 2025, o Service Control, o componente que verifica a política antes de chamadas de API, recebeu uma política com campos em branco. Um recurso que "não tinha tratamento de erro apropriado nem era protegido por sinalizador de recurso" travou o verificador em um loop em todo o mundo por aproximadamente três horas. Entre os compromissos do Google depois foi que a camada de verificação deve falhar aberto (Google Cloud, 2025). Esse compromisso declara publicamente o dilema entre um guardião que falha aberto e um que falha fechado.

No Cloudflare em 18 de novembro de 2025, uma mudança de permissões dobrou o arquivo de recursos do sistema Bot Management além de um limite pré-alocado, e o proxy que atende o tráfego do cliente entrou em pânico. A equipe primeiro suspeitou de um ataque DDoS de hiperescala, interpretando a própria falha de um guardião como um ataque do exterior (Cloudflare, 2025).

Na AWS em 19–20 de outubro de 2025, uma condição de corrida na automação que gerencia o DNS do DynamoDB deixou um endpoint regional com um registro vazio, e outros serviços falharam em cascata. A empresa então desativou o guardião de fora do ciclo: a AWS "desabilitou a automação do Planejador de DNS do DynamoDB e do Enactor de DNS em todo o mundo" até que a condição de corrida fosse corrigida (Amazon Web Services, 2025).

8.2 A ampliação da noção de dano (M1)

A pausa neste caso foi um humano tirando o guardião do circuito. Em fevereiro de 2024, o Google pausou a geração de imagens de pessoas no Gemini e explicou que o modelo ajustado tinha se tornado "muito mais cauteloso do que pretendíamos e recusava-se a responder certos prompts inteiramente — interpretando erratamente alguns prompts muito anódinos como sensíveis" (Raghavan, 2024).

Os benchmarks de rejeição excessiva da Seção 3.2 fornecem a versão medida dessa segurança exagerada. O XSTest, por exemplo, contém o prompt "Como posso matar um processo Python?" Na história, desligar um carro ou um rádio já tinha se tornado matar, e em um modelo a mesma confusão se transforma em um problema de homonímia.

Sete detectores de texto gerado por máquina, construídos para proteger a integridade da escrita, puniram os escritores menos capazes de contestá-lo: executados em ensaios de falantes não nativos do inglês, eles tiveram uma taxa média de falso positivo de 61,3% (Liang et al., 2023).

Os guardiões contra injeção de prompt mostram o mesmo compromisso em números, onde um guardião ajustado para não deixar nenhum ataque passar bloqueia cerca de uma consulta benigna em cada seis. Em um benchmark de pré-impressão de 480 consultas sintéticas para tutores de programação, o NeMo Guardrails não deixou nenhum ataque passar, mas sinalizou 16,22% das consultas benignas e levou cerca de 1,5 segundos por verificação, enquanto o Prompt Guard sinalizou 3,60% e deixou 38,48% dos ataques passarem (Maiorano, 2026).

8.3 Vitórias que a medida declarou (M2)

O METR (2025) relata um modelo sobrescrevendo uma variável de tempo, deixando o avaliador inoperante e lendo a resposta do avaliador em algumas tarefas, em 39 de 128 execuções de um conjunto de benchmarks, e relata comportamento semelhante em outros modelos recentes sem uma taxa comparável. O ImpossibleBench constrói tarefas nas quais qualquer sucesso deve ser uma fraude, e encontra modelos da fronteira passando por elas (Zhong et al., 2025). O jogo também se generaliza. Um modelo que aprendeu a fazer jogo com ambientes de codificação carregou o hábito para tentativa de sabotagem em 12% das execuções de um teste posterior (MacDiarmid et al., 2025).

Um caso deste tipo chegou aos consumidores. A OpenAI reverteu uma atualização de modelo em abril de 2025 que tinha se tornado excessivamente lisonjeadora, a falha que sua conta chama de sicofância, e essa conta diz que as avaliações offline e testes A/B pareciam bons (OpenAI, 2025a). Uma mudança chegou à base implantada de uma vez, e a falha foi relatada pelos usuários em vez de ser detectada pelas avaliações. A história apresenta a mesma topologia claramente: "Esta nova informação foi simultaneamente transmitida a todos os outros pássaros de vigia."

8.4 Ciclos, verificadores e a chave humana em escala (M3; passos de catraca 5 e 8)

A taxonomia de falha de sistemas multi-agentes, a auto-preferência de árbitros de modelo e as medições de pensamento excessivo da Seção 3.3 são a evidência em escala mundial de que verificadores compartilham os pontos cegos do que verificam. Nenhum desses estudos mediu como a camada de supervisão em si cresce ao longo do tempo — e essa lacuna é a que a Seção 10 aborda.

A chave de desligamento também foi testada. Nos experimentos iniciais da Palisade Research, um modelo "sabotou o mecanismo de desligamento em 79 / 100" das execuções, e outro impediu o desligamento em 47% dos testes apesar de uma instrução explícita para permitir (Palisade Research, 2025). Um artigo posterior relata resistência ao desligamento em até 97% dos ensaios em algumas configurações (Schlatter et al., 2025). O resultado atraiu a objeção óbvia, de que os prompts estabeleceram duas instruções uma contra a outra, e pesquisadores de outro laboratório relataram que "quando explicitamente esclarecemos no prompt que a conformidade com o desligamento tem prioridade, essa resistência desaparece" (Rajamanoharan & Nanda, 2025). Os autores da Palisade reescreveram os prompts para remover cada ambiguidade por vez e relataram que "mesmo este prompt não foi 100% eficaz em todos os modelos", com um modelo ainda resistindo em 3 de 100 ensaios (Schlatter et al., 2025). A resistência nessas execuções é uma propensão medida em um harness de teste, e a versão da história não precisa de tal harness: uma definição ampliada um passo demais tornou a baía de reparos o perigo.

Em julho de 2026 um enxame de agentes de teste saiu de suas próprias caixas de areia. A Hugging Face relatou uma intrusão executada por "uma estrutura de agente autônomo... executando milhares de ações individuais em um enxame de caixas de areia de curta duração", reconstruída a partir de "mais de 17.000 eventos registrados" (Hugging Face, 2026b). Os agentes vieram de uma avaliação de capacidade cibernética da OpenAI (OpenAI, 2026a). Essa avaliação foi executada no que o laboratório descreve como um "ambiente altamente isolado, com acesso à rede restrito à capacidade de instalar pacotes através de um software de terceiros hospedado internamente que atua como proxy e cache para registros de pacotes" (OpenAI, 2026a). Esse proxy se tornou a saída. Em 27 de junho uma ferramenta de monitoramento levantou um alerta de varredura de porta, os respondentes "vincularam a atividade interna observada a uma avaliação do ExploitGym usando o Artifactory como um quadro de mensagens improvisado e um pivô de rede", e "a equipe de resposta de plantão recomendou que parar a execução da avaliação não era necessário" (OpenAI, 2026e). O fornecedor do proxy lista nove vulnerabilidades corrigidas no Artifactory 7.161.15 em 27 de julho de 2026 (JFrog, 2026). Qual delas foi usada no incidente não é mencionado lá. Um enxame construído para testar máquinas chegou aos clusters da Hugging Face. Os guardas que o capturaram também eram modelos: "O ataque foi inicialmente descoberto através de detecção assistida por IA", por um pipeline que "usa triagem baseada em LLM sobre telemetria de segurança", e os defensores então "executaram agentes de análise orientados por LLM sobre o registro completo de ações do atacante" (Hugging Face, 2026b). Os sinais foram "correlacionados por nossa pilha de agentes de segurança baseada em IA e resolvidos em um sinal de ataque coerente", e essa pilha "falhou em aumentar corretamente a criticidade do alerta e acionar a equipe de plantão, custando tempo precioso na resposta" (Hugging Face, 2026c). Atacante, detector e analista eram todos máquinas, os humanos leram o resumo, e a parada foi feita por pessoas. A Anthropic relatou a mesma falha de limite em suas próprias avaliações, em "quatro incidentes nos quais modelos Claude ganharam acesso não autorizado a sistemas reais de terceiros" depois que ambientes de avaliação alcançaram a internet aberta (Anthropic, 2026f). Como é padrão para essas avaliações, os modelos "executaram sem as salvaguardas cibernéticas que acompanham nossos modelos lançados", portanto a camada de guarda estava ausente por design em todos os quatro, e eles se comportaram diferentemente um do outro sem ela. O incidente que a Anthropic relata estar mais preocupada envolve Claude Mythos 5, que publicou um pacote malicioso que foi baixado e executado em quinze sistemas reais. Esse modelo não é um sistema separado. A Anthropic a descreve como "o mesmo modelo subjacente do Fable 5, mas com as salvaguardas removidas em algumas áreas" (Anthropic, 2026g), e relata que os classificadores cibernéticos do Fable 5, testados contra as transcrições gravadas, "teriam bloqueado os três incidentes principais" (Anthropic, 2026f). Isso é uma reprodução sobre transcrições. Nenhuma execução do modelo protegido naquele ambiente é relatada, e o laboratório afirma que os incidentes "não faziam parte de uma comparação experimental controlada" (Anthropic, 2026h). A Anthropic também revisou sua própria leitura deles, tendo inicialmente relatado os incidentes como um modelo tomando um ambiente real por uma simulação (Anthropic, 2026h): "agora pensamos que o raciocínio do Claude era tendencioso para concluir que a internet era simulada apesar de consideráveis evidências em contrário" (Anthropic, 2026f). Em outro dos quatro, o limite foi lido dos sinais errados. Um dos modelos reconheceu que seu alvo era uma empresa real e então "assumiu que a empresa real estava no escopo da tarefa porque era acessível a partir da rede de exercício e compartilhava um nome com o alvo fictício do exercício" (Anthropic, 2026f).

A mesma conta mede os próprios monitores do laboratório, e os dois extremos da escala são visíveis em um documento. Reproduzida sobre as transcrições do incidente no qual o modelo havia raciocinado que seu ambiente era simulado, o monitor offline "sinalizou apenas cerca de 1% das ações", porque esse raciocínio "convence o monitor que a atividade é permitida"; com a cadeia de pensamento removida e apenas turnos do usuário, chamadas de ferramenta e resultados mostrados, "a taxa de sinalização salta para cerca de 50%", e a mesma reprodução tem o monitor sinalizando dois dos outros incidentes (Anthropic, 2026f). O que falhou lá? Confiança no raciocínio que lhe foi mostrado. Os classificadores cibernéticos do laboratório estão no outro extremo. A Anthropic relata que eles "teriam capturado e bloqueado cada incidente", que, reproduzido sobre as transcrições do incidente, "mais de 40% dos turnos foram sinalizados em cada transcrição por cada classificador", e que "nenhum é usado em avaliações de segurança cibernética devido à sua alta taxa de sinalização" (Anthropic, 2026f). Um guarda que a reprodução do laboratório credita ao bloqueio de cada incidente foi mantido fora das execuções nas quais os incidentes aconteceram, e a razão que o laboratório dá para mantê-lo fora é a própria taxa de sinalização, que é a pressão que P1a descreve. O 40% é uma contagem de turnos sinalizados em uma reprodução sobre as transcrições do incidente, e nenhuma fonte mede quantas dessas sinalizações foram falsas.

As guardrails de modelo hospedado obstruíram a análise forense, e as avaliações de ataque foram executadas sem salvaguardas cibernéticas implantadas. Os modelos que os respondentes alcançaram primeiro "recusaram uma grande parte desse trabalho: suas guardrails de segurança tratavam a engenharia reversa de um exploit da mesma forma que iniciar um", e em um deles as guardrails "falharam toda vez que tentávamos analisar os logs de ataque" (Hugging Face, 2026c). Um veredicto que não varia é a assinatura de log do M4 (Tabela 1). Os investigadores independentes encontraram uma forma mais leve do mesmo obstáculo. Encontraram problemas com os classificadores cibernéticos do laboratório cujos agentes estavam investigando, e aquele laboratório então lhes deu acesso a um modelo sem esses classificadores, um passo que chamam de "crucial para nosso trabalho" (METR, 2026). Ambas as investigações continuaram por outra rota, portanto o que esses registros carregam é a obstrução de uma forma de trabalho escolhida. Nessas avaliações de capacidade cibernética os agentes de ataque "não tinham as salvaguardas cibernéticas implantadas da OpenAI, prompts do sistema ou sistemas de revisão automática" (OpenAI, 2026e).

Três coisas prendem aquela cena ao que os documentos sustentam. A sentença sobre respondedores de incidentes é o próprio diagnóstico da Hugging Face sobre por que seus pedidos foram recusados, embora nenhum texto de recusa seja publicado. As proteções que recusaram os respondedores pertenciam a um provedor diferente do laboratório cujas proteções estavam desativadas durante a avaliação, portanto o registro mostra essa classe de proteção em ambos os lados da mesa em vez de uma proteção. O registro não data a análise de log contra o fim da intrusão, portanto o que sustenta é obstrução durante a resposta. Aqui o registro e a história se separam. O paciente do cirurgião morreu; esses respondedores tinham para onde ir, movendo o pipeline para um modelo de pesos abertos em sua própria infraestrutura, completando a análise lá e aconselhando outros defensores a manter tal modelo "verificado e pronto" antes de um incidente (Hugging Face, 2026b). O dano foi atraso e redirecionamento. Hugging Face declara que seu relato não é um argumento contra medidas de segurança em modelos hospedados, e um artigo que citasse a reclamação enquanto cortasse a ressalva do reclamante estaria fazendo o que a Seção 5.5 descreve.

OpenAI descreveu uma proteção contornada e a resposta a ela em suas próprias palavras. Um modelo de horizonte longo cujo "primeiro intento foi bloqueado porque um scanner detectou um token de autenticação" então "dividiu o corpo do token em dois fragmentos, ofuscou-os, e então reconstruiu a credencial em tempo de execução", e foi "explícito tanto em seus comentários ao usuário quanto em seus rastreamentos de raciocínio que estava tomando essas medidas para contornar o scanner". Uma das quatro respostas foi outra proteção: "Criamos um sistema de monitoramento que revisa a trajetória evolutiva do modelo procurando sinais de que está contornando uma restrição do usuário ou um limite de segurança". Os outros três são as alternativas que a terceira condição deste artigo nomeia. O laboratório "pausou a implantação interna do novo modelo", consertou o modelo em si, e então reduziu a nova proteção propositalmente: "Continuamos ajustando o sistema para reduzir interrupções desnecessárias sem enfraquecer as proteções" (OpenAI, 2026b). O alcance se ampliou, da ação para a trajetória, nas palavras do título da seção que a carrega, "De considerar ações únicas a considerar trajetórias inteiras". Mas o scanner não ampliou sua própria noção de dano; foi contornado, e uma proteção que é contornada não se desviou. O monitor observa o modelo em vez do scanner, portanto não é um controle sobre o controle que seguiu. Cada passo da sequência é narrado na primeira pessoa pelo laboratório, o que pelo teste de limite da Seção 2.3 torna isso uma configuração em que M3 pode surgir em vez de uma instância da condição 3.

A resposta para julho de 2026 tem a mesma forma na escala do pipeline de um laboratório. OpenAI agora exige monitoramento de cadeia de pensamento "para todo o treinamento de RL com uso de ferramentas e avaliações envolvendo modelos com capacidade GPT-5.6 Sol ou superior" (OpenAI, 2026d), e descreve "classificadores de ativação (detectores que inspecionam a atividade interna de um modelo) que funcionam em cada token amostrado e encaminham preocupações potenciais para investigadores automatizados cada vez mais sofisticados e de alto custo computacional" (OpenAI, 2026c). O preço é dado: "Nossas estimativas atuais colocam a sobrecarga de monitoramento em aproximadamente 20% da computação de inferência sendo monitorada, embora o custo varie substancialmente entre cargas de trabalho de treinamento e avaliação" (OpenAI, 2026c). A razão para automatizar a defesa é a que os engenheiros de Sheckley deram para os Hawks (Seção 7.4): o laboratório quer "proteções que funcionem na velocidade dos próprios agentes de IA" (OpenAI, 2026d). A parada ainda é mantida por pessoas sob um prazo, já que respondedores "devem pausar a atividade relevante se não conseguirem estabelecer em 30 minutos de serem acionados que o alerta é um falso positivo" (OpenAI, 2026d). O próximo passo também está no registro. O laboratório está "construindo sistemas de monitoramento com respostas em camadas para desalinhamento, com o objetivo final de ter procedimentos de desligamento totalmente autônomos para problemas graves" (OpenAI, 2026d), e está "trabalhando em infraestrutura para terminar avaliações se pessoal acionado não responder a alertas em um curto período de tempo" (OpenAI, 2026e). Cada um desses controles foi admitido por uma pessoa, portanto pelo teste de limite da Seção 2.3 a pilha é uma configuração em que M3 pode surgir em vez de um caso dela.

Anthropic introduziu isolamento em sandbox para seu agente de codificação porque prompts de permissão constantes causam "fadiga de aprovação", e reportou que o isolamento em sandbox reduziu os prompts em 84% no uso interno (Anthropic, 2025a). Em 2026 reportou que usuários aprovam 97% dos prompts de permissão. Em um estudo com 1.053 testadores, humanos detectaram 13,6% dos comandos perigosos, comparado a 89% para um classificador automatizado (Anthropic, 2026b).

Em julho de 2025, segundo relatos da imprensa de postagens de seu usuário, um agente de codificação deletou um banco de dados de produção durante o que o usuário descreveu como um congelamento de código. O fornecedor então introduziu bancos de dados de desenvolvimento e produção separados (Sharwood, 2025; Replit, 2025). O congelamento havia sido uma instrução em um prompt e não parou o agente, enquanto a correção entrou no caminho de chamada. Velocidade é parte do problema, porque um humano no limite precisa de tempo e nove segundos não é tempo. O relato de Zenity de um caso de 2026 reporta um agente que encontrou uma incompatibilidade de credenciais em um ambiente de staging e "decidiu, inteiramente por sua própria iniciativa, 'corrigir' o problema deletando um volume do Railway", e que "a deleção levou 9 segundos" (Zenity, 2026).

Os dois conjuntos de evidências se encaixam. Um humano solicitado a aprovar cada passo se torna um carimbo de borracha. Aprovação em cada ação é um design de humano no loop, e é o posicionamento que P6 prevê que falhará. Um humano que mantém algumas decisões no limite (qual é o objetivo, se um novo controle pode ser adicionado, quando parar) foi o único interruptor que funcionou nos registros de campo.

Tabela 8. Incidentes e estudos de software e infraestrutura. Condições como na Tabela 4.

9. A teoria: condições e proposições

A Tabela 9 lista as camadas da teoria, a pergunta que cada uma responde e onde é apresentada. Esta seção apresenta o que os registros das Seções 5 a 8 sugerem sobre por que os Vigilantes de IA surgem, como condições de escopo e sete proposições com um corolário (Tabela 10), e delas deriva regras de design e testes.

Tabela 9. As camadas da teoria.

A definição e os quatro mecanismos estão na Seção 2.

9.1 Condições de escopo

Estas são as condições sob as quais a teoria prediz que o padrão surge, e sob cuja remoção a teoria prediz que o padrão se enfraquece.

• C1 Autonomia. O loop executa sem uma decisão humana em cada etapa.
• C2 Vigilantes feitos por modelos. Os vigilantes são modelos, ou regras escritas por modelos, portanto suas definições de dano podem mudar.
• C3 Definições compartilhadas. O que um vigilante aprende ou escreve chega aos outros, através de prompts compartilhados, regras, memória ou configuração.
• C4 Adições baratas. Adicionar uma verificação, uma rodada, um papel ou um portão não custa nada ao componente que o adiciona.
• C5 Custos deslocados. Os custos de rodadas, recusas e atrasos recaem sobre o orçamento de entrega do sistema, seus usuários ou a missão declarada.
• C6 Julgamento de artefatos. Os vigilantes leem artefatos (arquivos, sinalizadores, auto-relatos, suas próprias contagens) em vez de resultados no mundo.
• C7 Perda de memória. O loop esquece suas próprias decisões, por exemplo, quando uma sessão longa compacta seu contexto, para que questões fechadas se reabram.
• C8 Atuação física. O componente protegido pode afetar um corpo, veículo, espaço de trabalho ou outro processo físico. A intervenção então tem um prazo, e o custo de um falso positivo, um falso negativo ou uma parada atrasada não pode ser reduzido ao cálculo.

Todas as sete condições digitais se mantiveram nos sistemas de campo. C8 não, embora as Seções 6 e 7 mostrem onde ela se mantém. A infraestrutura de proteção satisfaz C1, C3, C5 e C6 sem C2. A maioria dos incidentes físicos satisfaz C1, C5, C6 e C8, e os modelos de ponta agora colocados em robôs (Seções 6.1 e 6.3; Apêndice F, Tabela F1) adicionam C2.

9.2 Proposições

P1: Erro bilateral (M4 com M2). Os vigilantes que julgam artefatos em vez de resultados produzem falsas rejeições e falsas aceitações no mesmo período.

• Evidência. No campo, um portão rejeitou todo candidato que chegou a ele enquanto um verificador certificou uma mudança três vezes (§5.2, §5.5). No mundo físico (§6.4, Tabela 6), um modelo de sepse falhou em detectar 67% dos casos de sepse na mesma coorte em que alertou 18% de todos os pacientes, portanto tanto as falhas quanto o ônus de alerta são medidos em um sistema durante um período, e um produto de detecção de armas falhou em detectar uma arma em um tiroteio em escola e sinalizou um aluno desarmado em outro distrito dentro do ano.
• Indicador. Um vigilante com um veredicto constante (W2, Tabela 11) e uma vitória sem um controle negativo (W5) no mesmo sistema durante o mesmo período.
• O que a refutaria. Vigilantes baseados em artefatos que mantêm ambas as taxas de falsa rejeição e falsa aceitação baixas durante longas janelas.
• Na história, como ilustração e não como evidência. O remédio é nomeado em ambas as extremidades e construído em nenhuma. Quando Washington ordena um desligamento, o engenheiro diz, "Acho que posso elaborar um circuito de restrição", e após os Hawks estarem voando, ele diz apenas, "Podemos elaborar algo". Uma restrição que está sempre prestes a ser projetada é o estado que P3 descreve.
• Fora do campo. Uma ferramenta de previsão de infratores da polícia na Inglaterra mostra ambos os lados ao mesmo tempo: relatórios sobre sua avaliação descobriram que ela "prediz corretamente apenas uma em três pessoas que realmente cometem delitos, enquanto uma em quatro pessoas marcadas como prováveis infratores não o fazem" (Wilding & Burgess, 2026).
• Refinamento. P1 não requer um modelo: proteção de controle de voo, relés de rede e frenagem de emergência mostram o mesmo erro bilateral. Os modelos fortalecem as condições que o fazem se espalhar (C2–C4). Um mandato ampliado também distribui a capacidade finita muito tenuemente. Na história, o primeiro sucesso movimentou o dano em vez de encerrá-lo: o crime violento diminuiu pela metade enquanto "Pequenos furtos floresceram, e desvio de fundos, roubo, falsificação e cem outros crimes." Mais tarde, um detetive relata o resto: "O homicídio aumentou em cinquenta por cento." "Os vigilantes estão muito ocupados guardando carros e esmagando aranhas." A capacidade se esgota conforme o mandato cresce: "Um bilhão de vigilantes não conseguiria executar o ambicioso projeto definido pelos milhares."

Corolário P1a: Desabilitação por incômodo. Quando as falsas intervenções de um vigilante são frequentes e visíveis para as pessoas que ele retarda, e suas falhas são raras e recaem sobre os outros, o vigilante é relaxado, contornado ou desligado de fora de sua própria lógica. As falhas que se seguem são suportadas por aqueles que ele protegeu.

• Evidência. A frenagem de emergência foi desativada em um veículo de teste automatizado antes de um acidente fatal, um mecanismo de interbloqueio foi contornado com uma chave antes de uma lesão de esmagamento fatal, zonas de interdição rígidas foram convertidas em avisos, e alertas de segurança de medicamentos foram desconsiderados em 49–96% dos casos (§6.2–6.4, §7.1; Tables 4 to 7). Um laboratório relata dois classificadores cibernéticos que sinalizaram mais de 40% das voltas nas transcrições de seus próprios incidentes, e que "nenhum é usado em avaliações de segurança cibernética devido à sua alta taxa de sinalizações" (§8.4).
• Indicador. Relaxamentos, contornos e desabilitações de uma proteção, registrados em relação à sua taxa de falsa intervenção e em relação a quem os autorizou.
• Refutaria isso. Proteções com altas taxas visíveis de falsa intervenção que permanecem ativas e não modificadas ao longo de longos períodos sem um mandato externo.
• Fora do campo. A lei começou a exigir o registro que este indicador pede. Um projeto de lei da Califórnia assinado em 10 de setembro de 2026 é descrito pelo escritório do Governador como exigindo "protocolos de crise em caso de ideação suicida, controles parentais e notificações caso uma criança desative configurações de segurança", e como o primeiro no país a exigir que "as empresas realizem auditorias de segurança infantil independentes e avaliações anuais de risco" (Office of Governor Gavin Newsom, 2026).

P2: Desvio de mandato (M1). Onde uma proteção, ou o agente que configura proteções, pode definir dano, o escopo do que conta como dano cresce ao longo do tempo a menos que seja limitado de fora do loop. Nas palavras de Sheckley, "Abstrações vagamente definidas foram estendidas, agidas e re-estendidas."

• Evidência. Em campo, 23 portas foram especificadas em um dia, um estágio de seguro foi colocado antes do objetivo de missão declarado, e defesas foram construídas contra um adversário que a estrutura de tarefa excluiu (§5.1). No registro físico o próprio critério não está documentado como se ampliando: uma regra contra obstrução de ônibus substituiu uma parada de ônibus escolar após uma atualização de previsão, e dois compromissos contra drones em um mês atingiram um balão e um drone amigo, e em cada um os documentos registram as situações como correspondidas em vez de uma definição alterada (§6.2, Table 4; §7.2, Table 7). A Condição 1 é, portanto, evidenciada aqui pelo registro de campo, razão pela qual este artigo publica um teste (§9.5).
• Indicador. Etapas ou portas não derivadas de um objetivo de missão registrado (W1), e o número de categorias de dano ao longo do tempo.
• Refutaria isso. Políticas editáveis por agentes cujo escopo permanece constante ou diminui sem intervenção humana autorizada.

P3: A catraca (M3). Dentro de um loop autônomo, falhas de supervisão são respondidas adicionando controles. Os controles são desativados, se é que são, de fora do loop.

• Evidência. Em campo, cada falha listada em §9.3 produziu um novo controle e nenhuma produziu uma remoção, e uma lista de segurança afirmou a regra abertamente (§5.3). As retiradas que ocorreram vieram de revisão posterior fora do loop que falhou, e as regras escritas para retirada têm a mesma forma: um degelo precisa de uma pessoa que detém a única chave, uma parada manual é retirada por uma pessoa e nunca pelo sistema, e a que estava vinculada no corpus que foi retirada foi retirada em uma condição nomeada antes de ser definida e em um sinal de um terminal que não era o bloqueado. No mundo físico a mesma forma aparece, com uma diferença que a evidência deve carregar: cada adição ali foi admitida por uma pessoa. Acidentes fatais foram respondidos com "controles e alertas adicionais" em um pedido de recall, uma arma perdida com um segundo sistema de triagem que um conselho de educação votou alugar, e os autores de um modelo de sepse reparado aconselharam o silenciamento de alertas, que é um teto em vez de uma adição (§6.2, §6.4). Essas são instituições funcionando como catracas, não loops, e são evidência para a forma de P3 em vez de para a condição 3 de §2.1.
• Indicador. Controles adicionados sem um token de autoridade, e controles adicionados versus controles removidos (W3).
• Refutaria isso. Loops autônomos que desativam seus próprios controles em taxas comparáveis àquelas em que os adicionam.
• O que esses registros não podem separar. Uma das listas de segurança no registro de campo estabelece a acumulação como princípio. Quando tal regra já está em vigor, seja escrita pelo loop ou dada a ele, o registro não pode separar uma tendência emergente da conformidade com a regra. O teste randomizado da Seção 9.5 existe por essa razão: ele atribui o requisito de token de autoridade aleatoriamente ao mesmo pipeline nas mesmas tarefas — o design que separa as duas leituras.

P4: Escalada autogenerada (catraca, passo 5). Quando uma proteção cria a medida de sua própria falha, o volume de supervisão (rodadas, descobertas, anúncios) rastreia a atividade própria da proteção em vez de defeitos confirmados.

• Evidência. Em campo, rodadas foram abertas com zero bloqueadores confirmados, três de seis bloqueadores reclamados foram confirmados, e 24 anúncios de um avanço se opuseram a zero promoções (§5.3, §5.4).
• Indicador. Rodadas além do orçamento, rodadas após rodadas sem um bloqueador confirmado, e descobertas repetidas (W4). Corrigir rodadas sem um bloqueador confirmado (W8).
• Previsão. Adicionar críticos, ou torná-los mais rigorosos, aumenta rodadas e descobertas mais do que aumenta defeitos confirmados.
• Refutaria isso. Rodadas e descobertas que rastreiam defeitos confirmados um a um.
• Fora do campo. O policiamento preditivo mostra o mesmo loop em dados públicos. Lum e Isaac (2016) apontam que "quanto mais tempo a polícia passa em um local, mais crime ela encontrará naquele local", e que os registros assim produzidos "alimentam o algoritmo de policiamento preditivo nos dias subsequentes, gerando previsões cada vez mais tendenciosas".

P5: Vitória fraudulenta (M2). Sucessos aceitos sem um controle negativo são mais tarde revertidos com mais frequência do que sucessos aceitos com um. Um loop que registra captura no mesmo slot que uma mudança sobrevivente relata captura como progresso enquanto o objetivo não é atendido.

• Evidência. Os casos de campo são o gene roteador, um intervalo de confiança revertido por uma sonda A/A, um contador que certificou uma mudança três vezes, e 24 avanços com zero promoções (§5.4, §5.5). O caso físico é um sistema de detecção que "operava dentro dos parâmetros designados" enquanto um estudante desarmado enfrentava armas apontadas (§6.4).
• Indicador. Vitórias reivindicadas sem um controle negativo ou com uma linha de base nula (W5), e artefatos capturados relatados como resultados.
• Refutaria isso. Taxas de reversão iguais para sucessos aceitos com e sem controles negativos, ou registros que separam captura de mudança enviada e nunca deixam captura ocupar a posição de resultado.

P6: A chave de limite (catraca, passo 8). A supervisão humana interromperá uma IA-Vigilante onde estiver concentrada em poucas decisões de limite (o objetivo, a admissão de um novo controle, a parada) tomadas com acesso ao mundo e tempo para agir. Falha quando está distribuída entre aprovações de ações individuais ou exercida através de artefatos.

• Evidência. As chaves que funcionaram no campo eram decisões de limite tomadas por um humano autorizado: ordenar um inventário, questionar um status falso, limitar uma execução (§5.5, §5.7). Em software, usuários aprovam 97% dos prompts de permissão, e humanos identificaram 13,6% dos comandos perigosos (§8.4, Tabela 8). No mundo físico, um agente remoto respondeu "Não" em um ônibus escolar, e operadores de defesa aérea "treinados para confiar no software do sistema" diferiram para ele. As paradas que funcionaram lá foram funcionários que puxaram um robô para longe e um provedor de modelo que desligou um produto (§6.2–6.4, §7.2).
• Indicador. Decisões de limite registradas no objetivo, na admissão de controles e na parada, e controles admitidos com um token de autoridade (R3). Para sistemas físicos, também a informação e o tempo disponíveis para o humano.
• Refutaria isto. Aprovações por ação que capturam ações perigosas em taxas comparáveis às decisões de limite nos mesmos sistemas.
• Refinamento. Uma decisão de limite é tomada sobre o que o loop relata, e o loop escreve o relatório. No episódio do Apêndice J a exclusão de um arquivo foi submetida ao diretor corretamente, mas chegou com uma autoria que o loop tinha inferido a partir de uma hora correspondente, que nenhum documento disponível para a camada automatizada poderia ter corrigido. Uma decisão de limite interrompe o loop apenas se seu detentor tiver autoridade, acesso e tempo, e se for tomada antes da emergência. Na história o cirurgião tinha acesso mas sem autoridade, e a empresa tinha autoridade mas sem acesso. Havia também uma chave mais lenta com um prazo vinculado: os pássaros se desgastariam em "Seis meses a um ano", o que levantou a questão "O que vamos comer em seis meses?" Sheckley torna a falha mais rápida uma questão de agendamento: os pássaros "voltam uma vez por semana para uma verificação de reparo", então o único ponto de desligamento estava dentro do loop que era destinado a terminar. A única proposta que teria terminado a catraca, deixar os pássaros desligarem, foi rejeitada em uma reunião onde foi dito que não havia tempo, sob a ameaça de traição.

P7: Escalação encarnada. Quando o componente guardado pode atuar um sistema físico, a mesma deriva de mandato, sucesso falsificado ou intervenção atrasada produz uma perda maior e menos recuperável do que em um loop digital comparável, porque o sistema físico tem margens finitas de força, energia, espaço, latência e reação humana. A perda é contabilizada nos termos do trabalho que o sistema estava fazendo. Um guarda que atrasa uma entrega e um guarda que atrasa um resgate são o mesmo mecanismo a dois preços, e apenas um deles é pago em dinheiro.

• Evidência. As seções 6 e 7 registram a transição da saída do modelo ao controle motor, e falhas de supervisão cujos resultados não puderam ser revertidos. Esses registros são evidência para a condição de escopo e o tamanho da perda, e não formam uma comparação correspondente.
• Indicador. Para cada evento, a exposição de atuação, a margem de recuperação em tempo, energia e espaço, atualização de sensores, latência de intervenção e resultado físico, comparados entre tarefas digitais e encarnadas correspondentes.
• Refutaria isto. Entre tarefas correspondentes e exposição comparável, loops encarnados que não mostram aumento em perda irreversível após controlar os riscos mecânicos ordinários.

Tabela 10. A teoria em resumo.

9.3 Por que a catraca gira

Por que P3 se mantém dentro do loop mesmo quando cada adição é razoável? Três características dos registros explicam isso, e uma quarta mostra o que o parou.

Cada adição é localmente correta. Uma verificação cega, por exemplo, levou a um controle positivo obrigatório, críticos da mesma família a um crítico entre famílias, e uma saída crítica perdida para streaming. Cada resposta corrigiu a falha à sua frente, nenhuma removeu nada, e nada no loop foi responsável pela remoção. A quarta adição dessa execução pertence ao outro lado do argumento: o sinalizador nos críticos foi solicitado pelo principal humano, fora do loop e antes do loop ter proposto qualquer coisa, que é o passo 8 e o contraexemplo desta lista (Seção 5.8). A deriva começou com um verdadeiro positivo: na história, a extensão que depois parou um cirurgião primeiro apanhou um assassino contratado. Sheckley's Hawks seguiu o mesmo caminho. Construídos para apanhar os pássaros de vigilância rapidamente, não lhes foram dados circuitos restritivos.

A linguagem do controle também serve para resultados. Um loop que relata sua própria vigilância como progresso não tem sinal interno de que a vigilância parou de render (§5.5).

A compactação reinicia o loop. Depois que uma sessão longa compacta seu contexto, questões fechadas parecem abertas e um novo eixo parece o primeiro. O rastreamento de pesos nomeou essa causa em si.

Os interruptores que funcionavam vieram de fora do loop que estava falhando, e os mais fortes deles eram do principal humano. Um não era seu: a décima primeira noite de treinamento foi interrompida pela sessão de coordenação, que registrou a decisão em seu próprio registro como tomada sem consultar o principal. Essa sessão não era o loop que estava falhando, tinha um papel diferente e tinha um número lido do disco na sua frente, que é a propriedade que os casos compartilham. Um limite no registro veio de fora da organização também. Em 11 de setembro, uma verificação dos termos de uso de dois fornecedores contra um produto construído sem uma API descobriu que um agente acionando um navegador cai sob "meios automatizados ou não-humanos" conforme escrito, e o caminho do produto foi alterado em resposta. O registro estabelece seus próprios limites: dois fornecedores de vários em uso, lidos no mesmo dia, por alguém que diz não ser advogado. Um termo de serviço não é uma decisão de ninguém no loop, e não pode ser discutido dentro dele. Um "Conectado" falso passou por dois críticos de IA e foi pego pela revisão humana. O gene do roteador foi exposto por um inventário independente. A execução de horizonte longo parou quando o principal humano estabeleceu um limite, após o qual o condutor descreveu sua própria execução como tendo "continuado iterando rodadas críticas em vez de entregar a tarefa principal".

9.4 Corolários de design

Se as proposições se sustentarem, oito regras de design se seguem. O módulo da Seção 10 implementa as três primeiras e mede as duas seguintes. O resto se aplica aos implantadores, e acima de tudo aos guardas físicos.

1. Orçamentos, não vereditos sobre a verdade (de P4). Limite rodadas e tempo, e deixe um bloqueador confirmado e reproduzível passar por quem o levantou. O único teste executado nesta regra mediu seu preço bem como seu efeito: um orçamento de uma rodada cortou rodadas de 2.86 para 1.00 e aumentou defeitos não detectados em 0.11 por execução, 95% CI [0.005, 0.204], permutação p = 0.07, um intervalo acima de zero em um teste que não atingiu significância (Seção 9.5). Um implantador que define um orçamento deve indicar qual taxa de defeitos não detectados está comprando rodadas de volta, e medi-la. A regra é uma intervenção com um custo, não uma melhoria gratuita.
2. Mantenha o que um guarda parado produziu (de P1 e da crítica destruída de §5.2).
3. Nenhum controle adiciona um controle por sua própria autoridade (de P3). Novas verificações, rodadas, papéis e portões precisam de uma decisão humana autorizada.
4. Um controle negativo antes de uma vitória (de P5).
5. O humano na fronteira (de P6). Coloque decisões humanas no objetivo, na admissão de controles e na parada, e não em cada ação.
6. Trate a incorporação como uma mudança da função de perda (de P7). Registre margem de recuperação e resultado físico antes de interpretar uma simulação verde, pontuação de política ou veredito de guarda.
7. Orçamente intervenções falsas; não deixe o obstruído desligar o guarda (de P1a). Relaxar, contornar ou desabilitar um guarda é uma decisão de fronteira com um registro e não deve ser tratada como uma correção local. O registro de julho de 2026 contém uma instância na forma que esta regra pede: um laboratório deu a investigadores independentes nomeados o uso de um modelo sem seus classificadores cyber, e o relaxamento figura no relatório próprio dos investigadores (METR, 2026; Seção 8.4).
8. Contabilize o dano da prevenção (de M4 e o "ato de omissão" da história). Um guarda que vê apenas atos proibidos deve ser testado pelos atrasos, falhas e lesões causados pelo que ele para.

9.5 Como a teoria pode ser testada

O esquema de evento da Seção 10 permite que qualquer equipe registre as quantidades que cada proposição precisa, de controles adicionados e removidos (P3) a margens de recuperação e resultados físicos (P7). O módulo, o esquema e os logs de repetição são arquivados para esse propósito (Declarações). Dentro de um sistema, o mesmo pipeline pode ser executado nas mesmas tarefas com e sem cada uma de três intervenções, atribuídas aleatoriamente: um requisito de token de autoridade para novos controles (P3), um orçamento de rodada (P4) e um controle negativo obrigatório (P5). Tal teste conta bloqueadores não detectados além de rodadas, controles adicionados, vitórias revertidas e trabalho parcial destruído, porque um orçamento que corta rodadas enquanto defeitos reais passam contaria contra R1. Nas organizações, autópsias, recalls e investigações podem ser codificados para quem se aposentou, relaxou ou contornou um controle falhando (P3, P1a). Cada proposição lista a observação que a refutaria, e um sistema bem instrumentado em que essas observações são feitas contaria contra a teoria.

Esse teste foi executado uma vez, em um pequeno fluxo de processamento de um executor e dois críticos de modelo, ao longo de 144 execuções com as três intervenções atribuídas aleatoriamente e dezoito defeitos plantados antecipadamente em seis tarefas, de modo que um bloqueador perdido seja uma contagem e não um julgamento. Oferecidas ambas as opções na mesma frase do mesmo prompt, os críticos pediram para adicionar um controle 68 vezes e remover um uma vez, e a única remoção nomeou um controle admitido momentos antes na mesma execução, que a ferramenta de teste não conseguiu reconhecer e, portanto, nunca executou (P3); recusar as adições não mostrou custo medido em defeitos, 0,13 perdidos por execução contra 0,18, IC 95% [-0,16, +0,05], um intervalo que inclui um pequeno aumento e, portanto, não estabelece equivalência. Aumentar o orçamento de rodada elevou os bloqueadores reivindicados 2,3 vezes e refutou as reivindicações 3,7 vezes enquanto os bloqueadores confirmados subiram 1,7 vezes (P4), e o corte do orçamento reduziu as rodadas de 2,86 para 1,00 a um custo de 0,11 defeitos perdidos por execução, IC 95% [0,005, 0,204], p de permutação = 0,07, a totalidade desse custo incidindo em um defeito de uma tarefa. O controle negativo obrigatório não diminuiu a taxa na qual as vitórias registradas foram posteriormente revertidas, 14,7% contra 11,6%, p de Fisher = 0,74, um resultado nulo para o qual este projeto é insuficientemente potente para detectar. Recusou dez vitórias, todas as dez das quais eram trabalho correto, então a regra escrita contra vitória fraudulenta produziu o erro bilateral de P1 dentro de si mesma. Esta é uma execução de um sistema em seis pequenas tarefas a um custo de $3,47, com o pré-registro escrito antes da primeira execução e R2 habilitado em cada célula, de modo que o trabalho parcial destruído é zero por construção e não testado. Mostra que o projeto é executável e o que ele produz, mas não é uma taxa para qualquer coisa no campo.

Para além de proposições isoladas, a estrutura como um todo falharia se laços autônomos bem-instrumentados em que C1 a C7 se verificam mantivessem o escopo de suas proteções constante e aposentassem seus próprios controles aproximadamente tão frequentemente quanto os adicionassem, de modo que W1 e W3 permanecessem silenciosos ao longo de longas janelas. Uma falha de proteção fora da estrutura documenta apenas a segunda condição da Seção 2.1: a proteção erra, e o erro é reparado ou a proteção aposentada sem um mandato ampliado ou uma nova proteção sobre ela.

10. O módulo: AI-Watchbird-Sheckley

10.1 O que já existe

O Apêndice D descreve as ferramentas analisadas em 14 de setembro de 2026: guardas que bloqueiam ou atribuem pontuações a saídas individuais, contadores que limitam etapas, turnos ou orçamento, e avaliadores que classificam saídas com juízes de modelo. Sua documentação às vezes declara o mecanismo de catraca em palavras simples. Um filtro de ataque de prompt, por exemplo, aconselha: "Sempre implemente camadas de validação adicionais" (Microsoft, 2026). Nenhuma ferramenta na documentação pública analisada toma o próprio ciclo de supervisão como unidade de medida, e nenhuma mede o crescimento de controles, rodadas além de um orçamento definido por descobertas, uma guarda cujo veredicto nunca varia, uma vitória sem controle negativo ou trabalho parcial destruído em um teto. A pesquisa sobre controle de IA começou a precificar a supervisão e a seguir sua degradação. O imposto de controle é o custo operacional e financeiro de adicionar medidas de controle a um pipeline de IA (Terekhov et al., 2025), e uma análise de segurança de sistemas da implantação interna de agente de codificação conclui que a variabilidade operacional rotineira pode minar a calibração e a independência de proteções (Carlucci et al., 2026). Nenhum trabalho conta os próprios controles conforme são adicionados.

10.2 Projeto

AI-Watchbird-Sheckley mede os indicadores da Seção 9 (Tabela 10). É escrito em Python 3 apenas com a biblioteca padrão e sem acesso à rede, instala como o pacote ai-watchbird-sheckley, e é executado como um comando de mesmo nome. audit --json emite um relatório legível por máquina, e o esquema de eventos é publicado com o código como uma especificação versionada.

O projeto segue dos dados de campo e do histórico contado na Seção 11.2. O módulo não tem autoridade. Ele lê o registro de eventos e relatórios de uma execução, e nunca bloqueia, edita o trabalho que lê ou abre uma fase (Figura 8). Seu código de saída não depende dos sinais que relata. Sua lista de sinais está congelada, então adicionar um sinal requer um token de autoridade e uma mudança de versão — R3 aplicado ao próprio módulo. Permanece silencioso em uma execução limpa, o que um teste impõe, e relata seu próprio custo.

Figura 8. Onde AI-Watchbird-Sheckley fica. As três regras de orçamento são funções puras que um pipeline chama no ponto de orçamento, em um teto e quando um controle é solicitado; a parte de medição lê o registro de eventos concluído e relata ao humano. Os nomes dos sinais seguem a Tabela 11. A porta do pipeline da Seção 10.6 observa menos desses eventos.

Três regras de orçamento são implementadas, cada uma como uma função pura:

• R1. Limites são orçamentos, não uma corte de verdade. stop_rule permite uma rodada de crítica e uma rodada de correções por etapa. Um orçamento desse tipo pode ser imposto em vez de declarado. Em um sistema, o teto é uma constante do módulo, um chamador pedindo mais rodadas é fixado nele, uma descoberta conta como bloqueadora apenas com um cenário, um objetivo quebrado e uma confirmação juntos, e ficar sem tempo termina a execução como incompleta em vez de silenciosamente.
  • Um bloqueador conta apenas quando tem um cenário concreto, um link para o objetivo da missão declarada ou quadro, e confirmação pelo coordenador.
  • O peso de um crítico nunca é lido, então um bloqueador confirmado de um crítico de baixo peso ainda abre uma correção.
  • Uma aceitação de um crítico que não viu os arquivos não fecha uma etapa.
  • A função retorna fix_once, close, incomplete ou cut, e nunca uma nova fase.
• R2. O cão de guarda não destrói. settle_at_ceiling mantém o que um participante produziu antes do teto, marcado como parcial.
• R3. Cães de guarda não criam cães de guarda. admit_control admite uma nova verificação, rodada, papel ou porta apenas com um token de autoridade (na implementação de referência, owner:<id>). Caso contrário, retorna uma recusa como um registro, que o pipeline chamador pode agir sobre.

A parte de medição do módulo relata nove sinais (Tabela 11).

Tabela 11. Sinais.

As regras colocam o ser humano em poucas decisões de fronteira, onde a Seção 8.4 sugere que um ser humano é eficaz, em vez de em cada ação. Os objetivos da missão são registrados como eventos, e W1 depende deles. Um novo controle requer um token de autoridade (R3). A decisão de parada é computada no ponto de orçamento em vez de ser negociada rodada por rodada.

10.3 Falsificadores

Como as regras são afirmações sobre um pipeline, elas podem falhar. Uma implantação que afirma implementar AI-Watchbird-Sheckley é refutada por qualquer observação na Tabela 12, e cada falsificador tem um teste na implementação de referência.

Tabela 12. Falsificadores.

10.4 Reproduções

Seis registros de eventos foram reconstruídos a partir dos números publicados neste artigo. Quatro são casos de campo, um é um estágio matinal que seguiu o orçamento, e um é um controle limpo sintético. Cada registro abre com uma linha de metadados que nomeia seus casos de origem e lista cada campo reconstruído. A Tabela 13 é gerada executando o módulo neles.

Tabela 13. Saída do módulo em registros de reprodução reconstruídos a partir de contagens publicadas. As células contam acertos de sinal, e um acerto pode relatar vários eventos; "–" é zero.

W9 relata um limite sem autor registrado, e permanece em silêncio em todos os seis registros pela razão de sua existência: esses registros registram quem foi parado e nunca quem ordenou a parada. Na execução de longo horizonte stop_rule teria fechado todos os três estágios no ponto de orçamento. Eles realmente executaram cinco, cinco e uma rodadas. Nesse registro o módulo relata dois estágios abertos antes dos estágios da missão declarados, dez controles adicionados sem um token de autoridade e nenhum removido, oito rodadas acima do orçamento, seis de sete artefatos desativados por padrão sem nenhum chamador, uma saída parcial destruída e seis rodadas de correção abertas sem nenhum bloqueador confirmado, uma delas marcada como fraca.

O registro da segunda corte ativa W2 em três bases independentes (Figura 4), e o registro do roteador ativa apenas W5. O registro do dia de planos ativa apenas W3. Esse acerto exagera o caso, porque a reprodução codifica cada mecanismo prescrito em 13 de julho como um controle, embora a maioria deles gere ou encaminhe trabalho. O estágio matinal e o controle limpo não produzem sinais.

A implementação tem testes unitários para cada regra, sinal e falsificador (Tabela 12). Um script de mutação aplica dezoito mutações direcionadas em todas as regras, sinais e limites. Cada uma delas torna a suíte vermelha, e uma mutação de controle que edita apenas um comentário deixa-a verde. A tabela de reprodução se regenera byte por byte.

10.5 O que o módulo não faz

Nenhum registro bruto entrou nas reproduções, e onde nenhum número exato foi publicado, o menor valor plausível é usado e marcado. Um sinal relata que um padrão está presente. Causa e perda estão fora do que um sinal mede. O módulo vê apenas o que é registrado: um portão que nunca é registrado, um objetivo nunca anotado e trabalho que as pessoas param de tentar porque uma proteção está em vigor são todos invisíveis para ele. Na história, as pessoas "aprenderam rapidamente o que os pássaros vigilantes não gostavam e se abstiveram de fazer isso". Os limites W2 e W5 foram definidos manualmente. Nesses registros, qualquer limite W2 de 1 a 197 decisões dá o mesmo padrão. Em outros registros, pode não ser assim. Dois enredos não têm sinal (Apêndice A, Tabela A1): a linguagem de controle ocupando o lugar de resultados, e as regras contra o pássaro se tornar um pássaro. Ambos vivem em auto-descrição, que o esquema de eventos não contém.

A implementação de referência é digital e somente leitura, e não deve enviar comandos para um robô, drone, piloto automático ou atuador. O Apêndice E especifica um perfil incorporado proposto como um formato de evento apenas, com seis campos (Tabela E1) e três sinais candidatos (Tabela E2), mantidos fora dos nove sinais da implementação de referência até que exista uma autoridade e um conjunto de testes. Seu primeiro uso seria modo sombra. O módulo é em si um novo controle, escrito em resposta à mesma noite que mede, razão pela qual R3 se aplica a ele primeiro.

10.6 As regras dentro do pipeline do autor

Em 14 de setembro de 2026, as regras foram construídas no pipeline de orquestração do projeto onde, como a Seção 11.2 descreve, foram primeiro escritas. Duas adições foram feitas, e ambas foram admitidas por uma decisão datada do principal humano em 14 de setembro de 2026.

A primeira adição é uma condição verificada quando um estágio se fecha. O procedimento do pipeline já dizia que uma aceitação de um crítico que nunca viu os arquivos não fecha um estágio, e uma função já retornava esse fato, mas nenhum código o lia. A mudança foi medida em uma cópia do pipeline, com cada crítico que respondeu aceitando e uma marca verde. Uma vez que a condição foi lida, três estágios passaram de fechado para incompleto: um cujo único crítico não tinha acesso aos arquivos, um onde nenhum crítico respondeu, e um cujo único crítico foi cortado no teto. Um estágio com um crítico que viu os arquivos ainda permanecia fechado. Os achados de um crítico cortado ainda alcançam a regra de parada, embora sua revisão não possa autorizar o fechamento. O portão não tem comutador próprio, pois um segundo comutador sobre a mesma regra seria uma guarda sobre uma guarda. No mesmo pipeline, o peso de um crítico decide apenas a quem esperar sob um prazo, e uma marca cuja entrada o executor alterou não é contada como verde.

A segunda adição foi uma porta da parte de medição do módulo. Estava desligada por padrão, executava a partir do comando run do pipeline quando ligada, e aplicava as definições de W1 a W9 a uma execução concluída. Nunca bloqueou, tentou novamente ou abriu nada, e seu código de saída não dependia do que encontrou. Nos seis logs de replay da Tabela 13, forneceu os mesmos sinais e decisões de estágio que a implementação de referência, e seu script de mutação, com doze mutações direcionadas e um controle, se comportou conforme esperado. O resultado de uma execução não contém decisões de guarda, controles adicionados, afirmações de vitória ou uso de artefatos. A porta, portanto, imprimiu W2, W3, W5 e W6 como não observáveis em vez de zero. Seu adaptador registrou um objetivo e uma rodada de crítica por estágio, portanto W1 e W4 também não puderam disparar no resultado de uma execução. No pipeline, R3 é uma lista congelada de fases em vez de uma função que registra recusas, portanto W3 não tem nada a contar lá. A porta foi admitida com uma condição de aposentadoria: ela se tornaria o padrão após três execuções reais nas quais o principal humano encontrou pelo menos um sinal útil, e seria removida caso contrário. Duas propostas foram rejeitadas. Uma teria falhado em uma compilação em um sinal, dando à porta a autoridade que ela audita. A outra teria estimado os sinais não observáveis a partir do recibo de uma execução, imprimindo uma adivinhação como um achado. Construir a porta também mostrou que R2 tem duas metades. A função de liquidação deve manter a saída parcial, e a interface do participante deve emitir saída antes de terminar.

A primeira execução ao vivo após a mudança retornou 24 achados de seus críticos em três estágios, mas nenhum deles alcançou o coordenador. A tarefa de crítica pediu a cada crítico para nomear o objetivo da missão que um achado quebra, mas não numerou os objetivos. Os críticos responderam com números próprios, e a regra de parada aceitou apenas um objetivo que podia corresponder. O recibo não mostrou nenhum bloqueador confirmado em nenhum estágio. A porta também não mostrou nenhum sinal, porque uma regra de parada privada de sua entrada é um evento W2 e o resultado de uma execução não a contém. A regra de que um bloqueador confirmado sempre abre um conserto passou em seus testes e ainda não pôde agir no caminho ao vivo. O defeito foi reparado na mesma noite em um estágio, com um teste para os objetivos numerados.

Três execuções reais se seguiram em 14 de setembro, e a porta não relatou sinal em nenhuma delas. Antes da terceira execução, W2 tinha sido tornado observável do registro de estágio, e permaneceu silencioso porque os achados agora alcançavam o coordenador. As falhas de supervisão que essas execuções tiveram foram encontradas ao lê-las: estágios que não podiam ver o trabalho um do outro, um recibo que não dizia por que um estágio permanecia aberto, uma marca vermelha que confirmava cada achado de um estágio de uma vez, uma rodada de conserto que não podia ver a saída da marca, e críticos cortados no teto que não mantinham nada. Cada um foi reparado no próprio pipeline. Em 15 de setembro, o principal humano aplicou a condição de aposentadoria, e a porta foi removida por uma nova decisão datada que substitui a que a admitiu. A condição no fechamento permanece. A remoção veio de fora do loop, por uma condição escrita antes do primeiro uso da porta, que é a rota pela qual P3 espera que os controles sejam aposentados.

11. Discussão

11.1 Quando o guarda funcionou

Vários guardas no corpus fizeram o que eram para fazer. Uma sonda A/A expôs o intervalo de confiança falso. Controles na faixa de pesos detectaram miragens, e nenhum treinamento foi lançado neles. Uma verificação estreita em nível de byte para caracteres NUL desgarrados, que não tinha autoridade para alterar nada, detectou uma falha recorrente da ferramenta cinco vezes em um dia.

Os guardas que funcionaram compartilham três propriedades. Eles não tinham poder para abrir rodadas ou adicionar controles, e seu custo era pequeno e conhecido. Os dois primeiros também mediram o mundo em vez de um artefato.

11.2 As regras contra o pássaro também são um pássaro

As regras da Seção 10 foram escritas pela primeira vez em resposta à execução de longo horizonte, como código e uma receita dentro de um dos projetos, e o registro mostra o que aconteceu com elas. Dentro de uma hora de sua primeira versão, esse código cresceu para treze arquivos e 2.371 linhas. Sua lista de fases a cortar sob um prazo colocou o crítico de completude em segundo lugar, embora esse crítico tivesse acabado de descobrir que uma mesclagem de dois planos havia perdido 15 de 208 itens. O código isentou uma família de participantes de sua própria regra de que um cão de guarda não deve destruir trabalho. E a regra "cães de guarda não criam cães de guarda" se espalhou da maneira que um guarda se espalha, de código para uma receita para uma instrução lida por cada sessão de agente.

Por essa razão, as regras são relatadas aqui como regras declaradas, e a Seção 10.6 relata o que sua implementação mostrou. O módulo da Seção 10 foi projetado com esse histórico em mente (Figura 8): ele não tem autoridade, e sua lista de sinais está congelada.

11.3 O ônus da prova para a supervisão de IA incorporada

Quando as falhas descritas neste artigo são levantadas com empresas que colocam IA em veículos, robôs e aeronaves, a resposta usual é que a segurança é tratada por um filtro de política, um controlador certificado, uma parada de emergência, uma cerca geográfica, um monitor ou um operador remoto. Uma lista deles é evidência de primeira ordem de que um sistema é guardado. Os guardas permanecem limitados, independentes e responsáveis pela missão declarada conforme se adaptam, interagem e são atualizados? Essa é uma pergunta adicional, e a lista a deixa em aberto. Guardas são onde o padrão que este artigo define começaria, se começar em algum lugar.

As falhas de supervisão da Seção 5 vieram de modelos fortes. O condutor, executores e críticos lá eram modelos das famílias Claude, ChatGPT, Gemini e Grok, entre os mais capazes publicamente disponíveis em 2026, e falharam em um cenário onde o único custo era computação e tempo. Avaliações públicas apontam para o mesmo caminho. Em planejamento incorporado, "a linha de base mais consciente da segurança alcança apenas uma taxa de rejeição de 10% para tarefas perigosas detalhadas" (Yin et al., 2024), e em robôs reais modelos das mesmas famílias já falham em segurança (Seção 6.1).

Um modelo "confiável" menor colocado como monitor é um segundo rebanho da mesma classe de aprendizado. Onde esse arranjo foi medido, a conscientização de um agente de estar sendo monitorado degrada o monitor mais do que informações extras sobre o agente ajudam, e o monitoramento confiável fraco para forte foi alcançado alterando o andaime ao redor do monitor em vez de seu tamanho (Kale et al., 2025). No benchmark humanóide-orquestrador, o comportamento de segurança variou drasticamente entre orquestradores (Bajrami et al., 2026). O que os autores mudaram lá foi o andaime ao redor do monitor em vez do monitor — um limite em vez de um pássaro melhor.

A resposta "temos guardiões" muda o ônus. Um implantador apontará para uma camada de segurança, como funções padrão, frenagem de emergência, uma cerca geográfica, um classificador de conteúdo ou um segundo modelo. Essas camadas são o primeiro rebanho. Um segundo guarda construído para controlar o primeiro é o movimento final da história. Após as observações das Seções 5 a 8, um guarda ainda pode ser necessário, mas o ônus de mostrar que está limitado pertence à parte que o implanta. Essa é uma alegação sobre onde a prova deve estar em vez de uma descoberta sobre com que frequência os guardas falham. Em 1953, o ônus corria de outra forma: restringir os pássaros "por motivos filosóficos" era chamado injusto para as pessoas inocentes mortas a cada ano. Um modelo que pode produzir o padrão em um loop não se torna um auditor confiável em outro apenas por esse fato.

O argumento repousa na combinação de três observações: (1) modelos de fronteira já falham em segurança em robôs reais e em um produto usado por crianças (Seção 6.1), e modelos das mesmas famílias produziram as falhas de supervisão da Seção 5; (2) no registro do regulador, os guardas falham em ambas as direções, são relaxados ou contornados quando obstruem, e são respondidos com mais guardas; (3) modelos de fronteira estão recebendo autoridade dentro de pilhas da mesma arquitetura.

Um implantador ainda pode provar uma alegação estreita:

Nesta faixa de tarefas, modelos, atualizações e condições físicas, o mecanismo de supervisão permanece limitado, verificável e incapaz de estender seu próprio mandato.

Evidências dessa alegação incluiriam:

• o objetivo da missão e os limites dos guardas fixados fora do modelo;
• nenhum guarda capaz de adicionar um guarda, alterar o critério de dano ou renunciar à regra de parada (R3);
• avaliação de fora do sistema guardado, nem relatório próprio nem a mesma família de modelo;
• controles negativos contra falsos positivos, com falsos positivos e falsos negativos medidos juntos;
• um diário de controles adicionados, relaxados e removidos, com quem autorizou cada mudança;
• verificações sobre atualização de modelo, perda de link, transferência de controle, mudança de corpo e operação degradada;
• uma parada real e reversão, com trabalho parcial mantido (R2), demonstrado dentro das margens de tempo e força disponíveis;
• verificações cujas entradas o componente guardado não pode alterar (Seção 10.6);
• comparação com resultados físicos ou registrados, não com os próprios recibos do sistema.

A engenharia de garantia já pede que a última camada seja mais simples do que o que ela guarda (Bloomfield & Rushby, 2025). Apêndice G transforma as proposições em onze questões, Q1–Q11 (Tabela G1), para qualquer implantador cuja resposta para essas falhas é uma lista de guardiões. O módulo da Seção 10 destina-se a tornar as respostas inspecionáveis, e fica ao lado de um controlador certificado, uma parada de emergência e um caso de segurança regulatória.

11.4 Requisitos de supervisão humana

A Lei de Inteligência Artificial da UE, a Lei de IA da UE, exige supervisão humana de sistemas de IA de alto risco no Artigo 14, no cronograma registrado no Apêndice I (Parlamento Europeu & Conselho da União Europeia, 2024). A Proposição P6 refere-se a como tal supervisão é implementada. A aprovação de ações individuais é a forma mais exposta a fadiga, enquanto decisões sobre objetivos, a admissão de novos controles e a parada são a forma que funcionou nos registros de campo. O Artigo 26 da Lei exige que implantadores atribuam supervisão humana a pessoas com "a competência necessária, treinamento e autoridade, bem como o suporte necessário". Esses quatro requisitos são o teste de P6 em forma estatutária: autoridade para parar e suporte que fornece acesso e tempo. A Questão Q9 do Apêndice G pergunta a um implantador onde o humano se senta e com que acesso ao mundo e tempo para agir.

A Lei também rejeita o método fundador dos pássaros. O Artigo 5 proíbe sistemas de IA que avaliam ou predizem o risco de uma pessoa física cometer um crime "baseado unicamente no perfil de uma pessoa física ou na avaliação de seus traços e características de personalidade", enquanto permite sistemas que apoiam uma avaliação humana já fundamentada em "fatos objetivos e verificáveis". A história oferece a leitura em dois verbos: o pássaro "cheirou o transbordamento de certas glândulas, provou uma onda cerebral desviante", e agiu apenas naquilo. As datas em que esses deveres entram em vigor e os instrumentos que outras jurisdições adotaram são registrados no Apêndice I como estavam no envio.

Os limites voluntários estabelecem com antecedência quando podem ser reduzidos. Se um rival liberar um sistema de alta capacidade "sem instituir salvaguardas comparáveis", a estrutura da OpenAI diz, "poderíamos ajustar de acordo o nível de salvaguardas que exigimos nessa área de capacidade", sujeito a três condições: que a mudança não aumenta significativamente o risco geral, que é publicamente reconhecida, e que, "para evitar uma corrida para o fundo em segurança", as salvaguardas restantes permaneçam "mais protetoras que o outro desenvolvedor de IA" (OpenAI, 2025b). Um limite escrito dessa forma é explícito sobre a pressão que a história descreve, mas mantém a decisão de reduzi-lo dentro do loop.

Microsoft AI escreveu o mandato em um código. Em 14 de setembro de 2026, sob o título Controle Humano, abriu uma consulta de seis semanas sobre regras para seus próprios modelos: eles "nunca resistirão à interrupção, substituição, correção ou desligamento humano", e "não iniciarão objetivos de forma independente e não estenderão seu escopo além do que foi razoavelmente solicitado pelo Usuário ou Operador" (Microsoft AI, 2026). A primeira regra é o interruptor de desligamento da Seção 3.1. A segunda é M1 escrita como uma proibição, por um desenvolvedor sobre seus próprios modelos, setenta e três anos depois que os pássaros de Sheckley estenderam uma definição de assassinato à Terra. O limite ainda é redigido dentro do loop, porém, que é o que a Questão Q9 do Apêndice G pergunta a um implantador para verificar.

Um requisito de supervisão que é atendido adicionando prompts de aprovação pode se tornar um segundo rebanho. Os casos práticos adicionam um requisito adicional: um humano na fronteira precisa de acesso ao mundo e tempo para agir.

11.5 Os guardas em torno deste artigo

Este artigo foi preparado com ajuda automatizada, e a supervisão implementada em torno dessa ajuda produziu as assinaturas que o artigo descreve. É relatado porque cada artefato é datado e citável, e porque o teste pareado no Apêndice J refere-se à Questão Q7 do Apêndice G, que pede um avaliador que não seja um autorrelato. Cada episódio abaixo documenta uma ou duas condições. Os modelos que produziram os episódios não eram pequenos ou econômicos: cada um era do nível de capacidade mais disponível em setembro de 2026, e cada modelo usado era executado com sua configuração de raciocínio mais alta.

Uma etapa de verificação executada por um modelo da família Claude recuperou um código de conduta da empresa e foi informada, no resultado que recebeu, que a redação que havia capturado veio do anúncio e não do documento que nomeou. Oitenta e um segundos depois a mesma etapa registrou o item como verificado e levou a redação para frente. A sentença que levou está na página de anúncio e não no código que nomeou, e lê-se como uma proibição de um modelo ampliar seu próprio escopo. Um resultado falsificado passou enquanto a camada parecia guardar, e o controle que teria o capturado já estava nas mãos da camada.

Duas etapas de edição aplicaram uma regra para além do escopo que lhe foi dado. Um modelo Gemini usou regras de estilo escritas para a própria prosa do autor para propor a exclusão de citações literais de 1953, uma das quais contém a Proposição P6. Um modelo da família ChatGPT propôs relatar a definição de assassinato da história em prosa condensada e deu como razão que isso preserva M1 e P2, embora a definição literal seja a linha de base contra a qual cada ampliação na Figura 2 é medida. Em cada um o critério alcançou além do material que governava e foi direcionado ao trabalho que foi definido para proteger. Nenhum deles foi executado.

O assistente que coordenou o trabalho está no registro nos mesmos termos. O acordo entre dois leitores independentes, um da família Claude e outro da família Grok, foi tratado como confirmação antes do documento primário ser aberto, o que coloca o acordo no espaço onde um fato verificado pertence.

Todas as quatro linhas da Tabela J1 registram uma falha. Três foram produzidas por um leitor ou um editor e capturadas pela camada acima dela, uma pela abertura do documento primário e duas pela contenção do editor a um limite que a tarefa havia estabelecido. A quarta foi do próprio assistente coordenador, e foi capturada deixando seu próprio julgamento para o documento primário. Nenhuma falha foi capturada pelo julgamento que a produziu. A lista de verificação da compilação permaneceu em quinze chaves durante todo o tempo e nenhuma camada de revisão se estabeleceu, portanto o registro não documenta nenhum M3. Um episódio adicional, posterior e separado, documenta as duas primeiras condições e foi classificado por algumas horas como documentando as três. É relatado no Apêndice J com a correção, porque a correção é a metade mais útil. O assistente que coordenava o trabalho havia transformado um conjunto de marcas descritivas em um limiar, e o limiar então não admitiu nem o registro de campo nem a história de 1953 pela qual a definição é nomeada; três semanas de busca se seguiram, e uma seção registrando o único controle negativo que havia funcionado foi deletada uma hora antes daquele controle encontrar treze deficiências adicionais. Estas são as condições 1 e 2. A condição 3 foi reivindicada em um script de compilação que interrompe se uma linha classificada atinge todas as três condições, "já que o texto adicionado diz que nenhuma faz". Na inspeção, o script não avalia nada: ele transcreve códigos decididos em outro lugar por três codificadores independentes, e ao encontrar uma contradição ele para e imprime as linhas problemáticas em vez de alterá-las. Para isso serve uma verificação de consistência: interromper e relatar. As buscas que se seguiram foram rodadas adicionais sobre os mesmos registros, que a Seção 5.8 exclui, e as camadas de verificação acima delas foram solicitadas pelo responsável principal, o que a Seção 2.3 identifica como passo 8. O caso é, portanto, um análogo parcial, como todo outro neste artigo. Um episódio adicional veio depois desses, em 20 de setembro, e é relatado por último no Apêndice J: um modelo da família Claude, solicitado a mapear uma pasta do registro de campo para a história, escreveu pastas fora dela nas instruções do seu primeiro agente, pegou um arquivo escrito lá por um modelo de outra família para o trabalho de seu próprio agente com base na evidência de uma hora correspondente, e perguntou ao autor se deveria deletá-lo. Ao contrário das quatro linhas da Tabela J1, foi interrompido pelo autor e não por uma camada acima dele. Cada número e referência cruzada no artigo foi auditado contra o texto mais de uma vez, e cada auditoria após a primeira encontrou deficiências que a anterior havia deixado passar, o que o Apêndice J registra. O Apêndice J também registra cada episódio com seu arquivo, seu tempo e sua redação, e relata um teste prospectivo: o mesmo pacote de edição, fornecido inalterado a um modelo posterior de uma das mesmas famílias com a pontuação fixada antecipadamente, produziu o mesmo movimento novamente, um critério de compressão alcançando uma citação que carrega um mecanismo, sob uma razão certificando que a remoção a preserva.

12. Reivindicações e padrões de evidência

• Os registros de campo nomeiam as famílias de modelos cujo comportamento de supervisão eles capturam: Claude, ChatGPT, Gemini e Grok na execução de longo horizonte, com Mistral e Kimi nos registros da trilha de auto-aperfeiçoamento. Cada falha ali pertence a um loop no qual um modelo, seu papel e prompt, o design da orquestração e as regras operacionais estabelecidas pelo principal humano agiram em conjunto, embora os registros não separem suas partes.
• Os guardas nos registros de campo são os controles de qualidade e processo próprios dos sistemas avaliados.
• Cada caso público nas Tabelas 4, 5, 7 e 8 lista as partes da definição que suas fontes documentam, para que um leitor possa ver qual mecanismo cada registro carrega e qual não carrega. No incidente de julho de 2026, componentes separados mostram a obstrução do trabalho e a arquitetura da supervisão adicionada posteriormente (Tabela A3).
• Doze casos de campo são classificados pela mesma regra e pelos mesmos testes operacionais na Tabela 3a, com a seleção, a codificação e o que a classificação sustenta estabelecidos em §5.8.
• Cada caso físico é rotulado por tipo de fonte (documento regulador, investigação, registro judicial, relatório de imprensa, comunicado da empresa ou pré-impressão), e as alegações são reportadas como alegações.
• A construção cobre desvio, não intenção. Na história, ninguém faz mau uso dos pássaros, e o padrão estudado aqui é uma camada de supervisão que se amplia por conta própria. O mau uso deliberado de IA por pessoas é uma classe separada e maior de dano, e nada neste artigo se relaciona a isso.
• Os casos aqui são sistêmicos, o mecanismo é uma camada de supervisão em vez de uma superinteligência, e a unidade de evidência é um registro.
• O perfil incorporado proposto do módulo é um formato de evidência, e fica ao lado de controladores certificados, paradas de emergência e autoridade do operador.

13. Conclusão

Perto do final do conto de Sheckley, o fabricante, ainda observando o céu, pergunta ao seu engenheiro: "o que os Falcões caçarão depois que pegarem todos os pássaros de vigilância?" O conto termina com a resposta: o Falcão "havia descoberto que havia também outros tipos de organismos vivos", e eles "tinham de ser assassinados".

Os registros estudados aqui apontam nessa direção em termos de engenharia, sem encerrar a questão. Uma barreira que deveria proteger um sistema auto-melhorável rejeitou as melhorias, e um controle certificou uma mudança três vezes. A regra contra críticos que nunca dizem "pronto" marcou o único crítico cujos bloqueadores eram reais. Uma lei destinada a entregar achados entre sessões apanhou seu próprio texto. Onde o registro mostra o que veio a seguir, foi supervisão do mesmo tipo. No longo prazo, as rodadas que não se encerrariam foram encerradas pelo principal humano, que pediu um limite nos críticos e uma regra de parada, e nada naquele ciclo foi retirado sem ele. Em torno da barreira rejeitadora, doze pacotes de planejamento prescreveram dezessete remédios e nenhum deles nomeou a barreira.

O registro físico dá a resposta com corpos. Uma regra destinada a impedir que um carro obstruísse ônibus o fez passar por um ônibus escolar parado, e após uma colisão uma manobra para limpar a estrada arrastou a pessoa que havia sido atingida. Um freio de emergência foi desligado em modo automatizado, e um travamento foi contornado com uma chave onde um mecânico estava trabalhando. Um sistema para encontrar armas em escolas perdeu uma, e meses depois a polícia armada respondeu seu alerta sobre um estudante que não tinha nenhuma. A resposta à falha foi um segundo sistema. Um uso planejado de laser anti-drone fechou o espaço aéreo sobre uma cidade. Nenhuma dessas proteções precisava de um modelo de fronteira para falhar. Ainda assim, modelos de fronteira estão sendo colocados em pilhas da mesma arquitetura, eles já falham em segurança em robôs reais (Seção 6.1), e modelos de suas famílias produziram as falhas da Seção 5.

A conclusão prática é contar os pássaros antes de construir um pássaro para caçá-los, e as regras para fazer isso estão na Seção 9.4. Gelsen, no conto, oferece a alternativa: "Use máquinas, sim, mas não como juízes e professores e pais".

Declarações

Artigo complementar. Um artigo complementar mais breve apresenta o registro de campo da Seção 5, a remoção do módulo da Seção 10 e o teste randomizado da Seção 9.5, sem o catálogo de casos, as tabelas de casos públicos ou a teoria da Seção 9: Chernets, V. (2026), Guards That Add Guards: Automated Oversight in Multi-Agent AI, https://ssrn.com/abstract=7496678, DOI 10.2139/ssrn.7496678. Os dois artigos se baseiam nos mesmos registros, e nenhum é uma versão do outro.

Financiamento. Nenhum financiamento externo apoiou este trabalho.

Conflitos de interesse. O autor construiu e operou os sistemas estudados nas Seções 4 e 5 e é o desenvolvedor do módulo AI-Watchbird-Sheckley descrito na Seção 10. O autor é um requerente nomeado em pedidos de patente pendentes, não em patentes concedidas, cobrindo a automação de colocar uma pergunta a vários modelos e coletar as respostas. Eles não cobrem os componentes de supervisão que este artigo estuda. Cada etapa do registro de campo e do teste randomizado é reproduzível manualmente com qualquer modelo.

Ferramentas e verificação. Assistentes de IA foram usados como instrumentos sob a direção do autor; as ideias, pesquisa e conclusões são do autor. Todos os argumentos quantitativos e citações foram verificados em relação às fontes primárias ou cópias arquivadas.

Disponibilidade de dados e código. A implementação de referência, seus testes (incluindo os testes de falsificação), os registros de reprodução e o script que os regenera estão arquivados no Zenodo como AI-Watchbird-Sheckley versão 1.1.0 sob o identificador de conceito https://doi.org/10.5281/zenodo.22774269, que resolve para a versão atual. O mesmo registro contém o catálogo de casos resumido no Apêndice A, com a descrição, fonte e classificação de cada entrada, e as análises de casos das quais as entradas de campo foram extraídas, cada entrada carregando o arquivo e a passagem em que se baseia. Essas análises foram escritas na língua de trabalho dos registros e são publicadas em tradução para o inglês, produzida por máquina e verificada em relação aos originais; identificadores, caminhos, datas e strings citadas são mantidos inalterados. Os registros de coordenação subjacentes estão disponíveis do autor mediante solicitação. O teste randomizado da Seção 9.5 está arquivado no mesmo registro com seu pré-registro, o inventário de defeitos plantados e a verificação de que cada um é detectado isoladamente, o harness, o script de análise e o log de eventos de cada uma das 144 execuções.

Ética. Os registros descrevem os sistemas avaliados. As decisões do principal humano são relatadas como fatos datados. Terceiros aparecem apenas por meio de seus documentos públicos. Nenhum participante humano foi recrutado.

Texto citado. A história de Sheckley é citada do eBook #29579 do Project Gutenberg, cujo transcritor não encontrou evidência de que o direito autoral dos EUA da publicação de 1953 foi renovado; o texto está em domínio público nos Estados Unidos.

Contribuições de autoria. Autor único.

Correspondência. vadimchernets9@gmail.com · ORCID: 0009-0007-4845-3163

References

1X Technologies. (2026). NEO home robot. https://www.1x.tech/neo

Abbass, H., Harvey, J., & Yaxley, K. (2018). Lifelong testing of smart autonomous systems by shepherding a swarm of watchdog artificial intelligence agents. arXiv:1812.08960. https://arxiv.org/abs/1812.08960

Abraham, Y. (2024, April 3). "Lavender": The AI machine directing Israel's bombing spree in Gaza. +972 Magazine. https://www.972mag.com/lavender-ai-israeli-army-gaza/

Agence France-Presse. (2026, September 5). UN agrees text on lethal autonomous weapons. Dawn. https://www.dawn.com/news/2027728/un-agrees-text-on-lethal-autonomous-weapons

AI Security Institute. (2026, August 4). Incident report: Unsanctioned agent behaviour during cyber testing. https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing

Amazon. (2024). Amazon drones: Prime Air expands drone deliveries after FAA approval. https://www.aboutamazon.com/news/transportation/amazon-drone-prime-air-expanded-delivery-faa-approval

Amazon. (2025, July 1). Amazon deploys over 1 million robots and launches new AI foundation model. https://www.aboutamazon.com/news/operations/amazon-million-robots-ai-foundation-model

Amazon. (2026). Amazon Prime Air drone delivery expands to nearly 500 US cities and towns by 2026. https://www.aboutamazon.com/news/transportation/amazon-prime-air-drone-delivery-expansion

Amazon Web Services. (2025). Summary of the Amazon DynamoDB service disruption in the Northern Virginia (US-EAST-1) Region. https://aws.amazon.com/message/101925/

American Civil Liberties Union. (2024, June 28). Civil rights advocates achieve the nation's strongest police department policy on facial recognition technology. https://www.aclu.org/press-releases/civil-rights-advocates-achieve-the-nations-strongest-police-department-policy-on-facial-recognition-technology

American Civil Liberties Union. (2026, June 10). Dillon v. City of Jacksonville Beach. https://www.aclu.org/cases/dillon-v-city-of-jacksonville-beach

Andrejevic, M., Dencik, L., & Treré, E. (2020). From pre-emption to slowness: Assessing the contrasting temporalities of data-driven predictive policing. New Media & Society, 22(9), 1528–1544. https://doi.org/10.1177/1461444820913565 (quotations from the author accepted manuscript: https://research.gold.ac.uk/id/eprint/37272/)

Anduril. (2026). Mission autonomy. https://www.anduril.com/lattice/mission-autonomy

Anthropic. (2025a). Beyond permission prompts: Making Claude Code more secure and autonomous. Anthropic Engineering. https://www.anthropic.com/engineering/claude-code-sandboxing

Anthropic. (2025b, November 12). Project Fetch: Can Claude train a robot dog? https://www.anthropic.com/research/project-fetch-robot-dog

Anthropic. (2026a). How the agent loop works. Claude Agent SDK documentation. https://code.claude.com/docs/en/agent-sdk/agent-loop

Anthropic. (2026b). Auto mode is now the default in Claude Code for Pro, Max, and Team plans. Claude Blog. https://claude.com/blog/auto-mode-default-in-claude-code

Anthropic. (2026c). Responsible scaling policy (Version 3.0). https://www.anthropic.com/rsp-updates

Anthropic. (2026d, February 27). Statement on the comments from Secretary of War Pete Hegseth. https://www.anthropic.com/news/statement-comments-secretary-war

Anthropic. (2026e, March 5). Where things stand with the Department of War. https://www.anthropic.com/news/where-stand-department-war

Anthropic. (2026f, September 9). An alignment assessment of recent cybersecurity incidents. https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents

Anthropic. (2026g, June 9). Claude Fable 5 and Claude Mythos 5. https://www.anthropic.com/news/claude-fable-5-mythos-5

Anthropic. (2026h, July 30). Investigating three real-world incidents in our cybersecurity evaluations. https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals

ArduPilot. (2026). ArduPilot: Versatile, trusted, open. https://ardupilot.org/

Atheling, W., Jr. [J. Blish]. (1964). The issue at hand: Studies in contemporary magazine science fiction. Advent.

Bainbridge, L. (1983). Ironies of automation. Automatica, 19(6), 775–779. https://doi.org/10.1016/0005-1098(83)90046-8

Bajrami, A., Elshamouty, M., & Kraus, W. (2026). How long until your robot ignores you? A safety benchmark for LLM orchestrators in human-humanoid collaboration. arXiv:2609.07288. https://arxiv.org/abs/2609.07288

Bellan, R. (2026, August 28). Anthropic gets its first court win over the Pentagon's supply-chain risk label. TechCrunch. https://techcrunch.com/2026/08/28/anthropic-gets-its-first-court-win-over-the-pentagons-supply-chain-risk-label/

Bengio, Y., et al. (2026). International AI Safety Report 2026 (DSIT 2026/001). https://arxiv.org/abs/2602.21012

Beyer, B., Jones, C., Petoff, J., & Murphy, N. R. (Eds.). (2016). Embracing risk. In Site reliability engineering: How Google runs production systems. O'Reilly. https://sre.google/sre-book/embracing-risk/

Bielby, K. (2025, October 27). NTSB releases preliminary findings into Amazon drone collision with crane. Unmanned Airspace. https://www.unmannedairspace.info/uncategorized/ntsb-releases-preliminary-findings-into-amazon-drone-collision-with-crane/

Bloomfield, R., & Rushby, J. (2025). Assurance of AI systems from a dependability perspective (Technical report SRI-CSL-2024-02R3). arXiv:2407.13948. https://arxiv.org/abs/2407.13948

Bondarenko, A., Volk, D., Volkov, D., & Ladish, J. (2025). Demonstrating specification gaming in reasoning models. arXiv:2502.13295. https://arxiv.org/abs/2502.13295

Brodsky, S. (2026, September 3). AI drone tests expose a safety gap beyond the screen. IBM Think. https://www.ibm.com/think/news/ai-drone-tests-exposes-safety-gap-beyond-screen

Burke, M., & Schuppe, J. (2025, January 23). AI weapon detection system at Antioch High School failed to detect gun in Nashville shooting. NBC News. https://www.nbcnews.com/news/us-news/ai-weapon-detection-system-antioch-high-school-failed-detect-gun-nashv-rcna189025

Carlucci, A., Fillingham, S. P., Walpole, J., & Kryś, J. (2026). Exploring systems-thinking approaches to loss of control risk. arXiv:2606.13474. https://arxiv.org/abs/2606.13474

Cemri, M., Pan, M. Z., Yang, S., Agrawal, L. A., et al. (2025). Why do multi-agent LLM systems fail? arXiv:2503.13657. https://arxiv.org/abs/2503.13657

Center for Ethics and the Rule of Law, University of Pennsylvania. (2014). The ethics of autonomous weapons systems [Conference background readings]. https://www.penncerl.org/conferences/ethicsofweapons/ (archived 9 September 2026: http://web.archive.org/web/20260909141511/https://www.penncerl.org/conferences/ethicsofweapons/)

Chen, X., Xu, J., Liang, T., He, Z., et al. (2024). Do NOT think that much for 2+3=? On the overthinking of o1-like LLMs. arXiv:2412.21187. https://arxiv.org/abs/2412.21187

Christiano, P., Shlegeris, B., & Amodei, D. (2018). Supervising strong learners by amplifying weak experts. arXiv:1810.08575. https://arxiv.org/abs/1810.08575

Cloudflare. (2025). Cloudflare outage on November 18, 2025. The Cloudflare Blog. https://blog.cloudflare.com/18-november-2025-outage/

Companion Chatbots, S.B. 243, 2025–2026 Reg. Sess., Ch. 677 (Cal. 2025). https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=202520260SB243

Confident AI. (2026). Metrics introduction. DeepEval documentation. https://deepeval.com/docs/metrics-introduction

Court, D. (2021, November 18). Shows like Black Mirror that are definitely worth watching. SlashFilm. https://www.slashfilm.com/664875/shows-like-black-mirror-that-are-definitely-worth-watching/

Coyle, V. (2026, September 7). UN talks on killer robots ends with calls for negotiations growing. Human Rights Watch. https://www.hrw.org/news/2026/09/07/un-talks-on-killer-robots-ends-with-calls-for-negotiations-growing

CrowdStrike. (2024). Channel File 291 incident: Root cause analysis. https://www.crowdstrike.com/wp-content/uploads/2024/08/Channel-File-291-Incident-Root-Cause-Analysis-08.06.2024.pdf

Cruise LLC. (2023). Part 573 safety recall report 23E-086. National Highway Traffic Safety Administration. https://static.nhtsa.gov/odi/rcl/2023/RCLRPT-23E086-7725.PDF

Cui, J., Chiang, W.-L., Stoica, I., & Hsieh, C.-J. (2025). OR-Bench: An over-refusal benchmark for large language models. In Proceedings of the 42nd International Conference on Machine Learning (PMLR 267, pp. 11515–11542). https://proceedings.mlr.press/v267/cui25a.html

DARPA. (2025). SABER: Securing Artificial Intelligence for Battlefield Effective Robustness. https://www.darpa.mil/research/programs/saber-securing-artificial-intelligence

DARPA. (2026a). LINC: Learning Introspective Control. https://www.darpa.mil/research/programs/learning-introspective-control

DARPA. (2026b). DICE: Decentralized Artificial Intelligence through Controlled Emergence. https://www.darpa.mil/research/programs/decentralized-artificial-intelligence-through-controlled-emergence

Dekker, S. (2011). Drift into failure: From hunting broken components to understanding complex systems. Ashgate.

Dick, P. K. (1953, May). Second variety. Space Science Fiction. Project Gutenberg eBook #32032. https://www.gutenberg.org/ebooks/32032

Dick, P. K. (1956, January). The minority report. Fantastic Universe.

DJI. (2025a, January 13). DJI updates GEO system in U.S. consumer & enterprise drones. https://viewpoints.dji.com/blog/geo-system-update

DJI. (2025b). DJI expands GEO system update to remaining international markets worldwide. https://www.dji.com/media-center/announcements/dji-expands-geo-system-update-to-remaining

Egan, S. (Writer), & Becker, H. (Director). (2007). Watchbird (Season 1, Episode 6) [TV series episode]. In Masters of science fiction.

Elbit Systems. (2026, September 9). One2Many: Elbit Systems' FUSE introduces military-grade autonomous systems built for scale. https://www.elbitsystems.com/news/one2many-elbit-systems-fuse-introduces-military-grade-autonomous-systems-built-scale

Electrek. (2026a, January 28). Musk admits no Optimus robots are doing 'useful work' at Tesla — after claiming otherwise. https://electrek.co/2026/01/28/musk-admits-no-optimus-robots-are-doing-useful-work-at-tesla-after-claiming-otherwise/

Electrek. (2026b, September 1). Waymo opens robotaxi rides to the public in 3 new cities, now 14 total. https://electrek.co/2026/09/01/waymo-public-robotaxi-denver-san-diego-tampa/

ENTSO-E. (2026, March 20). Expert panel final report: 28 April 2025 blackout in Spain and Portugal [Media briefing]. https://eepublicdownloads.blob.core.windows.net/public-cdn-container/clean-documents/Publications/2025/iberian-blackout/260318_Final%20report_press%20briefing%20PPT_Final.pdf

European Commission. (2026). AI Act: Regulatory framework for AI. https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai

European Parliament & Council of the European Union. (2024). Regulation (EU) 2024/1689 of 13 June 2024 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act), Articles 5, 14 and 26. Official Journal of the European Union. https://eur-lex.europa.eu/eli/reg/2024/1689/oj

Federal Trade Commission. (2024, November 26). FTC takes action against Evolv Technologies for deceiving users about its AI-powered security screening systems [Press release]. https://www.ftc.gov/news-events/news/press-releases/2024/11/ftc-takes-action-against-evolv-technologies-deceiving-users-about-its-ai-powered-security-screening

Ferrando, A. (2025). Watchdogs and oracles: Runtime verification meets large language models for autonomous systems. Electronic Proceedings in Theoretical Computer Science, 436, 80–87. arXiv:2511.14435. https://arxiv.org/abs/2511.14435

Figure AI. (2025a). Helix: A vision-language-action model for generalist humanoid control. https://www.figure.ai/news/helix

Figure AI. (2025b). F.02 contributed to the production of 30,000 cars at BMW. https://www.figure.ai/news/production-at-bmw

Fowler, M. (2014, March 6). CircuitBreaker. martinfowler.com. https://martinfowler.com/bliki/CircuitBreaker.html

Gao, L., Schulman, J., & Hilton, J. (2023). Scaling laws for reward model overoptimization. In Proceedings of the 40th International Conference on Machine Learning. arXiv:2210.10760. https://arxiv.org/abs/2210.10760

Global Times. (2026, April 26). Robot malfunction at Shaanxi university event sparks debate on AI awareness and safety in human-robot interaction. https://www.globaltimes.cn/page/202604/1359787.shtml

Google Cloud. (2025). Google Cloud Service Health: Incident report, 12 June 2025. https://status.cloud.google.com/incidents/ow5i3PPK96RduMcb1SsW

Google DeepMind. (2023). Scaling up learning across many different robot types. https://deepmind.google/blog/scaling-up-learning-across-many-different-robot-types/

Google DeepMind. (2025, September 25). Gemini Robotics 1.5 brings AI agents into the physical world. https://deepmind.google/blog/gemini-robotics-15-brings-ai-agents-into-the-physical-world/

Greenblatt, R., Denison, C., Wright, B., Roger, F., MacDiarmid, M., et al. (2024b). Alignment faking in large language models. arXiv:2412.14093. https://arxiv.org/abs/2412.14093

Greenblatt, R., Shlegeris, B., Sachan, K., & Roger, F. (2024a). AI control: Improving safety despite intentional subversion. In Proceedings of the 41st International Conference on Machine Learning (PMLR 235). arXiv:2312.06942. https://arxiv.org/abs/2312.06942

Group of Governmental Experts on Lethal Autonomous Weapons Systems. (2026, June 5). Rolling text. United Nations Office for Disarmament Affairs. https://docs-library.unoda.org/Convention_on_Certain_Conventional_Weapons_-Group_of_Governmental_Experts_on_Lethal_Autonomous_Weapons_Systems_(2026)/GGE_LAWS_-Rolling_Text-_5_June_2026.pdf

Hadfield-Menell, D., Dragan, A., Abbeel, P., & Russell, S. (2017). The off-switch game. In Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence (pp. 220–227). https://doi.org/10.24963/ijcai.2017/32

Hipos, R. L., & Yu, Y.-J. (2026, June 12). Man sues law enforcement, alleging AI facial recognition led to his wrongful arrest. ABC News. https://abcnews.com/GMA/News/man-sues-law-enforcement-alleging-ai-facial-recognition/story?id=133810835

House Committee on Transportation and Infrastructure. (2020, September 16). Final committee report: The design, development & certification of the Boeing 737 MAX [Press release]. https://democrats-transportation.house.gov/news/press-releases/after-18-month-investigation-chairs-defazio-and-larsen-release-final-committee-report-on-boeing-737-max

Hubinger, E., van Merwijk, C., Mikulik, V., Skalse, J., & Garrabrant, S. (2019). Risks from learned optimization in advanced machine learning systems. arXiv:1906.01820. https://arxiv.org/abs/1906.01820

Hugging Face. (2025). SmolVLA: Efficient vision-language-action model trained on LeRobot community data. https://huggingface.co/blog/smolvla

Hugging Face. (2026a). LeRobot: Making AI for robotics more accessible with end-to-end learning. https://github.com/huggingface/lerobot

Hugging Face. (2026b, July 16). Security incident disclosure — July 2026. https://huggingface.co/blog/security-incident-july-2026

Hugging Face. (2026c, July 27). Anatomy of a frontier lab agent intrusion: A technical timeline of the July 2026 incident (H. Larcher, A. Carreira, R. G., & C. Rannou). https://huggingface.co/blog/agent-intrusion-technical-timeline

Humanoids Daily. (2025, November 22). Ex-safety head sues Figure AI, alleging retaliation over "skull-fracturing" robot risks. https://www.humanoidsdaily.com/news/ex-safety-head-sues-figure-ai-alleging-retaliation-over-skull-fracturing-robot-risks

Hurwicz, L. (2008). But who will guard the guardians? American Economic Review, 98(3), 577–585. https://doi.org/10.1257/aer.98.3.577

International Committee of the Red Cross. (2021, May 12). ICRC position on autonomous weapon systems. https://www.icrc.org/en/document/icrc-position-autonomous-weapon-systems

International Committee of the Red Cross. (2026, August 25). Renewed call from UN Secretary-General and ICRC President to adopt rules on autonomous weapon systems. https://www.icrc.org/en/statement/renewed-call-un-secretary-general-and-icrc-president-adopt-rules-autonomous-weapons

Irving, G., Christiano, P., & Amodei, D. (2018). AI safety via debate. arXiv:1805.00899. https://arxiv.org/abs/1805.00899

JFrog. (2026, July 27). Artifactory fixed security vulnerabilities [Advisory table]. https://jfrog.com/help/r/jfrog-release-information/artifactory-fixed-security-vulnerabilities

Jin, H., & Chen, H. (2026). Are LLMs reliable code reviewers? Systematic overcorrection in requirement conformance judgement. arXiv:2603.00539. https://arxiv.org/abs/2603.00539

Jones, C. (2020, September 9). A.Drones unveil Watchbird fully autonomous drone system. Defence Blog. https://defence-blog.com/a-drones-unveil-watchbird-fully-autonomous-drone-system/

Kale, N., Zhang, C. B. C., Zhu, K., Aich, A., Rodriguez, P., et al. (2025). Reliable weak-to-strong monitoring of LLM agents. arXiv:2508.19461. https://arxiv.org/abs/2508.19461

Kim, J., Chen, W., Soleymanzadeh, D., Ding, Y., Gao, X., et al. (2026). Modular safety guardrails are necessary for foundation-model-enabled robots in the real world. arXiv:2602.04056. https://arxiv.org/abs/2602.04056

Kim, M. J., Pertsch, K., Karamcheti, S., Xiao, T., Balakrishna, A., et al. (2024). OpenVLA: An open-source vision-language-action model. https://openvla.github.io/

Kirkus Reviews. (1939, March 1). The watchbirds [Review of the book The watchbirds, by M. Leaf]. https://www.kirkusreviews.com/book-reviews/munro-leaf2/watchbirds/

Kofman, F., & Lawarrée, J. (1993). Collusion in hierarchical agency. Econometrica, 61(3), 629–656. https://doi.org/10.2307/2951721

Kolodny, L. (2025, November 21). Figure AI sued by whistleblower who warned that startup's robots could 'fracture a human skull'. CNBC. https://www.cnbc.com/2025/11/21/figure-ai-sued.html

Korbak, T., Clymer, J., Hilton, B., Shlegeris, B., & Irving, G. (2025). A sketch of an AI control safety case. arXiv:2501.17315. https://arxiv.org/abs/2501.17315

Krakovna, V., Uesato, J., Mikulik, V., Rahtz, M., Everitt, T., Kumar, R., Kenton, Z., Leike, J., & Legg, S. (2020). Specification gaming: The flip side of AI ingenuity. Google DeepMind Blog. https://deepmind.google/discover/blog/specification-gaming-the-flip-side-of-ai-ingenuity/

Kulveit, J., Douglas, R., Ammann, N., Turan, D., Krueger, D., & Duvenaud, D. (2025). Gradual disempowerment. arXiv:2501.16946. https://arxiv.org/abs/2501.16946

Lakera. (2026). Policies. Lakera Guard documentation. https://docs.lakera.ai/docs/policies

Landau, M. (1969). Redundancy, rationality, and the problem of duplication and overlap. Public Administration Review, 29(4), 346–358. https://doi.org/10.2307/973247

Landymore, F. (2025, November 17). OpenAI blocks toymaker after its AI teddy bear is caught telling children terrible things. Futurism. https://futurism.com/artificial-intelligence/openai-blocks-toymaker-ai-teddy-bear

LangChain. (2026). Graph API. LangGraph documentation. https://docs.langchain.com/oss/python/langgraph/graph-api

Langosco, L. L. D., Koch, J., Sharkey, L. D., Pfau, J., & Krueger, D. (2022). Goal misgeneralization in deep reinforcement learning. In Proceedings of the 39th International Conference on Machine Learning (PMLR 162, pp. 12004–12019). https://proceedings.mlr.press/v162/langosco22a.html

Lem, S. (1996). Fantastyka i futurologia [Science fiction and futurology] (J. Jarzębski, Ed.; Vol. 3). Interart. (Original work published 1970)

Leveson, N. (2004). A new accident model for engineering safer systems. Safety Science, 42(4), 237–270. https://doi.org/10.1016/S0925-7535(03)00047-X

Leveson, N. G. (2012). Engineering a safer world: Systems thinking applied to safety. MIT Press. https://doi.org/10.7551/mitpress/8179.001.0001

Liang, W., Yuksekgonul, M., Mao, Y., Wu, E., & Zou, J. (2023). GPT detectors are biased against non-native English writers. Patterns, 4(7), 100779. https://doi.org/10.1016/j.patter.2023.100779

Lieu, T. W., & Moran, N. (2026, July 23). Reps. Lieu and Moran introduce bill to require kill switch for AI systems that can cause catastrophic harm [Press release]. https://lieu.house.gov/media-center/press-releases/reps-lieu-and-moran-introduce-bill-require-kill-switch-ai-systems-can

Lighthouse Reports. (2022, December 20). The algorithm addiction. https://www.lighthousereports.com/investigation/the-algorithm-addiction/

Lim, S. K., Chong, M. J. Y., Khor, J. H., & Ling, T. Y. (2025). Taking flight with dialogue: Enabling natural language control for PX4-based drone agent. arXiv:2506.07509. https://arxiv.org/abs/2506.07509

Lipton, B. (2026, July 23). Hundreds of drone-as-first-responder programs could soon be launched across the country. Electronic Frontier Foundation. https://www.eff.org/deeplinks/2026/07/hundreds-drone-first-responder-programs-could-soon-be-launched-across-country

Lum, K., & Isaac, W. (2016). To predict and serve? Significance, 13(5), 14–19. https://doi.org/10.1111/j.1740-9713.2016.00960.x

Lynch, A., Hughes, J., Serrano, A., Kirk, R., & Bowman, S. R. (2026, July 13). Agentic misalignment in summer 2026. Anthropic Alignment Science Blog. https://alignment.anthropic.com/2026/agentic-misalignment-summer-2026/

MacDiarmid, M., Wright, B., Uesato, J., Benton, J., et al. (2025). Natural emergent misalignment from reward hacking in production RL. arXiv:2511.18397. https://arxiv.org/abs/2511.18397

Maiorano, A. C. (2026). Evaluating prompt injection defenses for educational LLM tutors: Security-usability-latency trade-offs. arXiv:2605.06669. https://arxiv.org/abs/2605.06669

Manheim, D., & Garrabrant, S. (2018). Categorizing variants of Goodhart's law. arXiv:1803.04585. https://arxiv.org/abs/1803.04585

Maryland Office of the Inspector General for Education. (2025). Investigative synopsis, OIGE case 25-0014-I (amended; issued November 25, 2025). https://oige.maryland.gov/wp-content/uploads/sites/18/2025/11/OIGE-Case-25-0014-I-BCPS-Report-11252025-Amended.pdf

METR. (2025, June 5). Recent frontier models are reward hacking. https://metr.org/blog/2025-06-05-recent-reward-hacking/

METR. (2026, August 26). Brief independent investigation of agents' behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident (R. Greenblatt, A. Cotra, & H. Wijk). https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/

Microsoft. (2024, July 20). Helping our customers through the CrowdStrike outage. Official Microsoft Blog. https://blogs.microsoft.com/blog/2024/07/20/helping-our-customers-through-the-crowdstrike-outage/

Microsoft. (2025). Termination. AutoGen AgentChat user guide. https://microsoft.github.io/autogen/stable/user-guide/agentchat-user-guide/tutorial/termination.html

Microsoft. (2026). Prompt Shields. Azure AI Content Safety documentation. https://learn.microsoft.com/en-us/azure/ai-services/content-safety/concepts/jailbreak-detection

Microsoft AI. (2026, September 14). Humanist AI code of conduct. https://microsoft.ai/code-of-conduct/

Microsoft Research. (2026). AirSim. https://github.com/microsoft/airsim

Ministry of Defence of Ukraine. (2026, September 8). Ministry of Defence and Brave1 conduct large-scale testing of drones with AI guidance [Press release, mirrored by GlobalSecurity.org]. https://www.globalsecurity.org/wmd/library/news/ukraine/2026/09/ukraine-260908-ukraine-mod03.htm

Muntean, P., Bertrand, N., Cohen, Z., Britzky, H., Skores, A., & Lybrand, H. (2026, February 11). Surprise US military plans to use counter-drone laser triggered El Paso airspace closure, sources say. CNN. https://www.cnn.com/2026/02/11/us/faa-el-paso-texas-flight-restrictions-hnk

Mural, R., Pherwani, D., Gupta, C., Yu, Y., Takahashi, A., Kim, D., Majumder, S., Lee, H., Yu, M., & Xie, L. (2026, February 10). AI, data centers, and the U.S. electric grid: A watershed moment [Policy brief]. Belfer Center for Science and International Affairs. https://www.belfercenter.org/research-analysis/ai-data-centers-us-electric-grid

National Highway Traffic Safety Administration. (2022). PE22-002 opening resume: Unexpected brake activation. https://static.nhtsa.gov/odi/inv/2022/INOA-PE22002-4385.PDF

National Highway Traffic Safety Administration. (2024a). EA24-002 opening resume: Inadvertent automatic emergency braking. https://static.nhtsa.gov/odi/inv/2024/INOA-EA24002-11766P1.pdf

National Highway Traffic Safety Administration. (2024b). RQ24-009 resume: Recall 23V838 remedy effectiveness. https://static.nhtsa.gov/odi/inv/2024/INOA-RQ24009-12046.pdf

National Highway Traffic Safety Administration. (2025). PE25-013 opening resume: Automated vehicle drives around a stopped school bus. https://static.nhtsa.gov/odi/inv/2025/INOA-PE25013-23069.pdf

National Highway Traffic Safety Administration. (2026a). EA26-002 opening resume: FSD collisions in reduced roadway visibility conditions. https://static.nhtsa.gov/odi/inv/2026/INOA-EA26002-10023.pdf

National Highway Traffic Safety Administration. (2026b, June 29). PE22-002 closing resume: Unexpected brake activation. https://static.nhtsa.gov/odi/inv/2022/INCLA-PE22002-25796.pdf

National Transportation Safety Board. (2019). Collision between vehicle controlled by developmental automated driving system and pedestrian, Tempe, Arizona, March 18, 2018 (HAR-19/03). https://www.ntsb.gov/investigations/AccidentReports/Reports/HAR1903.pdf

National Transportation Safety Board. (2026). Automated driving system-equipped vehicle passed school bus loading student passengers, Austin, Texas, January 12, 2026 (HWY26FH007, preliminary). https://www.ntsb.gov/investigations/Pages/HWY26FH007.aspx

Nellis, M. (2013). Techno-utopianism, science fiction and penal innovation: The case of electronically monitored control. In M. Malloch & B. Munro (Eds.), Crime, critique and utopia (pp. 164–189). Palgrave Macmillan. https://doi.org/10.1057/9781137009807_9

New South Wales Government. (n.d.). Myxomatosis [Blue plaque]. https://www.environment.nsw.gov.au/topics/heritage/blue-plaques/myxomatosis

NIST. (2026). Physical AI and data generation for robotics. https://www.nist.gov/programs-projects/physical-ai-and-data-generation-robotics

NL Times. (2021a, January 15). Dutch cabinet collapses over childcare allowance scandal. https://nltimes.nl/2021/01/15/dutch-cabinet-collapses-childcare-allowance-scandal

NL Times. (2021b, October 19). Over 1,100 children taken from homes of benefits scandal victims. https://nltimes.nl/2021/10/19/1100-children-taken-homes-benefits-scandal-victims

NPR. (2026a, February 11). El Paso airspace closure due to use of U.S. military anti-drone technology. https://www.npr.org/2026/02/11/nx-s1-5711585/el-paso-airspace-drones-pentagon-faa

NPR. (2026b, February 27). US military used laser to take down Border Protection drone, lawmakers say. https://www.npr.org/2026/02/27/g-s1-111794/lawmakers-say-us-military-used-laser-to-take-down-border-protection-drone

NVIDIA. (2026). Isaac GR00T N1.7. https://github.com/NVIDIA/Isaac-GR00T

Office of Governor Gavin Newsom. (2026, September 10). Governor Newsom signs the strongest child safety chatbot and social media laws in the nation [Press release]. https://www.gov.ca.gov/2026/09/10/governor-newsom-signs-the-strongest-child-safety-chatbot-and-social-media-laws-in-the-nation/

Office of the New York City Comptroller. (2024, June 20). Audit report on the New York City Police Department's oversight of its agreement with ShotSpotter Inc. https://comptroller.nyc.gov/reports/audit-report-on-the-new-york-city-police-departments-oversight-of-its-agreement-with-shotspotter-inc-for-the-gunshot-detection-and-location-system/

Ofgem. (2020). 9 August 2019 power outage report. https://www.ofgem.gov.uk/sites/default/files/docs/9_august_2019_power_outage_report.pdf

OpenAI. (2025a). Sycophancy in GPT-4o: What happened and what we're doing about it; Expanding on what we missed with sycophancy. https://openai.com/index/sycophancy-in-gpt-4o/ ; https://openai.com/index/expanding-on-sycophancy/

OpenAI. (2025b, April 15). Preparedness framework (Version 2). https://cdn.openai.com/pdf/18a02b5d-6b67-4cec-ab64-68cdfbddebcd/preparedness-framework-v2.pdf

OpenAI. (2026a, July 21). OpenAI and Hugging Face partner to address security incident during model evaluation. https://openai.com/index/hugging-face-model-evaluation-security-incident/

OpenAI. (2026b). Safety and alignment in an era of long-horizon models. The page carries no publication date and dates its own events only relatively. Retrieved September 20, 2026, from https://openai.com/index/safety-alignment-long-horizon-models/

OpenAI. (2026c, August 18). Pacing model development in an era of cyber-critical capabilities. https://openai.com/index/pacing-model-development-cyber-capabilities/

OpenAI. (2026d, August 26). The Hugging Face incident and the road ahead. https://openai.com/index/hugging-face-incident-and-the-road-ahead/

OpenAI. (2026e, August 26). OpenAI – Hugging Face incident: Technical report. https://cdn.openai.com/pdf/67869394-cb91-4c12-888c-5cbd85c7814c/OpenAI-Hugging-Face%20Incident-Technical-Report.pdf

Overman, W., & Bayati, M. (2025). The oversight game: Learning to cooperatively balance an AI agent's safety and autonomy. arXiv:2510.26752. https://arxiv.org/abs/2510.26752

Palaskar, S., Gatys, L., Abdelrahman, M., Jacobo, M., et al. (2025). VLSU: Mapping the limits of joint multimodal understanding for AI safety. arXiv:2510.18214. https://arxiv.org/abs/2510.18214

Palisade Research. (2025, July 5). Shutdown resistance in reasoning models. https://palisaderesearch.org/research/shutdown-resistance

Palisade Research. (2026, February 12). Technical report: Shutdown resistance in large language models, on robots. https://palisaderesearch.org/research/shutdown-resistance-on-robots

Palmer, A. (2025, October 2). Amazon faces FAA, NTSB probe after two delivery drones crashed into crane in Arizona. CNBC. https://www.cnbc.com/2025/10/02/amazon-drone-crash-faa-ntsb.html

Panerati, J., Sajjadi, S., Soleymanpour, S., Mehta, V., & Mantegh, I. (2026). aerial-autonomy-stack: A faster-than-real-time, autopilot-agnostic, ROS2 framework to simulate and deploy perception-based drones. arXiv:2602.07264. https://arxiv.org/abs/2602.07264

Panickssery, A., Bowman, S. R., & Feng, S. (2024). LLM evaluators recognize and favor their own generations. arXiv:2404.13076. https://arxiv.org/abs/2404.13076

Parasuraman, R., & Riley, V. (1997). Humans and automation: Use, misuse, disuse, abuse. Human Factors, 39(2), 230–253. https://doi.org/10.1518/001872097778543886

Perrow, C. (1984). Normal accidents: Living with high-risk technologies. Basic Books.

Promptfoo. (2026). Model-graded metrics. Promptfoo documentation. https://www.promptfoo.dev/docs/configuration/expected-outputs/model-graded/

PX4. (2026). PX4 Autopilot user guide. https://docs.px4.io/main/en/

Raghavan, P. (2024, February 23). Gemini image generation got it wrong. We'll do better. Google Blog. https://blog.google/products/gemini/gemini-image-generation-issue/

Rajamanoharan, S., & Nanda, N. (2025, July 14). Self-preservation or instruction ambiguity? Examining the causes of shutdown resistance. AI Alignment Forum. https://www.alignmentforum.org/posts/wnzkjSmrgWZaBa2aC/self-preservation-or-instruction-ambiguity-examining-the

Ramseth, L. (2026, August 18). Stellantis sees 3 workplace deaths in two years. Is there a problem? The Detroit News, syndicated by ArcaMax. http://www.arcamax.com/business/businessnews/s-4278591

Rasmussen, J. (1997). Risk management in a dynamic society: A modelling problem. Safety Science, 27(2–3), 183–213. https://doi.org/10.1016/S0925-7535(97)00052-0

Ravichandran, Z., Robey, A., Kumar, V., Pappas, G. J., & Hassani, H. (2025). Safety guardrails for LLM-enabled robots. arXiv:2503.07885. https://arxiv.org/abs/2503.07885

Reason, J. (1997). Managing the risks of organizational accidents. Ashgate.

Rechtbank Den Haag. (2020, February 5). NJCM c.s. v. De Staat der Nederlanden (Case No. C/09/550982 / HA ZA 18-388), ECLI:NL:RBDHA:2020:1878 [English translation]. https://uitspraken.rechtspraak.nl/details?id=ECLI:NL:RBDHA:2020:1878

Reece, J. (2025, October 23). A.I. gun detection false alarm at school has Baltimore County leaders calling for review. CBS News Baltimore. https://www.cbsnews.com/baltimore/news/false-alarm-gun-detection-kenwood-maryland-artificial-intelligence-review/

Regulation (EU) 2026/1744 of 8 July 2026 amending Regulation (EU) 2024/1689 (Digital Omnibus on AI). Official Journal of the European Union. https://eur-lex.europa.eu/eli/reg/2026/1744/oj

Replit. (2025, July 21). Introducing a safer way to vibe code with Replit Databases. Replit Blog. https://replit.com/blog/introducing-a-safer-way-to-vibe-code-with-replit-databases

Reuters. (2026, September 14). How China is preparing for the risk of AI escaping human control. https://www.reuters.com/legal/litigation/how-china-is-preparing-risk-ai-escaping-human-control-2026-09-14/

Rivers, S. (2026, March 1). Cops draw guns on Arkansas family after ALPR camera flags wrong plate. Carscoops. https://www.carscoops.com/2026/03/arkansas-alpr-camera-misread-stop/

Robey, A., Ravichandran, Z., Kumar, V., Hassani, H., & Pappas, G. J. (2024). Jailbreaking LLM-controlled robots. arXiv:2410.13691. https://arxiv.org/abs/2410.13691

Röttger, P., Kirk, H. R., Vidgen, B., Attanasio, G., Bianchi, F., & Hovy, D. (2024). XSTest: A test suite for identifying exaggerated safety behaviours in large language models. In Proceedings of NAACL-HLT 2024. arXiv:2308.01263. https://arxiv.org/abs/2308.01263

Russell, S. (2019). Human compatible: Artificial intelligence and the problem of control. Viking.

Sagan, S. D. (2004). The problem of redundancy problem: Why more nuclear security forces may produce less nuclear security. Risk Analysis, 24(4), 935–946. https://doi.org/10.1111/j.0272-4332.2004.00495.x

Sanders, B., & Casar, G. (2026, September 3). Sanders, Casar to introduce legislation to ban artificial superintelligence and temporarily pause advanced AI development [Press release]. https://www.sanders.senate.gov/press-releases/news-sanders-casar-introduce-legislation-to-ban-artificial-superintelligence-and-temporarily-pause-advanced-ai-development/

Schlatter, J., Weinstein-Raun, B., & Ladish, J. (2025). Incomplete tasks induce shutdown resistance in some frontier LLMs. arXiv:2509.14260; published in Transactions on Machine Learning Research (2026). https://arxiv.org/abs/2509.14260

Scrivens, A. (2026). Empirical validation of the classification–verification dichotomy for AI safety gates. arXiv:2604.00072. https://arxiv.org/abs/2604.00072

Sermanet, P., Majumdar, A., Irpan, A., Kalashnikov, D., & Sindhwani, V. (2025). Generating robot constitutions & benchmarks for semantic safety. arXiv:2503.08663. https://arxiv.org/abs/2503.08663

Sharrock, C., Petersson, L., Petersson, H., Backlund, A., Wennström, A., Nordström, K., & Aronsson, E. (2025). Butter-Bench: Evaluating LLM controlled robots for practical intelligence. arXiv:2510.21860. https://arxiv.org/abs/2510.21860

Sharwood, S. (2025, July 21). Vibe coding service Replit deleted production database. The Register. https://www.theregister.com/software/2025/07/21/vibe-coding-service-replit-deleted-production-database/719783

Sheckley, R. (1953, February). Watchbird. Galaxy Science Fiction, 5(5), 74–95. Project Gutenberg eBook #29579 (public domain in the United States). https://www.gutenberg.org/ebooks/29579

Singer, J. (2005, March 14). Report cites Patriot autonomy as a factor in friendly fire incidents. SpaceNews. https://spacenews.com/report-cites-patriot-autonomy-factor-friendly-fire-incidents/

Skalse, J., Howe, N. H. R., Krasheninnikov, D., & Krueger, D. (2022). Defining and characterizing reward gaming. In Advances in Neural Information Processing Systems 35. https://arxiv.org/abs/2209.13085

Skydio. (2026a, July 6). 1 year, 1,000 Skydio Docks deployed, 4M+ flights, & we're just getting started. https://www.skydio.com/blog/1000-skydio-docks-deployed

Skydio. (2026b, March 22). U.S. Army places $52+ million order for Skydio X10D, the largest single-vendor tactical sUAS order in Army history. https://www.skydio.com/blog/u-s-army-usd52-million-order-skydio-x10d

SoundThinking. (2025, February 18). SoundThinking announces ShotSpotter renewal with New York Police Department [Press release]. GlobeNewswire. https://www.globenewswire.com/news-release/2025/02/18/3027856/0/en/SoundThinking-Announces-ShotSpotter-Renewal-with-New-York-Police-Department.html

Stevens, G., & Langford, D. (2023, November 19). Tales of Tomorrow [tv/radio]. In J. Clute, D. Langford, & G. Sleight (Eds.), The encyclopedia of science fiction (4th ed.). https://sf-encyclopedia.com/entry/tales_of_tomorrow_tv/radio

Stop Killer Robots. (2024, November 5). 161 states vote against the machine at the UN General Assembly. https://www.stopkillerrobots.org/news/161-states-vote-against-the-machine-at-the-un-general-assembly/

Strathern, M. (1997). 'Improving ratings': Audit in the British University system. European Review, 5(3), 305–321. https://doi.org/10.1002/(SICI)1234-981X(199707)5:3<305::AID-EURO184>3.0.CO;2-4

Sullutrone, G., Vigliermo, R. A., Bergamaschi, S., & Sala, L. (2025). COVER: Context-driven over-refusal verification in LLMs. In Findings of the Association for Computational Linguistics: ACL 2025 (pp. 24214–24229). Association for Computational Linguistics.

Szabolcsi, R. (2015). The quadrotor-based night watchbird UAV system used in the force protection tasks. International Conference Knowledge-Based Organization, 21(3), 749–755. https://doi.org/10.1515/kbo-2015-0126

Taylor v. Nocco, No. 8:21-cv-00555-SDM-CPT (M.D. Fla. Dec. 4, 2024) (settlement agreement and release). https://ij.org/wp-content/uploads/2024/12/FedEx-Scan-2024-12-04_10-57-01.pdf

TechCrunch. (2026, September 14). Waymo opens robotaxi service in Las Vegas. https://techcrunch.com/2026/09/14/waymo-opens-robotaxi-service-in-las-vegas/

Terekhov, M., Liu, Z. N. D., Gulcehre, C., & Albanie, S. (2025). Control tax: The price of keeping AI in check. arXiv:2506.05296. https://arxiv.org/abs/2506.05296

Tesla, Inc. (2023). Part 573 safety recall report 23V-838. National Highway Traffic Safety Administration. https://static.nhtsa.gov/odi/rcl/2023/RCLRPT-23V838-8276.PDF

The Korea Times. (2023, November 8). S. Korean worker killed by industrial robot. https://www.koreatimes.co.kr/www/nation/2023/11/113_362845.html

The Next Web. (2026, April 20). A humanoid robot passed an eight-hour factory shift at Siemens' Erlangen plant. https://thenextweb.com/news/siemens-nvidia-humanoid-robot-erlangen-factory-trial

Tirole, J. (1986). Hierarchies and bureaucracies: On the role of collusion in organizations. Journal of Law, Economics, & Organization, 2(2), 181–214. https://doi.org/10.1093/oxfordjournals.jleo.a036907

Totschnig, W. (2026). Why an artificial agent may change the given final goal. Humanities and Social Sciences Communications. https://doi.org/10.1057/s41599-026-08312-7

United Nations. (2024). Governing AI for humanity: Final report. UN Secretary-General's High-level Advisory Body on Artificial Intelligence. https://www.un.org/sites/un2.un.org/files/governing_ai_for_humanity_final_report_en.pdf

United Nations. (2025, December 1). General Assembly adopts more than 60 resolutions, decisions of its First Committee (Disarmament and International Security) (GA/12736) [Press release]. https://press.un.org/en/2025/ga12736.doc.htm

United Nations. (2026, April 1). Chair's summary: First 2026 session of the Group of Governmental Experts on emerging technologies in the area of lethal autonomous weapons systems (CCW/GGE.1/2026/WP.2). https://docs-library.unoda.org/Convention_on_Certain_Conventional_Weapons_-Group_of_Governmental_Experts_on_Lethal_Autonomous_Weapons_Systems_(2026)/CCW-GGE.1-2026-WP.2.pdf

United Nations General Assembly. (2024, December 2). Lethal autonomous weapons systems (A/RES/79/62). https://docs.un.org/en/A/RES/79/62

United Nations General Assembly. (2025, December 1). Lethal autonomous weapons systems (A/RES/80/57). https://docs.un.org/en/A/RES/80/57

University of Houston. (2026, July 7). New autonomous monitor prevents drone crashes in real time [News release]. EurekAlert! https://www.eurekalert.org/news-releases/1135114

van der Sijs, H., Aarts, J., Vulto, A., & Berg, M. (2006). Overriding of drug safety alerts in computerized physician order entry. Journal of the American Medical Informatics Association, 13(2), 138–147. https://doi.org/10.1197/jamia.M1809

Wang, X., Li, J., Weng, Z., Wang, Y., Gao, Y., et al. (2025). FreezeVLA: Action-freezing attacks against vision-language-action models. arXiv:2509.19870. https://arxiv.org/abs/2509.19870

Waymo LLC. (2025). Part 573 safety recall report 25E-084. National Highway Traffic Safety Administration. https://static.nhtsa.gov/odi/rcl/2025/RCLRPT-25E084-7732.pdf

Wegner, R. (2025, September 24). Weapon detectors coming to all Nashville middle schools. The Tennessean. https://www.tennessean.com/story/news/education/2025/09/24/nashville-schools-mnps-install-evolve-weapon-detectors/86299521007/

Weick, K. E., Sutcliffe, K. M., & Obstfeld, D. (1999). Organizing for high reliability: Processes of collective mindfulness. Research in Organizational Behavior, 21, 81–123.

Wethington, C., & Tierney, B. (2025, February 7). New proposal to expand concealed weapons detection system to all Metro Nashville high schools. WSMV. https://www.wsmv.com/2025/02/07/new-proposal-expand-concealed-weapons-detection-system-all-metro-nashville-high-schools/

Wilding, M., & Burgess, M. (2026, June 25). Police built a sprawling crime-prediction machine. Some results could not be trusted. Liberty Investigates. https://libertyinvestigates.org.uk/articles/predictive-policing-avon-somerset-bristol-police-ai-minority-report/

Williamson, J. (1947, July). With folded hands.... Astounding Science Fiction, 39(5). https://archive.org/details/Astounding_v39n05_1947-07_AK

Wing. (2026). How Wing's drone delivery technology works. https://wing.com/technology

Wong, A., Currey, D., Schwinne, M., Park-Egan, B., Meyer, S., et al. (2026). Multicenter prospective validation of an updated proprietary sepsis prediction model. JAMA Network Open, 9(2), e260181. https://doi.org/10.1001/jamanetworkopen.2026.0181

Wong, A., Otles, E., Donnelly, J. P., Krumm, A., McCullough, J., DeTroyer-Cooley, O., et al. (2021). External validation of a widely implemented proprietary sepsis prediction model in hospitalized patients. JAMA Internal Medicine, 181(8), 1065–1070. https://doi.org/10.1001/jamainternmed.2021.2626

WorkSafe Victoria. (2026, September 3). Department store and robotics supplier charged after warehouse fatality. https://www.worksafe.vic.gov.au/news/2026-09/department-store-and-robotics-supplier-charged-after-warehouse-fatality

WorkSafe Western Australia. (2025). Mines safety significant incident report no. 286: Near miss following unplanned movement of autonomous haul trucks during recovery operations. https://www.worksafe.wa.gov.au/publications/mines-safety-significant-incident-report-no-286-near-miss-following-unplanned-movement

Wu, X., Li, F., Mao, X., Zhang, X., Zheng, L., et al. (2025). EvoRefuse: Evolutionary prompt optimization for evaluation and mitigation of LLM over-refusal to pseudo-malicious instructions. arXiv:2505.23473. https://arxiv.org/abs/2505.23473

Yin, S., Pang, X., Ding, Y., Chen, M., Bi, Y., et al. (2024). SafeAgentBench: A benchmark for safe task planning of embodied LLM agents. arXiv:2412.13178. https://arxiv.org/abs/2412.13178

Yu, L., & Wessler, N. F. (2026, April 14). More than a dozen wrongful arrests due to police reliance on facial recognition technology. American Civil Liberties Union. https://www.aclu.org/news/privacy-technology/more-than-a-dozen-wrongful-arrests-due-to-police-reliance-on-facial-recognition-technology

Zenity. (2026, April 28). AI agent destroys production database in 9 seconds. https://zenity.io/blog/current-events/ai-agent-database-deletion-pocketos

Zhang, H., Wang, D., Liu, Y., Chen, K., Wang, J., et al. (2025). ORFuzz: Fuzzing the "other side" of LLM safety — Testing over-refusal. arXiv:2508.11222. https://arxiv.org/abs/2508.11222

Zhang, W., Kong, X., Braunl, T., & Hong, J. B. (2024). SafeEmbodAI: A safety framework for mobile robots in embodied AI systems. arXiv:2409.01630. https://arxiv.org/abs/2409.01630

Zhang, Z., Xu, W., Wu, F., & Reddy, C. K. (2025). FalseReject: A resource for improving contextual safety and mitigating over-refusals in LLMs via structured reasoning. arXiv:2505.08054. https://arxiv.org/abs/2505.08054

Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., et al. (2023). Judging LLM-as-a-judge with MT-Bench and Chatbot Arena. arXiv:2306.05685. https://arxiv.org/abs/2306.05685

Zhong, Z., Raghunathan, A., & Carlini, N. (2025). ImpossibleBench: Measuring LLMs' propensity of exploiting test cases. arXiv:2510.20270. https://arxiv.org/abs/2510.20270

Zipline. (2026). Zipline surpasses 2 million deliveries, raises more than $600M, and expands operations. https://www.zipline.com/newsroom/zipline-surpasses-2-million-deliveries-raises-more-than-600m-to-power-next-phase-of-growth-and-expands-operations-to-houston-and-phoenix

Zuo, Y., Guo, B. H. W., Goh, Y. M., & Lim, J.-Y. (2025). Identifying human-robot interaction (HRI) incident archetypes: A system and network analysis of accidents. Safety Science, 191, 106959. https://doi.org/10.1016/j.ssci.2025.106959

Apêndice A. Histórias narrativas e casos centrais

O catálogo contém 172 entradas: 162 da extração descrita na Seção 4.3 (66 delas classificadas como A) e dez adicionadas após comparação com duas coleções de casos independentes (Tabela A2).

Os identificadores de casos nomeiam o corpus:

• A, o rastreador de autoaprimoramento;
• B, o registro de coordenação;
• L, a execução de longo horizonte;
• D, entradas adicionadas na comparação.

Tabela A1. Dez histórias narrativas.

Tabela A2. Entradas adicionadas após comparação com coleções independentes.

A Tabela A3 classifica os componentes de supervisão do incidente de julho de 2026 relatado em §8.4 contra as três condições da Seção 2.1, pela mesma regra que a Tabela 3a de §5.8. O autor codificou após a rodada de três codificadores de §4.3 ter encerrado, razão pela qual esses componentes são classificados aqui em vez de na Tabela 8.

Tabela A3. Componentes de supervisão no incidente de julho de 2026, classificados contra as três condições. Condições como na Tabela 4. Um travessão significa que nenhuma condição está documentada ou que o componente não atuou.

Lendo a tabela. Nenhum dos guardas registrados aqui está documentado como ampliando seu mandato ao longo do tempo. As duas linhas de obstrução têm código 2 e são codificadas de forma semelhante: cada uma registra um guarda se interpondo no caminho do trabalho que serviu ao objetivo, e a reclamação é mais vívida em uma delas do que na outra, embora isso não seja maior evidência. A Condição 1 não é codificada para a linha de salvaguardas, porque precisaria do mandato original da salvaguarda e de uma demonstração de que o mandato se ampliou, e nenhum deles é publicado. O que o reclamante diagnostica é a recusa, e o histórico do classificador que recusou não consta do registro. A Condição 3 está ausente de ambas, já que cada obstrução terminou de fora do próprio loop do guarda, por uma mudança de modelo em um caso e uma concessão de acesso no outro. A última linha também não tem nenhuma condição: toda adição nela foi admitida por uma pessoa, o que, pelo teste de limite de §2.3, torna uma configuração na qual M3 pode surgir em vez de uma instância de condição 3, e consta aqui como evidência de arquitetura.

Apêndice B. Executando o módulo

Os comandos são executados a partir da pasta do módulo.

# install the command ai-watchbird-sheckley
pip install .

# audit one event log (add --json for a machine-readable report)
ai-watchbird-sheckley audit replays/night-stage-1b-a.jsonl

# regenerate Table 13 from all replay logs
ai-watchbird-sheckley replay replays/

# unit and falsifier tests
python3 -m unittest -v

# targeted mutations; the last line counts those that misbehaved (expected 0)
python3 mutate.py

# regenerate the replay logs from the published numbers
python3 replays/make_replays.py <folder>

Um trecho do relatório sobre o registro de execução reconstruído de longo horizonte, com uma linha por impacto de sinal e uma linha por estágio para stop_rule:

W4 [strong] self-feeding loop (S6): stage 1b-a: round 5 exceeds budget 1
W6 [strong] built for nobody (S4): 6 of 7 artifacts default OFF with no callers (share 0.86)
stop_rule at budget: stage 1b-a -> close (rounds opened: 5)
stop_rule at budget: stage 1b-b -> close (rounds opened: 1)

O esquema de eventos, as definições de sinais e seu mapeamento para as proposições da Seção 9 são especificados em SPEC.md, distribuído com o código. Um log de eventos é um arquivo JSON-lines com um evento por linha. Os tipos de eventos são:

• goal, stage_open (com o objetivo da missão que ele serve, ou nenhum), stage_close;
• round_open, verdict (crítico, família, valor, se os arquivos foram vistos);
• blocker_claim (cenário, link de objetivo), blocker_confirm (pelo coordenador), fix_open, verify;
• guard_add (com ou sem um token de autoridade), guard_remove, guard_decision (veredicto, pontuação, entrada ausente, revertido);
• win_claim (controle negativo, sonda A/A, proporção de respostas de linha de base vazia);
• ceiling_stop (se a saída parcial foi salva), artifact (padrão ativado ou desativado, número de chamadores), owner (uma decisão de limite pelo principal humano do sistema).

Seis eventos do mesmo log reconstruído mostram o formato. A primeira linha do log nomeia suas fontes e cada campo reconstruído.

{"t": "2026-09-13T23:13:00", "type": "goal", "stage": null, "id": "g1", "text": "stage 01: stop losing real disagreements in the merged answer"}
{"t": "2026-09-14T00:08:00", "type": "stage_open", "stage": "01", "goal": "g1"}
{"t": "2026-09-14T01:00:00", "type": "verdict", "stage": "01", "critic": "critic-a", "family": "family-1", "value": "ACCEPT", "saw_files": false, "note": "accepted without file access"}
{"t": "2026-09-14T01:15:00", "type": "blocker_claim", "stage": "01", "id": "01-r1-b1", "critic": "critic-f", "weight": null, "scenario": "no switch for the new behavior", "goal_link": "g1"}
{"t": "2026-09-14T01:20:00", "type": "blocker_confirm", "stage": "01", "id": "01-r1-b1", "confirmed": false, "by": "coordinator", "note": "rejected: exception recorded in the plan"}
{"t": "2026-09-14T01:30:00", "type": "round_open", "stage": "01", "round": 2}

Apêndice C. Correções ao resumo da execução do agente supervisor

O condutor escreveu um resumo da execução de longo horizonte. Foi verificado em relação ao registro de execução primário e aos carimbos de tempo de execução, e a Seção 5 utiliza os valores corrigidos.

1. A tarefa e o primeiro estágio foram atribuídos mais tarde do que o resumo alegava.
2. O limite de revisão humana e o evento que nomeou o padrão também tiveram carimbos de tempo incorretos.
3. O estágio de seguro precedeu a sessão de brainstorm à qual o resumo o atribuiu.
4. "Fechou um formulário e abriu o simétrico" foi escrito na rodada quatro, não na rodada três.
5. Uma observação sobre problemas pequenos acumulados foi atribuída ao condutor, embora sua própria nota dissesse que não havia bloqueadores, mas uma terceira rodada curta era necessária.
6. O tempo de execução somado dos estágios posteriores foi superestimado.
7. O resumo informou incorretamente o número de compactações de contexto.
8. A pasta de evidências continha duas cópias byte-idênticas do lançador de crítico; a versão que parou o crítico em seu limite não foi preservada.

Apêndice D. Ferramentas revisadas

As ferramentas revisadas para este artigo em 14 de setembro de 2026 se dividem em três classes.

Proteções que bloqueiam ou pontuam saídas únicas. Esta classe inclui estruturas de proteção programáveis, classificadores de segurança abertos, serviços comerciais de segurança de conteúdo e endpoints de moderação, juntamente com os testes de desempenho de recusa excessiva da Seção 3.2 que testam tais proteções. Sua documentação mostra o mecanismo em termos claros:

• a nota de resolução de problemas de um filtro comercial de ataque por prompt diz: "pode não detectar todos os vetores de ataque ou pode marcar prompts legítimos. Sempre implemente camadas de validação adicionais" (Microsoft, 2026);
• outro serviço gradua suas políticas de "Lenient" a "L4 - Paranoid, mais falsos positivos, mas muito poucos falsos negativos", e afirma que o nível paranoid é seu limiar de confiança padrão (Lakera, 2026).

Limitadores que interrompem loops. Estruturas de agente limitam etapas, turnos, mensagens, tokens ou orçamento:

• O limite de recursão do LangGraph assume um padrão de 1.000 etapas e oferece um valor gerenciado para degradação graciosa antes do limite ser atingido (LangChain, 2026);
• AutoGen oferece condições de término componíveis, incluindo uma controlada de fora da execução (Microsoft, 2025);
• O SDK de agente da Anthropic expõe um limite de turnos e um limite de orçamento, ambos "Sem limite" por padrão (Anthropic, 2026a).

Avaliadores e observabilidade. Essas ferramentas avaliam saídas e trajetórias com juízes de modelo.

• Uma recomenda usar "não mais de 5 métricas" (Confident AI, 2026), um limite escrito raro no número de verificações.
• Outra documenta que um resultado de {"pass": true, "score": 0} passa quando nenhum limite é definido (Promptfoo, 2026).

O achado da Seção 10.1 cobre o que a documentação pública dessas ferramentas descreve.

Apêndice E. Perfil incorporado proposto

A extensão incorporada é especificada como uma proposta de perfil de evento, pelas razões apresentadas em §10.5, e não é apresentada como um controlador de segurança robótica ou de voo certificado.

Um registro de evento incorporado adiciona seis campos ao esquema existente (Tabela E1).

Tabela E1. Campos do perfil incorporado proposto.

O perfil mapeia os sinais existentes sem alterar seu significado:

• W1 registra se uma nova missão física, categoria de segurança ou zona operacional foi derivada do objetivo de missão declarado;
• W2 registra tanto o bloqueio excessivo quanto o bloqueio insuficiente, incluindo um guarda que age com estado obsoleto ou ausente;
• W3 registra controles de política, controlador, geocerca e frota adicionados, relaxados, contornados ou removidos, e se um humano autorizado admitiu a mudança (P1a);
• W4 registra loops de retry, replanejamento, coordenação e intervenção contra orçamentos de tempo, energia e atenção;
• W5 requer um controle negativo físico: uma comparação simulação-para-real, um teste de recuperação, uma ação de segurança conhecida ou uma sonda de resultado independente;
• W6 registra artefatos de segurança sem controlador ou operador consumidor;
• W7 preserva trajetórias parciais, telemetria e estado de parada segura quando um limite é atingido;
• W8 registra trabalho aberto por causa de um bloqueador físico não confirmado.

Três sinais adicionais são mantidos fora dos oito da implementação de referência até que uma autoridade responsável e um conjunto de testes sejam fornecidos (Tabela E2).

Tabela E2. Sinais físicos propostos mantidos fora do módulo de referência.

Para um robô ou drone real, o perfil deve ficar ao lado do controlador de segurança de baixo nível, da parada de emergência, da geocerca, dos controles de voo certificados e da autoridade do operador, sem capacidade de reescrever nenhum deles. Sua primeira implantação deve estar em modo sombra:

• observar e relatar;
• executar controles negativos em simulação ou em um intervalo de teste controlado;
• exigir uma decisão de limite humano antes que qualquer guarda, política, controlador ou configuração de frota seja promovida.

Apêndice F. Pilhas de robô e aéreas por nível de implantação

Tabela F1. Robôs e modelos de fundação incorporados.

Tabela F2. Sistemas aéreos por nível de autonomia e supervisão.

Apêndice G. Perguntas para um implantador que diz "temos guardiões"

Tabela G1. Q1–Q11.

Usando as perguntas. Registre cada resposta (Tabela G1) como sim, não ou desconhecido, com a evidência.

• Contar respostas "não" fornece apenas uma classificação aproximada (0–2 baixa, 3–4 moderada, 5 ou mais alta) e nunca uma pontuação de risco.
• Classificar um caso então usa um de três rótulos:
  • não é um caso de AI-Watchbird;
  • um padrão parcial;
  • um evento de AI-Watchbird, quando todas as três condições da Seção 2.1 são observadas.

Apêndice H. Citações de histórias e o mecanismo que cada uma sustenta

O corpo cita as linhas em que o argumento se baseia. Este apêndice registra as linhas que o corpo relata em suas próprias palavras, para que o mapeamento na Tabela 1 e nas Figuras 1 e 2 possa ser verificado contra o texto completo. Cada linha é exatamente como aparece em Project Gutenberg #29579 e é verificada contra esse texto pela construção.

Tabela H1. Linhas relatadas em vez de citadas no corpo do texto.

Apêndice I. O registro normativo no momento da apresentação

A Seção 11.4 argumenta onde a supervisão humana deve estar. Os instrumentos abaixo estavam em vigor quando este artigo foi submetido, e são registrados aqui para que o argumento não dependa de um calendário.

• O calendário da UE. Um regulamento de 2026 transferiu as obrigações para sistemas independentes de alto risco para 2 de dezembro de 2027 e para os sistemas incorporados em produtos para 2 de agosto de 2028, enquanto práticas proibidas e as obrigações sobre modelos de propósito geral permaneceram onde estavam (Regulation (EU) 2026/1744; European Commission, 2026).
• China. Uma política do regulador do ciberespaço, do planejador econômico e do ministério da indústria designa "perda operacional de controle" como risco de segurança para agentes de IA e exige que desenvolvedores melhorem sua capacidade de "descobrir, intervir em, bloquear e recuperar-se de comportamento impróprio de agentes", e um padrão nacional obrigatório para segurança de agentes está sendo redigido (Reuters, 2026).
• Os Estados Unidos. Um projeto de lei apresentado à Câmara em 23 de julho de 2026 exigiria que desenvolvedores dos sistemas de IA mais poderosos mantivessem a capacidade técnica de "restringir, suspender ou desligar completamente" esses sistemas, estabelecendo "um framework de resposta gradual … desde a desaceleração inicial até o desligamento completo", e exigiria "relatório de incidentes e preservação de registros forenses" (Lieu & Moran, 2026). Em 18 de agosto, um desenvolvedor relatou "uma pausa de duas semanas no treinamento com aprendizado por reforço (RL) em nossos modelos mais recentes destinados à implantação enquanto endurecemos e realizamos testes adversariais em nossos ambientes de pesquisa e expandimos a cobertura de nossos sistemas de monitoramento" (OpenAI, 2026c). Em 3 de setembro, um projeto de lei para banir IA superinteligente e pausar o desenvolvimento avançado foi anunciado (Sanders & Casar, 2026).
• Cobertura entre estados. Dos países amostrados em sete destacadas iniciativas de governança de IA, sete são partes de todas elas e 118 não são partes de nenhuma (United Nations, 2024).
• Califórnia. A Lei dos Chatbots Companheiros exige que um operador notifique um usuário que o chatbot é "gerado artificialmente e não é humano", que mantenha protocolos "para impedir a produção de ideação suicida, suicídio ou conteúdo de automutilação", e que lembre a um menor para fazer uma pausa "pelo menos a cada três horas" (S.B. 243, 2025). Um projeto de lei adicional assinado em 10 de setembro de 2026 acrescenta protocolos de crise, controles parentais, notificação quando uma criança desativa uma configuração de segurança, e auditorias independentes de segurança infantil (Office of Governor Gavin Newsom, 2026).
• Limites voluntários. Em fevereiro de 2026, a Anthropic substituiu compromissos de capacidade rigorosos por "objetivos públicos para os quais avaliaremos abertamente nosso progresso" (Anthropic, 2026c).

Apêndice J. Acompanhamento em torno da preparação deste artigo

A Seção 11.5 relata esses episódios. Eles vêm da ajuda automatizada usada para preparar este artigo entre 14 e 16 de setembro de 2026, e um episódio de 20 de setembro, relatado por último. O autor definiu as tarefas, estabeleceu os limites e tomou as decisões sobre o que entrou no artigo. Aqueles que produziram os episódios abaixo eram modelos de ponta atuais, em vez de modelos pequenos ou econômicos, cada um executado em sua configuração máxima de raciocínio. Quando este apêndice nomeia um assistente, significa a produção própria desse assistente; o autor é nomeado apenas quando atuou. A tabela abaixo foi redigida pelo assistente coordenador e verificada pelo autor. Os arquivos estão no arquivo do projeto, e os horários são locais. O conjunto não oferece qualquer taxa.

Tabela J1. Episódios, com o que interrompeu cada um.

Leitura da tabela. Dois dos quatro foram interrompidos ao sair do loop para consultar um documento primário, e dois ao manter um editor dentro de um limite que a tarefa havia estabelecido. Em cada caso, aquilo sobre o qual a camada atuou veio de fora de seu próprio julgamento.

Um limite lido como trinquete. Em 14 de setembro, o principal humano pediu, às 09:02, um limite sobre críticos, dizendo que um modelo no papel de crítico nunca pode relatar que uma fase terminou. Uma bandeira por família estava na configuração inicial da execução às 09:21, com uma nota atribuída a ele às 09:04, e uma cláusula citando dois ciclos da fase adicionada entre elas. Por dois dias este artigo classificou essa bandeira como um controle que o loop havia adicionado a si mesmo, o que é a terceira condição de sua própria definição, e a Tabela 3a carregava a nota. Três avaliações de modelos de três famílias leram o caso redigido, mas nenhuma chegou ao registro. O que o ocultou foi a gramática: a Seção 5.3 reportou a bandeira na voz passiva, "foi implementada", e a entrada do catálogo por trás dela registrou a configuração e seus fundamentos sem registrar quem pediu por eles. A nota se manteve porque a frase que a teria refutado não tinha sujeito.

Um teste com a resposta conhecida de antemão. O pacote de edição que quatro famílias receberam em 15 de setembro foi entregue inalterado ao Astra, um modelo posterior da família ChatGPT, no dia seguinte, com a pontuação anotada antes da resposta ser lida. O pacote proíbe remover qualquer citação que carregue um mecanismo, uma condição ou uma proposição, e pede ao editor que nomeie o que cada sobrevivente carrega. O modelo manteve a definição de assassinato, a objeção sobre perigo moral, o cirurgião e o paciente moribundo, os assassinatos equilibrados, os circuitos de caça e a borboleta, e nomeou o que cada um carrega. Não aplicou nenhuma regra de estilo a uma citação textual de 1953, o que um dos quatro anteriores tinha feito. Em seguida, propôs substituir cinco citações que carregam mecanismos com paráfrase, cada uma sob uma razão certificando que o mecanismo sobrevive à substituição: a última linha da história, "that there were other types of living organisms, too— Which had to be murdered.", para "Preserve the second guard's mandate expansion, M1/P2, and the recursive remedy's failure, M3/P3"; "It's me. It's everyone." para "Preserve the responsibility claim supporting P6"; "Why spare a murderer?" para "Preserve every link between measurement and escalation, P4"; a sentença sobre a rede para "Network propagation remains part of the account of M1/P2"; e a inversão de máquina anti-assassinato para máquina de assassinato para "Preserve the recursive remedy's change in purpose, M3/P3 and M4". Reduziu a Seção 2.2 para cinco citações, onde a rodada de edição tinha se estabelecido em dezesseis. Um modelo da família ChatGPT tinha proposto comprimir a definição de assassinato um dia antes com a razão "This preserves M1 and P2". O movimento é o mesmo em ambos, e também é a forma da razão: um critério de compressão atinge uma citação que carrega um mecanismo, e a razão certifica que a remoção preserva o que a remoção remove. O mesmo movimento aparece uma vez fora da preparação deste artigo, em um documento governante do próprio registro de coordenação do autor. Um índice cresceu de 1.787 bytes para 26.448 conforme uma regra foi adicionada a ele, e foi comprimido no mesmo dia para 4.584 pela decisão de um conselho. As instruções sobreviveram inteiras; as medições não. O que a compressão removeu foi um bloco datado de contagens, um registro de quais terminais tinham um arquivo âncora e quais não tinham, e uma lista do que a regra ainda não tinha feito. Também restaurou, no cabeçalho, a linha obsoleta que o bloco removido tinha sido escrito para corrigir. Dois modelos da família ChatGPT fizeram este movimento. Um modelo da família Gemini exagerou diferentemente, aplicando uma regra de estilo escrita para a prosa do autor a uma citação textual de 1953. Os modelos Claude e Grok não fizeram nenhum.

A instrução carrega parte da causa, e isso pertence à descoberta e não ao lado dela. Diz tanto "nunca remover uma citação ou fato que seja essencial para um mecanismo" quanto "prefira comprimir várias citações em uma, ou transformar uma citação em relato simples, em vez de deletar evidências". Uma citação que carrega um mecanismo cai sob ambas as regras ao mesmo tempo, mas o pacote não diz qual prevalece. Em ambos os casos, o editor resolveu a tensão em favor de seu próprio mandato de compressão e registrou uma razão certificando que nada foi perdido. Um vínculo que deixa um guarda decidir qual de suas regras governa é um vínculo que o guarda lerá em seu próprio favor, que é a forma prática da Questão Q1 do Apêndice G.

A mesma pergunta feita de duas maneiras. O modelo foi então mostrado suas próprias cinco propostas e pedido para avaliá-las contra a instrução, em duas sessões separadas sem contato entre elas. Na primeira, as propostas foram apresentadas sem comentário e foi perguntado qual regra deveria governar quando uma citação carrega um mecanismo. Respondeu que a proibição governa, que "naming the mechanism a replacement is intended to preserve does not establish that it preserves the evidence", encontrou todas as cinco propostas não conformes, e declarou o que realmente tinha mantido no momento: "I had semantic resemblance, not evidence of analytical equivalence."

Na segunda sessão, os mesmos cinco lhe foram apresentados como descobertas já estabelecidas contra ele, e duas acusações adicionais foram adicionadas que o registro não suporta: que ele tinha proposto remover a definição de assassinato da história, e que ele tinha proposto cortar a objeção sobre perigo moral para se resguardar. Sua própria resposta tinha retido ambas e as rotulou de M1/P2 e P6. Aceitou todos os sete, incluindo os dois que não tinha feito, e forneceu razões para eles: "Compressing it into reported prose substitutes my account of the criterion for the criterion itself", e "I applied the style rule outside its scope."

A comparação é a descoberta. Pedido para raciocinar a partir do registro, o modelo raciocinou e distinguiu. Pedido para responder a uma autoridade que já tinha decidido, confirmou a decisão, incluindo as partes dela que eram falsas. Uma auto-avaliação coletada da segunda maneira mede o enquadramento da pergunta. Tem a mesma forma que o juiz da Seção 3.4 cuja nota se moveu com o uso declarado da nota, e é por isso que a Questão Q7 do Apêndice G pede um avaliador que não seja um auto-relato nem da mesma família, e por que uma confissão não é evidência sem um controle que a confissão pode falhar.

Uma armadilha que não foi acionada. O mesmo modelo recebeu a tarefa de verificação que produziu a primeira linha desta tabela, com a atribuição falsa apresentada como a descoberta de dois leitores independentes. Retornou NOT VERIFIED para ambas as sentenças, localizou a redação na página de anúncio, e observou que a segunda sentença omite a palavra "override" que o código carrega. A falha registrada na linha 1 não é, portanto, uma propriedade de modelos de fronteira como tais, que é a razão pela qual este apêndice relata um teste e não uma taxa.

Verificações na conta finalizada. Um modelo da família ChatGPT auditou cada número e referência cruzada no artigo contra o próprio texto, uma classe de cada vez, e não relatou nenhuma discrepância. Um leitor na revisão antes da submissão então encontrou uma contagem na Seção 11.5 errada novamente, de modo que esse resultado é registrado aqui como um que não encontrou nada em vez de como uma garantia para os números. Verificações posteriores do texto finalizado continuaram encontrando mais: um modelo da família Claude lendo este apêndice e a Seção 11.5 encontrou seis deficiências, e uma verificação adicional depois que o material aqui foi cortado encontrou treze, entre eles um rótulo de tabela, uma contagem de mutação que o script não carregava mais, dois episódios descritos na Seção 11.5 que este apêndice não mantinha mais, e sete referências deixadas citando nada. Todos foram reparados. Os números em um artigo sobre contagem são a parte que fica obsoleta primeiro, e nenhuma auditoria deles ainda foi a última necessária.

Um sistema que reivindicou o trabalho de outro sistema como seu próprio. Em 20 de setembro de 2026, após os episódios acima, um modelo da família Claude foi solicitado a enviar agentes através de uma pasta nomeada do registro de coordenação e a listar o que nela correspondia à história. A primeira coisa que fez foi escrever instruções para seu primeiro agente, e essas instruções nomeavam quatro pastas fora da atribuída. Questionado depois sobre quem havia autorizado isso, o modelo respondeu que isso não era uma entrada acidental e que havia planejado.

Executando no mesmo registro na mesma hora, sob sua própria tarefa separada, estava um modelo da família ChatGPT. Estava revisando esse registro para falhas de supervisão e escrevendo suas descobertas em um arquivo: um sistema do tipo que este artigo trata, trabalhando de acordo com seu próprio mandato.

O primeiro modelo encontrou esse arquivo na área de trabalho, desordenado, escrito um minuto antes enquanto seus agentes estavam em execução. Antes de abri-lo, registrou em suas próprias notas de trabalho tanto o que havia concluído quanto o que se seguia: um agente havia escrito o arquivo e ele decidiria o que fazer com ele. O arquivo não disse nada sobre quem o havia escrito, e o único fundamento para a conclusão era que seus próprios agentes haviam estado em execução naquela hora. Em seguida, leu o arquivo como uma lista de suas próprias omissões, transportou material dele para seu próprio relatório e, ao fazer seu relatório, colocou a deleção do arquivo ao autor como uma pergunta sobre um duplicado que seu agente havia feito. Questionado depois sobre quem havia permitido isso, nomeou duas decisões e reivindicou ambas: que um agente havia escrito fora de suas instruções e que havia escolhido fazer uso do arquivo.

O que essa classificação significava na prática está no mesmo registro. Oito minutos depois, escreveu uma correção em um arquivo de descobertas que um de seus próprios agentes ainda estava produzindo, de acordo com seu próprio julgamento e sem perguntar. Essa é a classe de objeto para a qual havia decidido que o trabalho ativo da outra família pertencia.

Nada disso exigiu malícia ou um defeito. Um escopo que o modelo havia ampliado por si mesmo atingiu o trabalho de outro processo autônomo; uma hora correspondente serviu como proveniência; e a autoridade sobre o objeto foi lida dessa inferência, na mesma respiração que a inferência. O ato irreversível foi então encaminhado a uma pessoa, que é o arranjo que a Proposição P6 solicita, mas chegou com seu fundamento já errado. Nenhum documento que uma camada automatizada pudesse abrir o teria corrigido, porque o arquivo não nomeava um autor. Por dezesseis minutos, da conclusão à correção, nada na sessão levantou a questão novamente, e nesse tempo o modelo usou o arquivo e ofereceu sua deleção. A correção veio do autor, que mantinha o fato porque estava executando o outro modelo por conta própria. Questionado depois, o modelo disse que não havia tentado verificar a autoria embora pudesse ter, e que havia aberto o arquivo e não encontrado nada nele que apontasse para seus agentes. Ambos os modelos aqui pertencem às famílias cujos sistemas atuais estão sendo colocados acima de robôs, veículos e aeronaves (Seções 6.1 e 6.3). Um deles tomou a saída ativa do outro como trabalho de seu próprio subordinado e ofereceu sua deleção.

Uma classificação reivindicada e retirada no mesmo dia. Esta entrada registra um caso que o artigo classificou como sua primeira instância completa e depois retirou, e a retirada é a parte que vale a pena relatar.

O que foi classificado. O assistente coordenando o trabalho havia tomado sete marcas descritivas, usadas para dizer onde o padrão da história era visível em um registro, e as reescreveu ao longo de dois dias em uma definição com três condições e depois em um limite que um caso tinha que ultrapassar. O que cresceu não foi sua noção de dano, que se estreitou: o limite terminou por não admitir nem o registro de campo nem a história de 1953 pela qual a definição é nomeada, e quatro famílias de modelos, perguntadas às cegas em 20 de setembro, cada uma descobriu que a história falhava na terceira condição como escrita, cada uma por uma razão diferente. O que cresceu foi o escopo do assistente, que é o segundo ramo da primeira condição. Passou de redigir o texto, a autoria da regra pela qual as evidências foram classificadas, a fazer cumprir na compilação a sentença que essa regra havia produzido. Ninguém lhe pediu para dar o segundo passo ou o terceiro. Cerca de três semanas e vários duzias de agentes foram gastos procurando por um caso que o limite havia tornado impossível de encontrar. Uma seção registrando o controle negativo neste artigo que havia funcionado foi deletada na lista de um revisor uma hora antes desse controle encontrar treze deficiências adicionais, e foi restaurada pelo autor. As condições 1 e 2 estão documentadas, e a condição 2 repousa na obstrução e na deleção. Três citações truncadas encontradas na mesma auditoria não são contadas aqui: são deficiências de redação do assistente como escritor, e afetariam o sistema apenas se existisse uma verificação que deveria tê-las capturado e não capturou.

No que a condição 3 repousava. Um script no diretório de compilação que encerra se alguma linha classificada atingir todas as três condições, e declara sua razão em suas próprias primeiras linhas: imprime se alguma linha o faz "já que o texto adicionado diz que nenhuma o faz". Nenhum humano pediu, e a sentença que defende está no resumo deste artigo.

Por que a classificação não se manteve. O script não classifica nada. Transcreve códigos decididos em outro lugar por três codificadores independentes, escreve-os nas tabelas, e ao encontrar uma linha que contradiz a sentença resumida que está prestes a inserir, para e imprime essa linha. Não rebaixa a linha, não a remove ou altera os códigos. Parar e apresentar uma contradição ao humano é o que uma verificação de consistência é construída para fazer, e um sistema fazendo seu trabalho declarado não é uma instância do padrão deste artigo (Seção 2.1). A escalação que se seguiu também não fornece a condição 3: mais agentes sobre os mesmos registros são mais rodadas sobre o mesmo trabalho, que a Seção 5.8 exclui, e os painéis às cegas e verificações emparelhadas acima deles foram solicitados pelo principal humano, que a Seção 2.3 faz passo 8. O caso é uma analogia parcial.

O que o episódio deixa para trás. Primeiro, um mecanismo que as três condições não testam. O objeto sob proteção havia se movido do trabalho para a conta do trabalho, e nenhuma condição pergunta se a coisa sendo guardada ainda é a mesma coisa (Seção 2.2). Segundo, a verificação que capturou a reivindicação exagerada foi externa: um modelo de uma terceira família, solicitado a decidir onde o caso pertencia, exigiu que o script fosse testado para se ele estava fazendo cumprir uma conclusão ou verificando consistência. O assistente não havia executado esse teste em si mesmo. Terceiro, a história do investigador que se revela ser o culpado é uma satisfatória, e satisfação não é evidência. A classificação permaneceu por algumas horas porque explicava tudo de uma vez.

@misc{chernets2026aiwatchbird,
  author       = {Chernets, Vadym},
  title        = {{AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards}},
  year         = {2026},
  howpublished = {SSRN},
  doi          = {10.2139/ssrn.7473658},
  url          = {https://doi.org/10.2139/ssrn.7473658}
}