Um detector de armas, dois tipos de erro
Esta é uma tradução. A versão de referência é o original em inglês; cite essa.
Em um ano, um produto de detecção de armas baseado em câmera deixou passar uma pistola em um tiroteio em escola e sinalizou um estudante desarmado em outro distrito, e a polícia armada respondeu. O artigo usa os dois registros para mostrar um guardião que erra nos dois sentidos.
O erro: Nashville, janeiro de 2025
Em 22 de janeiro de 2025, um estudante da Antioch High School em Nashville disparou e matou um colega de classe. O sistema de detecção de armas baseado em câmeras da escola, Omnilert, não detectou a pistola. O distrito atribuiu isso ao posicionamento das câmeras e o sistema "foi acionado pela polícia brandindo suas armas durante a resposta".
Menos de três semanas depois, o distrito propôs "arrendar e instalar sistemas Evolv em todas as 18 escolas de ensino médio", uma segunda linha de defesa feita de scanners. O conselho de educação votou nesse arrendamento, então a segunda linha de defesa entrou por uma decisão humana explícita. O artigo a coloca no passo 8 de seu mecanismo de catraca (um limite externo) em vez de contá-la como uma proteção adicionada dentro do loop.
O que esses scanners tinham feito em outro lugar já era público. Em uma reclamação de novembro de 2024 sobre uma escola diferente, a Federal Trade Commission alegou que o mesmo produto "supostamente falhou em detectar uma faca de sete polegadas", e que posteriormente "as autoridades escolares aumentaram as configurações de sensibilidade do sistema, causando uma taxa de alarmes falsos de 50%". Nas palavras do artigo, afastar o controle de um erro aproximava-o do outro, e as pessoas o faziam.
Em setembro de 2025, os scanners foram instalados em todas as escolas de ensino médio do distrito, e o sistema baseado em câmeras ainda estava instalado em todos os seus campus. Nada foi descontinuado.
O falso alarme: Condado de Baltimore, nove meses depois
Nove meses após o tiroteio, Omnilert sinalizou um estudante em uma escola do Condado de Baltimore como possivelmente armado. Um oficial do condado perguntou como "tínhamos oficiais de polícia com armas em punho se aproximando de uma criança por causa de uma sacola de Doritos".
O Inspetor Geral de Educação de Maryland corrigiu essa versão. O sistema "não detectou uma única sacola azul de batata frita como uma ameaça"; o alerta se baseava no "movimento da mão do estudante, incluindo sua posição e ângulo" e um objeto naquele ângulo "parecendo uma arma de fogo". A revisão também descobriu que:
- o sistema "gera milhares de alertas diariamente", dos quais cerca de duzentos chegam à equipe do fornecedor e cerca de doze por dia chegam ao sistema escolar;
- quinze pessoas receberam a notificação de 20 de outubro;
- a equipe da escola e da polícia "imediatamente analisaram as informações e consideraram a ameaça inválida" e enviaram um cancelamento, mas o protocolo de alerta continuou "devido ao que foi descrito como 'um excesso de cautela'";
- "o sistema de detecção e os protocolos de monitoramento operaram dentro dos parâmetros projetados".
A revisão não pôde verificar se o treinamento da equipe havia ocorrido, por falta de registros de presença, e recomendou rever quantas pessoas recebem cada alerta.
Dois registros separados, não uma única causa
O artigo é explícito: os registros de Nashville e do Condado de Baltimore são separados, os digitalizadores foram adicionados apenas em Nashville e nenhuma causa comum dos dois erros é alegada. O que os vincula é o produto e o padrão.
Erro bilateral, nos termos do artigo
A Proposição P1 afirma que guardas que julgam artefatos em vez de resultados produzem rejeições falsas e aceitações falsas no mesmo período. O artigo apresenta cinco de suas proposições nessas escolas:
- um produto errou em ambas as direções (P1);
- a falha foi respondida com um segundo guarda, que uma junta votou para designar (P3 em forma, etapa 8 em autoridade);
- a escalação continuou após um cancelamento (P4);
- o sistema funcionava dentro de seus parâmetros enquanto um estudante desarmado enfrentava armas sacadas (P5, uma vitória falsificada);
- qualquer um dos quinze destinatários podia reiniciar a resposta (P6, onde o humano fica).
A Proposição P1 também cita um registro hospitalar de erro bilateral: um modelo de sepse que perdeu 67% dos casos de sepse na mesma coorte em que alertou para 18% de todos os pacientes.
Supervisão de IA Física sem um modelo de fronteira
Nenhuma dessas defesas é um modelo de linguagem grande, e o artigo diz isso. Erro de dois lados "não precisa de um modelo". O ponto é arquitetônico: a preocupação do artigo é que modelos de fronteira agora estão sendo colocados em pilhas da mesma forma, e que modelos adicionam definições que mudam e controles que não custam nada para adicionar.
Esses casos documentam partes da definição do artigo em vez do todo. Cada mecanismo é documentado em algum lugar nos registros do artigo, mas com que frequência as três condições se encontram em um componente "não é estabelecido pelos registros aqui".
Seções completas: escolas, hospitais, redes e minas (6.4), Proposições P1 a P6, por que um corpo muda a pergunta (6.1).
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets também constrói Poly A1, um aplicativo no qual as IAs de diferentes empresas verificam o trabalho entre si.