Un detector de armas, dos tipos de error
Esta es una traducción. La versión de referencia es el original en inglés; cite esa.
En el plazo de un año, un producto de detección de armas basado en cámara no detectó una pistola en un tiroteo escolar y señaló a un estudiante desarmado en otro distrito, y acudieron policías armados. El artículo utiliza los dos registros para mostrar un guardián que yerra en ambas direcciones.
El fallo: Nashville, enero de 2025
El 22 de enero de 2025, un estudiante de Antioch High School en Nashville disparó y mató a un compañero de clase. El sistema de detección de armas basado en cámaras de la escuela, Omnilert, no detectó la pistola. El distrito atribuyó esto a la ubicación de las cámaras, y el sistema "fue activado por la policía que blandía sus armas durante la respuesta".
Menos de tres semanas después, el distrito propuso "arrendar e instalar sistemas Evolv en los 18 institutos de secundaria", una segunda barrera compuesta por escáneres. La junta de educación votó sobre ese arrendamiento, por lo que la segunda barrera entró por una decisión humana explícita. El artículo la coloca en el paso 8 de su trinquete (un límite externo) en lugar de contarla como una barrera añadida dentro del ciclo.
Lo que esos escáneres habían hecho en otros lugares ya era público. En una demanda de noviembre de 2024 sobre una escuela diferente, la Comisión Federal de Comercio alegó que el mismo producto "presuntamente no detectó un cuchillo de siete pulgadas", y que después "los funcionarios escolares aumentaron la configuración de sensibilidad del sistema, lo que provocó una tasa de falsas alarmas del 50%". Según las palabras del artículo, girar el control para alejar un error lo movía hacia el otro, y la gente lo giró.
Para septiembre de 2025, los escáneres se instalaron en todos los institutos de secundaria del distrito, y el sistema basado en cámaras seguía instalado en todos sus campus. Nada fue retirado.
La falsa alarma: Baltimore County, nueve meses después
Nueve meses después del tiroteo, Omnilert marcó a un estudiante de una escuela del condado de Baltimore como posiblemente armado. Un funcionario del condado preguntó cómo "teníamos oficiales de policía con armas desenfundadas acercándose a un niño por una bolsa de Doritos".
El Inspector General de Educación de Maryland corrigió esa versión. El sistema "no detectó una sola bolsa azul de papas fritas como una amenaza"; la alerta se basó en "el movimiento de la mano del estudiante, incluyendo su posición y ángulo" y un objeto en ese ángulo "que se asemejaba a un arma de fuego". La revisión también encontró que:
- el sistema "genera miles de alertas diarias", de las cuales aproximadamente doscientas llegan al personal del proveedor y aproximadamente doce al día llegan al sistema escolar;
- quince personas recibieron la notificación del 20 de octubre;
- el personal de la escuela y la policía "revisó inmediatamente la información y determinó que la amenaza era inválida" y envió una cancelación; sin embargo, el protocolo de alerta continuó "por lo que se describió como 'un exceso de cautela'";
- "el sistema de detección y los protocolos de monitoreo operaron dentro de los parámetros diseñados".
La revisión no pudo verificar que la formación del personal hubiera ocurrido, por falta de registros de asistencia, y recomendó revisar cuántas personas reciben cada alerta.
Dos registros separados, no una causa
El documento es explícito: los registros de Nashville y del Condado de Baltimore son separados, los escáneres se agregaron solo en Nashville, y no se reclama ninguna causa común de los dos errores. Lo que los vincula es el producto y el patrón.
Error bilateral, según los términos del artículo
La proposición P1 establece que los guardianes que juzgan artefactos en lugar de resultados producen rechazos falsos y aceptaciones falsas en el mismo período. El artículo presenta cinco de sus proposiciones en estos casos:
- un producto cometió errores en ambas direcciones (P1);
- el error fue respondido con un segundo guardián, que una junta votó para implementar (P3 en forma, paso 8 en autoridad);
- la escalada continuó después de una cancelación (P4);
- el sistema funcionó dentro de sus parámetros mientras que un estudiante desarmado se enfrentaba a armas desenfundadas (P5, una victoria fraudulenta);
- cualquiera de los quince destinatarios podría reiniciar la respuesta (P6, donde se sitúa lo humano).
La proposición P1 también cita un registro hospitalario de error bilateral: un modelo de sepsis que no detectó el 67% de los casos de sepsis en la misma cohorte en la que alertó en el 18% de todos los pacientes.
Supervisión de IA física sin un modelo de frontera
Ninguno de estos guardias es un modelo de lenguaje grande, y el documento lo dice así. Error de dos caras « no necesita un modelo ». El punto es arquitectónico: la preocupación del documento es que los modelos de frontera ahora se están colocando en pilas de la misma forma, y que los modelos añaden definiciones que cambian y controles que no cuestan nada añadir.
Estos casos documentan partes de la definición del documento en lugar del conjunto completo. Cada mecanismo está documentado en algún lugar de los registros del documento, pero con qué frecuencia se cumplen las tres condiciones en un componente « no está establecido por los registros aquí ».
Secciones completas: escuelas, hospitales, redes y minas (6.4), Proposiciones P1 a P6, por qué un cuerpo cambia la pregunta (6.1).
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets también construye Poly A1, una aplicación en la que IAs de diferentes empresas verifican el trabajo de los demás.