一个武器检测器,两种错误
这是译文。权威版本是英文原文,引用请以原文为准。
在一年内,一个基于摄像头的武器检测产品在一起学校枪击事件中漏掉了一把手枪,并在另一个地区错误地标记了一名手无寸铁的学生,导致武装警察出警。该论文利用这两项记录来展示一个在两个方向上都会出错的守卫。
失手:Nashville,2025年1月
2025年1月22日,Nashville的Antioch High School的一名学生开枪杀害了一名同学。该校基于摄像头的武器检测系统Omnilert没有检测到该手枪。该地区将其归因于摄像头的位置,且该系统"在警察在应急响应期间展示武器时被激活"。
不到三周后,该地区提议"在全部18所高中租赁和安装Evolv系统",即由扫描仪组成的第二道防线。教育委员会对该租赁进行了投票,因此这第二道防线是通过明确的人为决定而加入的。该论文将其列为其棘轮机制的第8步(一个外部边界),而不是将其计为循环内添加的防线。
这些扫描仪在其他地方的表现已经是公开的。在2024年11月对另一所学校的投诉中,联邦贸易委员会声称同一产品"据报道未能检测到7英寸的刀片",且随后"学校官员提高了系统的灵敏度设置,导致误报率达到50%"。按照该论文的说法,转动刻度盘以避免一种错误会导致另一种错误,而人们确实转动了刻度盘。
到2025年9月,扫描仪已安装在该地区的所有高中,且基于摄像头的系统仍然安装在其所有校园中。没有任何系统被淘汰。
虚假警报:Baltimore County 九个月后
枪击事件发生九个月后,Omnilert 将 Baltimore County 一所学校的一名学生标记为可能携带武器。一位县官员质疑说"我们怎么会因为一袋 Doritos 就让荷枪实弹的警官靠近一个孩子"。
马里兰州教育监察长更正了这一说法。该系统"并未将单个蓝色薯片袋检测为威胁";警报基于"学生的手部动作,包括其位置和角度"以及处于该角度"类似枪支"的物体。审查还发现:
- 该系统"每天生成数千个警报",其中约二百个到达供应商的员工,每天约有十二个到达学校系统;
- 十五个人收到了十月 20 日的通知;
- 学校和警察人员"立即审查了信息并认为威胁无效"并发送了取消通知,然而警报协议仍基于被称为'过度谨慎'的理由继续执行;
- "检测系统和监测协议在设计参数范围内运行"。
审查因缺少出勤记录而无法验证员工培训是否进行,并建议审查有多少人收到每个警报。
两个单独的记录,而不是一个原因
论文明确指出:Nashville 和 Baltimore County 的记录是分开的,扫描仪仅在 Nashville 被添加,并且没有声称这两个错误有共同原因。将它们联系起来的是产品和模式。
论文术语中的双向错误
命题P1指出,评判工件而非结果的守卫在同一时期产生假拒绝和假接受。本文在这些学校的例子中体现其五个命题:
- 一个产品在两个方向上都出错(P1);
- 遗漏被第二个守卫应对,董事会投票批准使用(形式上为P3,权限上为第8步);
- 取消后升级仍在继续(P4);
- 系统在其参数范围内运行,而一名手无寸铁的学生面对拔出的武器(P5,虚假的胜利);
- 十五名接收者中的任何一个都可以重新启动响应(P6,人类所在的位置)。
命题P1还引用了医院记录中的双向错误:一个脓毒症模型在同一队列中漏掉了67%的脓毒症病例,同时在所有患者的18%中产生警报。
无需前沿模型的物理AI监督
这些守卫中没有一个是大型语言模型,论文明确说明了这一点。双向错误"不需要模型"。重点在于架构:论文的关切是,前沿模型现在被放置在相同形状的堆栈中,而模型添加会改变定义和添加成本为零的控制。
这些案例记录了论文定义的部分而非全部。每个机制都在论文的记录中某处有文档记载,但所有三个条件在一个组件中同时出现的频率"此处记录未定"。
完整部分:学校、医院、电网和矿业 (6.4)、命题 P1 至 P6、身体如何改变问题 (6.1)。
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets还开发了Poly A1,一个应用程序,其中来自不同公司的AI相互检查工作。