Один детектор зброї, два типи помилок
Це переклад. Основна версія — оригінал англійською; посилайтеся на неї.
Протягом одного року один продукт виявлення зброї на основі камери не виявив пістолет під час розстрілу в школі та позначив розоруженого студента в іншому районі, на що озброєна поліція відреагувала. Робота використовує два записи, щоб показати охоронця, який помиляється в обох напрямках.
Промах: Нешвіль, січень 2025
22 січня 2025 року учень Antioch High School у Нешвіллі розстріляв і вбив однокласника. Система виявлення зброї на основі камер у школі Omnilert не виявила пістолета. Округ пояснював це місцем розташування камер, а система «була активована поліцейськими, які махали зброєю під час реагування».
Менш ніж через три тижні округ запропонував «орендувати та встановити системи Evolv у всіх 18 старших школах», другу охорону, складену зі сканерів. Шкільна рада проголосувала за цю оренду, тому друга охорона з'явилася через явне людське рішення. Стаття розміщує її на кроці 8 свого храпака (зовнішня межа), а не вважає її охороною, доданою всередину циклу.
Те, що ці сканери зробили в інших місцях, було вже публічним. У скарзі від листопада 2024 року про іншу школу Федеральна торговельна комісія стверджувала, що той самий продукт «нібито не виявив ножа довжиною сім дюймів», і що потім «шкільні чиновники збільшили параметри чутливості системи, що викликало 50% хибних спрацьовувань». Мовою статті, повертання циферблата від однієї помилки приводило до іншої, і люди його повернули.
До вересня 2025 року сканери були встановлені у всіх старших школах округу, а система на основі камер все ще була встановлена на всіх його кампусах. Нічого не було припинено.
Хибна тривога: Baltimore County, дев'ять місяців потому
Дев'ять місяців після стрілянини Omnilert позначила учня у школі Baltimore County як потенційно озброєного. Чиновник округу запитав, як "у нас були поліцейські з витягнутою зброєю, які наближалися до дитини через пакет Doritos".
Генеральний інспектор штату Меріленд з питань освіти виправив цей звіт. Система "не виявила жодного синього пакету картопляних чіпсів як загрози"; оповіщення ґрунтувалося на "русі руки учня, включаючи її положення та кут" та об'єкту під цим кутом, що "схожий на вогнепальну зброю". Огляд також виявив, що:
- система "генерує тисячи сповіщень щодня", з яких близько двохсот доходять до персоналу постачальника, а близько дванадцяти на день – до школи;
- п'ятнадцять людей отримали сповіщення від 20 жовтня;
- персонал школи та поліції "одразу переглянули інформацію та визнали загрозу невалідною" і надіслали скасування, однак протокол оповіщення продовжився "через те, що було описано як 'надмірна обережність'";
- "система виявлення та протоколи моніторингу працювали в межах розроблених параметрів".
Огляд не міг підтвердити, що навчання персоналу мало місце, через відсутність журналів відвідування, і рекомендував переглянути кількість людей, які отримують кожне сповіщення.
Два окремі записи, не одна причина
Стаття явно вказує: записи Нешвіла та округу Балтімор є окремими, сканери було додано лише в Нешвілі, і спільної причини обох помилок не стверджується. Те, що їх пов'язує, — це продукт та закономірність.
Двостороння помилка у термінах статті
Твердження P1 стверджує, що охоронці, які оцінюють артефакти, а не результати, створюють помилкові відхилення та помилкові прийняття в один і той же період. Стаття розглядає п'ять своїх положень у цих школах:
- один продукт помилився в обох напрямках (P1);
- помилка була розглянута другим охоронцем, якого рада проголосувала залучити (P3 за формою, крок 8 за повноваженнями);
- еськалація тривала після скасування (P4);
- система працювала в межах своїх параметрів, тоді як неозброєний студент стояв перед виголеною зброєю (P5, фальшива перемога);
- будь-який з п'ятнадцяти отримувачів міг перезапустити реакцію (P6, де людина сидить).
Твердження P1 також посилається на лікарняний запис двосторонної помилки: модель сепсису, яка пропустила 67% випадків сепсису в тій же когорті, в якій вона видала помилковий сигнал для 18% всіх пацієнтів.
Контроль фізичного ШІ без передової моделі
Жоден з цих охоронних механізмів не є великою мовною моделлю, і в статті це зазначено. Двостороння помилка «не потребує моделі». Суть архітектурна: занепокоєння статті щодо того, що передові моделі тепер розміщуються в стеках однакової форми, і що моделі додають визначення, які змінюються, та контролі, які нічого не коштують додавати.
Ці випадки документують частини визначення статті, а не цілком. Кожен механізм задокументований десь у записах статті, але як часто всі три умови збігаються в одному компоненті «не визначено записами тут».
Повні розділи: школи, лікарні, мережі та шахти (6.4), Propositions P1 to P6, чому орган змінює питання (6.1).
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets також розробляє Poly A1, додаток, у якому штучні інтелекти різних компаній перевіряють роботу один одного.