Учеников вызывают в администрацию школы или задерживают из-за ложных срабатываний систем видеонаблюдения с искусственным интеллектом.

В 2023 году тринадцатилетняя девочка "сделала оскорбительную шутку во время онлайн-чата со своими одноклассниками", сообщает Associated Press.

Однако школьное программное обеспечение для наблюдения зафиксировало эту шутку, и "еще до наступления утра восьмиклассница из Теннесси была арестована. Ее допросили, провели обыск с раздеванием и она провела ночь в тюремной камере", – говорит ее мать. Родители девочки подали в суд на школьный округ, согласно статье (в которой отмечается, что девочке не разрешили поговорить с родителями до следующего дня). "Суд назначил восемь недель домашнего ареста, психологическое обследование и 20 дней в альтернативной школе для девочки".

Генеральный директор Gaggle, Джефф Паттерсон (Jeff Patterson), заявил в интервью, что школьный округ использовал Gaggle не по назначению. По его словам, цель состоит в том, чтобы выявлять ранние признаки проблем и вмешиваться до того, как они перерастут в обращение в правоохранительные органы. "Я хотел бы, чтобы это рассматривалось как возможность для обучения, а не как повод для обращения в правоохранительные органы", – сказал Паттерсон.

Но это лишь один пример, отмечает статья. "Системы наблюдения в американских школах все чаще отслеживают все, что пишут учащиеся на школьных учетных записях и устройствах".

Тысячи школьных округов по всей стране используют такое программное обеспечение, как Gaggle и Lightspeed Alert, для отслеживания онлайн-активности детей, выявляя признаки того, что они могут навредить себе или другим. С помощью искусственного интеллекта технология может просматривать онлайн-разговоры и немедленно уведомлять как школьных чиновников, так и правоохранительные органы... В стране, уставшей от школьных стрельб, несколько штатов заняли более жесткую позицию в отношении угроз школам. Среди них Теннесси, который принял закон о нулевой терпимости в 2023 году, требующий немедленного сообщения в правоохранительные органы о любой угрозе массового насилия в отношении школы....

Учащиеся, которые думают, что общаются в частном порядке с друзьями, часто не осознают, что находятся под постоянным наблюдением, говорит Шахар Паш (Shahar Pasch), адвокат по образованию во Флориде. Одна подростковая девочка, которую она представляла, пошутила о школьных стрельбах в своей личной истории Snapchat. Автоматическое программное обеспечение обнаружения Snapchat зафиксировало этот комментарий, компания уведомила ФБР, и девочку арестовали в стенах школы в течение нескольких часов... Технология также может вовлекать правоохранительные органы в реагирование на кризисы, связанные с психическим здоровьем. В округе школ округа Полк во Флориде, в котором обучается более 100 000 учащихся, школьная программа безопасности получила почти 500 предупреждений Gaggle за четыре года, сообщили сотрудники на заседаниях школьного совета. Это привело к 72 случаям принудительной госпитализации в соответствии с Законом Бейкера (Baker Act), законом штата, который позволяет властям требовать проведения оценки психического здоровья для людей против их воли, если они представляют опасность для себя или других...

Информация, которая могла бы позволить школам оценить эффективность программного обеспечения, такая как частота ложных срабатываний, строго охраняется технологическими компаниями и не находится в открытом доступе, если школы не отслеживают эти данные самостоятельно. Учащихся одного класса фотографии были вызваны в кабинет директора из-за опасений, что Gaggle обнаружил контент с наготой. Фотографии были автоматически удалены из Google Дисков учащихся, но учащиеся, у которых были резервные копии помеченных изображений на своих устройствах, показали, что это ложная тревога. Представители округа заявили, что позже скорректировали настройки программного обеспечения, чтобы уменьшить количество ложных срабатываний. Наташа Торкзабан (Natasha Torkzaban), которая окончила школу в 2024 году, сказала, что ее пометили за редактирование эссе для поступления в колледж для друга, потому что в нем были слова "психическое здоровье"...

Представители школьного округа заявили, что серьезно относятся к опасениям по поводу Gaggle, но также говорят, что технология выявила десятки неминуемых угроз самоубийства или насилия. "Иногда приходится учитывать выгоду для большего блага", – сказала член школьного совета Энн Костелло (Anne Costello) на заседании школьного совета в июле 2024 года.