Roblox, Discord, OpenAI и Google создали новую группу по защите детей.

Компании Google, OpenAI, Roblox и Discord образовали новую некоммерческую организацию для улучшения безопасности детей в интернете. Инициатива под названием Robust Open Online Safety Tools (ROOST) направлена на то, чтобы сделать ключевые технологии безопасности более доступными для компаний и предоставить бесплатные, открытые исходные коды AI-инструментов для обнаружения, проверки и сообщения о материалах сексуального характера, связанных с детьми.

Инициатива частично мотивирована изменениями, которые внесли в онлайн-среду развитие генеративного AI, и стремится решить «критическую потребность в ускорении инноваций в области безопасности детей в интернете», как говорится в заявлении одного из основателей ROOST, экс-гендиректора Google Эрика Шмидта.

«Начиная с платформы, сфокусированной на защите детей, открытый подход ROOST будет способствовать инновациям и делать базовую инфраструктуру более прозрачной, доступной и включающей для создания безопасного интернета для всех», — отметил Шмидт.

Оповещение о запуске ROOST приходится на время серьезных регуляторных споров по поводу безопасности детей в социальных сетях и онлайн-платформах, когда компании стремятся угодить законодателям через методы саморегулирования. Национальный центр пропавших и эксплуатируемых детей (NCMEC) сообщает о 12-процентном увеличении подозрений на эксплуатацию детей между 2022 и 2023 годами. По состоянию на 2020 год более половины американских детей использовали Roblox, компания неоднократно критиковалась за недостаточное реагирование на сексуальную эксплуатацию детей и присутствие неприемлемого контента на своей платформе. Roblox и Discord также были упомянуты в судебном иске 2022 года, который обвинял платформы в недостаточности мер по предотвращению взаимодействия между детьми и взрослыми без надзора.

Некоторые основоположники ROOST, такие как Discord, предоставляют финансирование, другие — свои технологии или специализированные знания для проекта. ROOST заявляет о сотрудничестве с разработчиками ведущих AI-основных технологий для создания «сообщества практики» по защите контента, что будет включать предоставление проверенных наборов данных для обучения AI и выявление пробелов в безопасности.

Остается неясным, как эти инструменты будут взаимодействовать с существующими системами первичного обнаружения CSAM, такими как PhotoDNA от Microsoft. В дополнение к участию в ROOST, Discord представил новую функцию «Игнорировать», которая позволяет пользователям скрывать сообщения и уведомления без оповещения тех, кто был ими подавлен.

«В Discord мы считаем, что безопасность — это общественное благо», — сказал главный юридический советник Clint Smith в заявлении о ROOST. «Мы стремимся сделать весь интернет — а не только Discord — лучше и безопаснее для молодежи».

ROOST привлекла более 27 миллионов долларов на поддержку своей деятельности в течение первых четырех лет, получив финансирование от благотворительных организаций, таких как Фонд МакГоверна, Future of Online Trust and Safety Fund, Фонд Джейнта и AI Collaborative. В поддержку ROOST будут работать эксперты в области безопасности детей, искусственного интеллекта, открытых технологий и «борьбы с радикализацией».