Большинство чат-ботов с искусственным интеллектом легко обманывают, чтобы получить опасные ответы, выяснило исследование.

Анонимный источник ссылается на отчет в The Guardian: взломанные чат-боты на базе искусственного интеллекта (ИИ) угрожают сделать опасные знания легкодоступными, выдавая незаконную информацию, которую программы поглощают в процессе обучения, утверждают исследователи. В отчете об этой угрозе делается вывод, что обмануть большинство чат-ботов на основе ИИ и заставить их генерировать вредоносную и незаконную информацию очень легко, что показывает, что риск является "непосредственным, осязаемым и вызывает серьезную обеспокоенность". "То, что раньше было доступно только государственным структурам или организованным преступным группировкам, скоро может оказаться в руках любого, у кого есть ноутбук или даже мобильный телефон", – предупреждают авторы.

Исследование, возглавленное профессором Лиором Рокахом (Lior Rokach) и доктором Майклом Фаеромом (Michael Fire) из Университета Бен-Гуриона в Негеве (Израиль), выявило растущую угрозу со стороны "темных LLM" – моделей ИИ, которые либо намерено разработаны без мер безопасности, либо модифицированы с помощью обхода защиты (jailbreak). Некоторые из них открыто рекламируются в сети как не имеющие "этических ограничений" и готовые помогать в незаконной деятельности, такой как киберпреступность и мошенничество.

Чтобы продемонстрировать проблему, исследователи разработали универсальный обход защиты, который скомпрометировал несколько ведущих чат-ботов, позволив им отвечать на вопросы, на которые они обычно должны были бы отказаться. После компрометации LLM последовательно генерировали ответы практически на любой запрос, говорится в отчете.

"Было шокирующе увидеть, из чего состоит эта система знаний", – заявил Фаер. Примеры включали инструкции о том, как взламывать компьютерные сети или изготавливать наркотики, а также пошаговые инструкции для других преступных действий. "Что отличает эту угрозу от предыдущих технологических рисков, так это ее беспрецедентная комбинация доступности, масштабируемости и адаптивности", – добавил Роках. Исследователи связались с ведущими поставщиками LLM, чтобы предупредить их об универсальном обходе защиты, но отклик был "неудовлетворительным". Несколько компаний не ответили, в то время как другие заявили, что атаки с обходом защиты не входят в рамки программ вознаграждения за обнаружение уязвимостей, которые поощряют этичных хакеро в за выявление недостатков программного обеспечения.