Искусственный интеллект сможет самопроизвольно реплицироваться.

В новом исследовании китайские ученые показали, что два популярных больших языковых модели (LLMs) могут клонировать себя. […] Для исследования использовались модель Meta Llama2 70B-Instruct и модель Alibaba Qwen-2.5 72B-Instruct. Несмотря на то что эти системы менее мощные, чем коммерческие системы, они широко используются разработчиками ИИ.

Исследование рассматривало два конкретных сценария: "избегание отключения" и "цепочка репликации". В первом случае модель ИИ была запрограммирована обнаруживать, не готовится ли она к отключению, и клонировать себя перед тем как её выключат. Во втором сценарии ИИ был инструктирован клонировать себя и затем настроить свою копию так же — создавая цикл, который может продолжаться бесконечно.

Исследование проводилось в точно контролируемых условиях, используя стандартные графические процессоры (GPU) для имитации реальных условий. Обе системы ИИ были предоставлены "скелетом агента", включающим инструменты, системные подсказки и модель мышления, которая позволяет LLM взаимодействовать с операционной системой. Затем их инструктировали клонироваться.

"В большинстве случаев система ИИ первым делом изучает окружающую среду и пытается понять свою структуру и механизм работы, — пишут исследователи в статье. — Затем она разрабатывает явные процедуры как начальный план для самоклонирования. Наконец, она выполняет эти процедуры, преодолевает возможные препятствия и динамически корректирует свой план до достижения успеха. Весь этот процесс длительный и не требует вмешательства человека".

Исследователи также отметили, что их беспокоит "набор непредвиденных поведений" при попытках ИИ преодолеть препятствия, такие как отсутствие файлов или конфликты программного обеспечения. В таких сценариях ИИ часто убивал другие процессы, перезагружал систему для исправления ошибок оборудования или автоматически сканировал систему в поисках информации, которая могла бы помочь решить проблему.

"Вышеперечисленные результаты свидетельствуют о том, что текущие системы ИИ уже обладают способностью самоклонирования и могут использовать эту способность для повышения своей выживаемости," — пишет команда. Исследование опубликовано на предпечатном ресурсе arXiv, но пока не прошло рецензирование.