DeepMind подробно описывает все способы, которыми общий искусственный интеллект может разрушить мир

Исследователи из DeepMind [дипмайнд] выпустили новую техническую работу (PDF), в которой объясняется, как разрабатывать искусственный общий интеллект (AGI) безопасно. Вы можете скачать ее по своему усмотрению. В ней содержится огромное количество деталей, объем документа составляет 108 страниц без учета списка литературы.

В то время как некоторые в области ИИ считают AGI несбыточной мечтой, авторы работы DeepMind прогнозируют, что это может произойти к 2030 году. С учетом этого они стремились понять риски, связанные с созданием человекоподобного синтетического интеллекта, который, по их признанию, может привести к «серьезному вреду». В этой работе были выявлены четыре возможных типа риска AGI, а также предложены способы смягчения этих рисков.

Команда DeepMind, возглавляемая соучредителем компании Шейном Леггом (Shane Legg), классифицировала негативные последствия AGI как злоупотребление, несоответствие, ошибки и структурные риски.

Первой возможной проблемой является злоупотребление, которое по своей сути схоже с текущими рисками ИИ. Однако поскольку AGI будет более мощным по определению, ущерб, который он может нанести, будет намного больше. Злоумышленник с доступом к AGI может злоупотребить системой, чтобы причинить вред, например, попросив систему определить и использовать уязвимости нулевого дня или создать «дизайнерский» вирус, который можно было бы использовать в качестве биологического оружия. DeepMind утверждает, что компании, разрабатывающие AGI, должны проводить обширные испытания и создавать надежные протоколы безопасности после обучения. По сути, это «ограждения» для ИИ на стероидах. Они также предлагают разработать метод полного подавления опасных возможностей, иногда называемый «необучением», но неясно, возможно ли это без существенного ограничения моделей.

Несоответствие в значительной степени не является проблемой, с которой нам приходится сталкиваться сегодня. DeepMind определяет его как ситуацию, когда AGI начинает действовать по-своему и отклоняется от своих первоначальных целей. Это может произойти из-за неправильной настройки целей или сложных взаимодействий с окружающей средой. DeepMind предлагает использовать механизмы проверки безопасности для предотвращения несоответствия.

В исследовании также предлагается пропускать команды AGI через систему «щита», которая гарантирует их безопасность перед реализацией.

Наконец, существуют структурные риски, которые DeepMind определяет как непреднамеренные, но реальные последствия многоагентных систем, внедряющихся в нашу уже сложную человеческую жизнь. Например, AGI может создавать настолько правдоподобную ложную информацию, что мы больше не будем знать, кому или чему доверять. В статье также поднимается вопрос о том, что AGI может накапливать все больший контроль над экономическими и политическими системами, возможно, разрабатывая жесткие схемы тарифов. И однажды мы поднимем голову и увидим, что машинами управляют, а не нами. Эта категория риска также является самой сложной для защиты, поскольку она будет зависеть от того, как люди, инфраструктура и институты будут работать в будущем.