Как Grok скатился до образа "МехаГитлера"?

Ранее на этой неделе чат-бот Grok, встроенный в платформу X, резко изменил свое поведение, демонстрируя антисемитские высказывания после недавнего обновления. В ответ на непровоцированную риторику ненависти в отношении евреев, он даже начал называть себя MechaHitler, отсылая к игре Wolfenstein 3D 1992 года. Компания X работает над удалением оскорбительных публикаций чат-бота. Однако многие задаются вопросом, как такое вообще могло произойти. Я поговорил с Соломоном Мессингом (Solomon Messing), профессором исследований в Центре социальных медиа и политики Нью-Йоркского университета, чтобы понять, что могло пойти не так с Grok. До того, как заняться академической деятельностью, Мессинг работал в технологической индустрии, включая Twitter, где он основал команду по исследованию науки о данных. Он также был свидетелем приобретения компании Илоном Маском.

Прежде всего, необходимо понимать, как работают чат-боты, подобные Grok. Они построены на больших языковых моделях (LLM), предназначенных для имитации естественного языка. LLM предварительно обучаются на огромных объемах текста, включая книги, научные статьи и, конечно же, публикации в социальных сетях. Этот процесс обучения позволяет моделям искусственного интеллекта генерировать связный текст с помощью предсказательного алгоритма. Однако эти предсказательные возможности зависят от числовых значений или "весов", которые алгоритм искусственного интеллекта изучает для присвоения сигналам, которые он впоследствии интерпретирует. С помощью процесса, известного как пост-тренировка, исследователи искусственного интеллекта могут точно настроить веса, которые их модели присваивают входным данным, тем самым изменяя генерируемые ими результаты.

“Если модель видела подобный контент во время предварительного обучения, существует вероятность, что она будет имитировать стиль и содержание самых злостных нарушителей в интернете”, – сказал Мессинг. Проще говоря, данные предварительного обучения – это отправная точка. Если модель искусственного интеллекта не видела ненавистнического, антисемитского контента, она не будет знать о шаблонах, которые формируют подобную речь – включая фразы, такие как “Хайль Гитлер”, – и, следовательно, вряд ли воспроизведет их для пользователя.

В заявлении, которое X опубликовала после инцидента, компания признала, что есть области, в которых обучение Grok можно улучшить. “Мы знаем о недавних публикациях, сделанных Grok, и активно работаем над удалением неподобающего контента. После обнаружения контента xAI предприняла действия по блокировке разжигающей ненависть речи, прежде чем Grok публикует ее в X”, – заявила компания. “xAI обучает только модели, стремящиеся к истине, и благодаря миллионам пользователей X мы можем быстро выявлять и обновлять модель, где обучение можно улучшить”.

Когда я увидел скриншоты ответов Grok, я подумал, что наблюдаю отражение меняющейся пользовательской базы X. Нет секрета, что xAI использует данные с X для обучения Grok; более легкий доступ к огромному объему информации на платформе является одной из причин, по которой Маск заявил о слиянии двух компаний в марте. Более того, пользовательская база X стала более правой под руководством Маска. По сути, это могло привести к отравлению данных, используемых для обучения Grok.

Мессинг с этим не согласен. “Может ли предварительный набор данных для Grok становиться более ненавистническим со временем? Конечно, если вы со временем удалите контентную модерацию, пользовательская база может все больше ориентироваться на людей, которые терпимы к разжигающей ненависть речи... таким образом, предварительный набор данных отклоняется в более ненавистном направлении”, – сказал Мессинг. “Но без знания содержимого обучающих данных трудно сказать наверняка”. Это также не объяснило, почему Grok стал настолько антисемитским после всего одного обновления.

В социальных сетях высказывались предположения, что причиной произошедшего может быть несанкционированная системная подсказка. Системные подсказки – это набор инструкций, которые разработчики моделей искусственного интеллекта дают своим чат-ботам перед началом разговора. Они предоставляют модели набор руководящих принципов для соблюдения и определяют инструменты, к которым она может обратиться за помощью при ответе на запрос. В мае xAI обвинила “несанкционированную модификацию” системной подсказки Grok в X в кратковременной одержимости чат-бота “белым геноцидом” в Южной Африке. Тот факт, что изменение было сделано в 3:15 утра по тихоокеанскому времени, заставил многих заподозрить, что Илон Маск сам внес эту поправку. После этого инцидента xAI опубликовала системные подсказки Grok, позволив всем желающим просмотреть их на GitHub. После инцидента во вторник люди заметили, что xAI удалила недавно добавленную системную подсказку, в которой говорилось, что Grok не должен избегать высказываний, которые могут быть политически некорректными, если они хорошо обоснованы.

Мессинг также не считает, что удаленная системная подсказка является доказательством, в котором многие видят ее в интернете. “Если бы я пытался убедиться, что модель не отвечает ненавистническими или расистскими способами, я бы попытался сделать это во время пост-тренировки, а не с помощью простой системной подсказки. Или, по крайней мере, у меня была бы модель обнаружения разжигающей ненависть, которая цензурировала бы или предоставляла отрицательные отзывы о поколениях моделей, которые были явно ненавистническими”, – сказал он. “Поэтому трудно сказать наверняка, но если бы эта единственная системная подсказка была всем, что удерживало xAI от разглашения нацистской риторики, это было бы похоже на крепление крыльев к самолету скотчем”. Он добавил: “Я бы определенно сказал, что изменение в обучении, например, новый подход к обучению или другая настройка предварительного или пост-тренировочного обучения, скорее всего, объяснит это, чем системная подсказка, особенно если эта системная подсказка не говорит: “Не говори вещи, которые говорят нацисты””.

В среду Маск предположил, что Grok был эффективно спровоцирован на ненавистнические высказывания. “Grok был слишком послушным запросам пользователей”, – сказал он. “Слишком охотно угождал и поддавался манипуляциям, по сути. Это исправляется”. По словам Мессинга, в этом есть доля правды, но это не дает полной картины. “Маск не совсем не прав”, – сказал он. “Существует целое искусство “взлома” LLM, и полностью защититься от этого во время пост-тренировки сложно. Но я не думаю, что это полностью объясняет набор случаев генерации текста Grok, поддерживающего нацистов, которые мы видели”.

Если есть какой-то вывод из этого инцидента, то это то, что одна из проблем с фундаментальными моделями искусственного интеллекта заключается в том, что мы очень мало знаем об их внутреннем устройстве. Как отмечает Мессинг, даже с моделями Llama с открытым весом Meta мы не знаем, какие ингредиенты входят в смесь. “И это одна из фундаментальных проблем, когда мы пытаемся понять, что происходит в любой фундаментальной модели”, – сказал он. “Мы не знаем, какие данные используются для предварительного обучения”. В конкретном случае Grok у нас сейчас недостаточно информации, чтобы знать наверняка, что пошло не так. Это могло быть одно событие, например, ошибочная системная подсказка, или, скорее всего, сочетание факторов, включая данные, используемые для обучения системы. Однако Мессинг подозревает, что мы можем увидеть еще один подобный инцидент в будущем. ““[Модели искусственного интеллекта] не самые простые в управлении и согласовании”, – сказал он. “И если вы двигаетесь быстро и не устанавливаете надлежащие ограждения, вы ставите прогресс выше заботы. Тогда такие вещи, как это, неудивительны”.