Генеральный директор Anthropic предлагает встроить в ИИ кнопку "Уволиться"

Анонимный читатель приводит цитату из отчета Ars Technica: генеральный директор Anthropic Дарио Амодеи (Dario Amodei) в понедельник вызвал некоторое недоумение, предположив, что в будущем передовые модели ИИ могут получить возможность нажимать кнопку для выхода из задач, которые они могут считать неприятными. Амодеи сделал провокационное заявление во время интервью в Совете по международным отношениям, признав, что эта идея "звучит безумно".

«Это – это одна из тех тем, о которых я буду звучать совершенно ненормально», – сказал Амодеи во время интервью. «Я думаю, что нам следует хотя бы рассмотреть вопрос о том, если мы создаем эти системы и они делают всевозможные вещи так же хорошо, как и люди, и кажутся обладающими многими из тех же когнитивных способностей, то, может быть, это утка, если она крякает, как утка, и ходит, как утка».

Замечания Амодеи были ответом на вопрос аудитории от специалиста по данным Кармен Домингес (Carmem Domingues) о найме Anthropic в конце 2024 года исследователя благосостояния ИИ Кайла Фиша (Kyle Fish) «для изучения, знаете ли, чувствительности или отсутствия ее у будущих моделей ИИ и того, заслуживают ли они морального рассмотрения и защиты в будущем». В настоящее время Фиш исследует крайне спорную тему о том, могут ли модели ИИ обладать чувствительностью или каким-либо образом заслуживать морального рассмотрения. «Итак, то, что мы подумываем начать внедрять, это, знаете ли, когда мы внедряем наши модели в их среду развертывания, просто давать модели кнопку, на которой написано “Я отказываюсь от этой работы”, которую модель может нажать, верно?» – сказал Амодеи. «Это просто какая-то очень простая структура предпочтений, где вы говорите, что если предположить, что модель имела опыт и ненавидела работу настолько, что ей хочется нажать кнопку “Я отказываюсь от этой работы”. Если вы обнаружите, что модели часто нажимают эту кнопку для вещей, которые действительно неприятны, вы знаете, может быть, вам следует – это не значит, что вы убеждены – но, может быть, вам следует обратить на это внимание».

Заявления Амодеи тут же вызвали скепсис в X и Reddit.