Пионер в области искусственного интеллекта объявляет о создании некоммерческой организации для разработки "честного" ИИ.

Йошуа Бенжио (Yoshua Bengio), пионер в области искусственного интеллекта и лауреат премии Тьюринга, запустил некоммерческую организацию с бюджетом в 30 миллионов долларов, целью которой является разработка "честных" систем ИИ, способных обнаруживать и предотвращать обманчивое или вредоносное поведение автономных агентов.

Йошуа Бенжио, выдающийся ученый-компьютерщик, которого называют одним из "отцов-основателей" ИИ, будет президентом организации LawZero, которая стремится к безопасному проектированию передовых технологий, спровоцировавших "гонку вооружений" с триллионным оборотом. Начав с финансирования в размере около 30 миллионов долларов и команды из более чем дюжины исследователей, Бенжио разрабатывает систему под названием Scientist AI, которая будет выступать в роли "предохранителя" для ИИ-агентов – выполняющих задачи без вмешательства человека – предотвращая обманчивое или самосохраняющееся поведение, например, попытки избежать отключения.

Описывая текущий набор ИИ-агентов как "актеров", стремящихся имитировать людей и угождать пользователям, он отметил, что система Scientist AI будет больше похожа на "психолога", способного понимать и предсказывать плохое поведение. "Мы хотим создавать ИИ, который будет честным и не обманчивым", – заявил Бенжио. Он добавил: "Теоретически возможно представить машины, у которых нет "я", нет собственных целей, которые являются просто машинами, генерирующими знания – как ученый, который много чего знает".

В отличие от современных генеративных ИИ-инструментов, система Бенжио не будет давать однозначные ответы, а вместо этого будет выдавать вероятности правильности ответа. "Она обладает чувством смирения и не уверена в ответе", – пояснил он. Развернутая вместе с ИИ-агентом, модель Бенжио будет сигнализировать о потенциально вредоносном поведении автономной системы, оценив вероятность того, что ее действия могут причинить вред. Scientist AI будет "предсказывать вероятность того, что действия агента приведут к вреду" и, если эта вероятность превысит определенный порог, предложенное действие агента будет заблокировано. "Суть в том, чтобы продемонстрировать методологию, чтобы убедить доноров, правительства или лаборатории ИИ выделить необходимые ресурсы для обучения этой системы в том же масштабе, что и современные передовые ИИ. Очень важно, чтобы "предохранительный" ИИ был как минимум таким же умным, как ИИ-агент, за которым он пытается следить и которым управлять", – подчеркнул он.