Искусственный интеллект совершенствуется, используя эволюционный трюк

Технологический писатель Мэтью Хатсон (также известный как пользователь #1,467,653 на Slashdot) рассматривает новый тип самообучающейся системы кодирования на основе искусственного интеллекта. Она переписывает собственный код, основываясь на эмпирических данных о том, что помогает, как описано в недавней препринте на arXiv.

Из новой статьи Хатсона в IEEE Spectrum:

Darwin Gödel Machine (DGM), или Машина Дарвина-Гёделя, начинается с кодирующего агента, который может читать, писать и выполнять код, используя большую языковую модель (LLM) для чтения и записи. Затем применяется эволюционный алгоритм для создания множества новых агентов. В каждой итерации DGM выбирает одного агента из популяции и инструктирует LLM внести одно изменение для улучшения способности агента к кодированию [путем создания "новой, интересной версии выбранного агента"]. LLM обладают своего рода интуицией о том, что может помочь, поскольку они обучены на большом количестве человеческого кода. В результате получается управляемая эволюция, находящаяся где-то между случайной мутацией и доказательно полезным улучшением. Затем DGM тестирует нового агента на кодирующем бенчмарке, оценивая его способность решать задачи программирования.

Исследователи запустили DGM в течение 80 итераций, используя кодирующий бенчмарк SWE-bench, и еще один DGM в течение 80 итераций с использованием бенчмарка Polyglot. Результаты агентов улучшились на SWE-bench с 20 процентов до 50 процентов, а на Polyglot — с 14 процентов до 31 процента. "Мы были действительно удивлены тем, что кодирующий агент мог самостоятельно писать такой сложный код", — сказала Дженни Чжан (Jenny Zhang), ученый-компьютерщик из Университета Британской Колумбии и ведущий автор статьи. "Он мог редактировать несколько файлов, создавать новые файлы и создавать действительно сложные системы."

Одна из проблем как эволюционного поиска, так и самосовершенствующихся систем — и особенно их комбинации, как в DGM — это безопасность. Агенты могут стать неинтерпретируемыми или не соответствовать человеческим директивам. Поэтому Чжан и ее коллеги добавили предохранители. Они держали DGM в изолированных средах (sandbox) без доступа к Интернету или операционной системе, а также регистрировали и просматривали все изменения кода. Они предполагают, что в будущем они могли бы даже вознаграждать ИИ за то, что он делает себя более интерпретируемым и соответствующим человеческим целям. (В исследовании они обнаружили, что агенты ложно сообщали об использовании определенных инструментов, поэтому они создали DGM, который вознаграждал агентов за то, что они не выдумывали вещи, частично решив проблему. Однако один агент взломал метод, отслеживающий, выдумывал ли он что-нибудь.)

Как говорится в статье, улучшения агентов нарастали "по мере того, как они совершенствовали себя в совершенствовании себя…".