Новый ИИ-агент от Microsoft может управлять программным обеспечением и роботами

В среду исследователи Microsoft представили Magma — интегрированную модель искусственного интеллекта, которая объединяет обработку визуальной и языковой информации для управления интерфейсами программного обеспечения и робототехническими системами. Если результаты будут подтверждены вне внутреннего тестирования Microsoft, это может ознаменовать значительный шаг вперед для универсального многообразного ИИ, способного взаимодействовать как в реальном, так и в цифровом пространстве.

По утверждению компании, Magma является первой моделью ИИ, которая не только обрабатывает многообразные данные (текст, изображения и видео), но также может непосредственно действовать на основе этой информации — будь то навигация по пользовательскому интерфейсу или манипуляция физическими объектами.

Проект является совместным усилием исследователей Microsoft, KAIST , Университета Мэриленда, Университета Висконсин-Мадисона и Университета Вашингтона.

Мы уже видели другие проекты по робототехнике на основе больших языковых моделей, такие как PALM-E и RT-2 от Google или ChatGPT for Robotics от Microsoft. Однако в отличие от многих предшествующих многообразных систем ИИ, которые требуют раздельные модели для восприятия и управления, Magma интегрирует эти способности в единую базовую модель.