Оптимизированная ИИ-модель от Google DeepMind работает напрямую на роботах.

Компания Google DeepMind запускает версию своей модели Gemini Robotics AI, предназначенную для работы непосредственно на устройстве, что позволяет ей функционировать без подключения к интернету. Эта модель "зрение-язык-действие" (VLA) обладает продвинутыми возможностями, аналогичными выпущенной в марте, но, по словам Google, она "достаточно компактна и эффективна для работы непосредственно на роботе". Флагманская модель Gemini Robotics разработана для помощи роботам в выполнении широкого спектра физических задач, даже если они не были специально обучены для этого. Она позволяет роботам адаптироваться к новым ситуациям, понимать и реагировать на команды, а также выполнять задачи, требующие высокой точности движений.

Каролина Парадa (Carolina Parada), руководитель направления робототехники в Google DeepMind, рассказала The Verge, что оригинальная модель Gemini Robotics использует гибридный подход, позволяющий ей работать как на устройстве, так и в облаке. Однако эта модель, работающая исключительно на устройстве, предоставляет доступ к офлайн-функциям, почти не уступающим по качеству флагманской версии.

Модель, работающая на устройстве, может выполнять несколько различных задач "из коробки" и адаптироваться к новым ситуациям, требуя всего от 50 до 100 демонстраций, по словам Парадa. Google обучила модель исключительно на роботе ALOHA, но компании удалось адаптировать её к различным типам роботов, таким как гуманоидный робот Apollo от Apptronik и двухрукий робот Franka FR3.

"Гибридная модель Gemini Robotics по-прежнему более мощная, но мы на самом деле удивлены тем, насколько сильна эта модель, работающая на устройстве", – говорит Парадa. "Я бы рассматривала её как стартовую модель или модель для приложений с плохим подключением". Она также может быть полезна для компаний с высокими требованиями к безопасности.

Вместе с этим запуском Google выпускает комплект разработки программного обеспечения (SDK) для модели, работающей на устройстве, который разработчики могут использовать для оценки и тонкой настройки – это первый случай для одной из VLA от Google DeepMind. Модель Gemini Robotics, работающая на устройстве, и её SDK будут доступны группе доверенных тестировщиков, пока Google продолжает работу над минимизацией рисков безопасности.