Google запускает новую модель Gemini, которая может работать на роботах локально.

Компания Google DeepMind представила Gemini Robotics On-Device – новую языковую модель, позволяющую роботам выполнять сложные задачи локально, без подключения к интернету. Как сообщает TechCrunch, Gemini Robotics On-Device является развитием модели Gemini Robotics, представленной в марте, и способна управлять движениями робота. Разработчики могут контролировать и настраивать модель под различные нужды, используя запросы на естественном языке.

В ходе тестирования Google утверждает, что производительность модели близка к облачной версии Gemini Robotics. Компания также заявляет, что она превосходит другие локальные модели в общих тестах, хотя и не называет эти модели.

В демонстрации компания показала, как роботы, работающие с этой локальной моделью, выполняют такие задачи, как распаковка и складывание одежды. Google сообщает, что изначально модель была обучена для роботов ALOHA, но позже адаптирована для работы с двуруким роботом Franka FR3 и гуманоидным роботом Apollo от Apptronik. Компания утверждает, что двурукий Franka FR3 успешно справлялся со сценариями и объектами, которые он не видел раньше, например, выполняя сборку на промышленном конвейере.

Google DeepMind также выпускает Gemini Robotics SDK. Компания сообщила, что разработчики могут предоставить роботам от 50 до 100 демонстраций задач для обучения новым операциям с использованием этих моделей на физическом симуляторе MuJoCo.