Через несколько недель Gemini Live научится видеть сквозь объектив вашей камеры

На Mobile World Congress компания Google подтвердила, что долгожданный функционал Gemini AI, о котором впервые объявили почти год назад, готов к запуску. Компания представила новый режим Gemini Live, который скоро будет способен просматривать живую видеотрансляцию и обмениваться экранами. Ранее эта функция демонстрировалась как Project Astra. Когда видеофункции Gemini появятся, пользователи смогут показывать роботу что-то, вместо того чтобы рассказывать о нем. Сейчас многомодальная AI от Google может обрабатывать текст, изображения и различные документы. Однако ее способность принимать видео в качестве входных данных остается ненадежной — иногда она сумеет свести YouTube-видео, а иногда нет, причины чего неизвестны.

В середине марта приложение Gemini для Android получит значительное обновление функций работы с видеоконтентом. Пользователи смогут открыть камеру и предоставить видео поток или поделиться экраном в режиме прямой трансляции, что позволит задавать вопросы AI о том, что она видит.

Gemini Live с возможностями видео. Трудно уследить за тем, какие проекты AI ведет Google — конференция 2024 года Google I/O стала настоящим праздником всего, связанного с Gemini AI. Демонстрация Project Astra вызвала большой интерес благодаря более естественному способу взаимодействия с искусственным интеллектом.

В оригинальном видео, которое можно посмотреть ниже, Google показало, как Gemini Live может отвечать на вопросы в реальном времени при движении телефона вокруг комнаты. AI могла комментировать код на компьютере, работу динамиков и схему сети на магнитной доске. Она даже запомнила место, где пользователь оставил свои очки в более раннем фрагменте видео.

Gemini Live с возможностями видео обещает сделать взаимодействие с искусственным интеллектом еще более естественным и эффективным.