Теперь ИИ от Google может видеть и искать с помощью изображений

Google добавляет мультимодальные возможности в свой чат-бот AI Mode, ориентированный на поиск, что позволяет ему «видеть» и отвечать на вопросы об изображениях, а также расширяет доступ к AI Mode для «миллионов» пользователей. Обновление сочетает в себе кастомную версию Gemini AI с технологией распознавания изображений Lens компании Google, что позволяет пользователям AI Mode Search делать снимки или загружать фотографии и получать «богатый, полный ответ с ссылками» о содержимом изображения. Мультимодальное обновление для AI Mode доступно с сегодняшнего дня и может быть accessed в приложении Google на Android и iOS.

«AI Mode опирается на наши многолетние работы по визуальному поиску и делает шаг вперед», — говорит Роби Стейн (Robby Stein), вице-президент по продукту Google Search. «С помощью мультимодальных возможностей Gemini AI Mode может понимать всю сцену на изображении, включая контекст того, как объекты относятся друг к другу, а также их уникальные материалы, цвета, формы и расположение».

Google говорит, что обновление использует технику «распространения», которая отправляет множество запросов об изображении, которое оно видит, и любых объектах внутри него, чтобы предоставить ответы, которые являются «невероятно нюансированными и контекстуально релевантными».

Это позволяет ему делать такие вещи, как идентифицировать книги, которые показаны на изображении, предлагать предложения по аналогичным произведениям с высокими оценками, и отвечать на вопросы для дальнейшего формирования рекомендаций.

AI Mode для поиска служит ответом Google на Perplexity и ChatGPT Search — опыт работы с чат-ботом, который отвечает на запросы с помощью AI-генерируемых сводок, извлеченных из всего индекса поиска Google. AI Mode был запущен исключительно для подписчиков Google One AI Premium в прошлом месяце, но только в Labs. Теперь Google говорит, что он начал делать AI Mode доступным для «миллионов» пользователей Labs в США, помимо платных подписчиков AI Premium.