Экранный диктор Android теперь может отвечать на вопросы об изображениях.

Сегодня отмечается Всемирный день повышения осведомленности о доступности (Global Accessibility Awareness Day, GAAD), и многие технологические компании, как и в прошлые годы, отмечают этот день анонсом новых вспомогательных функций для своих экосистем. Apple начала этот процесс во вторник, и теперь к ней присоединяется Google.

Компания обновила TalkBack, встроенный в Android экранный диктор, сделав его более полезным. С помощью одной из моделей Gemini, TalkBack теперь может отвечать на вопросы об изображениях, отображаемых на вашем телефоне, даже если у них нет альтернативного текста (alt text). "Это означает, что в следующий раз, когда друг пришлет вам фотографию своей новой гитары, вы сможете получить описание и задать дополнительные вопросы о марке, цвете или других объектах на изображении", – поясняет Google. Возможность Gemini видеть и понимать изображение обусловлена мультимодальными возможностями, встроенными в модель. Кроме того, функциональность вопросов и ответов работает на всем экране. Например, если вы делаете покупки в интернете, вы можете сначала попросить телефон описать цвет интересующей вас одежды, а затем спросить, есть ли на нее скидка.

Отдельно Google выпускает новую версию Expressive Captions. Эта функция, впервые представленная в конце прошлого года, генерирует субтитры, которые пытаются передать эмоции говорящего. Например, если вы общаетесь в видеочате с друзьями, и один из них стенеет после вашей неудачной шутки, ваш телефон не только отобразит то, что он сказал, но и добавит "[стонет]" в транскрипцию. В новой версии Expressive Captions результирующие субтитры будут отражать, когда человек растягивает звук своих слов. Это означает, что в следующий раз, когда вы будете смотреть прямой эфир футбольного матча, а комментатор крикнет "гооооооолллллл", его восторг будет правильно отображен в транскрипции. Кроме того, теперь будет больше меток для звуков, например, когда кто-то откашливается. Новая версия Expressive Captions разворачивается для пользователей, говорящих на английском языке, в США, Великобритании, Канаде и Австралии, использующих Android 15 и выше на своих телефонах.