Я попробовал Copilot Vision, и он может навсегда изменить способ использования Windows.

Добавление «глаз» к искусственному интеллекту всегда непросто. Хочешь ли ты, чтобы он видел все, что ты делаешь все время? Конечно, нет, но я думаю, что большинство из нас согласится с тем, что помощник AI с визуальными возможностями, когда это нужно, может очень пригодиться.

Copilot Vision от Microsoft, возможно, является одним из самых многообещающих приложений AI-основанных визуальных возможностей, которые мне приходилось видеть. Microsoft представила обновление Copilot Vision для своего приложения Windows и мобильных приложений (можно направить камеру на предметы, и Vision сможет их идентифицировать) во время масштабного мероприятия, посвященного Copilot и 50-летию Microsoft. Copilot практически получил трансплантацию мозга, используя как собственные модели AI от Microsoft (Microsoft AI или MAI), так и генеративные модели GPT от OpenAI для предоставления обновлений по памяти, поиску, персонализации и визуальным возможностям. Теперь, когда я увидел Copilot Vision в действии, могу сказать, что это одно из самых захватывающих и важных обновлений – даже если оно будет внедряться поэтапно.

В версии, к которой вы можете получить доступ для своего поддерживаемого настольного приложения Windows прямо сейчас, Copilot Vision может видеть приложения, которые вы запускаете на рабочем столе. Когда вы открываете Copilot – выбрав значок или нажав клавишу Copilot на клавиатуре – теперь можно выбрать новый значок очков. Это позволит увидеть список открытых приложений; в нашем случае их было два: Blender 3D и Clipchamp. Это означает, что, хотя Copilot знает о доступных приложениях, работающих в Windows, он не автоматически следит за ними.

Мы выбрали Blender 3D, и с этого момента что-то в моем существовании Windows изменилось. Я понял, что Copilot действительно может видеть, какое приложение вы запускаете, и вместо того, чтобы гадать о ваших намерениях, он отвечает на основе приложения и даже проекта, над которым вы работаете.

Был открыт проект 3D-кофейного столика, и мы спросили голосом, как сделать дизайн стола более традиционным. В нашем запросе практически не было деталей об приложении или проекте, но ответ Copilot (в приятном баритоне) был полностью контекстуальным.

Затем мы переключились и спросили, как делать заметки в приложении. Copilot начал отвечать, но мы прервали его и спросили, где найти значок для добавления заметок. Copilot быстро отреагировал и указал на нужное место.

Хорошая новость заключается в том, что Copilot Vision, который, по крайней мере, знает, какое приложение и проект вы используете, доступен прямо сейчас. Плохая новость заключается в том, что у Copilot Vision, который мне действительно нужен, нет определенного срока. Но я должен предположить, что это не займет много времени. Ведь мы видели его вживую.