Модель OpenAI o3 превзошла игрока-мастера в Geoguessr

В своем блоге вчера опытный игрок GeoGuessr, Сэм Паттерсон (Sam Patterson), заявил, что модель o3 от OpenAI превзошла его в очном матче, "правильно определив все пять стран и дважды указав местоположение с точностью до нескольких сотен метров". GeoGuessr – это игра, наиболее известная благодаря одноименной платформе, в которой игрокам предстоит определить свое местоположение в случайно выбранной точке на Google Street View, используя лишь визуальные подсказки из окружающей среды.

С выпуском новых моделей ИИ, o3 и o4-mini, OpenAI теперь демонстрирует удивительно хорошие результаты в анализе загруженных изображений для определения их местоположения, полагаясь исключительно на тонкиe визуальные подсказки.

“Даже когда я внедрял поддельные GPS-координаты в EXIF-данные изображения, модель игнорировала подделку и все равно точно определяла реальные местоположения, что свидетельствует о том, что ее производительность основана на визуальном мышлении и оперативной веб-разведке, а не на скрытых метаданных”, – отмечает Паттерсон.

В своем посте он также отметил, что модель часто выполняет ненужную и повторяющуюся обрезку изображения, а иногда тратят слишком много времени на незначительные детали. Человеку хорошо известно, на что обращать внимание, в то время как o3 менее осведомлена о том, на чем следует сосредоточиться. Модель несколько раз отвлекалась на рекламу. Однако большая часть информации, которую она предоставляет о таких вещах, как дорожные знаки и линии разметки, представляется точной или, по крайней мере, достаточно близкой к истине, чтобы иметь значение. Судя по отличным результатам, можно предположить, что модель приходит к своим предположениям, опираясь на эту информацию.

Если модель использует другую информацию для определения местоположения, то это не метаданные из файлов, а результаты веб-поиска. Вероятно, в раунде с Австрией веб-поиск был значимым, так как модель упомянула веб-сайт с названием города. В раунде с Ирландией веб-поиск был менее значимым. Тем не менее, модель оставалась эффективной в раундах без поиска.

Подводя итог:

• Модель o3 – это не иллюзия, обманывающая нас, используя только EXIF-данные. Она демонстрирует уровень мастерства в GeoGuessr, сопоставимый с уровнем игроков Master I или выше (по крайней мере, согласно примерно 20 раундам тестов, проведенных мной).
• Люди по-прежнему имеют значительное преимущество по времени принятия решений – большинство моих предположений заняли 4 минуты.
• Подмена EXIF-данных не вводит модель в заблуждение.

Независимо от того, рассматриваете ли вы это как антиутопию или как технологическое чудо (или и то, и другое), нельзя утверждать, что это просто трюк.