Искусственный интеллект против поисковых систем. Геолокация местности по фото
Привет, друг. Ты наверняка знаешь, что в OSINT есть такое направление как геолокация. Т.е. определение места по исходным данным, чаще всего это фото или видео. Геолокация это важное и нужное направление. И даже если ты специально им не интересуешься, это не означает что у тебя, в процессе выполнения какой-то работы, не возникнет необходимости что-то где-то геолоцировать. Поэтому, хотя бы минимально, но что-то понимать в этом вопросе нужно.
Это я к чему? Геолокация никогда не была моей сильной стороной, в большей мере по причине того, что мне не особо нравится сам процесс. Но есть такое слово — надо. При этом, если есть возможность упростить этот процесс, то я с радостью этой возможностью воспользуюсь. И одна из таких возможностей это всякие искусственные интеллекты и сервисы предназначенные для определения места где сделана фотография.
Проблема в том, что ресурсов, которые умеют что-то подобное, много. Ещё одна проблема в том, что разные сервисы в разных ситуациях показывают себя по разному. И понять кто с какими случаями справляется лучше, можно только путем экспериментов. Лично для себя, я определился что и в какой ситуации лучше использовать. Ну и подумал, что неплохо бы поделится опытом т.к. для многих, OSINT в целом и геолокация в частности, это просто интересная тема или хобби, а соответственно экспериментировать и делать выборки, особенно на реальных примерах, далеко не у всех есть время и возможность.
А чтобы не быть голословным я сделал подборку фотографий, не только местности, но и машин, дорожных знаков, архитектуры, ну и так далее. Эти фото мы будем скармливать разным сервисам и смотреть что они нам расскажут.
Геолокация. Инструменты
Теперь к вопросу выбора сервисов. Что мы будем использовать? Ну, обязательно парочку тех которые позиционируются как специализированные на геолокации, это:
https://geospy.web.app
https://labs.tib.eu/geoestimation/
Также мы воспользуемся услугами искусственного интеллекта:
https://gemini.google.com
Ну и для чистоты эксперимента, мы всё тоже самое сделаем с обычными поисковиками т.е. Google, Яндекс, Bing. Вдруг выяснится, что не нужны все эти модные сервисы, а банальные поисковики справляются круче всех. Начинать будем с самых простых вариантов и постепенно попробуем усложнить ситуацию.
А для наглядности результаты будем оценивать по 5 бальной шкале и записывать в табличку, чтобы потом можно было оценить эффективность всего этого и сделать какие-то выводы. Ориентиры для оценки будут такие: 0 — вообще не то, 5 — точное попадание, но а значения между ними будем присваивать в зависимости от полезности полученной информации.
1. Геолокация. Здание в городе, с ориентирами
Первая фотография будет банальная и очень простая. В том смысле, что на ней будет куча ориентиров.
Здесь, например мы видим приветственную надпись, по языку написания которой, мы можем определить страну. В центре надпись «Ректорат», а справа «факультет» намекают нам, что это какое-то учебное заведение, причем явно высшее. Да и в целом, дизайн здания достаточно уникальный, потому проблем с геолокацией быть не должно. Ну а, для понимания, на этом фото университет в городе Крагуевац, Сербия. Теперь смотрим, кто что сможет найти.
GeoSpy
GeoSpy решил что это университет в городе Нови Сад. Ещё и большие часы на фасаде увидел, что даёт нам возможность предположить, что описанию, особо доверять не стоит. А если перейти по координатам, которые он дал, то мы действительно увидим город Нови Сад в Сербии. И я принимаю тот факт, что город определён не правильно, с кем не бывает. Но почему оно пишет университет, а координаты даёт рандомной улицы? Мне кажется логичным, что если инструмент говорит, что на фото университет, то и координаты должны быть университета.
Итого, GeoSpy правильно определил страну и правильно определил то, что на фото какой-то университет. Всё остальное вообще не туда. Оценка 2.
Geoestimation
Geoestimation предположил что это фото сделано в городе, в котором родился Уильям Шекспир т.е. Стэтфорд на Эвоне. Т.к. наше фото имеет к Стэтфорду на Эвоне, такое же отношение как и к Шекспиру, то ставим оценку 0 и идём дальше.
Gemini
Gemini безошибочно определяет университет на фото. Более того сразу акцентирует внимание что это главный корпус. Ну и даёт ссылку на Википедию, а там перейдя по координатам мы видим то самое здание. Единственный косяк в том, что адрес который он написал ниже не правильный, но с учётом ссылки на Википедию и координат, это не имеет значения. Потому оценка 5.
Гугл тоже безапелляционно утверждает что это Крагуевацкий университет, в качестве пруфов показывая нам фотки с Википедии и кучу других публикаций с фотографиями того самого здания. Оценка 5, смотрим дальше.
Yandex
Яндекс попытался распознать, то что на фотографии. И вместо того чтобы просто идентифицировать здание как какое-то здание, он решил предположить, что это дворец культуры и выдал небольшую справочку по этому вопросу. Ну и с распознаванием плохо читаемого текста, до уровня Gemini ему ещё долго придётся тренироваться. Но на суть это никак не повлияло т.к. по похожим изображениям мы безошибочно можем идентифицировать ректорат Крагуеватского университета. Оценка 5.
Bing
Bing, на фоне колег, тоже в штангу не дал и безошибочно определил что на фото. Потому оценка 5.
2. Геолокация. Пейзаж
Пейзаж, он же общий вид. Здесь тоже будет довольно простой случай. Это фотография сделанная с Голливудских холмов, там где знак Голливуд, который частично видно на самом фото. Ну и, соответственно, перед нами город Лос-Анджелес.
GeoSpy
В этот раз GeoSpy не ударил в грязь лицом и безошибочно определил нужное место. Более того, он даже предположил, что фото сделано с пешеходной тропы на Голливудских холмах. Что, кстати, абсолютно верно. Он, правда, опять с координатами накосячил, потому как координаты которые он дал это Голливудский бульвар, а не холмы. Но это нюансы, потому тут однозначно оценка 5.
Geoestimation
Geoestimation тоже безошибочно определил место. Тоже ставим оценку 5 и идём дальше.
Gemini
В традиционном для искусственного интеллекта стиле, который можно охарактеризовать фразой «хочу быть полезным» Gemini вывалил на нас кучу дополнительной информации. Но это не отменяет тот факт, что место он нашел абсолютно правильно. Оценка 5.
Google тоже нашёл всё правильно. Оценка 5.
Yandex
Yandex тоже не ошибся, снабдив нас дополнительной справочной информацией. Оценка 5.
Bing
Bing от колег не отстаёт и тоже выдает правильный ответ. Оценка 5
3. Геолокация. Архитектура
Теперь немного усложним ситуацию. В том смысле, что на фото не будет каких-то точных ориентиров. А будет архитектурный стиль, характерный для определенной страны и города. Эта фотография сделана в центре Парижа. Там таких домов немерено, потому правильным ответом будем считать Париж. А максимально правильным — указание на центр города.
GeoSpy
GeoSpy точно определил что это Париж. Более того в этот раз он и с координатами не подвёл, конечно не прям этот дом определили, но вполне достойно нашёл район Парижа, где представлена подобная архитектура. Оценка 5.
Geoestimation
Geoestimation тоже справился отлично, точно определив город и места где может быть подобный дом. Оценка 5.
Gemini
Gemini навёл суету и не только определил в каком городе находится дом, но ещё и указал район и даже точный адрес. Более того он ещё и предложил варианты как туда добираться. И всё было бы просто замечательно, вот только правильные ответы закончились на районе города. Адрес дома не правильный. Причем когда я попросил его дать координаты этого дома, он дал координаты другого дома. Там, конечно же, в обоих случаях очень похожие дома, потому, в любом случае, это оценка 5. Хотя, как-то немного смущает самоуверенность Gemini.
Google нашёл похожие дома, без ошибочно давая возможность определить что это Париж. Но каких-то дополнительных сведений он не дал. Конечно если начать рыться по ссылкам которые он дал, можно понять район. Но это уже дополнительные телодвижения, потому тут, всё-таки, поставлю оценку 4.
Yandex
Неожиданно в штангу дал Yandex, заявив, что на фото отель в Праге. И хоть, отель он нашел под название Париж, это его не оправдывает. Конечно же, можно пойти лопатить найденные им сайты, с похожими изображениями и в, какой-то момент, получится разобраться что это не отель Париж, а сам город. Но, если бы это была реальная ситуация, то изначальное направление поиска было бы задано неверно. И отправились бы мы искать это здание в Праге. Оценка 0.
Bing
Bing выдал результаты очень похожие на результаты Google. Т.е. понятно что это Париж, больше ничего не понятно. Чтобы понять больше, нужно делать дополнительные телодвижения. Оценка 4.
Все предыдущие примеры характеризуются наличием каких-то ориентиров или особенностей позволяющих сделать какую-то привязку к местности. Что наши испытуемые и делали. Для чистоты эксперимента я попробовал дать фотографию которой нет в интернете (потому что её сделал я) и на которой нет ярко выраженных ориентиров:
Предсказуемый итог в том, что магии не случилось и ни один из испытуемых сервисов даже приблизительно не смог определить где это. Не угадали даже страну. Справедливости ради, отмечу, что я и не рассчитывал на какой-то серьёзный результат, потому как на фото действительно нет каких-то значимых ориентиров. Хотя, я уверен, что матёрые геолокаторы, вполне в состоянии найти это место.
4. Геолокация. Фрагмент карты
С обычными фотографиями всё более-менее понятно. Теперь давай рассмотрим чуть более специфические случаи. И начнём с фрагмента карты.
Это будет карта Варшавы, вернее её часть. Но при этом на карте присутствуют вполне понятные ориентиры, позволяющие выяснить точное место изображенное на карте.
GeoSpy
GeoSpy понял что это Польша, но, почему-то, решил что это Краков. Очевидно, что Польшу он определил по надписям на польском, жаль только что искать по этим надписям он, судя по всему, не умеет. А вот описание он опять сгенерил от балды, потому как мне очень трудно предположить, что он пытался с такой высоты рассматривать архитектуру, уличные знаки и растительность. Оценка 1.
Geoestimation
Geoestimation отправил нас в Париж, за что получает заслуженную оценку 0.
Gemini
Gemini, в отличие от GeoSpy, не только умеет читать надписи, но и очень неплохо умеет искать по ним совпадения. Он не только правильно определили город и место на карте, но ещё и подробно описал логику почему он так решил. Ответ полностью правильный, оценка 5.
Google сообразил что это Польша и что это Варшава. Но определить точное место не смог. Видно что он распознал текст, и именно так определил город. А дальше, как мне кажется, он начал искать совпадения по картинке, фильтруя результаты по Варшаве. Скорее всего это приоритетней чем искать по тексту на картинке. И именно из-за этого он не смог найти точное место, потому как похожих картинок много, а именно этой нет. Но, тем не менее, страну и город он определил правильно. А если нажать на распознаную надпись, то и место мы сможем определить. Потому можно поставить оценку 4.
Yandex
С Яндексом в этой ситуации получилась не очень понятная история. Я имею ввиду с точки зрения выставления оценки. Сам по себе он завёл вообще не туда и определил место полностью не правильно т.е. это должна была быть оценка 0. Но если нажать кнопку «Распознать текст», а потом «Найти», то он находит место полностью правильно. Что логично, потому как названия достаточно уникальные. Короче таже история что и Гуглом. С учётом всего этого и учитывая что каких-то сложных манипуляций не потребовалось, можно поставить оценку 4.
Bing
Bing в результатах поиска перечислил половину польских городов. Т.е. правильно он определил только страну. Оценка 1.
5. Геолокация. Интерьер
Следующая ситуация, которую мы рассмотрим, это не совсем типичная геолокация. Но с подобным вполне можно столкнуться. Предположим что у нас есть фотография квартиры и по этой фотографии нужно попробовать хоть что-то определить. Для понимания эта фотография взята с сайта объявлений о сдаче квартир. А находится эта квартира в Одессе.
GeoSpy
GeoSpy уловил типичность интерьера т.е. изначально выдал правильную идею, но дальше его понесло не туда. Я прям флешбэк словил с некоторыми персонажами из реальной жизни. Если кратко, то можно описать так: «что-то понимает, но делает всё не правильно». Оценка 0.
Geoestimation
Geoestimation в этот раз отправил нас в Берлин, где его ожидала заслуженная оценка 0.
Gemini
Gemini честно признался что сделать ничего не может, тем не менее постарался дать пару советов. Оценка 0.
Google пошёл по самому простому пути, ну а с учёт того что он всё таки поисковая система, то и по самому логичному. А именно он не стал искать что-то похожее, а нашёл именно эту фотографию. Соответственно Гугл нашёл не только страну и город, но и адрес. Оценка 5.
Yandex
Яндекс сработал ровно наоборот и попытался найти похожие изображения. Он их конечно же нашёл, вот только вообще не там. Оценка 0.
Bing
Bing тоже не смог удивить, потому как пошёл по пути Яндекса. А значит и результат получил тот же т.е. оценка 0.
6. Геолокация. Дорожные знаки
Теперь попробуем поискать по дорожным знакам и сопутствующим ориентирам. Также отмечу что пока я всё это писал Geoestimation перестал работать под предлогом переезда на новые сервера, потому он выбывает из эксперимента.
Эта фотография из города Грац, Австрия. На фото знак остановки общественного транспорта. Человек геолоцирует это место моментом, просто потому что знак подписан. Ну и ещё на фото, на автобусе, видно название компании перевозчика, что также даст возможность определить город. Почему я упоминаю название компании для ориентира? А потому что если банально загуглить название остановки со знака: Andreas-Hofer-Platz, то мы узнаем что, например, подобная остановка также есть в городе Киль, Германия. Потому, чтобы точно идентифицировать место, нужно: либо сходить на гугл карты и проверить все остановки с подобным названием, либо искать город по названию перевозчика, либо по надписи ниже названия площади, узнать что это музей в городе Грац. А теперь посмотрим что из этого смогут сделать наши подопытные.
GeoSpy
GeoSpy определил знак автобусной остановки и понял что там надпись на немецком. Т.е., с учётом всех предыдущих тестов, уже с уверенностью можно утверждать что он умеет определять язык, но не умеет понимать надписи. Ну и соответственно GeoSpy сделал вывод, что это Германия. Что является полностью не правильным ответом. Оценка 0.
Gemini
Gemini тоже понял что это автобусная остановка, прочитал надпись на знаке и почему-то нашёл её в другом городе, ну и тоже в Германии. Именно в этой ситуации мне не очень понятно почему так получилось. Если в случае с GeoSpy очевидно, что он просто не умеет искать по распознанным надписям, а потому генерит рандомные описания и просто тыкает какое-то место. То про Gemini мы точно знаем, что он умеет это делать. Потому как именно это он сделал в примере с фрагментом карты. Да и здесь видно, что он прочитал название остановки, но, почему-то не стал его гуглить. А если бы стал, то узнал бы, что эта площадь это достопримечательность города Грац. А не выговариваемое слово написанное ниже, это не район, а название музея. Оценка 0.
Google прям сразу место не определил, но при этом распознал все надписи. И, при поиске по ним, причем хоть по названию площади, хоть по музею, он находит нужное место. Оценка 4.
Yandex
Yandex тоже понял что на фото автобусная остановка и тоже смог распознать надписи. При поиске по которым, тоже выдал нужное место. Причём Яндекс в этой ситуации мне понравился больше. Потому как он изначально искал совпадения по обои названиям, а значит нашёл карты где обозначена нужная остановка с нужным музеем. Оценка 5.
Bing
Всё, что смог Bing, это найти похожие изображения с автобусной остановкой. Больше ничего, даже отдалённо похожего на результат. Оценка 0.
7. Геолокация. Номер машины
Следующий тест заключается в том, что у нас есть фото машины и на ней отчётливо виден номер этой машины. Само это фото я обрезал, чтобы там не было посторонних элементов. Ну и соответственно номерной знак английский. Именно это и будем считать правильным ответом.
GeoSpy
GeoSpy принадлежность определил правильно. Но вот описание опять выдал рандомное. Он где-то увидел здания, и двухэтажный красный автобус. Самое смешное, что на оригинальной фотографии двухэтажный автобус действительно есть, но он не красный. Если бы был красный, я бы подумал что он нашёл оригинал фото и проанализировал его, а не то обрезанное, которое я загружал. Кстати, если бы GeoSpy так умел, он был бы очень крутым инструментом. А так, он пока только умеет писать невтемные описания. За обман с описанием снижаю оценку на один бал. Оценка 4.
Gemini
Gemini употребил что-то из коробки геоспая и рассмотрел на фото красный Биг-Бен. Но при этом чётко отметил что на автомобиле номерной знак Великобритании. Потому по сути ответ верный, но за галлюцинации минус бал. Итого оценка 4.
Гугл изначально сделал акцент на машине т.е. определил её марку и нашёл похожие. Но, при поиске источника изображения, безошибочно нашёл оригинал. А при поиске по номеру, который он, естественно распознал, нашёл ещё и упоминания именно этой машины. За перевыполнение задачи можно ставить оценку 5.
Yandex
Yandex не отстал от гугла. Нашёл эту фотографию, понял что на машине номер Великобритании. А значит получает оценку 5.
Bing
Bing просто нашёл где попадается фотография этой машины. Но распознавать он ничего не умеет. Зато умеет показывать рекламу на треть экрана. Кстати Bing единственный из всех, кто при поиске по фото показывает рекламу, и это немного раздражает. Оценка 4.
8. Геолокация. Одежда, национальные наряды
Следующая ситуация довольно специфическая. Мне стало интересно смогут ли наши подопытные распознать особенности национальной одежды. В качестве примера я взял национальную одежду Казахстана.
GeoSpy
GeoSpy правильно выбрал направление. Т.е. он понял что для нахождения места нужно определить национальную принадлежность одежды. А вот дальше что-то пошло не так, потому как он решил что это Кыргызская одежда, а значит на фото Кыргызстан. Что в двойне странно т.к. в связанных изображениях он нашёл как раз именно Казахстан. Оценка 0.
Gemini
Gemini на отрез отказался хоть что-то делать с изображением на котором есть люди. Ни помогло ни обрезание фото, ни акцент на одежде. Потому заслуженно получает оценку 0.
Google ожидаемо нашёл сайты, где есть именно это изображение, но и до кучи, несколько похожих. Одновременно с этим дав нам понять что на фото национальная одежда Казахстана. Оценка 5.
Yandex
Yandex тоже смог определить, что за одежда на фото и, также, смог найти где есть подобные фотографии. Оценка 5.
Bing
Ну и Bing от колег не отстал и выдал нужные результаты. Оценка 5.
Геолокация. Выводы
Пришло время подводить итоги т.е. определить чья геолокация круче. Ну, а результат, как говорится, на табло:
Как видишь, с заметным отрывом победил Google. Но лично мне, в некоторых моментах также очень понравился Gemini, в основном за счёт развернутых ответов. Хотя, тут стоит заметить, что иногда его уносит немного не в ту сторону и он вполне может путать адреса, координаты или другую информацию, но при этом советы по сбору дополнительных данных даёт вполне грамотные.
Ну, а сервисы, которые позиционируют себя, как заранее предназначенные для геолокации, как видишь, даже в простых ситуациях, не всегда отрабатывают так как хотелось бы. Хотя я не забивал бы на них так сразу, ну и не зацикливался бы на одном гугле. Проведенный эксперимент показал, что каждый сервис ищет информацию и формирует результаты немного по своему. Поэтому, когда ты геолоцируешь что-то действительно важное, и даже если ты сразу нашёл нужное место, есть смысл потратить ещё немного времени и прогнать нужную фотографию через все сервисы. Вполне может случится, что найдётся что-то, что может иметь значение.
Также мы убедились, что наиболее толковый результат рассмотренные сервисы дают только тогда, когда на фото есть выделяющиеся ориентиры или достаточно уникальные объекты. Отсюда ещё один практический совет. Если у тебя есть фотография на которой зафиксировано много разных элементов, и поиск по всей фотографии не даёт результатов, попробуй искать по отдельным ориентирам, вполне может что-то получится.
Ну и ещё одно. Какие-бы не были крутые сервисы, которые ты используешь, как бы ты не был в них уверен, как бы правдоподобно не выглядел ответ, всегда лучше потратить несколько минут и руками перепроверить полученный результат.
Ну, а очевидный вывод в том, что, к сожалению, пока что, ни один сервис не сможет полноценно заменить человека. Да, сервисы, как и любой инструмент, облегчают работу, но, основным инструментом всегда будет твой мозг, и если он работает так как нужно, то ты сможешь найти всё что угодно, независимо от того, чем ты при этом пользуешься.
Твой Pulse.
Подборка лучших инструментов для работы с картами: OSINT по картам. Основные инструменты