Инструменты Google для OSINT. CSE, Alerts, News
Привет, друг! В прошлой статье про Google мы разобрались как пользоваться дорками. И если ты разобрался в этой теме, то уже можешь найти много чего и много где. Но тему нужно раскрыть полностью, ведь не одними дорками богат Google. В своём стремлении расширить и привязать аудиторию к своим ресурсам и сервисам, они создают всё больше новых и всё сильнее расширяют функционал существующих. А так как возможности и функции сервисов гугла, так или иначе, связаны либо со сбором, либо с обработкой информации. То, с точки зрения OSINT, эти возможности нужно изучить и применять.
А потому в этой статье мы разберем какие сервисы Google могут быть использованы в OSINT. И как ими пользоваться. Отдельно отмечу что здесь не буду рассматривать такие штуки как карты, Google Earth и поиск по фото. Потому как, во-первых, ты наверняка и так умеешь ими пользоваться, а во-вторых, если их и рассматривать, то в рамках статей посвящённых именно их функционалу, в комплексе с другими штуками т.к. эти сервисы наиболее эффективны в комплекте с другими инструментами, а не сами по себе. Также не буду упоминать про Pinpoint т.к. про него рассказал в статье про поиск документов.
Programmable Search Engine
https://programmablesearchengine.google.com
Программируемая поисковая система — эта штука задумывалась Google для того, что бы дать возможность владельцам сайтов создавать собственный поисковик для своего сайта на основе гугла. Но её совсем не обязательно использовать именно так. Вернее, в нашем случае, именно так, её мы, вообще, не будем использовать. Основная фишка в том, что мы можем создать свой поисковик на основе возможностей гугла, но настроив поиск на конкретные результаты, либо конкретные сайты.
Естественно данную возможность народ активно эксплуатирует. А потому всяких кастомных поисковиков, под разные задачи наклепали уже целую кучу. С подробным списком ознакомится можно здесь: https://start.me/p/EL84Km/cse-utopia.
Готовые решения это конечно хорошо, но мы разберемся как создать свой поисковик, и как и что там можно настроить. Это особенно полезно будет тем, кому на постоянной основе нужно мониторить какие-то ситуации, либо часто искать какую-то однотипную информацию. Потому что в этом случае элемент автоматизации очень важен и позволяет экономить кучу времени и сил.
Настройка Google CSE
Для начала заходим на сайт программируемой поисковой системы. Здесь будут показаны все поисковики которые мы создадим.
Жмём кнопку «Добавить» и попадаем на страницу создания поисковой системы. Это первичная настройка, потом мы добавим дополнительные параметры. Для начала придумываем название. Это вообще ни на что не влияет, потому пишем то что будет понятно нам. В разделе «Что искать» нам нужно выбрать откуда нам нужна информация. Мы можем ограничить поиск какими-то конкретными сайтами, как показано в подсказке, либо искать во всём интернете. Мы, для примера, создадим поисковик который будет искать документы, по нужному нам запросу, на сайтах с доменом gov.ru. Вписываем *.gov.ru и жмём «Добавить«
В нашей ситуации включать поиск изображений и безопасный поиск не нужно. А потому решаем капчу и жмём «Создать». После этого мы увидим сообщение, что поисковая система создана. И нам дадут ссылку для встраивания на наш сайт, которая конечно же нам не нужна.
А нужна нам кнопка «Настроить«, так как наш поисковик пока что будет искать немного не то, что нам нужно. Нажав на кнопку «Настроить» мы попадаем в меню обзора нашего поисковика. В первую очередь нам нужен раздел «Функции в результатах поиска«. Здесь можно ограничить поиск конкретным регионом, но так как мы задали конкретный домен, то, в нашей ситуации, делать этого смысла нет. Эта опция может пригодится когда мы выбираем пункт «Поиск во всём интернете«.
Потому жмём «Все настройки функций в результатах поиска» и попадаем в меню расширенной настройки. В этом меню, нам нужен раздел «Уточнения результатов поиска«. В котором, используя дорки гугла, мы будем объяснять нашему поисковику, что конкретно мы хотим. Для этого жмём кнопку «Добавить«. И в открывшемся окне вписываем название «PDF» (ну или какое тебе удобнее). Оставляем отметку «Искать на сайтах с этим уточнением«. В разделе «Прикрепление сайтов» отмечаем «*.gov.ru«. После чего разворачиваем вкладку «Дополнительно» и в открывшемся поле вписываем filetype:pdf. Ну и жмём «Сохранить».
Мы создали правило для поиска документов в формате pdf. Теперь, по такому же принципу, добавим другие форматы:
Для таблиц Excel, с дополнительным параметром: filetype:xls OR filetype:xlsx OR filetypet:csv
Для документов Word, с дополнительным параметром: filetype:doc OR filetype:docx OR filetype:odt OR filetype:ods OR filetype:odp
Ну можно ещё, при необходимости, добавить поиск презентаций или txt. Ну или другие форматы, в которых есть потребность.
Теперь настроим ещё один, не лишний, момент. Возвращаемся в окно «Функции в результатах поиска» и переходим в раздел «Расширенные настройки«. Открываем пункт «Сортировка результатов» и там где «Сортировка результатов веб-поиска по умолчанию» выбираем «Date«. Это нужно чтобы результаты сортировались по дате т.к. нам нужны наиболее актуальные документы.
Теперь когда мы откроем наш поисковик и введём какой-то запрос, то сможем выбрать документы какого формата нас интересуют, а результаты будут отсортированы по дате.
Ну и, если хочется заморачиваться, то можно перейти в раздел «Внешний вид» и кастомизировать всю эту историю под себя. Выбрать шрифт, цвета, тему оформления и так далее. На результат не влияет, но пользоваться приятней.
Я думаю, с программируемой поисковой системой всё более-менее понятно. Я показал один из возможных вариантов применения, что бы был понятен смысл как это работает и как это применять. Ну а ты теперь, по такому же принципу, можешь создать поисковик сильно замороченей и более функциональней, т.е. под любые свои цели и потребности. Всё зависит только от фантазии.
Google Alerts
Следующий полезный ресурс, который мы рассмотрим, это Google Alerts. Смысл его в том, что бы информировать, если появляется новая информация по интересующей нас теме или темам. При чём, всё это можно довольно точно настроить. А с учётом того, что дорки там тоже работают, то выдачу результатов можно настроить не просто точно, а очень точно.
Особенно Google Alerts будет полезен всяким журналистам, для мониторинга наиболее актуальных событий. Но это лишь один из возможных, очевидных, вариантов применения. Если не зацикливаться на теме OSINT, а, например поговорить про крипту. То можно создать оповещалку мониторящую ситуацию с эирдропами и информирующую, если появляется новый дроп или инфа по существующим.
В общем вариантов применения можно придумать много и под разные задачи и ситуации. Давай, чтобы посмотреть как это работает, для примера, создадим оповещение о протестах в Молдове. Замысел будет в том, что если появляются новости о митингах, нам сразу прилетает информация.
Идём на страницу Google Alerts: https://www.google.com/alerts. И начинаем с того, что используя прямой слэш, перечислим ключевые слова для нашего запроса.
Настройка Google Alerts
Так как это первая настройка, то мы пока ограничимся только ключевыми словами. Но, в последующем, когда увидим как это работает, то станет понятно, что нужно корректировать. И, используя другие дорки, сможем настроить более тонко. Из наиболее актуального, это частенько приходится убирать из результатов какие-то сайты, используя дорк site: и оператор — (минус). Либо добавлять корректирующие запросы, используя кавычки и звёздочки.
Но пытаться сразу создать идеальный алерт и максимально точный запрос я очень не советую. Это именно та ситуация когда нужно двигаться от большего к меньшему. Смысл в том, что мы создаём обобщённый алерт, который будет давать кучу результатов. Затем какое-то время мониторим что он нам показывает и начинаем вносить коррективы. Таким способ мы допилим наш алерт до идеального результата и гарантированно ничего не провтыкаем и, случайно не уберем нужный источник.
После того как мы вписали ключевые слова, в поле «Источник» выбираем какие мы хотим получать результаты. В нашем случае это будут: новости, блоги, видео и обсуждения. Дальше в поле страна, выбираем Молдову. Вид доставки — RSS-фид. И вот на этом пункте нужно остановиться более подробно. Но, сначала, жмём кнопку «Создать оповещение«.
RSS
Так что там с RSS? Есть мнение что эта технология немного мертва. На эту тему можно долго спорить, но мы не будем. Потому как если у тебя есть хотя бы минимальная необходимость что-то где-то мониторить, то я очень советую её использовать. А вот когда попробуешь, вопросы о полезности и актуальности RSS у тебя точно отпадут.
Для начала нам понадобится читалка. Их существует немало, потому вопрос выбора это дело вкуса и личных предпочтений. Лично мне нравится Inoreader. Т.к. функционала бесплатной версии мне вполне хватает и есть удобное приложение на телефон. Потому я покажу что делать на примере Inoreader. Но в любой другой читалке, всё будет если не точно так же, то очень похоже.
Inoreader
Для начала, естественно, нужно зарегистрироваться. После этого мы увидим информационную панель, которая пока что пустая. Теперь добавим сюда наш алерт. Для этого возвращаемся к Google Alerts, и жмём правой кнопкой на значёк RSS рядом с нашим оповещением. Выбираем «Копировать адрес ссылки»
Возвращаемся в Inoreaer и, в меню «Ленты«, жмём «Add new» и выбираем «Лента«. Когда мы вставим туда ссылку, то автоматически увидим наш алерт. Остаётся нажать кнопку «Отслеживать» и он появится в меню «Ленты».
Теперь, для большего удобства, можно ещё немного настроить нашу ленту. Рядом с названием меню «ЛЕНТЫ» жмём шестерёнку, чтобы увидеть настройки наших лент. Ну. вернее, пока только одной.
В появившемся окне, можем нажать на название нашего алерта и немного поредактировать настройки. Изменить его название на более удобное и поменять время обновления ленты, на нужное нам.
В некоторых случаях, как в нашем например, стоит создать дополнительные правила. Для этого жмём значок «Создать правило». И, в открывшемся окне, выбираем условие и что нужно делать. Для примера сделаем, чтобы, если появится новость с видео, то ей должен быть присвоен соответствующий тэг. Учитывая выбранную тему, это весьма полезный вариант использования правил.
Если внешний вид информационной панели тебя не устраивает, ты можешь создать свою или даже несколько, с разной информацией. В правом верхнем углу жмёшь «Создать информационную панель» и добавляешь окошки которые тебе хотелось бы видеть. Ну и не стоит ограничиваться только одними алертами. Можно добавить RSS-ленты новостных сайтов. Ну или телеграм-каналы. После чего используя правила, ключевые слова и фильтры мониторить нужную тебе информацию. Плюс этого способа в том, что всё делается в одном месте и все результаты собираются в одну подборку. В общем способов и вариантов применения огромное количество. А как использовать зависит от задач и целей.
Google Новости
Ну и ещё один инструмент Google. Не такой универсальный и многофункциональный как предыдущие, но, в некоторых ситуациях тоже бывает не лишним. Google Новости позволяет отслеживать новостные публикации по заданным темам. Сама по себе новостная лента не особо поддаётся настройке и позволяет только выбрать список интересующих тем из предложенных вариантов. Это, вроде как, соответствует основной цели этого ресурса т.е. ознакомится со списком актуальных новостей, но в осинте польза очень посредственная.
Но есть и полезные фишки. В расширенном поиске мы можем довольно точно отфильтровать какие новости нас интересуют и за какой промежуток времени. Т.е., по сути, то же, что и дорки, но применяется к новостным сайтам.
И ещё одна полезная фишка это отслеживание новостей в зависимости от места. Для использования, во вкладке «Местные новости», в настройках выбираем места которые нас интересуют. Иногда бывает полезно, потому знать о такой возможности стоит.
Итог
В общем, если подытожить эту статью и статью про дорки, то получается, что только используя возможности гугла и твоего мозга, можно найти и собрать огромное количество информации о людях, событиях, местах, объектах и вообще о чём угодно. А самое интересное в этой ситуации то, что при этом не придётся использовать какие-то специализированные дистрибутивы Linux и всякий замороченный софт. Это я к тому, что OSINT это не про инструменты, а про навык. А чтобы этот навык приобрести нужна практика, которая постепенно трансформируется в опыт.
Я показал тебе варианты использования гугловских сервисов, а тебе остаётся только начать применять эти сервисы и нарабатывать опыт. И постепенно будет получаться лучше и качественнее.
Твой Pulse.