CSI Linux. Полное руководство по OSINT. Часть 2.

Опубликовано 15.08.202015.04.2023 автором Pulse

Привет, друг. Продолжаем изучать утилиты встроенные в CSI Linux. В прошлой статье, посвященной этому дистрибутиву, мы ознакомились с разделом Domain Tools (если пропустил она ЗДЕСЬ). Ну, а сегодня, без долгих вступлений, переходим непосредственно к разделу OSINT. И тут есть на что посмотреть.

CSI Linux. Полное руководство по OSINT. Часть 2

Содержание:
1. EyeWitness
2. FBI Facebook Information
3. Infoga
4. Instaloader
5. LittleBrother
6. Sherlock
7. Metagoofil
8. Recon-NG
9. OSINT-Search
10. SkipTrace
11. SpiderFoot
12. Tinfoleak

CSI Linux Social Media Search

Первым пунктом у нас CSI Social Media Search. Здесь можно создать кейс, как в разделе Domain Tools. Он также будет сохранен в папке Cases, в домашнем каталоге. Туда будут сохранятся результаты работы по цели этого проекта.

EyeWitness

https://github.com/FortyNorthSecurity/EyeWitness

EyeWitness — это программа для снятия скриншотов сайтов и сбора информации из заголовка сервера.

использование: EyeWitness.py 
Протоколы:
    --web HTTP Скриншот используя Selenium
Параметры ввода:
    -f Filename Файл, содержащий на разных строках URL-адреса для захвата 
    -x Filename.xml Nmap XML или .Nessus file
    --single URL Единичный URL / Хост для захвата
    --no-dns Пропускать разрешение DNS при подключении к веб-сайтам
Параметры времени:
    --timeout Timeout Максимальное количество секунд ожидания при запросе веб-страницы (по умолчанию: 7)
    --jitter № of Seconds
Рандомизировать URL-адреса и добавить случайную задержку между запросами
    --threads № of Threads
Количество потоков, используемых при использовании ввода на основе файлов
    --max-retries Максимальное количество попыток по таймауту
Параметры вывода отчета:
    -d Directory Name Имя каталога для вывода отчета
    --results Hosts Per Page
Количество хостов на страницу отчета
    --no-prompt Не предлагать открыть отчет
Web Options:
    --user-agent User Agent
User Agent для использования для всех запросов
   --cycle User Agent Type
Тип User Agent (Browser, Mobile, Crawler, Scanner,Misc, All)
    --difference Difference Threshold
Порог разнSkipTraceицы при определении, если запросы user agent близки к "достаточно" (по умолчанию: 50)
    --show-selenium Показать selenium
    --resolve Разрешить IP/Hostname для целей
    --add-http-ports ADD_HTTP_PORTS
Разделенные запятыми, дополнительные порты допустимые для http (например '8018,8028')
    --add-https-ports ADD_HTTPS_PORTS
Разделенные запятыми, дополнительные порты допустимые для https (например '8018,8028')
    --only-ports ONLY_PORTS
Список эксклюзивных портов, разделенных запятыми (например, '80, 8080 ')
    --prepend-https Добавлять http:// или https:// к URLs без них
Параметры возобновления:
    --resume ew.db Путь к файлу db, если вы хотите возобновить
RDP Опции:
    --ocr Использовать OCR для определения RDP имени пользователя

Запускается EyeWitness очень просто. Нам нужно после параметра —web, указать целевой сайт. Если мы хотим сделать скриншоты целой пачки сайтов, то нужно создать текстовый файл и на каждой новой строчке записать адрес целевого сайта. И указать этот файл, после параметра -f. Если нужен только один сайт, то его адрес указываем после параметра —single. Остальные параметры используем по вкусу, они не обязательны.

cd /opt/EyeWitness
./EyeWitness.py --web --single https://hacker-basement.com

В итоге EyeWitness сделает скриншот той страницы на которую мы дали ссылку и покажет нам заголовок этого сайт. Отчет будет сохранен в папке программы.

FBI Facebook Information в CSI Linux

https://github.com/xHak9x/fbi

FBI Facebook Information — это утилита для анализа и управления своим аккаунтом Facebook. Её можно использовать и для поиска, вот только для этого придется напроситься в друзья к нужному человеку. Потому что она может собирать данные только по аккаунтам друзей. Ещё один не очевидный вариант применения это если у тебя есть доступ к какому-то аккаунту и нужно его и его друзей быстро проанализировать, то FBI вполне с этим справится.

Для начала использования, после запуска, вводим help для вызова справки.

get_data           получение данных всех друзей
get_info           показать информацию о вашем друге

dump_id            получение всех id из списка друзей
dump_phone         получение всех телефонных номеров из списка друзей
dump_mail          получение всех emails из списка друзей 
dump_<id>_id       получение всех id друзей, пример: dump_username_id

token              Создать токен доступа
cat_token          покажи свой токен доступа
rm_token           удалить токен доступа

bot                открыть меню бота

clear              очистить терминал  
help               показать справку 
about              Показать информацию об этой программе
exit               Выйти из программы

Что бы все работало нужно создать токен доступа. Для этого вводим команду token. Затем нас попросят ввести наше имя пользователя на Facebook и пароль от аккаунта.

Какие данные мы можем получать? Тут все довольно просто. Сначала вводим команду get_data чтобы утилиты скачала всю нужную информацию, а потом потому вводим команду для получения нужной нам информации.

Ещё одна интересная возможность, это непосредственно управление аккаунтом. Для этого вводим команду bot и попадаем в соответствующее меню.

[ 01 ] автоматические реакции
[ 02 ] автоматическое комментирование
[ 03 ] автоматический ответ
[ 04 ] принимать все запросы в друзья
[ 05 ] удалить все сообщения в ленте
[ 06 ] удалить всех друзей
[ 07 ] перестать подписываться на всех друзей
[ 08 ] удалить все фотоальбомы
[ 00 ] вернуться в главное меню

Это меню позволяет автоматизировать некоторые некоторые процессы. Какие именно мы видим из справки.

Hunchly

Hunchly — очень крутая утилита, которая, в процессе посещения сайтов, позволяет сохранять определенные результаты. Делать заметки, сохранять фотографии, файлы, ведет лог посещения страниц. А ещё поможет автоматически находить нужную информацию, по ключевым словам и помечать её. Возможности Hunchly максимально раскрываются при проведении масштабных расследований, когда нужно сохранить огромное количество страниц, что бы потом можно было к ним вернуться, сделать пометки, сохранить фото, а потом ещё и отфильтровать нужную информацию. Единственный минус в том что она платная. Но для получения бесплатного ключа на 30 дней нужна только электронная почта.

Использование Hunchly

Сама программа состоит из двух частей. Это непосредственно программа и расширение браузера. Работает Hunchly только с Google Chrome. В CSI Linux все это уже установлено, так что возится не придется.

Для начала использования запускаем саму программу и создаем новый кейс. Для этого давим на плюсик в левом верхнем углу и придумываем название. Теперь открываем браузер и жмем на кнопку расширения Hunchly.

Здесь в поле Case выбираем созданный нами кейс и включаем захват. Теперь все посещенный нами страницы будут сохранятся в приложении. Но это только начало. Из полезного: мы можем нажать правой кнопкой мыши на любое изображение и сохранить его в Hunchly, или добавить к нему заметку, которая тоже сохранится в приложении.

Также мы можем выделить любой текст и, нажав правой кнопкой мыши на нем, выбрать Capture. Эта страница будет дополнительно сохранена с нашим выделением, и мы сможем вернуться к ней позже. В принципе, подобным способом можно сохранять любые элементы.

Ещё одна удобная фишка это селекторы. Селектор — это такой фильтр, по которому можно находить нужную информацию. Например, если создать селектор CSI, то в списке сохраненных страниц будут помечаться страницы на которых есть это слово. А если выбрать селектор из списка, то мы увидим список страниц на которых он встречается.

Также к страницам можно добавлять теги. Это отметки по которым можно понять к какой именно теме относятся помеченные страницы.

Если нужно временно остановить работу программы, то открываем расширение браузера и отключаем захват. Это позволяет в любой момент вернуться к работе, не засоряя логи ненужными страницами.

Infoga

Infoga — позволяет автоматизировать процесс сбора информации об адресе электронной почты, используя возможности поисковых систем. Также может собирать адреса email с сайтов. Я уже упоминал об этой утилите в статье про поиск по адресу электронной почты (ЗДЕСЬ). В этой статье разберем её чуть подробней.

https://github.com/m4ll0k/Infoga

При запуске из меню CSI Linux мы видим справку.

Использование: infoga.py [OPTIONS]
-d --domain Целевой URL/Name 
-s --source Источник данных, по умолчанию "all": 
    all Использовать все поисковые системы 
    google Использовать поисковую систему Google 
    bing Использовать поисковую систему bing  
    yahoo Использовать поисковую систему yahoo  
    ask Использовать поисковую систему ask 
    baidu Использовать поисковую систему baidu 
    dogpile Использовать поисковую систему dogpile 
    exalead Использовать поисковую систему exalead  
    pgp Использовать поисковую систему pgp 
-b --breach Проверить, не взломана ли электронная почта 
-i --info Получать информацию об электронной почте 
-r --report Файл с текстовым отчетом 
-v --verbose уровень вербальности (1,2 или 3) 
-H --help Показать это сообщение и выйти

Использовать Infoga очень просто. Если нам нужно проверить сайт на предмет наличия адресов, то после параметра —domain указываем нужный нам сайт.

python3 infoga.py --domain hacker-basement.com

Если нужно попробовать собрать информацию о каком-то конкретном адресе электронной почты, то используем команду —info. И указываем адрес почты. Если добавить параметр -b то адрес будет проверен по базе утечек http://haveibeenpwned.com/.

Instaloader в CSI Linux

https://github.com/instaloader/instaloader

Instaloader — это программа для скачивания данных и содержимого профиля из Instagram. Может скачивать все фото, видео, сториз и коментарии из аккаунта. Также собирает данные геопозиции и хештеги

Для обычного запуска, который подходит в большинстве случаев, достаточно просто ввести имя нужного нам аккаунта.

./instaloader.py smugone

Сразу начнется выгрузка содержимого аккаунта. Если нет необходимости качать прям все содержимое, можно, используя параметры из справки, определить что именно мы хотим выгрузить. Все скачанное будет помещено в папку программы.

Тут ещё есть небольшой нюанс с закрытыми аккаунтами. Чтобы скачать содержимое закрытого аккаунта, нужно через Instaloader войти в свой аккаунт. Для этого в конце дописываем параметры —login и —password, ну и свой логин и пароль соответственно тоже вписываем.

LittleBrother

https://github.com/lulz3xploit/LittleBrother

LittleBrother — это комплексный инструмент для поиска. Но про него я не буду особо рассказывать потому, что он заточен для поиска по Франции, Швейцарии, Люксембургу и Бельгии. Я не уверен, что моим читателям это особо актуально. А потому просто упомяну о нем т.к. он есть в CSI Linux. Ну а те кому актуально, на скрине ниже могут увидеть где и что он может искать.

Sherlock

https://github.com/sherlock-project/sherlock

Sherlock — это утилита для поиска по никнейму. Про неё в частности и про поиск по никнейму в целом я писал отдельную статью и делал видео. Если вдруг пропустил можешь ознакомиться здесь:

https://hacker-basement.com/2020/04/10/poisk-po-soc-sherlock-snoopproject/

Metagoofil в CSI Linux

https://github.com/laramies/metagoofil

Metagoofil — это инструмент для сбора метаданных с документов лежащих на сайте. Как бонус он эти документы скачивает. А потому если метаданные не интересуют, но надо по быстрому выкачать все документы с сайта, то Metagoofil отлично с этим справится. Использовать эту утилиту в CSI Linux максимально удобно т.к. все уже настроено. При запуске нас попросят придумать имя для нового кейса. А потом ввести адрес сайта который нас интересует.

Когда мы введем адрес цели нам останется только немного подождать. Metagoofil найдет и скачает до 500 документов формата pdf, doc, xls, ppt и т.д. После скачивания откроется браузер где будет сформирован отчет по найденным метаданным. Из каждого найденного документы Metagoofil постарается извлечь имя пользователя, электронную почту, название программы в которой создан документ, и путь к файл на том устройстве на котором он создавался. Сам отчет и скачанные файлы будут лежать в папке Cases в домашнем каталоге пользователя.

Recon-NG

https://github.com/lanmaster53/recon-ng

Recon-NG — это такой Metasploit из мира OSINT. Для выполнения задач по поиску используются загружаемые модули. У каждого модуля есть свои настраиваемые параметры. После запуска, чтобы увидеть модули вводим команду modules search.

Модули, в свою очередь, разбиты на группы, а группы на подгруппы, в зависимости от их возможностей. По названиям групп и самих модулей, я думаю, не трудно разобраться что они делают. Чтобы применить какой-то модуль вводим команду modules load и вписываем название нужного модуля. Затем, если хотим посмотреть информацию о модуле используем команду info. Для настройки модуля, сначала смотрим доступные опции. Для этого вводим команду options list. Чтобы изменить какую-либо опцию используется команда options set затем нужно ввести название опции и параметр которые мы хотим ей присвоить.

Например, если мы загрузим модуль discovery/info_disclosure/interesting_files. То, нам нужно, в первую очередь задать цель этому модулю. И запустить его командой run.

modules load discovery/info_disclosure/interesting_files
options list
options set SOURCE hacker-basement.com
run

После запуска выбранный модуль отработает и покажет результат. Логика использования одинаковая для всех модулей. Отличатся могут только настраиваемые опции. А потому немного поэкспериментировав с разными модулями ты быстро разберешься с этой программой. Ну и выберешь для себя набор полезных модулей, в зависимости от своих задач.

Для использования некоторых модулей, использующих возможности поисковых систем, социальных сетей и вообще сторонних ресурсов нужно добавить свои API. Чтобы увидеть список ресурсов, API которых можно добавить вводим команду keys list. А чтобы добавить API вводим keys add название ресурса из таблицы keys list и сам ключ.

OSINT-Search

https://github.com/am0nt31r0/OSINT-Search

OSINT-Search — это ещё один инструмент в CSI Linux для OSINT аккумулирующий возможности сторонних сервисов. Таких как Pipl, FullContact, Cnam, Shodan, WhatCMS, Censys, TowerData. Чтобы все функции работали нужно вписать API ключи от всех перечисленных сервисов в файле osintSearch.config.ini который лежит в /opt/OSINT-Search/.

После запуска видим справку.

Хотя, здесь скорее не справка, а примеры использования, разбитые по категориям. Какого-то особенного функционала здесь нет. Для использования возможностей каждого сервиса отдельная команда запуска. Каких-либо дополнительных настрое тоже нет. Насколько целесообразно использовать подобную утилиту, вопрос спорный. Лично мне не нравится.

Например если применить команду сбора ссылок с сайты:

./osintS34rCh.py -u https://hacker-basement.com --extract

То OSINT-Search конечно соберет ссылки с сайта. Но каким-либо способом их отфильтровать, как например в Get Links, нельзя.

SkipTrace

SkipTrace — это ещё один инструмент для сбора данных и поиска информации. После запуска нужно выбрать пункт меню, исходя из того по каким данным необходимо провести поиск. При выборе какого-либо пункта, будут показаны варианта проведения поиска, можно выбрать какой-то конкретный или задействовать все сразу.

Выглядит неплохо, но проблема в том, что все заточено под США. Опытным путем установлено, что в RU сегменте он практически бесполезен.

SpiderFoot в CSI Linux

https://github.com/smicallef/spiderfoot

SpiderFoot — это инструмент для комплексного анализа и сбора информации о цели. При работе может использовать около 100 модулей для получения информации. При запуске откроется веб-интерфейс на странице создания нового сканирования.

Здесь нужно придумать название для нового сканирования и задать цель. В качестве цели может выступать доменное имя, поддомен, IP, диапазон IP, адрес электронной почты, номер телефона или данные человека.

После указания цели нужно выбрать способы и методы поиска информации. Здесь есть четыре режима по-умолчанию:

All — Получите все и вся о цели. В этом режиме будут задействованы все модули SpiderFoot. Искать будет очень долго, найдет дофигища всего. Часть того, что найдет не будет иметь к цели никакого отношения. Но, среди найденного, будет достаточно много интересной информации.
Footprint — Понять, какую информацию эта цель предоставляет в Интернет. Будет собранная техническая информация о цели, а также задействованы возможности поисковых систем.
Investigate — Лучше всего, когда вы подозреваете, что цель является вредоносной, но нуждаетесь в дополнительной информации. Прогонит цель по всяким черным спискам, базам утечек и соберет общую информацию.
Passive — Когда вы не хотите, чтобы цель даже подозревала, что по ней проводят расследование. В этом режиме будут задействованные только пассивные модули для сбора информации. К самой цели запросы делаться не будут.

Если готовые варианты поиска тебя, по какой-то причине не устраивают. То можно собрать свой кейс. Для этого есть два подхода:

By Required Date — кейс формируется на основе того какую необходимо получить информацию.
By Module — тут можно самостоятельно выбрать модули которые будут задействованы.

Использование SpiderFoot в CSI Linux

Отдельно стоит отметить вкладку с настройками. У каждого модуля есть свои параметры, но без явной необходимости тут что-то крутить не стоит. А стоит обратить внимание на модули возле названия которых стоит замок. Это означает что для полноценной работы модуля ему необходим API ключ. Потому если есть желание задействовать все возможности SpiderFoot то ключи придется добавить.

После запуска начнется сканирование. И сказать, что оно будет длится долго это ни сказать ничего. Но, как результат SpiderFoot найдет очень много информации.

В процессе сканирования, в реальном времени будет строится диаграмма отчета. При нажатии на нужные столбец мы увидим отчет именно по этому пункту. Где будет детально расписано где и что было найдено, а также вся доступная информация по конкретному пункту.

Можно нажать на вкладку Graph где мы увидим отчет по связям цели в графическом виде.

Как вывод. SpiderFoot штука прикольная, информации собирает огромное количество. Знать о нем однозначно стоит. Из минусов это медленная скорость работы и частенько цепляет информацию не имеющую отношения к цели. В итоге чтобы найти что-то действительно важное придется сначала подождать пока закончится анализ, а потом ручками монотонно перебирать тонны собранной информации.

Tinfoleak

https://github.com/vaguileradiaz/tinfoleak

Tinfoleak — это утилита анализа аккаунта в Twitter. Умеет скачивать данные из твитера, анализировать активность пользователя и собирать статистическую информацию. По результатам работы формирует отчет в файле html.

После запуска в поле User нужно указать имя нужного нам аккаунта. В разделе Operation указываем какое количество каких данных анализировать и выбираем какие данные включить в отчет. После чего запускаем программу и немного ждем. Итоговый отчет будет сохранен в папке /opt/tinfoleak/Output_Reports/. А в папке с именем изучаемого аккаунта будет лежать фотографии профилей его друзей и подписчиков.

Ну, а на этом наше знакомство с CSI Linux можно считать оконченным. Но не забывай возвращаться ведь впереди ещё много интересного.

Твой Pulse.