YouTube. Как искать информацию. Дорки и инструменты OSINT
Привет, друг. Я думаю, что ты согласишься, что видео это более наглядный, а главное достоверный источник информации. Да, конечно, случаются и постановочные, и фейковые видео. Но если брать усреднённо, то факт зафиксированный на видео, выглядит гораздо более убедительно, чем всё тоже самое, но описанное, например, в тексте. Именно по этому видео-фейки работают гораздо лучше чем любые другие, но об этом как-нибудь в другой раз. Ещё один факт в том, что на YouTube собран огромный объём информации. А это означает, что нам нужно научится её эффективно находить.
Ладно, перестаю писать очевидные вещи. В общем, смысл в том, что если где-то накопилось много информации, то может случится так, что искать её там станет сложновато. Что делать? Можно, конечно, конвертировать время в результат. И по принципу «не мытьём, так катаньем» лопатить результаты поиска, в надежде найти что-то нужное в первой сотне результатов. Потому, что на второй ты задолбаешься и закроешь браузер.
Но, если ты читаешь эту статью, значит тебе такой подход не очень нравится. Ровно как и мне. А потому мы сегодня будем разбираться как более эффективно искать что-то на YouTube. А именно разберем как вообще работает поиск, какие бывают поисковые операторы и как их использовать. Ну и кроме того, посмотрим несколько полезных инструментов, которые тоже могут облегчить работу.
Механика поиска
Если мы хотим научится использовать поиск YouTube чуть лучше чем это делает среднестатистический пользователь, то сначала нужно разобраться как он (поиск, не пользователь) устроен и как работает. Т.е. нужно понять механику процесса. Помимо того что это само по себе логично, это ещё и серьёзно повышает твою эффективность с точки зрения скорости и точности.
В этом вопросе есть два отдельных направления. Это то как YouTube индексирует информацию и то как он обрабатывает пользовательские поисковые запросы.
Как YouTube индексирует видео
Для начала, как работает индексация. Проще всего сравнить этот процесс с библиотечным каталогом. В котором информация о книгах, рассортирована в зависимости от темы, автора, годов и так далее. Ну и конечно же там отмечено, где именно, на каких полках и местах эти книги лежат. Тут работает приблизительно так же. Когда кто-нибудь, типа меня, загружает видео, YouTube анализирует это видео, выбирает определённый набор ключевых данных, которые будут характеризовать это видео. И записывает их себе в базу данных, помечая что эти данные соответствуют такому-то видео.
Именно по этой базе данных и происходит поиск когда мы что-то ищем через поисковик. И по количеству параметров подходящих под поисковый запрос, определяется релевантность видео, а соответственно и его позиция в поисковой выдаче. Ну, а значит начать нужно, с понимания какую именно информацию YouTube собирает в процессе индексации:
- Заголовок видео. Это один из самых важных параметров. По ключевым словам в заголовке YouTube определяет главную тему видео. Это понимает не только Ютуб, но и все, или почти все, авторы каналов. Которые пытаются придумывать название видео так, что бы оно содержало максимум ключевых слов. А вот что знают не все авторы, так что YouTube не оценивает смысловую нагрузку названия, потому как он не индексирует предлоги и не учитывает падежи.
- Описание видео. Это второй по важности параметр при индексации видео. YouTube подразумевает что в описании автор кратко пересказывает содержание самого видео. И, исходя из этого понимания, он анализирует описание, и также выбирает там ключевые слова и фразы.
- Тэги видео. На сколько теги важны для продвижения видео, и сколько их должно быть это вечный спор всех СЕОшников. Единственное в чём они единогласный, это в том что теги точно должны быть. Потому как они задуманы именно как перечисление ключевых слов, отражающих тему видео. Но, по той причине, что автор видео, манипулируя, может вписать туда всё что угодно, теги имеют меньший вес чем заголовок и описание. Кроме тех случаев когда ключевые слова из тегов совпадают с описанием, заголовком и текстов субтитров.
- Субтитры. Если автор видео не загрузил субтитры, то YouTube сам их сгенерирует. Ну и в любом из этих случаев YouTube субтитры проиндексирует. Он по ним ещё и определяет ключевые темы в видео, даже если их нет в описании и названии. Не очень понятно на сколько сильно это влияет на ранжирование видео и на его место в поисковой выдаче, но это явно имеет какое-то значение, потому помнить об этом нужно.
- Название канала. Название канала, загрузившего видео, индексируется вместе с самим видео. Именно поэтому в поисковый запрос, кроме темы видео, можно смело добавлять название канала. Если оно известно, конечно.
- Активность зрителей. Под активностью подразумевается количество просмотров, лайков, комментариев, репостов, а также удержание т.е. продолжительность просмотра. Эти значения также влияют на позицию видео в поисковой выдаче. Видео с высокой активностью YouTube считает более качественным, а значит релевантным. Соответственно их позиция в поиске будет выше и найти их будет легче. Текст комментариев, кстати, тоже индексируется. Вряд ли это может сильно отражаться на поисковой выдаче, но в общей массе параметров это стоит учитывать.
Как YouTube обрабатывает поисковый запрос
Теперь рассмотрим непосредственно механику поиска. Что именно делает YouTube когда мы что-то вписываем в поле поиска. Этот процесс условно можно разделить на этапы.
Первый этап это обработка самого запроса для выделения ключевых слов, работает это так:
- Первоначально поисковый запрос разбивается на отдельные слова. Также происходит определение наличия в запросе поисковых операторов. И если они есть, они распознаются как команды для модификации поиска.
- Из запроса удаляются слова не несущие смысловой нагрузки. В зависимости от языка это могут буть всякие предлоги или артикли или ещё что-то такое. Ну и естественно YouTube понимает на каком языке введен запрос, соответственно все манипуляции происходят с учётом языка запроса. Кроме того Ютуб умеет в синонимы, поэтому если он не найдёт достойные совпадения по ключевым словам, он будет искать что-то похожее.
- Далее слова из запроса приводятся к своей базовой форме. Это не особо важный для нас момент, но что бы было понимание, базовая форма для существительных это именительный падеж, единственное число. Например для слова «блогеров» базовая форма — «блогер». А в случае с глаголами это инфинитивная форма, т.е. для «искали» это «искать».
- Также YouTube проверяет орфографию и если в запросе есть ошибки или опечатки он попробует их исправить.
Второй этап это определение желания пользователя. Т.е. YouTube пытается понять с какой целью ты вводишь свой запрос, это может быть:
- Информационный запрос. Т.е. тебе нужна информация по теме, а не какое-то конкретное видео. Например: «как собрать ядреный реактор в домашних условиях» — это информационный запрос, подразумевающий что нам нужно увидеть процесс.
- Навигационный запрос. Это поиск какого-то конкретного видео или канала. Или конкретного видео с указанного канала. Например: «видео пулса про осинт в телеграм» это навигационный запрос, потому как указано какое именно видео какого автора мы хотим найти.
- Транзакционный запрос. Здесь подразумевается что мы хотим увидеть определенный тип контента. Например запрос «смешные котики» будет транзакционным т.к. мы высказываем намерение смотреть котиков и это должно быть весело. Соответственно все остальные параметры нам не особо важны.
Третий этап это обращение к индексированным данным. На этом этапе YouTube, имея обработанный запрос пользователя сопоставляет его с данными в индексе, и ищет видео, каналы и плейлисты которые содержат в своих метаданных нужные ключевые слова. Если в запросе были использованы поисковые операторы, ты они используются именно на этом этапе, сужая или расширяя круг поиска.
Четвёртый этап это оценка и ранжирование результатов. Найдя все результаты, подходящие под запрос пользователя, YouTube оценивает каждый на предмет релевантности и качества. Кроме того к этим результатам применяются всякие дополнительные фильтры. Например на предмет соответствия правилам YouTube. Если видео не соответствует, то какое бы оно классное не было, его может вообще не быть в результатах поиска, либо его рейтинг будет занижен. Кстати, чтобы этот фильтр обойти, нужно искать через Google, там этот фильтр не применяется. Но об этом ниже.
Ещё один фильтр, который может сильно повлиять на результаты, это персонализация поиска. Надо помнить, что YouTube учитывает историю просмотров и историю прошлых поисков, и это может влиять на результаты текущего поиска.
После выполнения всех этих этапов и учёта всех данных и параметров, список с результатами будет показан пользователю.
Ну что ж. Это был краткий и очень сжатый рассказ о том как устроен поиск YouTube. И хоть я рассказал только про ключевые моменты, но этого достаточно что бы в целом понять как это можно использовать для целей OSINT.
Поисковые фильтры YouTube
Если ты собрался что-то искать в YouTube, то перед тем как усложнять себе жизнь использованием поисковых операторов или каких-то сторонних инструментов, вспомни что там в поиске есть встроенные поисковые фильтры.
Этих фильтров в некоторых ситуациях достаточно, что бы сузить результаты поиска до каких-то приемлемых количеств. Тут есть 4 параметра по которым можно отфильтровать результаты. По дате загрузки, по типу контента (видео, канал, плейлист), по продолжительности и наличии дополнительных функций, типа геотегов или субтитров. А также, отдельно можно выбрать тип сортировки результатов: по дате загрузки, по числу просмотров и по рейтингу.
Кроме того, нужно помнить, что все эти значения из фильтров мы можем вписывать в поле поиска, они тоже будут операторами поиска. Например если написать в поиске:
osint, shorts, this week
Нам найдёт шортсы на тему осинта, опубликованные на этой неделе.
Поисковые операторы. YouTube dorks
Раскроем тему операторов детально. Я думаю, вряд ли ты удивишься, узнав что поисковые операторы ютуба очень похожи и во многом пересекаются с поисковыми операторами гугла. Именно по этой причине, если ты вдруг не читал статью про Google Dorks, то начать лучше именно с неё. Но, не смотря на очевидное сходство, различия всё-таки есть. Как есть и нюансы в использовании.
Кавычки «_»
Кавычки это поиск точного совпадения. Принцип использования приблизительно тот же, что и в Google. Т.е. если мы знаем точное название того, что мы ищем, берем это в кавычки и оно ищет нам именно это название. Логика максимально понятная, но есть небольшие нюансы про которые нужно помнить:
- есть мы взяли в кавычки не весь запрос, а только его часть, например какое-то отдельное слово или фразу. То, помимо того, что он будет искать точное совпадение, кавычки ещё и повышают приоритет т.е. то что в кавычках становится обязательным для отображения в результатах и оно по любому будет в поисковой выдаче
- если Google, при использовании кавычек ищет реально точное совпадения, причем в точности до символа, то YouTube, даже с кавычками, иногда немножко использует синонимы или склонения. Кроме того если есть очень популярное видео, не полностью подходящие под наш запрос, но с похожим названием, его тоже может показать вверху списка.
Плюс + и минус —
Это операторы, позволяющие уточнить ключевые слова запроса. Плюс указывает то, что обязательно должно быть в результатах. Например если мы в общем понимаем тему по которой ищем информацию, и при этом, например, знаем ещё и какое-то ключевое слово, которое точно отражает суть нужной информации, позволяя сузить результаты, то это слово мы будем добавлять в запрос используя знак плюс.
Минус, соответственно работает наоборот. Если что-то нам точно не нужно, ставим перед ним минус. В таком случае все результаты, содержащие это слово, будут скрыты.
Прямой слэш |
| это логический оператор ИЛИ. Работает он в соответствии со своим названием т.е. если разделить им несколько запросов, то будут найдены результаты относящиеся или к одному из них или ко всем сразу.
Этот оператор, кстати, полезнее чем кажется на первый взгляд. Потому что может помочь охватить в запросе синонимы или какие-то связанные термины. И хоть YouTube и умеет подбирать синонимы, но не факт что он это сделает правильно. Потому, будет лучше если мы сами ему их укажем.
Звёздочка *
Тоже самое что и в поиске Google. Означает «любое значение» т.е. используем там где подразумевается что в запросе может быть какое-то слово, которого мы не знаем.
Знак доллара $ и две точки ..
Использование знака доллара позволяет найти видео в котором упоминается какая-то цена. Если точную цену мы не знаем, то можно использовать оператор диапазона чисел (две точки), позволяющий искать любое значение в указанном диапазоне (его можно использовать не только для цен, а и для любых диапазонов)
intitle: allintitle: description:
Как понятно из названия эти операторы указывают ютубу где именно необходимо искать.
allintitle: оператор для точного поиска в названии видео. Он будет искать видео, название которого содержит все слова которые мы вписали после двоеточия. Поэтому если мы точно знаем какую-то фразу которая будет в названии нужного нам видео, то лучше использовать именно это оператор, а не кавычки
intitle: тоже ищет по названию, но только то слово, которое указано после двоеточия. Если в запросе будут содержащиеся какие-то ещё слова, они не будут обрабатываться этим оператором, а будут учитываться как обычный запрос.
description: ищет по описанию. Чтобы не оставлять ютубу пространство для самодеятельности т.к., именно в этом случае, он может показать очень приблизительные результаты, лучше использовать кавычки для поиска слов которые нам точно известны. При этом, если контекст не очень понятен, эти слова лучше разделять звёздочками, на случай если они не идут одно за одним.
Кроме того. Мы понимаем, что авторы каналов, как правило, в описании добавляют не только содержание, но и, например, ссылки на свои другие социальные сети. Используя точный поиск и оператор description: можно попробовать поискать связанные соцсети. Ну или, например, все каналы рекламировавшие что-то нас интересующие, потому что ссылка (или название) на это что-то по-любому будет в описании.
before: after:
Это операторы позволяющие искать по дате публикации. В поисковых фильтрах поиск по дате ограничен текущим годом, месяцем, неделей или днём и никаких других вариантов выбрать нельзя. С учётом этого факта, если нужно искать видео за какой-то промежуток времени, то эти операторы становятся не заменимыми. Используя before: мы указываем до какой даты было загружено видео, а используя after: мы указываем после какой даты было загружено видео.
Например, в этом примеры мы дали команду искать видео опубликованные в 2021 году. Дату нужно указывать в формате ГОД-МЕСЯЦ-ДЕНЬ.
Поиск видео в Google
Как я уже говорил, YouTube ранжирует видео в поисковой выдаче, оценивая его по определённому алгоритму. При этом некоторые видео могут вообще не появляться в результатах поиска или их позиции могут быть занижены алгоритмом ютуба. А специфика OSINT в том, что частенько именно эти видео нам и нужны. Поэтому, если ты понимаешь, что ищешь видео, которое потенциально может содержать что-то такое, что может не нравится YouTube. То лучше искать такие видео в поиске Google. Например так:
site:youtube.com "osint * telegram" inurl:watch
Небольшой нюанс. В этом примере я добавил inurl:watch чтобы найти именно видео т.к. URL любого видео содержит слово watch, а URL плейлиста или канала не содержит.
Кроме того нужно помнить что у Google есть расширенный поиск по видео:
https://www.google.com/advanced_video_search
Принцип работы тот же что и у обычного расширенного поиска. Вводим ключевые слова, выбираем дополнительные параметры, типа языка, даты, качества и ищем.
Дополнительные инструменты YouTube OSINT
Теперь разберем сторонние инструменты позволяющие получить дополнительный объём информации.
⨠ https://mattw.io/youtube-metadata
Это инструмента для изучения метаданных конкретного видео и канала в целом. Вставляем ссылку на видео и нам покажет его дату и время публикации, описание и теги которые ввёл автор. К какой категории отнесено видео, его язык и идентификатор. Также мы увидим статистику с просмотрами, количеством лайков и комментариев. Ну и некоторые специфические характеристики, типа наличия рекламного контента, качества записи и геотегов. Отдельно можно скачать обложку. А также будет ссылка на поиск изображения по обложке и по кадрам из видео. И ссылки на поиск в веб-архиве и в Google. В том числе и по идентификатору, это может быть полезно если видео уже не доступно.
Отдельным блоком будет доступна информация о канале. Его лого, обложка, описание теги, страна, а также идентификатор Google аналитики. Ну и ссылки на варианты поиска в архиве и поиска в Google по идентификаторам канала.
⨠ https://mattw.io/youtube-geofind/location
Поиск видео по локации. На карте указываем нужную точку, радиус поиска, добавляем фильтры, если они нужны, и нам покажет все видео с геотегами из этой местности. Видео будут видны на карте, а также в виде списка.
Это ресурс для поиска и скачивания комментариев. Вводим ссылку на видео и получаем его комментарии. Основной плюс в том, что их можно скачать в виде таблицы.
Поиск по субтитрам. Вводим нужную фразу, если знаем точную формулировку которая использовалась, то берём её в кавычки. Также можно указать конкретные каналы на которых искать. Искать можно отдельно в субтитрах автоматически сгенерированных YouTube. А можно в тех которые загрузил автор. В результатах мы увидим само видео, его название, автора и язык. А также фрагмент субтитров, где встречается наш запрос. Результаты можно дополнительно отфильтровать по категориям, языку, стране и дате публикации. Можно изменить порядок сортировки, например по самым новым или старым, или по просмотрам и лайкам.
Единственный момент, который нужно учитывать, это то, что этот ресурс не ищет непосредственно на самом YouTube, а самостоятельно собирает субтитры, потому некоторые видео могут попасть сюда с задержкой. А некоторых видео или целых каналов может просто не быть.
⨠ https://findyoutubevideo.thetechrobo.ca
Это ресурс для поиска удалённых видео. Вводим ссылку на удалённое видео и он попробует найти на других ресурсах само видео или информацию о нём. И если само видео далеко не всегда получается найти, то метаданные и субтитры находит довольно часто.
Итого
Ну что ж. Мы разобрались как YouTube индексирует видео. Как работает его поиск, какие бывают поисковые операторы YouTube и как их использовать. Тебе теперь нужно только потренироваться применять всё это на практике. И, я уверен, что твой OSINT по YouTube выйдет на какой-то новый, более качественный уровень.
Твой Pulse.