Forwarded from BritLab
Как автоматизированно извлекать текст из видео на YouTube?
Знакомо: нашёл на YouTube ролики, в которых есть тонна полезной информации, а тратить часы на просмотр — нет времени?
В 2018 году появился проект youtube-transcript-api (GitHub) — Python-модуль, который за пару секунд извлекает субтитры из видео.
Но есть нюансы:
⚠️ Требует сетевого доступа к YouTube (может не работать в некоторых странах)
⚠️ Использует неофициальное API
Вот что пишет создатель проекта:
Как использовать?
1️⃣ Установить библиотеку youtube-transcript-api (PYPI)
2️⃣ Взять ID интересующего видео (поддается автоматизации)
3️⃣ Запустить скрипт (📖 официальная документация)
#BritLab #YouTube #Subtitles #Transcription #Python #Automation
Знакомо: нашёл на YouTube ролики, в которых есть тонна полезной информации, а тратить часы на просмотр — нет времени?
В 2018 году появился проект youtube-transcript-api (GitHub) — Python-модуль, который за пару секунд извлекает субтитры из видео.
Но есть нюансы:
⚠️ Требует сетевого доступа к YouTube (может не работать в некоторых странах)
⚠️ Использует неофициальное API
Вот что пишет создатель проекта:
Этот код использует недокументированную часть API YouTube, которая вызывается веб-клиентом YouTube. Поэтому нет гарантии, что он не перестанет работать завтра, если они изменят то, как все работает. Однако я сделаю все возможное, чтобы все заработало как можно скорее, если это произойдет. Так что если он перестанет работать, дайте мне знать!
Как использовать?
1️⃣ Установить библиотеку youtube-transcript-api (PYPI)
2️⃣ Взять ID интересующего видео (поддается автоматизации)
3️⃣ Запустить скрипт (📖 официальная документация)
#BritLab #YouTube #Subtitles #Transcription #Python #Automation
Forwarded from BritLab
Охота за файлами в VK
Сегодня расскажу про "хитрушку" VK, которую активно обсуждали около 10 лет назад. Со временем о ней стали забывать, хотя она до сих пор не потеряла актуальности.
К сути
Уже много лет во «ВКонтакте» существует встроенный инструмент для поиска файлов, доступный каждому пользователю. Поиск по документам может открыть доступ к уникальным данным, которые не найти в обычных поисковиках.
Как это работает?
1️⃣ Переходим в раздел «Файлы» → vk.com/docs
2️⃣ Вводим запрос (например, «ответы на ЕГЭ 2025», «внутренние инструкции», «отчет 2024»)
3️⃣ PROFIT!
Из личного опыта:
В студенчестве с помощью этого метода я находил ответы на экзамены, которые загружал кто-то из предшествующих потоков.
Где пригодится?
Поиск учебных материалов, анализ цифрового следа, журналистские расследования, … — возможности огромны!
@ru_vm #BritLab #OSINT #ВК #Документы #Инструменты
Сегодня расскажу про "хитрушку" VK, которую активно обсуждали около 10 лет назад. Со временем о ней стали забывать, хотя она до сих пор не потеряла актуальности.
К сути
Уже много лет во «ВКонтакте» существует встроенный инструмент для поиска файлов, доступный каждому пользователю. Поиск по документам может открыть доступ к уникальным данным, которые не найти в обычных поисковиках.
Как это работает?
1️⃣ Переходим в раздел «Файлы» → vk.com/docs
2️⃣ Вводим запрос (например, «ответы на ЕГЭ 2025», «внутренние инструкции», «отчет 2024»)
3️⃣ PROFIT!
Из личного опыта:
В студенчестве с помощью этого метода я находил ответы на экзамены, которые загружал кто-то из предшествующих потоков.
Где пригодится?
Поиск учебных материалов, анализ цифрового следа, журналистские расследования, … — возможности огромны!
@ru_vm #BritLab #OSINT #ВК #Документы #Инструменты
Forwarded from BritLab
Охота за файлами в VK (часть 2)
Грустная новость: спустя месяц после моего поста о поиске файлов во ВКонтакте API сервиса изменилось. Теперь поиск работает только по вашим личным документам! Свет в той будке обрубили капитально, так что запросы к vk.com/docs для поиска информации стали бесполезными.
Но там, где закрывается одна дверь, открывается другая! 🚪
🔥 Новый способ (доступен только авторизованным пользователям)
Оказалось, что через vk.com/search/statuses можно искать посты с вложениями, включая файлы.
Как искать?
1️⃣ Выбираем фильтр «Вложения» → «Файл»
2️⃣ Вбиваем нужный запрос (например, «инструкция»)
3️⃣ Готово! Перед вами — все доступные посты, содержащие слово "инструкция" с прикреплёнными файлами.
Минусы
Нельзя искать по названию файла (только по тексту поста) из-за этого выдача стала менее точной
Плюсы
Работает не только с файлами, но и с другими типами вложений:
📷 Фото | 🎥 Видео | 🎧 Аудио | ✏️ Граффити | 📝 Заметки
📊 Опросы | 🔗 Ссылки | 🖼 Альбомы | 📰 Статьи
Пример (скрин с результатом прикреплен к посту):
https://vk.com/search/statuses?c[allow_dups]=1&c[attach]=8&c[per_page]=40&c[q]=инструкция
Дополнение
В фильтре можно указать геолокацию и искать посты только в нужном районе!
Как думаете, через сколько недель этот функционал прикроют? 😂
@ru_vm #BritLab #OSINT #ВК
Грустная новость: спустя месяц после моего поста о поиске файлов во ВКонтакте API сервиса изменилось. Теперь поиск работает только по вашим личным документам! Свет в той будке обрубили капитально, так что запросы к vk.com/docs для поиска информации стали бесполезными.
Но там, где закрывается одна дверь, открывается другая! 🚪
Оказалось, что через vk.com/search/statuses можно искать посты с вложениями, включая файлы.
Как искать?
1️⃣ Выбираем фильтр «Вложения» → «Файл»
2️⃣ Вбиваем нужный запрос (например, «инструкция»)
3️⃣ Готово! Перед вами — все доступные посты, содержащие слово "инструкция" с прикреплёнными файлами.
Минусы
Нельзя искать по названию файла (только по тексту поста) из-за этого выдача стала менее точной
Плюсы
Работает не только с файлами, но и с другими типами вложений:
📷 Фото | 🎥 Видео | 🎧 Аудио | ✏️ Граффити | 📝 Заметки
📊 Опросы | 🔗 Ссылки | 🖼 Альбомы | 📰 Статьи
Пример (скрин с результатом прикреплен к посту):
https://vk.com/search/statuses?c[allow_dups]=1&c[attach]=8&c[per_page]=40&c[q]=инструкция
В фильтре можно указать геолокацию и искать посты только в нужном районе!
Как думаете, через сколько недель этот функционал прикроют? 😂
@ru_vm #BritLab #OSINT #ВК
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from BritLab
Поиск в TGStat: что можно найти и стоит ли оно того?
TGStat — один из крупнейших каталогов Telegram-каналов и чатов с функцией поиска по публикациям. Но насколько этот поиск полезен? Давайте разбираться.
Как работает поиск в TGStat?
1️⃣ Вводите запрос — фразу, домен, номер телефона или часть текста.
2️⃣ Выбираете источник — каналы, чаты или всё сразу.
3️⃣ Настраиваете фильтры — период поиска, геолокацию, язык контента и т. д.
4️⃣ Получаете результаты — список публикаций, где встречается ваш запрос.
Важно: Бесплатно можно искать только по каналам и только за последние 7 дней. Полный доступ (все источники + архив) стоит 2940 ₽/мес.
Масштабы базы TGStat
Сервис заявляет, что в его базе есть информация о:
➖ 2+ млн каналов
➖ 224+ тыс. чатов (включая приватные)
➖ 45+ млрд публикаций
Эксперимент
Вчера мне в руки попал аккаунт с платной подпиской, и я решил проверить, насколько TGStat полезен для реальных задач.
После нескольких запросов стало понятно, что сервис индексирует в основном популярные каналы и чаты (неудивительно), поэтому большая часть выдачи — это информационный шум. Но кое-что полезное найти всё же можно.
Для себя я выделил следующие задачи, для которых инструмент может пригодиться:
1️⃣ Поиск по доменам. Можно обнаружить субдомены и прямые ссылки, которые не попали в обычные поисковики.
2️⃣ Поиск документов. Например, запрос «
3️⃣ Поиск плагиата. Вставляете фрагмент текста — находите, кто его копировал и когда.
4️⃣ Поиск по номеру телефона. Можно проверить, не "светился" ли ваш номер в проиндексированных Telegram-каналах и чатах.
⚠️ Минусы TGStat
➖Проблемы с большими запросами. Если искать что-то популярное (например, упоминания "Google") за длительный период (5+ лет), API может выдавать 500-ые ошибки.
➖Скудная выдача. Для базы в 45+ млрд публикаций результаты часто оказываются не такими уж впечатляющими. Возможно, я просто плохо искал, но ничего уникального найти не удалось.
Итог
TGStat — полезный инструмент для узких задач (поиск утечек, плагиата, контактов), но ждать от него "чудес" не стоит. Если у вас нет конкретной цели, платная подписка точно не окупится.
@ru_vm #BritLab #TGStat #Поиск #Аналитика #OSINT
TGStat — один из крупнейших каталогов Telegram-каналов и чатов с функцией поиска по публикациям. Но насколько этот поиск полезен? Давайте разбираться.
Как работает поиск в TGStat?
1️⃣ Вводите запрос — фразу, домен, номер телефона или часть текста.
2️⃣ Выбираете источник — каналы, чаты или всё сразу.
3️⃣ Настраиваете фильтры — период поиска, геолокацию, язык контента и т. д.
4️⃣ Получаете результаты — список публикаций, где встречается ваш запрос.
Важно: Бесплатно можно искать только по каналам и только за последние 7 дней. Полный доступ (все источники + архив) стоит 2940 ₽/мес.
Масштабы базы TGStat
Сервис заявляет, что в его базе есть информация о:
➖ 2+ млн каналов
➖ 224+ тыс. чатов (включая приватные)
➖ 45+ млрд публикаций
Эксперимент
Вчера мне в руки попал аккаунт с платной подпиской, и я решил проверить, насколько TGStat полезен для реальных задач.
После нескольких запросов стало понятно, что сервис индексирует в основном популярные каналы и чаты (неудивительно), поэтому большая часть выдачи — это информационный шум. Но кое-что полезное найти всё же можно.
Для себя я выделил следующие задачи, для которых инструмент может пригодиться:
1️⃣ Поиск по доменам. Можно обнаружить субдомены и прямые ссылки, которые не попали в обычные поисковики.
2️⃣ Поиск документов. Например, запрос «
https://docs.google.com/spreadsheets/d/» выдаст кучу публичных Google-таблиц — иногда там может встретиться весьма интересная информация.3️⃣ Поиск плагиата. Вставляете фрагмент текста — находите, кто его копировал и когда.
4️⃣ Поиск по номеру телефона. Можно проверить, не "светился" ли ваш номер в проиндексированных Telegram-каналах и чатах.
⚠️ Минусы TGStat
➖Проблемы с большими запросами. Если искать что-то популярное (например, упоминания "Google") за длительный период (5+ лет), API может выдавать 500-ые ошибки.
➖Скудная выдача. Для базы в 45+ млрд публикаций результаты часто оказываются не такими уж впечатляющими. Возможно, я просто плохо искал, но ничего уникального найти не удалось.
Итог
TGStat — полезный инструмент для узких задач (поиск утечек, плагиата, контактов), но ждать от него "чудес" не стоит. Если у вас нет конкретной цели, платная подписка точно не окупится.
@ru_vm #BritLab #TGStat #Поиск #Аналитика #OSINT
Forwarded from BritLab
Как искать ролики на YouTube по локации?
Недавно наткнулся на древнюю, но любопытную Google-таблицу с подборкой OSINT-инструментов.
Сразу привлёк внимание инструмент для поиска YouTube-видео по координатам: YouTube Geofind
Где может пригодиться?
1️⃣ Проверка достоверности информации
Если из одной локации поступают противоречивые данные, можно найти все видео с этого места и сравнить их.
2️⃣ Расследования и журналистика
Установление места съёмки: если видео якобы снято в Сирии, а координаты ведут в другую страну — это повод усомниться.
Поиск свидетелей: можно найти ролики, снятые рядом с местом события, и посмотреть, кто там был.
3️⃣ Кибербезопасность
Выявление фейков, где одно и то же видео выдают за съёмки из разных мест.
4️⃣ Краеведение
Анализ изменений локации: стройки, разрушения, природные катаклизмы — можно сравнить, как место выглядело раньше и сейчас.
Главный недостаток
➖ Не у всех видео есть привязка к геолокации (не вина инструмента)
Как сделать свой Youtube Geofind?
Ключевой принцип работы инструмента прост и завязан на YouTube API (документация).
Чтобы найти видео по координатам, достаточно одного запроса:
Где:
—
—
—
—
Пример запроса (все видео в радиусе 200 м от Красной площади, опубликованные после 00:00 9 мая 2025 года):
В ответ получаем JSON с найденными видео (пример на прилагаемом к посту скриншоте).
Метод поддерживает и другие параметры — подробнее в официальной документации.
Заключение
Важно помнить, что любые инструменты — лишь вспомогательные средства. Не стоит забывать о критическом мышлении и перекрёстной проверке.
Отдельно хочется поздравить всех с Днём Великой Победы! 🇷🇺
@ru_vm #BritLab #OSINT #YouTube #Геопоиск
Недавно наткнулся на древнюю, но любопытную Google-таблицу с подборкой OSINT-инструментов.
Сразу привлёк внимание инструмент для поиска YouTube-видео по координатам: YouTube Geofind
Где может пригодиться?
1️⃣ Проверка достоверности информации
Если из одной локации поступают противоречивые данные, можно найти все видео с этого места и сравнить их.
2️⃣ Расследования и журналистика
Установление места съёмки: если видео якобы снято в Сирии, а координаты ведут в другую страну — это повод усомниться.
Поиск свидетелей: можно найти ролики, снятые рядом с местом события, и посмотреть, кто там был.
3️⃣ Кибербезопасность
Выявление фейков, где одно и то же видео выдают за съёмки из разных мест.
4️⃣ Краеведение
Анализ изменений локации: стройки, разрушения, природные катаклизмы — можно сравнить, как место выглядело раньше и сейчас.
Главный недостаток
Как сделать свой Youtube Geofind?
Ключевой принцип работы инструмента прост и завязан на YouTube API (документация).
Чтобы найти видео по координатам, достаточно одного запроса:
https://www.googleapis.com/youtube/v3/search?part=snippet&type=video&location={latitude}2C{longitude}&locationRadius={radius}&publishedAfter={publishedAfter}&key={API_KEY}
Где:
—
latitude и longitude - широта и долгота;—
radius - радиус—
publishedAfter - значение даты и времени в формате RFC 3339 (1970-01-01T00:00:00Z), которое указывает, что ответ API должен содержать только видео, созданные в указанное время или после него—
API_KEY - ваш API-ключ, который можно получить через Google ConsoleПример запроса (все видео в радиусе 200 м от Красной площади, опубликованные после 00:00 9 мая 2025 года):
https://www.googleapis.com/youtube/v3/search?part=snippet&type=video&location=55.7539%2C37.6208&locationRadius=200m&publishedAfter=2025-05-09T00:00:00Z&key=<ваш API-ключ>
В ответ получаем JSON с найденными видео (пример на прилагаемом к посту скриншоте).
Метод поддерживает и другие параметры — подробнее в официальной документации.
Заключение
Важно помнить, что любые инструменты — лишь вспомогательные средства. Не стоит забывать о критическом мышлении и перекрёстной проверке.
Отдельно хочется поздравить всех с Днём Великой Победы! 🇷🇺
@ru_vm #BritLab #OSINT #YouTube #Геопоиск
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from BritLab
Если твоё резюме не нашёл ни один OSINT-специалист —
значит, ты плохо искал работу
Пару лет назад ко мне обратился одногруппник за помощью. Ему нужно было провести аналитику по вакансиям с hh.ru для написания научной работы, но он не знал, как собрать данные. Оказалось, всё довольно просто — у HeadHunter есть открытый API, где за деньги можно получить тонны данных: резюме соискателей, информацию о компаниях, вакансии конкурентов и многое другое.
Но кое-что можно вытащить и бесплатно:
✅ Информацию о вакансиях
✅ Информацию о компаниях
Документация
Полный список API-методов — https://github.com/hhru/api
Как это сделать?
Для примера покажу, как извлекать содержимое вакансий, которые опубликованы на текущий момент. Например, чтобы получить вакансии Яндекса можно использовать следующий запрос:
Где:
-
-
Но есть ограничение: бесплатно можно получить не более 2000 вакансий из одного запроса.
💡 Как обойти лимит в 2000 вакансий?
Можно разбить запросы по дополнительным параметрам. Например, добавить фильтр по профессиональным ролям (параметр
Допустим, что у Яндекса (
Затем перебираем все доступные значения параметров professional_role (полный список ролей) и page. Перебор параметров позволяет собрать все данные, поскольку для каждой роли в компании вряд ли будет больше 2000 открытых вакансий. Если же такая ситуация когда-нибудь возникнет, то можно добавить дополнительные параметры фильтрации, которые аналогично будут перебираться в процессе сбора.
Зачем это нужно?
1️⃣ Разведка технологий компаний
→ Вакансии часто содержат стек технологий (полезно для IT-специалистов, пентестеров и маркетологов).
2️⃣ Подготовка к собеседованию
→ Собрать требования из вакансий, передать их AI (вместе с имеющимися у вас навыками) — получить идеальное резюме под конкретную компанию.
3️⃣ Сравнение профессий
→ Хотите выбрать между двумя специальностями? Можно сравнить, какая чаще встречается и лучше оплачивается (хотя зарплаты в вакансиях указывают не всегда).
4️⃣ Анализ рынка труда
→ Исследовать тренды, зарплатные вилки, востребованные навыки.
#BritLab #HeadHunter #API #Парсинг #Аналитика
значит, ты плохо искал работу
Пару лет назад ко мне обратился одногруппник за помощью. Ему нужно было провести аналитику по вакансиям с hh.ru для написания научной работы, но он не знал, как собрать данные. Оказалось, всё довольно просто — у HeadHunter есть открытый API, где за деньги можно получить тонны данных: резюме соискателей, информацию о компаниях, вакансии конкурентов и многое другое.
Но кое-что можно вытащить и бесплатно:
✅ Информацию о вакансиях
✅ Информацию о компаниях
Документация
Полный список API-методов — https://github.com/hhru/api
Как это сделать?
Для примера покажу, как извлекать содержимое вакансий, которые опубликованы на текущий момент. Например, чтобы получить вакансии Яндекса можно использовать следующий запрос:
https://api.hh.ru/vacancies?employer_id=1740&page=1Где:
-
employer_id — ID компании (можно найти в URL страницы работодателя, например: https://hh.ru/employer/1740 — значит, ID = 1740)-
page — номер страницы (по умолчанию API отдаёт по 100 вакансий за раз)Но есть ограничение: бесплатно можно получить не более 2000 вакансий из одного запроса.
💡 Как обойти лимит в 2000 вакансий?
Можно разбить запросы по дополнительным параметрам. Например, добавить фильтр по профессиональным ролям (параметр
professional_role).Допустим, что у Яндекса (
employer_id=1740) имеется 3000 вакансий. Чтобы получить их все, добавим фильтр по роли (например, "Программист" — professional_role=96):https://api.hh.ru/vacancies?employer_id=1740&professional_role=96&page=1Затем перебираем все доступные значения параметров professional_role (полный список ролей) и page. Перебор параметров позволяет собрать все данные, поскольку для каждой роли в компании вряд ли будет больше 2000 открытых вакансий. Если же такая ситуация когда-нибудь возникнет, то можно добавить дополнительные параметры фильтрации, которые аналогично будут перебираться в процессе сбора.
Зачем это нужно?
1️⃣ Разведка технологий компаний
→ Вакансии часто содержат стек технологий (полезно для IT-специалистов, пентестеров и маркетологов).
2️⃣ Подготовка к собеседованию
→ Собрать требования из вакансий, передать их AI (вместе с имеющимися у вас навыками) — получить идеальное резюме под конкретную компанию.
3️⃣ Сравнение профессий
→ Хотите выбрать между двумя специальностями? Можно сравнить, какая чаще встречается и лучше оплачивается (хотя зарплаты в вакансиях указывают не всегда).
4️⃣ Анализ рынка труда
→ Исследовать тренды, зарплатные вилки, востребованные навыки.
#BritLab #HeadHunter #API #Парсинг #Аналитика