От канареек к потере учетных данных через .url файл в общей сетевой папке

Вчера, пока писал пост про канарейки вспомнилась одна тактика, которую широко применяют при проведении аудитов безопасности (но, почему-то статей о ней очень мало). Эта тактика по принципу действия очень похожа на canary-token, но при этом намного опаснее.

📂 Пример из реальной жизни
Представим, что у вас есть крупная организация с развитой IT-инфраструктурой. Чтобы сотрудникам было удобнее взаимодействовать друг с другом, вы создали общую сетевую папку, куда они могут загружать свои файлы и скачивать файлы коллег. Казалось бы, всё просто и удобно, но здесь кроется серьезная угроза.

🛠 Уязвимость Фича Windows: автоматическое обращение к внешним ресурсам
В Windows есть множество неприятных особенностей, одна из которых заключается в том, что когда пользователь заходит в сетевую директорию через проводник, система автоматически обращается к внешним ресурсам, если обнаруживает файлы, которые на них ссылаются. Речь идет о файлах с расширениями .url или .lnk. Эти файлы могут содержать ссылки на внешние серверы, и при их обнаружении проводник попытается подключиться к указанным ресурсам (пример на скрине).

Чем это опасно?
Когда система обращается к внешним ресурсам, она передает данные для аутентификации. В большинстве случаев пароль передается не в открытом виде, а в виде хеша NTLM или NTLMv2 (в современных системах наиболее распространен NTLMv2). Если злоумышленник сможет перехватить этот хеш, он может попытаться его сбрутить и получить исходный пароль. В случае успеха это открывает доступ к учетной записи пользователя и, возможно, к другим ресурсам сети.

🎯Как происходит атака?
1️⃣Получение доступа к общей папке: злоумышленник получает доступ к общей сетевой директории с возможностью записи
2️⃣Подкладывание файла: атакующий создает и размещает в общей папке специально сгенерированный файл, который ссылается на его SMB-сервер (например privet.url)
3️⃣Автоматическое обращение к серверу: когда кто-то из пользователей заходит в общую папку, проводник Windows автоматически пытается обратиться к SMB-серверу, указанному в .url файле. При этом система отправляет NTLMv2 хеш пользователя
4️⃣Перехват хеша: злоумышленник получает NTLMv2 хеш (например, через responder) и начинает его брутить, используя специализированные инструменты
5️⃣Получение пароля: если пароль недостаточно сложный, то злоумышленник может успешно его подобрать и получить доступ к учетной записи

Способы защиты советовать не стану, а то половина подписчиков канала работает в SOC-е и они точно скажут, что мои рекомендации плохие и можно сделать лучше (поэтому сразу жду ваши предложения в комментарии).

Атаки, основанные на автоматическом обращении к внешним ресурсам через .url файлы, могут быть крайне опасными для вашей организации. Однако, соблюдая базовые меры безопасности и регулярно обучая сотрудников, вы можете значительно снизить риски. Помните, что безопасность — это непрерывный процесс, и важно всегда быть на шаг впереди злоумышленников.

Реакции по классике:
👍 - все понятно, побольше бы такого контента
🤯 - сложно, давай что-нибудь попроще - это муть какая-то

#Кибербезопасность #ИнформационнаяБезопасность #Windows #NTLM #SMB #Угрозы #ЗащитаДанных #ITбезопасность #СетевыеУгрозы #Хеширование #АудитБезопасности

Как развеять фейки в пару кликов?

Каждый день на нас обрушивается поток информации из множества источников, и часто она бывает противоречивой. Возникает вопрос: кому верить?
"Никому!" — ответят многие и будут правы. Но бывают ситуации, когда информацию нужно проверить, и приходится искать способы как это сделать.

🛠 Сегодня я расскажу об одном инструменте, который в некоторых случаях может стать вашим надёжным помощником.

Пример из жизни:
Несколько лет назад я понял, что купить квартиру при текущих ипотечных условиях практически невозможно, и решил вложить все доступные деньги в покупку гаража. Если о жилых кварталах информации в избытке, то о гаражных кооперативах её гораздо меньше.
В тот момент я активно участвовал в CTF-соревнованиях, и на одном из ивентов узнал об инструменте Snradar.

С его помощью можно было выбрать точку на карте и радиус вокруг неё, а затем найти все посты из VK, сделанные в этом районе за определенный промежуток времени.

Находя подходящий вариант, я вбивал его координаты в Snradar и смотрел, что происходило в радиусе 500 метров от гаража за последние годы. В одном случае я нашёл посты "потенциального соседа", где он жаловался, что каждый год его гараж и соседние затапливает, и даже прикладывал фото последствий. В другом случае обнаружились посты о взломах гаражей в этом районе.

Итог? Гараж я так и не купил, но принцип "пробива" мест через посты в соцсетях показался довольно полезным.

Спустя некоторое время Snradar закрылся, и долгое время аналогов найти не удавалось. Но недавно всё изменилось с появлением Huntintel (https://app.huntintel.io/).

Этот ресурс ищет посты не только в VK, но и в:
- YouTube
- Twitter/X
- Snapchat
- Facebook
- Instagram

Для использования нужно зарегистрироваться. На скриншоте я показал пример поиска: выбрал томский аэропорт с радиусом 1 км. Как видите, нашлось множество постов, сделанных за последнее время.

Помните: верить никому нельзя (кроме постов в этом канале 😉), но проверять информацию необходимо. Надеюсь, этот инструмент поможет вам в жизни и позволит развеять множество фейков.

Подписывайтесь на канал, чтобы не пропускать новые лайфхаки (рекомендации друзьям тоже приветствуются). Цель - собрать к лету 500 подписчиков.

#Кибербезопасность #Лайфхаки #Инструменты #Соцсети #ПроверкаИнформации #Huntintel #Snradar #Полезное #Подпишись

Исследуем репутацию IP адресов

Сетевая безопасность - это далеко не мой профиль, но ресурс, о котором я расскажу далее, весьма удивил меня своим контентом и функционалом.

NERD — это инновационная база, разработанная командой CESNET, которая помогает анализировать репутацию сетевых объектов, таких как IP-адреса, доменные имена и URL-адреса.

Как это работает?
Ресурс агрегирует данные из множества источников, включая:
1️⃣Открытые базы данных угроз.
2️⃣Данные от honeypots (систем, имитирующих уязвимые сервисы для сбора информации о атаках).
3️⃣Результаты анализа сетевого трафика.

Затем данные обрабатываются и предоставляются в удобном формате, который можно интегрировать в свои системы или использовать для аналитики.

Ссылки:
🔗Основной интерфейс:https://nerd.cesnet.cz/nerd/ips/
🔗Выгрузка данных: https://nerd.cesnet.cz/nerd/data/
🔗Расширенная информация об интересуемом IP (в комплекте ко всему прочему ещё статистика из Shodan и DNS history): https://nerd.cesnet.cz/nerd/ip/

Реакции:
👍 - не знал о таком, мне нравится
🔥 - огонь, начинаю на этом пилить стартап
🦧 - ресурс плохой, как и пост

#Кибербезопасность #Стартап #Инновации #IPанализ #NERD #Технологии #DataScience #ИнтернетБезопасность

Как покупка домена может обанкротить ваш проект

Сегодняшний пост должен был быть на другую тему, но вчера я наткнулся на статью про одну интересную историю с покупкой домена, которая мне показалась весьма поучительной и актуальной. Думаю, этот кейс может быть полезен многим.

📖 Вкратце
Автор статьи купил новое доменное имя для своего проекта (до этого проект работал на другом домене). Спустя некоторое время автор заметил, что переходы из поисковых систем на его сайт равны нулю, но не придал этому значения.

🔍 Через год выяснилось, что до 2022 года на этом домене был сайт, который занимался размещением пиратских копий музыки. С июня 2018 по февраль 2021 этот ресурс получил тысячи жалоб за нарушение авторских прав. В результате из выдачи поисковых систем было исключено более 20 000 его URL-адресов.

💥 Итог
Автор статьи потерял большую часть аудитории, потому что не проверил историю домена перед покупкой.

Что делать, чтобы не повторить его ошибку?
1️⃣ Проверяйте историю домена через Wayback Machine.
Если увидите, что на сайте раньше размещался незаконный или "сомнительный" контент, будьте готовы к большим трудностям после покупки.
2️⃣ Поищите домен в Google Transparency Report, где хранятся отчёты об URL-ах исключенных из поиска.
Пример отчета по домену, который лучше не покупать: https://transparencyreport.google.com/copyright/domains/musicbox.fun
Пример отчета по домему, который можно смело покупать, если есть возможность) https://transparencyreport.google.com/copyright/domains/ptsecurity.com (404 означает, что репортов не было)

Этот инструмент также полезен для анализа конкурентов и исследований. Например, вот статистика по yandex.ru, из которой можно увидеть кто и когда кидал репорты, а также правообладателя данных (важно обращать внимание на то, сколько репортов в итоге было принято).
3️⃣ Поищите домен в Lumen Database. Этот ресурс собирает и анализирует юридические жалобы и запросы на удаление контента.

⚠️ Важно
Если на домене раньше размещался запрещенный контент, и на него было множество жалоб, то даже спустя годы и смену контента отозвать старые репорты невозможно. "Темная" история домена останется с ним навсегда.
🔔 Будьте внимательны при выборе домена, чтобы не столкнуться с подобными проблемами!

Полный текст статьи

#SEO #домены #кейсы #безопасность

Как WayBack Machine помог мне стать мидл-программистом

Многие знают, что с помощью WayBack Machine можно посмотреть, как выглядел сайт в прошлом. Но мало кто догадывается, что этот инструмент может быть полезен для поиска скрытых возможностей ресурсов, включая API и другие данные. Сегодня я хочу поделиться историей, как WayBack Machine помог мне в карьере.

📖 Пять лет назад я работал младшим программистом и занимался разработкой ETL-пайплайнов. Основные задачи заключались в автоматизированном сборе данных с различных ресурсов и их последующей обработке. Однажды, с одним из ресурсов возникла проблема: почти на каждый запрос выскакивала капча, а сайт был напичкан сложным JavaScript, что делало невозможным сбор данных через стандартные инструменты вроде requests и Selenium. Через некоторое время эту задачу поручили мне.

После нескольких неудачных попыток я понял, что "в лоб" задачу не решить. Тогда я вспомнил о WayBack Machine . Я ввёл URL ресурса в поисковую строку и добавил в конце /*, чтобы получить список всех когда-либо обработанных URL. Среди результатов оказался URL, ведущий на скрытый от поисковиков API этого ресурса.
Это был настоящий клад: никаких капч, никакого JavaScript, только чистый JSON с данными. После согласования использования этой находки с владельцем ресурса, я смог использовать найденный API для сбора данных. Задача была выполнена за пару дней, а через несколько недель я получил повышение до мидл-программиста.

С того момента этот способ очень часто помогал и помогает мне в решении различных задач.

Его также можно использовать в Bug Bounty для поиска скрытых возможностей ресурсов, которые не отображаются в поисковиках. Однажды я нашёл кейс, где у ресурса несколько лет назад был открытый Swagger с описанием всего функционала. Хотя доступ к Swagger позже закрыли, API остался прежним.


🎯Вывод
WayBack Machine — это не только инструмент для просмотра старых версий сайтов, но и мощный ресурс для поиска скрытых данных, API и других возможностей. Он может стать вашим секретным оружием в решении сложных задач, будь то автоматизация, Bug Bounty или просто поиск информации. Не ограничивайтесь стандартными подходами — иногда стоит копнуть глубже!
Не бойся искать нестандартные пути. Иногда именно они приводят к самым крутым результатам.🔥

P.S. приведу описанный выше способ поиска на примере сайта Microsoft (см. скрин)

#WayBackMachine #Программирование #Автоматизация #BugBounty #API #DataScience #КарьераИТ #MiddleDeveloper #Лайфхаки

10 марта - последний день подачи заявок на PHDays 2025

Ещё в 11 классе у меня была мечта выступить на PHDays. Она сбылась только в 2022 году, когда мы с Женей Полонским рассказали про атаки на цепочки поставок на примере реального кейса — захвата инфраструктуры через TeamCity.
Всё проходило круто, я был счастлив, как слон, до самого конца доклада. Но потом случился неприятный момент. Обычно после выступления организаторы подходят к спикерам, вручают документ, подтверждающий, что ты был спикером и коробку с мерчем. Про меня же просто забыли. Сказали, что разберутся и пришлют всё позже.

Но «позже» так и не наступило. Я дважды писал организаторам в личные сообщения в течение полугода, мне обещали, что всё исправят. Но годы шли, а ничего не приходило.

Всё изменилось в прошлом году. Мне в Telegram написала HR, которая искала спикеров на PHD 2024 среди тех, кто выступал раньше. Сообщение начиналось со слов: «Евгений, добрый день!» (а я не Евгений). Тогда я высказал всё, что накопилось за два года, и мы довольно продуктивно поговорили. В итоге мерч мне прислали, но документы, к сожалению, сделать уже не смогли.

В этом году я решил начать историю своих выступлений с чистого листа. Если мою заявку примут, то жду всех в мае на докладе «Как я парсил вашу дату?». Я расскажу о недостатках всех существующих баз уязвимостей и о том, как мы устраняем их в рамках проекта PT Expert System — от идеи до результата.

@ru_vm
#PHDays2025 #ru_vm

Как искать скрытую информацию в Telegram

Последнее время я ломал голову над вопросом: "как искать Telegram-каналы, где публикуют информацию об информационной безопасности?"
В Twitter, например, всё просто: купил подписку — и получаешь доступ к куче данных, которые легко парсить. В Telegram же официальных способов для такого поиска нет.

Но я был уверен, что "хитрушки" существуют. И сегодня я их нашёл! Всё оказалось до безобразия просто.

Есть ресурсы, которые используют множество ботов. Эти боты добавляются во все возможные Telegram-каналы и сохраняют всё, что там публикуется. Потом на этих ресурсах можно искать по ключевым словам и находить каналы, где упоминается нужная вам информация.

Долгое время я находил только платные сервисы, доступ к которым стоил космических денег — около 50к в месяц. Но сегодня я нашел ДВА КРУТЫХ БЕСПЛАТНЫХ РЕСУРСА, которые дают просто фантастические результаты.

Например, при поиске по фразе "CVE-2025", эти сервисы выдают список каналов, где публикуют информацию об уязвимостях. Причём это могут быть как крупные каналы (которые легко найти через обычный поиск), так и каналы с 20 подписчиками (которые без таких инструментов обнаружить почти невозможно).

🔥 Ссылки на ресурсы:
1️⃣ tgdev.io/tme/
2️⃣ https://cse.google.com/cse?q=+&cx=006368593537057042503:efxu7xprihg (Telegago)

Если понравился пост, то реакции и репосты приветствуются (цель не поменялась - к лету 500 подписчиков)

#Telegram #поисквтелеграм #Хитрушки #CVE #ИБ

Как использование торрентов демаскирует тебя в сети?

Пользовались ли вы когда-нибудь торрентами? Если да, то у меня для вас плохие новости.

Когда пользователь скачивает или раздаёт файл через торрент, его IP-адрес становится видимым для других участников сети.
Сервис IKnowWhatYouDownload собирает эту информацию, систематизирует и предоставляет возможность поиска по IP-адресу.

Чтобы узнать, какие файлы связаны с конкретным IP, достаточно ввести адрес в поисковую строку на сайте. Сервис покажет список торрентов, которые были загружены или разданы с этого IP. Также можно увидеть дату и время активности.

Где это может использоваться?
1️⃣ Мониторинг сети: администраторы корпоративных или домашних сетей могут использовать сервис для проверки активности устройств в своей сети. Это помогает выявить несанкционированное использование торрентов без закупки дорогостоящего ПО.

2️⃣ Юридические вопросы: правообладатели или юристы могут использовать сервис для отслеживания распространения пиратского контента.

3️⃣ Таргетированная реклама: рекламные агрегаторы могут собирать данные через подобные сервисы, чтобы показывать пользователям таргетированную рекламу на основе их активности.

4️⃣ RedTeam: сервис может использоваться для сбора информации о потенциальной цели, что может помочь подготовить целевую фишинговую атаку ("Беспокоит Служба Безопасности ... Было обнаружено, что вы используете торрент в корпоративной сети. Срочно заполните форму, иначе вас уволят <ссылка>").


Вывод
Использование торрентов может раскрыть вашу активность в сети, даже если вы этого не ожидаете.
Помните: ваши данные — это ваша ответственность. Не оставляйте их на виду.

В комментариях привожу пример того, как легко извлекается информация об использовании торрентов из сети с арендованными VPS.

#ru_vm #Кибербезопасность #Торренты #Конфиденциальность #IKnowWhatYouDownload

Сбор данных из DHT (Пишем свой аналог IKnowWhatYouDownload)

После моего прошлого поста прилетело много фидбэка. Я не эксперт в области торрентов, но благодаря комментариям узнал несколько интересных нюансов. Это вдохновило меня на создание мини-аналога IKnowWhatYouDownload, и, как оказалось, его можно сделать буквально за пару часов.

Начнем с базы
Разберемся, как работает IKnowWhatYouDownload (и подобные агрегаторы).
Вот что говорят его создатели:

Торрент-файлы попадают в нашу базу данных несколькими способами. Во-первых, мы собираем новинки с популярных торрент-сайтов (как зарубежных, так и российских). Во-вторых, у нас есть компоненты, которые постоянно мониторят DHT-сеть. Если кто-то ищет или анонсирует infohash, мы также добавляем его в базу.

Данные по одному торрент-файлу собираются раз в несколько часов. Чем дольше вы находитесь на раздаче, тем выше вероятность попасть в нашу базу. Данные на сайте обновляются с задержкой в сутки.

Что такое DHT?
DHT (Distributed Hash Table) — это технология, которая используется в торрент-сетях для децентрализованного поиска участников раздачи (пиров) без необходимости подключения к центральному трекеру. Вместо того чтобы полагаться на сервер, DHT позволяет каждому участнику сети хранить и обмениваться информацией о пирах напрямую.

Проще говоря, DHT хранит данные о том, какие пиры участвуют в раздаче конкретного торрента (по его info_hash). Когда вы обращаетесь к DHT, другие узлы сети возвращают список IP-адресов и портов, которые они знают для данного торрента. Именно эту информацию собирают агрегаторы, делая запросы с определенным интервалом.

Как написать свой агрегатор?
После изучения вышеперечисленных деталей стало понятно, что для создания своего аналога нужно выполнить следующие шаги:
1️⃣ Собрать хэши интересующих раздач с трекеров;
2️⃣ Делать запросы в DHT по каждому хэшу, чтобы получить IP-адреса и порты пиров, участвующих в раздаче, и сохранять их в удобном формате (например, JSON).
3️⃣ Загружать данные в базу для дальнейшей обработки и отображения пользователю.
4️⃣ Повторять процесс с определенным интервалом (например, раз в час).

Пункты 1, 3 и 4 довольно просты (для первого понадобится VPN, а для остальных есть множество готовых гайдов).

Самый сложный - это пункт 2. Документации и гайдов по работе с DHT мало, а готового кода я не нашел. Поэтому пришлось немного по python-ить самостоятельно.

Что получилось?
Я написал скрипт, который:
1️⃣ Принимает на входе хэш торрента (либо файл с набором хэшей)
2️⃣ Делает запрос к DHT и сохраняет результаты в JSON-файл (ключом в файле является хэш торрента, а значением — список IP-адресов и портов пиров, участвующих в раздаче)

Для теста я нагуглил хэш торрента с игрой "Ведьмак 3".
В результате работы скрипта отображается информация об активных на текущий момент пирах (скрины работы в комментариях): часть пиров совпала с данными IKnowWhatYouDownload, а часть — нет (IKnowWhatYouDownload работает с задержкой в сутки + некоторые клиенты могут появляться и исчезать довольно быстро и агрегатор может не успевать их собирать). Т.е получилось собрать больше данных, чем у вышеупомянутого агрегатора (мини-успех).
Итоговый скрипт залил на GitHub.

Важный момент: пользователи могут отключать DHT (он включен по умолчанию). В таком случае этот способ их не "обнаружит" (как и агрегаторы).

Если тема вызовет интерес, я глубже погружусь в работу торрентов и расскажу, как пользователи могут "обманывать" агрегаторов, которые следят за DHT.

@ru_vm
#ru_vm #Торренты #DHT #ИнформационнаяБезопасность #Разработка

Как узнать, кто слил ваши данные?

В 20 лет я планово обновил паспорт. Через пару недель мне позвонили весьма продвинутые мошенники. Меня сразу начали "обрабатывать" и для укрепления доверия называть мои ПДн. В разгаре беседы "господа из техподдержки компании Х" назвали мои новые паспортные данные! 🤯
Я сильно удивился скорости утечки нового паспорта и стало интересно: кто же был источником слива? Тогда я нашел лайфхак, который помогает с высокой вероятностью выяснить, откуда произошла утечка (пользуюсь им и по сей день).

📌 В чем суть?
Если добавить к вашему email знак "+" и любой текст (например, email+your-data@gmail.com), то почтовые сервисы (Gmail, Mail.ru, Outlook и др.) будут считать это тем же адресом (email@gmail.com). Письма будут приходить на основной email, но текст после символа "+" может отличаться и помогать отследить источник.

Происходит это из-за того, что текст после "+" игнорируется почтовым сервером при доставке писем, но сохраняется в адресе получателя.

Как это работает?
Представим, что у вас есть почтовый ящик ruvm@mail.ru
1️⃣ Вы регистрируетесь на сайте с адресом, например, ruvm+github@mail.ru.
2️⃣ Письма от этого сайта будут приходить на ruvm@mail.ru, но в адресе получателя будет указано ruvm+github@mail.ru

Для чего можно использовать?
✅ Отслеживание утечек данных
Если вы используете email+название_сервиса@gmail.com, то легко поймете, кто передал ваши данные третьим лицам. Например, если на email+instagram@gmail.com начал приходить спам, значит, Instagram поделился вашими данными.

✅ Организация писем
Можно создавать уникальные адреса для каждого сервиса (например, email+netflix@gmail.com, email+github@gmail.com) и настраивать фильтры для автоматической сортировки.

✅ Тестирование и регистрация для разработчиков или тестировщиков: используйте "+" для создания временных адресов (например, email+test1@gmail.com, email+test2@gmail.com). Для большинства сайтов - каждый из таких email-ов расцениваются как разные почты. Т.е. на одну почту становится возможным зарегистрировать неограниченное количество аккаунтов.

⚠️ Важно:
— Не все сайты поддерживают "+" в email. Если сервис считает такой адрес невалидным, то придется использовать основной email;
— "+" и последующий текст можно добавлять только до символа "@", иначе способ работать не будет

#Кибербезопасность #Лайфхаки #ЗащитаДанных #Email #ИнформационнаяБезопасность #Спам #Почта

Радио-серфинг: как исследовать короткие волны без спецоборудования

Недавно узнал, что в Нидерландском университете Твенте есть коротковолновый приемник, к которому можно подключиться через обычный браузер [ссылка] и исследовать ответы тысяч радиостанций по всему миру (в режиме реального времени).

С помощью ресурса можно:
1️⃣ Слушать радиолюбительские передачи, авиационные каналы, морскую связь и многое другое
2️⃣ Исследовать разные частоты и находить интересные сигналы
3️⃣ Делать записи эфиров, чтобы потом прогонять их через декодеры
4️⃣ Погрузиться в мир радио, даже если у вас нет собственного оборудования

Этот ресурс — настоящий портал в мир радио. Даже если вы, как и я, не станете радиолюбителем, это отличный способ узнать что-то новое.

Вот несколько интересных частот с которых можно начать:
🇳🇱 1008.00 кГц — Radio Twenty Gold (Нидерланды)
🇷🇺 4625.00 кГц — легендарная "Жужжалка" (УВБ-76). Загадочный сигнал, о котором ходят легенды. Подробнее можно почитать здесь
🇫🇷 9790.00 кГц — Radio France
🇷🇴11930 кГц — Radio Romania International

P.S. ещё там есть онлайн чат, в котором вы можете общаться с другими радиолюбителями

#радио #технологии #хобби

Как автоматизированно извлекать текст из видео на YouTube?

Знакомо: нашёл на YouTube ролики, в которых есть тонна полезной информации, а тратить часы на просмотр — нет времени?

В 2018 году появился проект youtube-transcript-api (GitHub) — Python-модуль, который за пару секунд извлекает субтитры из видео.

Но есть нюансы:
⚠️ Требует сетевого доступа к YouTube (может не работать в некоторых странах)
⚠️ Использует неофициальное API
Вот что пишет создатель проекта:

Этот код использует недокументированную часть API YouTube, которая вызывается веб-клиентом YouTube. Поэтому нет гарантии, что он не перестанет работать завтра, если они изменят то, как все работает. Однако я сделаю все возможное, чтобы все заработало как можно скорее, если это произойдет. Так что если он перестанет работать, дайте мне знать!

Как использовать?
1️⃣ Установить библиотеку youtube-transcript-api (PYPI)
2️⃣ Взять ID интересующего видео (поддается автоматизации)
3️⃣ Запустить скрипт (📖 официальная документация)

#BritLab #YouTube #Subtitles #Transcription #Python #Automation

Охота за файлами в VK

Сегодня расскажу про "хитрушку" VK, которую активно обсуждали около 10 лет назад. Со временем о ней стали забывать, хотя она до сих пор не потеряла актуальности.

К сути
Уже много лет во «ВКонтакте» существует встроенный инструмент для поиска файлов, доступный каждому пользователю. Поиск по документам может открыть доступ к уникальным данным, которые не найти в обычных поисковиках.

Как это работает?
1️⃣ Переходим в раздел «Файлы» → vk.com/docs
2️⃣ Вводим запрос (например, «ответы на ЕГЭ 2025», «внутренние инструкции», «отчет 2024»)
3️⃣ PROFIT!

Из личного опыта:
В студенчестве с помощью этого метода я находил ответы на экзамены, которые загружал кто-то из предшествующих потоков.

Где пригодится?
Поиск учебных материалов, анализ цифрового следа, журналистские расследования, … — возможности огромны!

@ru_vm #BritLab #OSINT #ВК #Документы #Инструменты

Госзакупка контента: без конкурса, но с душой

Сегодня будет история с элементами детектива:
1 апреля в 22:12 — я публикую пост про поиск файлов в VK (оригинал)
2 апреля в 17:06 — почти идентичный текст появляется в канале ARDigital35, который, судя по описанию, ведётся замминистром цифрового развития Вологодской области
2 апреля в 17:54 этот пост репостят в канал с 50К+ подписчиков iRozysk

Что забавного:
1️⃣ Мой "студенческий опыт" внезапно обрёл двойника — даже формулировки совпадают, будто автор учился со мной в одной группе 😉
2️⃣ Верстки постов на удивление схожи
3️⃣ Хештеги #КиберБезопасность и #МинЦифры35 придают особый шарм контенту (как знак "СТОП" на гоночном болиде)

С нетерпением жду следующий пост, надеюсь он будет на тему: "Где искать вдохновение, кроме чужих телеграм-каналов" 🤣

А что вы думаете по этому поводу?

P.S. Главное — соблюдать цифровую гигиену. Особенно когда пользуешься чужим мылом)

@ru_vm #КиберБезопасность #МинЦифры35

Интересный поворот: через час после публикации предыдущего поста канал @irozysk внезапно (без каких-либо комментариев) стал для меня недоступен.

Надеюсь, что завтра госуслуги не заблочат 😬

Если твоё резюме не нашёл ни один OSINT-специалист —
значит, ты плохо искал работу

Пару лет назад ко мне обратился одногруппник за помощью. Ему нужно было провести аналитику по вакансиям с hh.ru для написания научной работы, но он не знал, как собрать данные. Оказалось, всё довольно просто — у HeadHunter есть открытый API, где за деньги можно получить тонны данных: резюме соискателей, информацию о компаниях, вакансии конкурентов и многое другое.

Но кое-что можно вытащить и бесплатно:
✅ Информацию о вакансиях
✅ Информацию о компаниях

Документация
Полный список API-методов — https://github.com/hhru/api

Как это сделать?
Для примера покажу, как извлекать содержимое вакансий, которые опубликованы на текущий момент. Например, чтобы получить вакансии Яндекса можно использовать следующий запрос:

https://api.hh.ru/vacancies?employer_id=1740&page=1

Где:
- employer_id — ID компании (можно найти в URL страницы работодателя, например: https://hh.ru/employer/1740 — значит, ID = 1740)
- page — номер страницы (по умолчанию API отдаёт по 100 вакансий за раз)

Но есть ограничение: бесплатно можно получить не более 2000 вакансий из одного запроса.

💡 Как обойти лимит в 2000 вакансий?
Можно разбить запросы по дополнительным параметрам. Например, добавить фильтр по профессиональным ролям (параметр professional_role).

Допустим, что у Яндекса (employer_id=1740) имеется 3000 вакансий. Чтобы получить их все, добавим фильтр по роли (например, "Программист" — professional_role=96):

https://api.hh.ru/vacancies?employer_id=1740&professional_role=96&page=1

Затем перебираем все доступные значения параметров professional_role (полный список ролей) и page. Перебор параметров позволяет собрать все данные, поскольку для каждой роли в компании вряд ли будет больше 2000 открытых вакансий. Если же такая ситуация когда-нибудь возникнет, то можно добавить дополнительные параметры фильтрации, которые аналогично будут перебираться в процессе сбора.

Зачем это нужно?
1️⃣ Разведка технологий компаний
→ Вакансии часто содержат стек технологий (полезно для IT-специалистов, пентестеров и маркетологов).

2️⃣ Подготовка к собеседованию
→ Собрать требования из вакансий, передать их AI (вместе с имеющимися у вас навыками) — получить идеальное резюме под конкретную компанию.

3️⃣ Сравнение профессий
→ Хотите выбрать между двумя специальностями? Можно сравнить, какая чаще встречается и лучше оплачивается (хотя зарплаты в вакансиях указывают не всегда).

4️⃣ Анализ рынка труда
→ Исследовать тренды, зарплатные вилки, востребованные навыки.

#BritLab #HeadHunter #API #Парсинг #Аналитика

Космический OSINT

Позавчера, читая утренние новости, наткнулся на пост:

С 11 по 16 апреля в честь Дня космонавтики любой желающий может попробовать получить данные с исследовательского спутника!

К посту прилагались:
📄 Документация к радиопротоколу (раньше думал, что вся подобная информация находится под грифом)
📖 Гайд по декодированию сигнала в домашних условиях – ссылка

Бегло просмотрев мануал, я подумал, что сделать это можно минут за 10, и приступил к работе. Скачал софт, запустил… и ничего не заработало. 😅

Оказалось, что приложенный к гайду декодер не работает из-за опечатки в коде. Исправить её было несложно, и через пару минут софт был готов к использованию.

Я наивно полагал, что после запуска передо мной сразу появится красивая картинка из космоса, и я смогу рассказать вам, что получать сигналы со спутников — это просто. Но нет.

Оказалось, что для приёма сигнала нужна… антенна.
(Да, звучит логично, но я надеялся, что сам софт через интернет подключится к какому-нибудь сервису, который имеет доступ к мощной антенне. Оказалось, что космос к нам ещё не настолько близок 🙃)

Сегодня я предпринял ещё один рывок. Собирать собственную антенну не стал, но нашёл выход: сайт sonik.space, где энтузиасты выкладывают свои записи сигналов со спутников.

Аудиосигнал → декодер → и вот оно, изображение со спутника (прикреплено к посту)!
Качество, конечно, на 5 шакалов из 10, но если найти софт получше, можно попробовать добиться и "кинотеатрального" эффекта (но это не точно) (прям совсем не точно).

Вот таким получился мой первый блин в спутниковой связи)
А вы получали что-нибудь из космоса? Комментарии готовы к вашим мемам изображениям со спутников!

P.S. Ресурс из моего прошлого поста про сбор данных из радиоэфира в данном кейсе не помог — даже активности на нужной частоте не показал.

@ru_vm #BritLab #Космос #ДеньКосмонавтики

Как автоматизировать распознавание текста с изображений?

В открытых источниках часто встречаются изображения с ценным текстом — скриншоты рабочих столов и приложений, фотографии таблиц, чеков, рукописных заметок и т.д. Сбор обычного текста автоматизировать легко, но с текстом на картинках начинаются сложности.

Раньше в моём арсенале был только pytesseract (Python-библиотека для распознавания текста). Она работала, но с серьёзными ограничениями:
➖Плохо справлялась с разными шрифтами
➖Теряла точность на низкокачественных изображениях
➖Путала языки, если текст был мультиязычным

Сейчас появились LLM-модели, которые справляются с этой задачей гораздо лучше, но если у вас нет мощного железа, запустить их локально не получится.

В профильных каналах регулярно пишут: «Вышла модель Х, которая показывает отличные результаты. OSINT-еры больше не нужны!», но никто не дает гайдов, как с этими моделями работать. Сегодня я это исправлю.

Обзор моделей для OCR
Прошерстив не один десяток источников, я выделил две наиболее популярные на текущий момент модели:
1️⃣ GPT-4 mini — высокая точность, но платная.
2️⃣ Google Gemini 2.0 Flash — высокая точность + бесплатный лимит.

Выбор без раздумий пал на Gemini. На момент публикации бесплатные лимиты от Google следующие:
✔️ 15 запросов в минуту
✔️ 1 млн токенов в минуту (ввод + вывод)
✔️ 1 500 запросов в сутки

Но есть важный нюанс: сервис не работает с российскими IP

Как взаимодействовать с Gemini?
1️⃣ Получаем API-ключ в Google AI Studio
2️⃣ Через API отправляем изображение в base64 + промпт
3️⃣ Получаем распознанный текст в ответе

Что делать, если Gemini недоступна?
Если у вас по какой-то причине нет возможности получить доступ к серверам Google AI Studio, то можно воспользоваться сервисами, которые предоставляют доступ к различным open-source моделям. Например, DeepInfra.
Плюсы:
✔️ Нет блокировок по геолокации
✔️ Гибкая тарификация
Минусы:
✖️ Нет бесплатного тарифа

Как заведено в BritLab, к посту прилагаю репозиторий с примерами скриптов для работы с Gemini и DeepInfra. Результаты работы скриптов — скриншот с исходным изображением и распознанным текстом — можно увидеть в заголовке поста (оба метода показали отличные результаты).

Разбор реального кейса
Представьте, что у вас есть PDF с текстом на иностранном языке. Вам нужно извлечь текст и перевести его на другой язык. Как это сделать?
1️⃣ Разбиваем PDF на страницы и конвертируем каждую в изображение
2️⃣ С помощью Gemini извлекаем весь текст с изображений
3️⃣ Загружаем текст в другую модель, которая заточена на перевод
4️⃣ Получаем текст на нужном языке
5️⃣ Загружаем результат в БД
6️⃣ PROFIT

Связка OCR + LLM открывает огромные возможности. Экспериментируйте)

#AI #Automation #LLM #Python #OCR