Зачастую при публикации проектов на Github люди забывают удалить что-то важное. На просторах сети есть ресурс https://grep.app/ , который позволяет искать информацию по огромному количеству репозиториев (можно искать как по фразам, так и по регулярным выражениям).
Проверено — работает отлично (пока полностью бесплатно)!

Рекомендую проверить, не осталось ли чувствительных данных ваших сотрудников в открытом доступе. 🧐
А какие идеи по использованию этого инструмента в сфере информационной безопасности у вас (добро пожаловать в комментарии)?

P.S. идея от меня: находить по регулярному выражению инвайт-ссылки в приватные каналы для развития TI решений

#GitHub #ИнформационнаяБезопасность #РегулярныеВыражения #TI #БезопасностьКода #Разработка #ПоискДанных #ИнструментыИБ

Часто приходится работать с большими потоками данных, и это требует постоянных исследований новых инструментов и идей.

Иногда нахожу проекты, которые для работы кажутся бесполезными, но содержат уникальные идеи, которые могут быть полезны кому-то другому.

Один из таких проектов — TGeocoder (https://github.com/MJCruickshank/TGeocoder).
Идея довольно интересная: автоматически собирать данные из Telegram-каналов, отправлять их на анализ в ChatGPT, чтобы с помощью LLM извлечь координаты и наложить их на карту. В результате на карте появляются метки, при нажатии на которые можно увидеть текст поста.

Использовать этот проект для реальных задач я бы точно не рекомендовал. Он ещё сырой, а взглянув на код, могу уверенно сказать, что при таком способе сбора данных из Telegram ваш аккаунт может быть заблокирован очень быстро. Однако сама идея извлечения геопозиции из текста с помощью LLM выглядит многообещающе.

P.S. Я бы ещё подумал над добавлением парсинга метаданных файлов, в них также может содержаться много полезной информации

#DataScience #AI #LLM #Telegram #Tech #Innovation #Geocoding #AItools

7️⃣ Января, пока большинство людей отмечало Рождество и готовилось к завершению новогодних каникул, произошла довольно любопытная ситуация.

🔍 На платформе HackerOne (это платформа для поиска уязвимостей, где исследователи безопасности сообщают о найденных проблемах и могут зарабатывать на вознаграждениях) появился отчет от пользователя, который рассказал, что нашел в публичном Google документе секретные данные Министерства обороны США.
Ссылка на отчет: https://hackerone.com/reports/2926447

Организация подтвердила факт утечки и в течение нескольких дней удалила все данные.

Правда это или нет - неизвестно, но эта ситуация подняла важную проблему, с которой сталкиваются не только крупные компании, но и рядовые пользователи: публикация приватной информации в открытых местах.

📄 Особенно опасно, что в случае с Google Документами, доступ к данным можно получить через прямую ссылку. Эти ссылки могут быть довольно длинными, что делает невозможным перебор всех вариантов за адекватное время. И да, некоторые документы со временем удаляются, но это не всегда решает проблему.

Так как же защитить свою организацию от подобных утечек?

🚀 Есть организация под названием Common Crawl. Она занимается сбором и хранением огромных объемов данных со всего Интернета. Собираемые данные включают не только текстовое содержимое, но и метаданные, такие как ссылки, структура страниц и другая информация. По завершению сбора, данные сохраняются и становятся доступными для общего пользования.

Уже смекаете, к чему подходим ❓

Некоторые исследователи, скачивают эти данные себе и запускают поиск по ключевым словам, например, поиск по подстроке "https://docs.google.com/document/d/". Таким образом, исследователи получают множество прямых ссылок на документы, а в некоторых случаях и их содержимое.

Мой посыл в том, что если использовать домен вашей компании в качестве ключевого слова, то можно относительно быстро выявлять утечки данных (которые могут не замечать другие средства защиты) и оперативно их устранять.

Но есть и большие минусы:
1️⃣Common Crawl собирает не все страницы Интернета. И, скорее всего, документа из отчета HackerOne в его данных вы не найдете.
2️⃣ Исходных данных в Common Crawl — сотни терабайт, и обработать их на одном компьютере невозможно. Да, можно скачивать данные частями, например, по 10 ГБ, но проанализировать весь объём за один раз у вас не получится.

Если вам интересно, как работать с Common Crawl, ставьте реакции и подписывайтесь на канал! Если на этом посте наберется 40 реакций, то выпущу гайд, в котором будет описано, как упростить работу с Common Craw

#Безопасность #Common #Crawl #Google #DataScience

🔒 Рубрика "Эксклюзив" 🔒

Когда-то мне в руки попалась уникальная сравнительная таблица, где подробно описаны различные C2 (Command and Control) серверы. Эта таблица – настоящий кладезь информации, позволяющая не только систематизировать данные о потенциальных угрозах и атаках, но и помочь в разработке эффективных защитных мер. Данные в ней постоянно обновляются

Ссылка: https://docs.google.com/spreadsheets/d/1b4mUxa6cDQuTV2BPC6aA-GR4zGZi0ooPYtBe4IgPsSc

От канареек к потере учетных данных через .url файл в общей сетевой папке

Вчера, пока писал пост про канарейки вспомнилась одна тактика, которую широко применяют при проведении аудитов безопасности (но, почему-то статей о ней очень мало). Эта тактика по принципу действия очень похожа на canary-token, но при этом намного опаснее.

📂 Пример из реальной жизни
Представим, что у вас есть крупная организация с развитой IT-инфраструктурой. Чтобы сотрудникам было удобнее взаимодействовать друг с другом, вы создали общую сетевую папку, куда они могут загружать свои файлы и скачивать файлы коллег. Казалось бы, всё просто и удобно, но здесь кроется серьезная угроза.

🛠 Уязвимость Фича Windows: автоматическое обращение к внешним ресурсам
В Windows есть множество неприятных особенностей, одна из которых заключается в том, что когда пользователь заходит в сетевую директорию через проводник, система автоматически обращается к внешним ресурсам, если обнаруживает файлы, которые на них ссылаются. Речь идет о файлах с расширениями .url или .lnk. Эти файлы могут содержать ссылки на внешние серверы, и при их обнаружении проводник попытается подключиться к указанным ресурсам (пример на скрине).

Чем это опасно?
Когда система обращается к внешним ресурсам, она передает данные для аутентификации. В большинстве случаев пароль передается не в открытом виде, а в виде хеша NTLM или NTLMv2 (в современных системах наиболее распространен NTLMv2). Если злоумышленник сможет перехватить этот хеш, он может попытаться его сбрутить и получить исходный пароль. В случае успеха это открывает доступ к учетной записи пользователя и, возможно, к другим ресурсам сети.

🎯Как происходит атака?
1️⃣Получение доступа к общей папке: злоумышленник получает доступ к общей сетевой директории с возможностью записи
2️⃣Подкладывание файла: атакующий создает и размещает в общей папке специально сгенерированный файл, который ссылается на его SMB-сервер (например privet.url)
3️⃣Автоматическое обращение к серверу: когда кто-то из пользователей заходит в общую папку, проводник Windows автоматически пытается обратиться к SMB-серверу, указанному в .url файле. При этом система отправляет NTLMv2 хеш пользователя
4️⃣Перехват хеша: злоумышленник получает NTLMv2 хеш (например, через responder) и начинает его брутить, используя специализированные инструменты
5️⃣Получение пароля: если пароль недостаточно сложный, то злоумышленник может успешно его подобрать и получить доступ к учетной записи

Способы защиты советовать не стану, а то половина подписчиков канала работает в SOC-е и они точно скажут, что мои рекомендации плохие и можно сделать лучше (поэтому сразу жду ваши предложения в комментарии).

Атаки, основанные на автоматическом обращении к внешним ресурсам через .url файлы, могут быть крайне опасными для вашей организации. Однако, соблюдая базовые меры безопасности и регулярно обучая сотрудников, вы можете значительно снизить риски. Помните, что безопасность — это непрерывный процесс, и важно всегда быть на шаг впереди злоумышленников.

Реакции по классике:
👍 - все понятно, побольше бы такого контента
🤯 - сложно, давай что-нибудь попроще - это муть какая-то

#Кибербезопасность #ИнформационнаяБезопасность #Windows #NTLM #SMB #Угрозы #ЗащитаДанных #ITбезопасность #СетевыеУгрозы #Хеширование #АудитБезопасности

Как развеять фейки в пару кликов?

Каждый день на нас обрушивается поток информации из множества источников, и часто она бывает противоречивой. Возникает вопрос: кому верить?
"Никому!" — ответят многие и будут правы. Но бывают ситуации, когда информацию нужно проверить, и приходится искать способы как это сделать.

🛠 Сегодня я расскажу об одном инструменте, который в некоторых случаях может стать вашим надёжным помощником.

Пример из жизни:
Несколько лет назад я понял, что купить квартиру при текущих ипотечных условиях практически невозможно, и решил вложить все доступные деньги в покупку гаража. Если о жилых кварталах информации в избытке, то о гаражных кооперативах её гораздо меньше.
В тот момент я активно участвовал в CTF-соревнованиях, и на одном из ивентов узнал об инструменте Snradar.

С его помощью можно было выбрать точку на карте и радиус вокруг неё, а затем найти все посты из VK, сделанные в этом районе за определенный промежуток времени.

Находя подходящий вариант, я вбивал его координаты в Snradar и смотрел, что происходило в радиусе 500 метров от гаража за последние годы. В одном случае я нашёл посты "потенциального соседа", где он жаловался, что каждый год его гараж и соседние затапливает, и даже прикладывал фото последствий. В другом случае обнаружились посты о взломах гаражей в этом районе.

Итог? Гараж я так и не купил, но принцип "пробива" мест через посты в соцсетях показался довольно полезным.

Спустя некоторое время Snradar закрылся, и долгое время аналогов найти не удавалось. Но недавно всё изменилось с появлением Huntintel (https://app.huntintel.io/).

Этот ресурс ищет посты не только в VK, но и в:
- YouTube
- Twitter/X
- Snapchat
- Facebook
- Instagram

Для использования нужно зарегистрироваться. На скриншоте я показал пример поиска: выбрал томский аэропорт с радиусом 1 км. Как видите, нашлось множество постов, сделанных за последнее время.

Помните: верить никому нельзя (кроме постов в этом канале 😉), но проверять информацию необходимо. Надеюсь, этот инструмент поможет вам в жизни и позволит развеять множество фейков.

Подписывайтесь на канал, чтобы не пропускать новые лайфхаки (рекомендации друзьям тоже приветствуются). Цель - собрать к лету 500 подписчиков.

#Кибербезопасность #Лайфхаки #Инструменты #Соцсети #ПроверкаИнформации #Huntintel #Snradar #Полезное #Подпишись

Исследуем репутацию IP адресов

Сетевая безопасность - это далеко не мой профиль, но ресурс, о котором я расскажу далее, весьма удивил меня своим контентом и функционалом.

NERD — это инновационная база, разработанная командой CESNET, которая помогает анализировать репутацию сетевых объектов, таких как IP-адреса, доменные имена и URL-адреса.

Как это работает?
Ресурс агрегирует данные из множества источников, включая:
1️⃣Открытые базы данных угроз.
2️⃣Данные от honeypots (систем, имитирующих уязвимые сервисы для сбора информации о атаках).
3️⃣Результаты анализа сетевого трафика.

Затем данные обрабатываются и предоставляются в удобном формате, который можно интегрировать в свои системы или использовать для аналитики.

Ссылки:
🔗Основной интерфейс:https://nerd.cesnet.cz/nerd/ips/
🔗Выгрузка данных: https://nerd.cesnet.cz/nerd/data/
🔗Расширенная информация об интересуемом IP (в комплекте ко всему прочему ещё статистика из Shodan и DNS history): https://nerd.cesnet.cz/nerd/ip/

Реакции:
👍 - не знал о таком, мне нравится
🔥 - огонь, начинаю на этом пилить стартап
🦧 - ресурс плохой, как и пост

#Кибербезопасность #Стартап #Инновации #IPанализ #NERD #Технологии #DataScience #ИнтернетБезопасность

Как покупка домена может обанкротить ваш проект

Сегодняшний пост должен был быть на другую тему, но вчера я наткнулся на статью про одну интересную историю с покупкой домена, которая мне показалась весьма поучительной и актуальной. Думаю, этот кейс может быть полезен многим.

📖 Вкратце
Автор статьи купил новое доменное имя для своего проекта (до этого проект работал на другом домене). Спустя некоторое время автор заметил, что переходы из поисковых систем на его сайт равны нулю, но не придал этому значения.

🔍 Через год выяснилось, что до 2022 года на этом домене был сайт, который занимался размещением пиратских копий музыки. С июня 2018 по февраль 2021 этот ресурс получил тысячи жалоб за нарушение авторских прав. В результате из выдачи поисковых систем было исключено более 20 000 его URL-адресов.

💥 Итог
Автор статьи потерял большую часть аудитории, потому что не проверил историю домена перед покупкой.

Что делать, чтобы не повторить его ошибку?
1️⃣ Проверяйте историю домена через Wayback Machine.
Если увидите, что на сайте раньше размещался незаконный или "сомнительный" контент, будьте готовы к большим трудностям после покупки.
2️⃣ Поищите домен в Google Transparency Report, где хранятся отчёты об URL-ах исключенных из поиска.
Пример отчета по домену, который лучше не покупать: https://transparencyreport.google.com/copyright/domains/musicbox.fun
Пример отчета по домему, который можно смело покупать, если есть возможность) https://transparencyreport.google.com/copyright/domains/ptsecurity.com (404 означает, что репортов не было)

Этот инструмент также полезен для анализа конкурентов и исследований. Например, вот статистика по yandex.ru, из которой можно увидеть кто и когда кидал репорты, а также правообладателя данных (важно обращать внимание на то, сколько репортов в итоге было принято).
3️⃣ Поищите домен в Lumen Database. Этот ресурс собирает и анализирует юридические жалобы и запросы на удаление контента.

⚠️ Важно
Если на домене раньше размещался запрещенный контент, и на него было множество жалоб, то даже спустя годы и смену контента отозвать старые репорты невозможно. "Темная" история домена останется с ним навсегда.
🔔 Будьте внимательны при выборе домена, чтобы не столкнуться с подобными проблемами!

Полный текст статьи

#SEO #домены #кейсы #безопасность

Как WayBack Machine помог мне стать мидл-программистом

Многие знают, что с помощью WayBack Machine можно посмотреть, как выглядел сайт в прошлом. Но мало кто догадывается, что этот инструмент может быть полезен для поиска скрытых возможностей ресурсов, включая API и другие данные. Сегодня я хочу поделиться историей, как WayBack Machine помог мне в карьере.

📖 Пять лет назад я работал младшим программистом и занимался разработкой ETL-пайплайнов. Основные задачи заключались в автоматизированном сборе данных с различных ресурсов и их последующей обработке. Однажды, с одним из ресурсов возникла проблема: почти на каждый запрос выскакивала капча, а сайт был напичкан сложным JavaScript, что делало невозможным сбор данных через стандартные инструменты вроде requests и Selenium. Через некоторое время эту задачу поручили мне.

После нескольких неудачных попыток я понял, что "в лоб" задачу не решить. Тогда я вспомнил о WayBack Machine . Я ввёл URL ресурса в поисковую строку и добавил в конце /*, чтобы получить список всех когда-либо обработанных URL. Среди результатов оказался URL, ведущий на скрытый от поисковиков API этого ресурса.
Это был настоящий клад: никаких капч, никакого JavaScript, только чистый JSON с данными. После согласования использования этой находки с владельцем ресурса, я смог использовать найденный API для сбора данных. Задача была выполнена за пару дней, а через несколько недель я получил повышение до мидл-программиста.

С того момента этот способ очень часто помогал и помогает мне в решении различных задач.

Его также можно использовать в Bug Bounty для поиска скрытых возможностей ресурсов, которые не отображаются в поисковиках. Однажды я нашёл кейс, где у ресурса несколько лет назад был открытый Swagger с описанием всего функционала. Хотя доступ к Swagger позже закрыли, API остался прежним.


🎯Вывод
WayBack Machine — это не только инструмент для просмотра старых версий сайтов, но и мощный ресурс для поиска скрытых данных, API и других возможностей. Он может стать вашим секретным оружием в решении сложных задач, будь то автоматизация, Bug Bounty или просто поиск информации. Не ограничивайтесь стандартными подходами — иногда стоит копнуть глубже!
Не бойся искать нестандартные пути. Иногда именно они приводят к самым крутым результатам.🔥

P.S. приведу описанный выше способ поиска на примере сайта Microsoft (см. скрин)

#WayBackMachine #Программирование #Автоматизация #BugBounty #API #DataScience #КарьераИТ #MiddleDeveloper #Лайфхаки