🔎 Uscrapper: Веб-парсер OSINT

Uscrapper 2.0 – это надежный OSINT-парсер, предназначенный для эффективного сбора разнообразной персональной информации с веб-сайтов.

Uscrapper использует методы веб-парсинга и регулярные выражения для извлечения адресов электронной почты, ссылок на социальные сети, имен авторов, геолокации, номеров телефонов и имен пользователей из гиперссылочных и негиперссылочных источников на веб-странице, поддерживает многопоточность для ускорения этого процесса.

Uscrapper 2.0 оснащен передовыми модулями обхода анти-парсинга и поддерживает технологии для извлечения информации из всех ссылок в пределах одного домена. Кроме того, в программе предусмотрена возможность создания отчета, содержащего все извлеченные данные.

Требования:
• Python 3
• модуль pip
• Стабильное подключение к Интернету

Процесс установки
• Клонируйте репозиторий инструмента следующим образом
• После клонирования перейдите в только что загруженный каталог и измените режим работы “install.sh”, чтобы предоставить полный доступ к инструменту.
git clone https://github.com/z0m31en7/Uscrapper.git
cd Uscrapper/install/
chmod +x ./install.sh && ./install.sh #For Unix/Linux systems
• После этого можно приступать к работе с инструментом.

▪Github
▪ Пример работы

@linuxkalii

WebPalm - это мощный инструмент командной строки на GO для создания карт веб-сайтов и веб-скреппинга. Благодаря рекурсивному подходу он может создать полное дерево всех веб-страниц и ссылок на них на сайте.

Он также может извлекать данные из тела каждой страницы с помощью регулярных выражений, что делает его идеальным инструментом для веб-скрейпинга и извлечения данных.

go install github.com/XORbit01/webpalm@latest

▪ Github

@linuxkalii

🦄 Работа с сканером Unicornscan на Kali Linux

Специалисты ИБ используют различные инструменты сканирования. Один из самых популярных, но довольно медленных — Nmap или Masscan (самый быстрый сканер портов), но он не такой точный. Сегодня мы дополним инструментарий маст-хев сканеров тулзой Unicornscan. Далее покажу, как использовать Unicornscan на Kali Linux.

Использование сканера Unicornscan на Kali Linux
Если вам нужен достаточно быстрый, но в тоже время точный сканер, попробуйте установленный в Kali Linux сканер Unicornscan.

Что такое Unicornscan.
Unicornscan — это асинхронный сканер (в отличие от синхронного Nmap). Поэтому он работает намного быстрее.

Ключевые особенности Unicornscan

Unicornscan — это попытка создать распределенный стек TCP/IP на территории пользователя. Хотя в настоящее время он имеет сотни отдельных функций, основной набор способностей включает в себя:

▪Асинхронное сканирование TCP.
▪Асинхронный захват баннера TCP.
▪Асинхронное сканирование UDP.
▪Активная и пассивная удаленная идентификация ОС, приложений и компонентов путем анализа ответов.
▪Регистрация и фильтрация файлов PCAP.
▪Вывод реляционной базы данных.
▪Поддержка пользовательских модулей.
▪Настраиваемые представления наборов данных.
▪Имеет свой стек TCP/IP, отличительную особенность, отличающую его от других сканеров портов.

Сканирование с помощью Unicornscan
Сканер установлен в полной версии Kali Linux. Если вы используете урезанную версию, вот как его установить:

sudo apt-get install unicornscan
Сначала мы начнем с простого сканирования. Для выполнения базового сканирования, используйте команду:

sudo unicornscan 192.168.112.57

Для примера, в качестве жертвы я использую уязвимую машину Metasploitable. На скрине видно, что при простом сканировании перечислены все открытые TCP-порты. Это похоже на сканирование -Ss в NMap.

Для сканирования несколько хостов, используйте команду:

sudo unicornscan 192.168.112.57 192.168.102.100
Можно использовать инструмент на сайте, установив интервал 30 пакетов в секунду (параметр -r30) и добавив сканирование TCP (параметр -mT):

sudo unicornscan -r30 -mT adaptercart.com

Для сканирования UDP используйте параметр -mU:

sudo unicornscan -r300 -mU 192.168.112.57
Unicornscan сканирование UDP портов

Полученный результат можно сохранить в файл PCAP, для этого используйте параметр -w добавив имя файла (в моем случае — udpports):

sudo unicornscan -r300 -mU 192.168.112.57 -w udpports.pcap
Файл будет сохранен в домашний каталог.

Unicornscan сохраненный файл PCAP

Это основное использование Unicornscan. Для более детального изучения стоит открыть справку:

sudo unicornscan -h
Теперь вы знаете, как сканировать хост или сайт с помощью Unicornscan на Kali Linux.

@linuxkalii

🟡 Дайджест полезных материалов из мира Linux за неделю

Почитать:
— Список популярных утечек с GitHub: Анализ репозиториев компаний
— Создаем свой Managed K8S за 5 минут на старом железе
— Графические инструменты управления групповыми политиками в Linux
— Что происходит, когда запускаешь «Hello World» в Linux
— Есть ли жизнь в виртуалке на ПК?
— Безопасная работа в домене ALD Pro на базе FreeIPA или как хранить ключ от квартиры, где деньги лежат
— Свободное ПО теснит проприетарное
— Standard Linux Commands and Their Outputs
— File and Directory Operations in Linux Commands
— Text Processing in Linux
— System Operations in Linux
— Windows Command Prompt vs Linux Commands
— Disk Usage Commands in Linux
— exit vim
— Docker essential commands
— Linux commands everyone should know
— How to check all ports in use in linux/Mac

Посмотреть:
🌐How to Dual Boot Kali Linux and Windows (in 10 minutes)

Хорошего дня!

❤️ Лайк, если полезно

@linuxkalii

🏄 Анонимность Parrot Security с помощью AnonSurf

AnonSurf - скрипт AnonSurf, который предназначен для включения службы Tor и перенаправления всего трафика, в том числе DNS запросов, через анонимную сеть Tor.

При запуске AnonSurf также предлагает закрыть программы, которые могут угрожать вашей анонимности.

Это хороши инструмент для анонимизации трафика. Он позволяет перенаправлять весь трафик через сеть TOR. Вы, наверное, слышали о TOR раньше или даже использовали для анонимного серфинга в браузер TOR. Но в отличие от браузера TOR, который анонимизирует только веб-трафик, Anon Surf анонимизирует весь трафик через сеть TOR.

Запустить AnonSurf очень просто.
Запустим команду traceroute для сайта Google:

traceroute www.google.de

Вывод покажет, что весь трафик направляется через собственный маршрутизатор и DNS-сервер своего интернет-провайдера.

Теперь запустим Anon Surf и снова попробуем ту же команду traceroute.

Запуск AnonSurf Parrot Security
Для запуска Anon Surf, откройте терминал и выполните команду:

sudo anonsurf
Или откройте Aplications (Меню приложений) и выберите Anon Surf —> Anonsurf Start.

Вам будет предложено ввести пароль root, и вас спросят, хотите ли вы остановить приложения, которые могут вас деанонимизировать. Нажмите Yes.

С этого момента вы перешли анонимный режим. Давайте проверим трафик еще раз:

traceroute www.google.de

Теперь вы можете просматривать страницы анонимное.

Остановка AnonSurf Parrot Security
Чтобы остановить AnonSurf, откройте Aplications (Меню приложений) и выберите Anon Surf —> Anonsurf Stop.

Как вы можете видеть из меню, в меню также есть возможность проверить внешний IP-адрес (check IP), прежде чем включать режим анонимности, чтобы убедиться, что он действительно изменился. Вы также можете изменить выходной узел Tor (change exit node).

▪kali-anonstealth

@linuxkalii

🕵️Eyes - инструмент OSINT для получения существующих учетных записей из электронной почты

Eyes умеет не только находить существующие на разных сайтах аккаунты, но и находить сам аккаунт (с помощью определенных модулей), даже если профиль не имеет ничего общего с электронной почтой!

$ git clone https://github.com/N0rz3/Eyes.git
$ cd ./Eyes
$ pip3 install -r requirements.txt

▪Github

@linuxkalii

⚡Легкий способ получать свежие обновлении и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:


Машинное обучение: @ai_machinelearning_big_data
Go: @Golang_google
C#: @csharp_ci
Базы данных: @sqlhub
Python: @python_job_interview
C/C++/: @cpluspluc
Data Science: @data_analysis_ml
Devops: @devOPSitsec
Rust: @rust_code
Javascript: @javascriptv
React: @react_tg
PHP: @phpshka
Docker: @docker
Android: @android_its
Мобильная разработка: @mobdevelop
Linux: linuxacademy
Big Data: t.me/bigdatai
Хакинг: @linux_read
Java:@javatg
Собеседования: @machinelearning_interview


💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy

🔥ИТ-Мемы: t.me/memes_prog

🇬🇧Английский: @english_forprogrammers

🟡 Дайджест полезных материалов из мира: linux за неделю

Почитать:
— Монтаж видео в Linux — обзор свободных редакторов
— Объяснения по шардинга баз данных
— Собираем и запускаем Linux-0.01 в Minix 1.5, (почти) как это делал Линус Торвальдс
— В России не любят Линукс, а я не люблю виртуальные машины. Что делать?
— Создаем свой Managed K8S за 5 минут на старом железе
— Membuat file.desktop di Linux dari .tar.gz- Postman
— What is a Checksum? A Guide to Using the cksum Command in Linux to Verify File Modifications
— Chave SSH no github - Windows e Linux
— Docker Basics with some of its Commands and how to Install Docker by AWS
— Logical Volume Manager (LVM) in Linux - A Walkthrough - Part 2
— Logical Volume Manager (LVM) in Linux - Introduction - Part 1
— Exploring Vagrant: Snapshots - Part 6
— Exploring Vagrant: Shared Folders - Part 5
— Exploring Vagrant: Port Forwarding - Part 4
— Exploring Vagrant: Provisioning in Detail - Part 3

Посмотреть:
🌐 5 современных консольных утилит для Linux и Mac OS

Хорошего дня!

❤️ Лайк, за подборку

@linuxkalii

🔍 Mr.Holmes

A Complete Osint Tool.

Mr.Holmes - это инструмент для сбора информации (OSINT).

Основные функции инструмента: получение информации о доменах, именах пользователей и номерах телефонов из публичных источников, из Интернете, а также использование атаки google dorks для исследовательских задач.

Mr.Holmes использует прокси-серверы для обеспечения полной анонимности запросов и WhoIS Api для получения дополнительной информации о домене.

git clone https://github.com/Lucksi/Mr.Holmes
cd Mr.Holmes
sudo apt-get update
sudo chmod +x install.sh
sudo ./install.sh

▪Github
▪Проект

@linuxkalii