Forwarded from Заметки Хакер
🖥 Репозиторий: Machinae — сборщик сведений, связанных с безопасностью
Machinae — это инструмент для сбора сведений по кусочкам данных из общедоступных сайтов / каналов: IP адреса, доменные имена, URL, email адреса, хэши файлов и SSL отпечатки
Проект был рождён из желания улучшить Automater в четырёх областях:
1. Codebase — Доведение Automater до совместимости с python3 и делание кода более «питомным»
2. Конфигурация — Использование более понятного человеку формата (YAML)
3. Ввод — Поддержка из коробки парсинга JSON без необходимости писать регулярные выражения, но по прежнему поддерживает при необходимости выскабливание регулярными выражениями
4. Вывод — Поддержка дополнительных типов вывода, включая JSON, при этом внешний вывод делается опциональным
⏺ Ссылка на GitHub (https://github.com/HurricaneLabs/machinae)
#OSINT #Python #HurricaneLabs
@hackernews_lib
Machinae — это инструмент для сбора сведений по кусочкам данных из общедоступных сайтов / каналов: IP адреса, доменные имена, URL, email адреса, хэши файлов и SSL отпечатки
Проект был рождён из желания улучшить Automater в четырёх областях:
1. Codebase — Доведение Automater до совместимости с python3 и делание кода более «питомным»
2. Конфигурация — Использование более понятного человеку формата (YAML)
3. Ввод — Поддержка из коробки парсинга JSON без необходимости писать регулярные выражения, но по прежнему поддерживает при необходимости выскабливание регулярными выражениями
4. Вывод — Поддержка дополнительных типов вывода, включая JSON, при этом внешний вывод делается опциональным
⏺ Ссылка на GitHub (https://github.com/HurricaneLabs/machinae)
#OSINT #Python #HurricaneLabs
@hackernews_lib
Forwarded from GitHub Разработчика
YTSage
Обычно, чтобы скачать и сохранить видео или музыку с YouTube локально, я использую утилиту
Сегодня на GitHub наткнулся на YTSage — опенсорсный YouTube-даунлоадер с простым и удобным UI и мощным функционалом.
Поддерживает загрузку видео в любом качестве, извлечение аудио, скачивание субтитров, автоматическое пропускание рекламных вставок, а также обрезку видео по времени.
Основные фичи:
🔸 Загрузка видео в любом качестве и извлечение высококачественного аудио
🔸 Полная поддержка плейлистов с выборочной пакетной загрузкой
🔸 Многоязычные субтитры: скачивание, объединение и встраивание в видео
🔸 Интеграция с SponsorBlock для автоматического удаления рекламы и спонсорских сегментов
🔸 Видео-тримминг — скачивание определённого фрагмента по временным меткам
🔸 Поддержка cookie-авторизации для доступа к приватному или контенту для участников
Можно установить одной командой через
📁 Language: #Python
⭐️ Stars: 1.8k
➡️ Cсылка на GitHub
📱 @git_developer
Обычно, чтобы скачать и сохранить видео или музыку с YouTube локально, я использую утилиту
yt-dl. Но это инструмент для работы в терминале, и для новичков он может быть не самым простым в освоении.Сегодня на GitHub наткнулся на YTSage — опенсорсный YouTube-даунлоадер с простым и удобным UI и мощным функционалом.
Поддерживает загрузку видео в любом качестве, извлечение аудио, скачивание субтитров, автоматическое пропускание рекламных вставок, а также обрезку видео по времени.
Основные фичи:
Можно установить одной командой через
pip, а новичкам достаточно скачать готовый бинарник под свою ОСPlease open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Типичный программист
This media is not supported in your browser
VIEW IN TELEGRAM
Русскоязычный ИИ-рентгенолог из бесплатных запчастей — это реально
Большинство открытых медицинских моделей говорят только по-английски. Один разработчик решил это исправить — собрал мультимодальную нейросеть из двух публично доступных моделей и запустил на бесплатных GPU Kaggle.
Архитектура — классический Vision-Language подход: Google ViT смотрит на снимок и извлекает визуальные фичи, ruGPT-3 от Сбера генерирует текст. Проблема в том, что они не умеют работать вместе из коробки. Пришлось «взломать» конфиг ruGPT-3, чтобы Hugging Face создал новые веса кросс-внимания между моделями, — именно их и обучали.
Датасет взяли американский (Indiana University Chest X-Ray), перевели 7000 медицинских заключений через Helsinki-NLP прямо на Kaggle. Обучение 15 эпох на двух T4 заняло 2.5 часа — с fp16, gradient accumulation и JS-скриптом в браузере, чтобы сессия не отвалилась по тайм-ауту. В итоге модель распознаёт «кальцифицированные гранулемы» и чистые лёгкие на русском языке. Да, немного галлюцинирует, но в целом держится.
Код открыт, живое демо на Hugging Face Spaces — можно потрогать прямо сейчас. А прочитать подробности по ссылке: https://tproger.ru/articles/frankenwtejn-v-medicine--kak-ya-skrestil-vit-i-rugpt-3--chtoby-nau
#machinelearning #python
Большинство открытых медицинских моделей говорят только по-английски. Один разработчик решил это исправить — собрал мультимодальную нейросеть из двух публично доступных моделей и запустил на бесплатных GPU Kaggle.
Архитектура — классический Vision-Language подход: Google ViT смотрит на снимок и извлекает визуальные фичи, ruGPT-3 от Сбера генерирует текст. Проблема в том, что они не умеют работать вместе из коробки. Пришлось «взломать» конфиг ruGPT-3, чтобы Hugging Face создал новые веса кросс-внимания между моделями, — именно их и обучали.
Датасет взяли американский (Indiana University Chest X-Ray), перевели 7000 медицинских заключений через Helsinki-NLP прямо на Kaggle. Обучение 15 эпох на двух T4 заняло 2.5 часа — с fp16, gradient accumulation и JS-скриптом в браузере, чтобы сессия не отвалилась по тайм-ауту. В итоге модель распознаёт «кальцифицированные гранулемы» и чистые лёгкие на русском языке. Да, немного галлюцинирует, но в целом держится.
Код открыт, живое демо на Hugging Face Spaces — можно потрогать прямо сейчас. А прочитать подробности по ссылке: https://tproger.ru/articles/frankenwtejn-v-medicine--kak-ya-skrestil-vit-i-rugpt-3--chtoby-nau
#machinelearning #python
Forwarded from Заметки Хакер
🖥 Репозиторий: AxCrypt — программа для шифрования файлов и папок
AxCrypt — позволяет защищать файлы с помощью шифрования 128-bit или 256-bit, автоматически шифровать файлы в Dropbox, Google Drive и других сервисах, легко управлять паролями, давать возможность другим пользователям открывать защищённые файлы с помощью своего пароля.
⏺Использует шифрование AES 256-bit, которое является самым сильным стандартизованным шифрованием;
⏺Позволяет открывать, редактировать и обмениваться защищёнными файлами напрямую;
⏺Поддерживает английский, голландский, французский, немецкий, итальянский, корейский, португальский, испанский, шведский, турецкий, русский и другие языки;
⏺Мобильное приложение AxCrypt доступно для Android и iOS и позволяет открывать и просматривать любые файлы, зашифрованные настольной версией.
⏺ Ссылка на GitHub (https://github.com/YatharthChamoli/AxCrypt?ysclid=ml8yntmdik833928758)
⏺ Официальный сайт (https://axcrypt.net/ru/)
⏺ AxCrypt 1.7.3156 | Шифрование файлов "одним кликом" для Windows (https://www.securitylab.ru/software/407446.php?ysclid=ml8ytl4lhg526113853)
#Python #Encryption #Cryptography
@hackernews_lib
AxCrypt — позволяет защищать файлы с помощью шифрования 128-bit или 256-bit, автоматически шифровать файлы в Dropbox, Google Drive и других сервисах, легко управлять паролями, давать возможность другим пользователям открывать защищённые файлы с помощью своего пароля.
⏺Использует шифрование AES 256-bit, которое является самым сильным стандартизованным шифрованием;
⏺Позволяет открывать, редактировать и обмениваться защищёнными файлами напрямую;
⏺Поддерживает английский, голландский, французский, немецкий, итальянский, корейский, португальский, испанский, шведский, турецкий, русский и другие языки;
⏺Мобильное приложение AxCrypt доступно для Android и iOS и позволяет открывать и просматривать любые файлы, зашифрованные настольной версией.
⏺ Ссылка на GitHub (https://github.com/YatharthChamoli/AxCrypt?ysclid=ml8yntmdik833928758)
⏺ Официальный сайт (https://axcrypt.net/ru/)
⏺ AxCrypt 1.7.3156 | Шифрование файлов "одним кликом" для Windows (https://www.securitylab.ru/software/407446.php?ysclid=ml8ytl4lhg526113853)
#Python #Encryption #Cryptography
@hackernews_lib
Forwarded from Заметки Хакер
🖥 Репозиторий: TTWAF — Web Application Firewall (WAF) на Python для защиты веб-приложений
TTWAF — это Web Application Firewall (WAF), написанный на Python, предназначенный для защиты веб-приложений от различных типов атак.
— Данный инструмент может помочь в обнаружении и предотвращении распространенных веб-уязвимостей, таких как SQL-инъекции, межсайтовый скриптинг (XSS) и другие вредоносные запросы, повышая безопасность веб-серверов.
⏺ Ссылка на GitHub (https://github.com/AmoloHT/TTWAF)
#Python #WAF #Web #Security #Hacking | Лаборатория хакера (https://max.ru/lab_hack)
@hackernews_lib
TTWAF — это Web Application Firewall (WAF), написанный на Python, предназначенный для защиты веб-приложений от различных типов атак.
— Данный инструмент может помочь в обнаружении и предотвращении распространенных веб-уязвимостей, таких как SQL-инъекции, межсайтовый скриптинг (XSS) и другие вредоносные запросы, повышая безопасность веб-серверов.
⏺ Ссылка на GitHub (https://github.com/AmoloHT/TTWAF)
#Python #WAF #Web #Security #Hacking | Лаборатория хакера (https://max.ru/lab_hack)
@hackernews_lib
Forwarded from Заметки Хакер
🖥 Репозиторий: E4GL30S1NT — Универсальный OSINT-фреймворк для автоматизированной разведки по открытым источникам
E4GL30S1NT — это легковесный OSINT-фреймворк на Python, объединяющий десятки инструментов для сбора и анализа информации из открытых источников в едином интерфейсе.
— Данный инструмент включает модули для поиска по username, email, IP-адресу, домену, номеру телефона, а также парсинг соцсетей, поиск утечек данных, геолокацию по фото и автоматическое подключение через Tor для анонимности. Поддерживает экспорт результатов в HTML-отчёт и JSON.
⏺ Ссылка на GitHub (https://github.com/C0MPL3XDEV/E4GL30S1NT)
#OSINT #Recon #Python #Privacy | Лаборатория хакера (https://max.ru/lab_hack)
@hackernews_lib
E4GL30S1NT — это легковесный OSINT-фреймворк на Python, объединяющий десятки инструментов для сбора и анализа информации из открытых источников в едином интерфейсе.
— Данный инструмент включает модули для поиска по username, email, IP-адресу, домену, номеру телефона, а также парсинг соцсетей, поиск утечек данных, геолокацию по фото и автоматическое подключение через Tor для анонимности. Поддерживает экспорт результатов в HTML-отчёт и JSON.
⏺ Ссылка на GitHub (https://github.com/C0MPL3XDEV/E4GL30S1NT)
#OSINT #Recon #Python #Privacy | Лаборатория хакера (https://max.ru/lab_hack)
@hackernews_lib
Forwarded from Типичный программист
Хотите разобраться, как PyTorch работает изнутри, а не только вызывать .fit()?
Держите: awesome-cuda-books, кураторский список лучших книг по CUDA и параллельным вычислениям на GPU. 668 звёзд на GitHub.
CUDA от NVIDIA — основная платформа, поверх которой работают PyTorch, TensorFlow и большинство ML-фреймворков. Чтобы разобраться в том, что происходит на уровне ядер и памяти видеокарты, без хорошей книги не обойтись. Учебников по теме немало, и отфильтровать подходящие без ориентира непросто. А тут прямо готовая библиотека, так что забирайте.
#python #pytorch
@tproger
Читайте также в VK, Max и Дзен
Держите: awesome-cuda-books, кураторский список лучших книг по CUDA и параллельным вычислениям на GPU. 668 звёзд на GitHub.
CUDA от NVIDIA — основная платформа, поверх которой работают PyTorch, TensorFlow и большинство ML-фреймворков. Чтобы разобраться в том, что происходит на уровне ядер и памяти видеокарты, без хорошей книги не обойтись. Учебников по теме немало, и отфильтровать подходящие без ориентира непросто. А тут прямо готовая библиотека, так что забирайте.
#python #pytorch
@tproger
Читайте также в VK, Max и Дзен
Forwarded from Заметки Хакер
🖥 Репозиторий: AxCrypt — программа для шифрования файлов и папок
AxCrypt — позволяет защищать файлы с помощью шифрования 128-bit или 256-bit, автоматически шифровать файлы в Dropbox, Google Drive и других сервисах, легко управлять паролями, давать возможность другим пользователям открывать защищённые файлы с помощью своего пароля.
⏺Использует шифрование AES 256-bit, которое является самым сильным стандартизованным шифрованием;
⏺Позволяет открывать, редактировать и обмениваться защищёнными файлами напрямую;
⏺Поддерживает английский, голландский, французский, немецкий, итальянский, корейский, португальский, испанский, шведский, турецкий, русский и другие языки;
⏺Мобильное приложение AxCrypt доступно для Android и iOS и позволяет открывать и просматривать любые файлы, зашифрованные настольной версией.
⏺ Ссылка на GitHub (https://github.com/YatharthChamoli/AxCrypt?ysclid=ml8yntmdik833928758)
⏺ Официальный сайт (https://axcrypt.net/ru/)
⏺ AxCrypt 1.7.3156 | Шифрование файлов "одним кликом" для Windows (https://www.securitylab.ru/software/407446.php?ysclid=ml8ytl4lhg526113853)
#Python #Encryption #Cryptography
@hackernews_lib
AxCrypt — позволяет защищать файлы с помощью шифрования 128-bit или 256-bit, автоматически шифровать файлы в Dropbox, Google Drive и других сервисах, легко управлять паролями, давать возможность другим пользователям открывать защищённые файлы с помощью своего пароля.
⏺Использует шифрование AES 256-bit, которое является самым сильным стандартизованным шифрованием;
⏺Позволяет открывать, редактировать и обмениваться защищёнными файлами напрямую;
⏺Поддерживает английский, голландский, французский, немецкий, итальянский, корейский, португальский, испанский, шведский, турецкий, русский и другие языки;
⏺Мобильное приложение AxCrypt доступно для Android и iOS и позволяет открывать и просматривать любые файлы, зашифрованные настольной версией.
⏺ Ссылка на GitHub (https://github.com/YatharthChamoli/AxCrypt?ysclid=ml8yntmdik833928758)
⏺ Официальный сайт (https://axcrypt.net/ru/)
⏺ AxCrypt 1.7.3156 | Шифрование файлов "одним кликом" для Windows (https://www.securitylab.ru/software/407446.php?ysclid=ml8ytl4lhg526113853)
#Python #Encryption #Cryptography
@hackernews_lib
Forwarded from Типичный программист
Хотите разобраться, как PyTorch работает изнутри, а не только вызывать .fit()?
Держите: awesome-cuda-books, кураторский список лучших книг по CUDA и параллельным вычислениям на GPU. 668 звёзд на GitHub.
CUDA от NVIDIA — основная платформа, поверх которой работают PyTorch, TensorFlow и большинство ML-фреймворков. Чтобы разобраться в том, что происходит на уровне ядер и памяти видеокарты, без хорошей книги не обойтись. Учебников по теме немало, и отфильтровать подходящие без ориентира непросто. А тут прямо готовая библиотека, так что забирайте.
#python #pytorch
@tproger
Читайте также в VK, Max и Дзен
Держите: awesome-cuda-books, кураторский список лучших книг по CUDA и параллельным вычислениям на GPU. 668 звёзд на GitHub.
CUDA от NVIDIA — основная платформа, поверх которой работают PyTorch, TensorFlow и большинство ML-фреймворков. Чтобы разобраться в том, что происходит на уровне ядер и памяти видеокарты, без хорошей книги не обойтись. Учебников по теме немало, и отфильтровать подходящие без ориентира непросто. А тут прямо готовая библиотека, так что забирайте.
#python #pytorch
@tproger
Читайте также в VK, Max и Дзен
Forwarded from ServerAdmin.ru
Я привык для установки python приложений использовать либо пакетный менеджер системы apt, либо пакетный менеджер самого python – pip. Это устаревший подход, который имеет много недостатков. Через пакетный менеджер обычно доступны только наиболее популярные приложения. Их список ограничен. А через pip напрямую ставить неудобно, так как это ломает совместимость с приложениями, установленными через apt. Если уж хочется использовать pip, то надо запускать его в изолированном окружении, что тоже создаёт некоторые неудобства в дальнейшем использовании приложений.
Решил разобраться с этой темой. В настоящий момент в deb системах, в частности, Debian и Ubuntu, для установки python приложений лучше использовать pipx. Он позволяет автоматически устанавливать приложения в изолированном окружении, которые вызываются нативно из командной строки, но при этом не конфликтуют с системными пакетами. Сам pipx живёт в базовом репозитории:
Далее его можно использовать для установки приложений. Покажу на недавнем примере с ansible-cmdb. Он получится показательным для раскрытия темы. Его можно поставить через pipx:
Но работать установленный таким образом ansible-cmdb не будет. Это связано с тем, что собранный пакет очень старый и не умеет работать в виртуальном окружении, которое создаёт pipx. Последний создаёт символьные ссылки с именем приложения, а сами приложения размещает отдельно в виртуальном окружении. А ansible-cmdb ищет свои ресурсы по жёстко привязанным путям к тому месту, откуда его запустили. С современным приложениями такой проблемы не будет.
В связи с этим нам понадобится ещё одно приложение для работы с пакетами и виртуальными окружениями python – uv. Он, как и pipx, работает в изолированном окружении и не пересекается с системными пакетами. Если pipx используют для установки готовых приложений, то uv для установки зависимостей и создания виртуальных окружений.
Сам uv ставим через pipx:
Пример установки зависимостей через uv:
А теперь возвращаемся к ansible-cmdb и запускаем его в виртуальном окружении через uv:
Проверяем:
Теперь ansible-cmdb будет нормально работать напрямую из консоли. Принципиальной разницы в эксплуатации не будет с тем, что я предложил в своей заметке через:
Если это всё используется в отдельной виртуалке или контейнере. Но в целом правильно запускать именно так, как я описал в текущей заметке. Это не будет ломать совместимость с системными пакетами и другими python приложениями.
📌 Резюмирую:
◽️pipx используем для установки современных python приложений;
◽️uv для установки зависимостей, библиотек и создания виртуальных окружений в том числе для запуска старых приложений.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
#debian #python
Решил разобраться с этой темой. В настоящий момент в deb системах, в частности, Debian и Ubuntu, для установки python приложений лучше использовать pipx. Он позволяет автоматически устанавливать приложения в изолированном окружении, которые вызываются нативно из командной строки, но при этом не конфликтуют с системными пакетами. Сам pipx живёт в базовом репозитории:
# apt install pipx# pipx ensurepath# source ~/.profileДалее его можно использовать для установки приложений. Покажу на недавнем примере с ansible-cmdb. Он получится показательным для раскрытия темы. Его можно поставить через pipx:
# pipx install ansible-cmdbНо работать установленный таким образом ansible-cmdb не будет. Это связано с тем, что собранный пакет очень старый и не умеет работать в виртуальном окружении, которое создаёт pipx. Последний создаёт символьные ссылки с именем приложения, а сами приложения размещает отдельно в виртуальном окружении. А ansible-cmdb ищет свои ресурсы по жёстко привязанным путям к тому месту, откуда его запустили. С современным приложениями такой проблемы не будет.
В связи с этим нам понадобится ещё одно приложение для работы с пакетами и виртуальными окружениями python – uv. Он, как и pipx, работает в изолированном окружении и не пересекается с системными пакетами. Если pipx используют для установки готовых приложений, то uv для установки зависимостей и создания виртуальных окружений.
Сам uv ставим через pipx:
# pipx install uvПример установки зависимостей через uv:
# uv pip install -r requirements.txtА теперь возвращаемся к ansible-cmdb и запускаем его в виртуальном окружении через uv:
# uv venv .venv# source .venv/bin/activate# uv pip install ansible-cmdbПроверяем:
# ansible-cmdb --helpТеперь ansible-cmdb будет нормально работать напрямую из консоли. Принципиальной разницы в эксплуатации не будет с тем, что я предложил в своей заметке через:
# pip install ansible-cmdb --break-system-packagesЕсли это всё используется в отдельной виртуалке или контейнере. Но в целом правильно запускать именно так, как я описал в текущей заметке. Это не будет ломать совместимость с системными пакетами и другими python приложениями.
📌 Резюмирую:
◽️pipx используем для установки современных python приложений;
◽️uv для установки зависимостей, библиотек и создания виртуальных окружений в том числе для запуска старых приложений.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
#debian #python
Forwarded from Заметки Хакер
🖥 Репозиторий: E4GL30S1NT — Универсальный OSINT-фреймворк для автоматизированной разведки по открытым источникам
E4GL30S1NT — это легковесный OSINT-фреймворк на Python, объединяющий десятки инструментов для сбора и анализа информации из открытых источников в едином интерфейсе.
— Данный инструмент включает модули для поиска по username, email, IP-адресу, домену, номеру телефона, а также парсинг соцсетей, поиск утечек данных, геолокацию по фото и автоматическое подключение через Tor для анонимности. Поддерживает экспорт результатов в HTML-отчёт и JSON.
⏺️ Ссылка на GitHub (https://github.com/C0MPL3XDEV/E4GL30S1NT)
#OSINT #Recon #Python #Privacy
@hackernews_lib
E4GL30S1NT — это легковесный OSINT-фреймворк на Python, объединяющий десятки инструментов для сбора и анализа информации из открытых источников в едином интерфейсе.
— Данный инструмент включает модули для поиска по username, email, IP-адресу, домену, номеру телефона, а также парсинг соцсетей, поиск утечек данных, геолокацию по фото и автоматическое подключение через Tor для анонимности. Поддерживает экспорт результатов в HTML-отчёт и JSON.
⏺️ Ссылка на GitHub (https://github.com/C0MPL3XDEV/E4GL30S1NT)
#OSINT #Recon #Python #Privacy
@hackernews_lib
Forwarded from Заметки Хакер
🖥 Репозиторий: Bandit — Инструмент для поиска распространенных уязвимостей и проблем безопасности в коде на Python
Bandit — это статический анализатор кода (SAST) для обнаружения потенциальных угроз безопасности в Python-приложениях.
— Анализирует каждый файл проекта, строит абстрактное синтаксическое дерево (AST) и запускает специализированные плагины для поиска таких проблем, как жестко заданные пароли, использование небезопасных функций (например, eval или os.system) и уязвимых конфигураций.
⏺ Ссылка на GitHub (https://github.com/PyCQA/bandit)
#Python #Security #Audit #DevSecOps #Code #AppSec #Pentest |
@hackernews_lib
Bandit — это статический анализатор кода (SAST) для обнаружения потенциальных угроз безопасности в Python-приложениях.
— Анализирует каждый файл проекта, строит абстрактное синтаксическое дерево (AST) и запускает специализированные плагины для поиска таких проблем, как жестко заданные пароли, использование небезопасных функций (например, eval или os.system) и уязвимых конфигураций.
⏺ Ссылка на GitHub (https://github.com/PyCQA/bandit)
#Python #Security #Audit #DevSecOps #Code #AppSec #Pentest |
@hackernews_lib