Forwarded from Нейроканал
Все перечисленные библиотеки имеют открытый исходный код и предназначены в основном для питонистов.
Анализ, очистка и подготовка данных:
Pandas — быстрая и гибкая очистка и подготовка данных.
Numpy — предварительная обработка данных, применяется для математических вычислений.
Statsmodels — статистический анализ временных рядов, выживаемости и многого другого.
YData Profiling — упрощает этап EDA, тщательно анализируя ваши данные в одной строке кода.
Машинное и глубокое обучение:
Scikit-learn — ключевая библиотека машинного обучения, содержит реализацию популярных алгоритмов (регрессия, кластеризация).
Keras — создание, настройка моделей, работает поверх таких фреймворков, как TensorFlow.
TensorFlow — создание, моделирование и тренировка нейросетей.
XGBoost — предоставляет эффективные алгоритмы для задач регрессии, классификации и ранжирования.
CatBoost — градиентный бустинг.
#библиотеки #ml #deeplearning #python
Анализ, очистка и подготовка данных:
Pandas — быстрая и гибкая очистка и подготовка данных.
Numpy — предварительная обработка данных, применяется для математических вычислений.
Statsmodels — статистический анализ временных рядов, выживаемости и многого другого.
YData Profiling — упрощает этап EDA, тщательно анализируя ваши данные в одной строке кода.
Машинное и глубокое обучение:
Scikit-learn — ключевая библиотека машинного обучения, содержит реализацию популярных алгоритмов (регрессия, кластеризация).
Keras — создание, настройка моделей, работает поверх таких фреймворков, как TensorFlow.
TensorFlow — создание, моделирование и тренировка нейросетей.
XGBoost — предоставляет эффективные алгоритмы для задач регрессии, классификации и ранжирования.
CatBoost — градиентный бустинг.
#библиотеки #ml #deeplearning #python
Forwarded from Заметки Хакер
🖥 Репозиторий: Machinae — сборщик сведений, связанных с безопасностью
Machinae — это инструмент для сбора сведений по кусочкам данных из общедоступных сайтов / каналов: IP адреса, доменные имена, URL, email адреса, хэши файлов и SSL отпечатки
Проект был рождён из желания улучшить Automater в четырёх областях:
1. Codebase — Доведение Automater до совместимости с python3 и делание кода более «питомным»
2. Конфигурация — Использование более понятного человеку формата (YAML)
3. Ввод — Поддержка из коробки парсинга JSON без необходимости писать регулярные выражения, но по прежнему поддерживает при необходимости выскабливание регулярными выражениями
4. Вывод — Поддержка дополнительных типов вывода, включая JSON, при этом внешний вывод делается опциональным
⏺ Ссылка на GitHub (https://github.com/HurricaneLabs/machinae)
#OSINT #Python #HurricaneLabs
@hackernews_lib
Machinae — это инструмент для сбора сведений по кусочкам данных из общедоступных сайтов / каналов: IP адреса, доменные имена, URL, email адреса, хэши файлов и SSL отпечатки
Проект был рождён из желания улучшить Automater в четырёх областях:
1. Codebase — Доведение Automater до совместимости с python3 и делание кода более «питомным»
2. Конфигурация — Использование более понятного человеку формата (YAML)
3. Ввод — Поддержка из коробки парсинга JSON без необходимости писать регулярные выражения, но по прежнему поддерживает при необходимости выскабливание регулярными выражениями
4. Вывод — Поддержка дополнительных типов вывода, включая JSON, при этом внешний вывод делается опциональным
⏺ Ссылка на GitHub (https://github.com/HurricaneLabs/machinae)
#OSINT #Python #HurricaneLabs
@hackernews_lib
Forwarded from GitHub Разработчика
YTSage
Обычно, чтобы скачать и сохранить видео или музыку с YouTube локально, я использую утилиту
Сегодня на GitHub наткнулся на YTSage — опенсорсный YouTube-даунлоадер с простым и удобным UI и мощным функционалом.
Поддерживает загрузку видео в любом качестве, извлечение аудио, скачивание субтитров, автоматическое пропускание рекламных вставок, а также обрезку видео по времени.
Основные фичи:
🔸 Загрузка видео в любом качестве и извлечение высококачественного аудио
🔸 Полная поддержка плейлистов с выборочной пакетной загрузкой
🔸 Многоязычные субтитры: скачивание, объединение и встраивание в видео
🔸 Интеграция с SponsorBlock для автоматического удаления рекламы и спонсорских сегментов
🔸 Видео-тримминг — скачивание определённого фрагмента по временным меткам
🔸 Поддержка cookie-авторизации для доступа к приватному или контенту для участников
Можно установить одной командой через
📁 Language: #Python
⭐️ Stars: 1.8k
➡️ Cсылка на GitHub
📱 @git_developer
Обычно, чтобы скачать и сохранить видео или музыку с YouTube локально, я использую утилиту
yt-dl. Но это инструмент для работы в терминале, и для новичков он может быть не самым простым в освоении.Сегодня на GitHub наткнулся на YTSage — опенсорсный YouTube-даунлоадер с простым и удобным UI и мощным функционалом.
Поддерживает загрузку видео в любом качестве, извлечение аудио, скачивание субтитров, автоматическое пропускание рекламных вставок, а также обрезку видео по времени.
Основные фичи:
Можно установить одной командой через
pip, а новичкам достаточно скачать готовый бинарник под свою ОСPlease open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Типичный программист
This media is not supported in your browser
VIEW IN TELEGRAM
Русскоязычный ИИ-рентгенолог из бесплатных запчастей — это реально
Большинство открытых медицинских моделей говорят только по-английски. Один разработчик решил это исправить — собрал мультимодальную нейросеть из двух публично доступных моделей и запустил на бесплатных GPU Kaggle.
Архитектура — классический Vision-Language подход: Google ViT смотрит на снимок и извлекает визуальные фичи, ruGPT-3 от Сбера генерирует текст. Проблема в том, что они не умеют работать вместе из коробки. Пришлось «взломать» конфиг ruGPT-3, чтобы Hugging Face создал новые веса кросс-внимания между моделями, — именно их и обучали.
Датасет взяли американский (Indiana University Chest X-Ray), перевели 7000 медицинских заключений через Helsinki-NLP прямо на Kaggle. Обучение 15 эпох на двух T4 заняло 2.5 часа — с fp16, gradient accumulation и JS-скриптом в браузере, чтобы сессия не отвалилась по тайм-ауту. В итоге модель распознаёт «кальцифицированные гранулемы» и чистые лёгкие на русском языке. Да, немного галлюцинирует, но в целом держится.
Код открыт, живое демо на Hugging Face Spaces — можно потрогать прямо сейчас. А прочитать подробности по ссылке: https://tproger.ru/articles/frankenwtejn-v-medicine--kak-ya-skrestil-vit-i-rugpt-3--chtoby-nau
#machinelearning #python
Большинство открытых медицинских моделей говорят только по-английски. Один разработчик решил это исправить — собрал мультимодальную нейросеть из двух публично доступных моделей и запустил на бесплатных GPU Kaggle.
Архитектура — классический Vision-Language подход: Google ViT смотрит на снимок и извлекает визуальные фичи, ruGPT-3 от Сбера генерирует текст. Проблема в том, что они не умеют работать вместе из коробки. Пришлось «взломать» конфиг ruGPT-3, чтобы Hugging Face создал новые веса кросс-внимания между моделями, — именно их и обучали.
Датасет взяли американский (Indiana University Chest X-Ray), перевели 7000 медицинских заключений через Helsinki-NLP прямо на Kaggle. Обучение 15 эпох на двух T4 заняло 2.5 часа — с fp16, gradient accumulation и JS-скриптом в браузере, чтобы сессия не отвалилась по тайм-ауту. В итоге модель распознаёт «кальцифицированные гранулемы» и чистые лёгкие на русском языке. Да, немного галлюцинирует, но в целом держится.
Код открыт, живое демо на Hugging Face Spaces — можно потрогать прямо сейчас. А прочитать подробности по ссылке: https://tproger.ru/articles/frankenwtejn-v-medicine--kak-ya-skrestil-vit-i-rugpt-3--chtoby-nau
#machinelearning #python
Forwarded from Заметки Хакер
🖥 Репозиторий: AxCrypt — программа для шифрования файлов и папок
AxCrypt — позволяет защищать файлы с помощью шифрования 128-bit или 256-bit, автоматически шифровать файлы в Dropbox, Google Drive и других сервисах, легко управлять паролями, давать возможность другим пользователям открывать защищённые файлы с помощью своего пароля.
⏺Использует шифрование AES 256-bit, которое является самым сильным стандартизованным шифрованием;
⏺Позволяет открывать, редактировать и обмениваться защищёнными файлами напрямую;
⏺Поддерживает английский, голландский, французский, немецкий, итальянский, корейский, португальский, испанский, шведский, турецкий, русский и другие языки;
⏺Мобильное приложение AxCrypt доступно для Android и iOS и позволяет открывать и просматривать любые файлы, зашифрованные настольной версией.
⏺ Ссылка на GitHub (https://github.com/YatharthChamoli/AxCrypt?ysclid=ml8yntmdik833928758)
⏺ Официальный сайт (https://axcrypt.net/ru/)
⏺ AxCrypt 1.7.3156 | Шифрование файлов "одним кликом" для Windows (https://www.securitylab.ru/software/407446.php?ysclid=ml8ytl4lhg526113853)
#Python #Encryption #Cryptography
@hackernews_lib
AxCrypt — позволяет защищать файлы с помощью шифрования 128-bit или 256-bit, автоматически шифровать файлы в Dropbox, Google Drive и других сервисах, легко управлять паролями, давать возможность другим пользователям открывать защищённые файлы с помощью своего пароля.
⏺Использует шифрование AES 256-bit, которое является самым сильным стандартизованным шифрованием;
⏺Позволяет открывать, редактировать и обмениваться защищёнными файлами напрямую;
⏺Поддерживает английский, голландский, французский, немецкий, итальянский, корейский, португальский, испанский, шведский, турецкий, русский и другие языки;
⏺Мобильное приложение AxCrypt доступно для Android и iOS и позволяет открывать и просматривать любые файлы, зашифрованные настольной версией.
⏺ Ссылка на GitHub (https://github.com/YatharthChamoli/AxCrypt?ysclid=ml8yntmdik833928758)
⏺ Официальный сайт (https://axcrypt.net/ru/)
⏺ AxCrypt 1.7.3156 | Шифрование файлов "одним кликом" для Windows (https://www.securitylab.ru/software/407446.php?ysclid=ml8ytl4lhg526113853)
#Python #Encryption #Cryptography
@hackernews_lib
Forwarded from Заметки Хакер
🖥 Репозиторий: TTWAF — Web Application Firewall (WAF) на Python для защиты веб-приложений
TTWAF — это Web Application Firewall (WAF), написанный на Python, предназначенный для защиты веб-приложений от различных типов атак.
— Данный инструмент может помочь в обнаружении и предотвращении распространенных веб-уязвимостей, таких как SQL-инъекции, межсайтовый скриптинг (XSS) и другие вредоносные запросы, повышая безопасность веб-серверов.
⏺ Ссылка на GitHub (https://github.com/AmoloHT/TTWAF)
#Python #WAF #Web #Security #Hacking | Лаборатория хакера (https://max.ru/lab_hack)
@hackernews_lib
TTWAF — это Web Application Firewall (WAF), написанный на Python, предназначенный для защиты веб-приложений от различных типов атак.
— Данный инструмент может помочь в обнаружении и предотвращении распространенных веб-уязвимостей, таких как SQL-инъекции, межсайтовый скриптинг (XSS) и другие вредоносные запросы, повышая безопасность веб-серверов.
⏺ Ссылка на GitHub (https://github.com/AmoloHT/TTWAF)
#Python #WAF #Web #Security #Hacking | Лаборатория хакера (https://max.ru/lab_hack)
@hackernews_lib
Forwarded from Заметки Хакер
🖥 Репозиторий: E4GL30S1NT — Универсальный OSINT-фреймворк для автоматизированной разведки по открытым источникам
E4GL30S1NT — это легковесный OSINT-фреймворк на Python, объединяющий десятки инструментов для сбора и анализа информации из открытых источников в едином интерфейсе.
— Данный инструмент включает модули для поиска по username, email, IP-адресу, домену, номеру телефона, а также парсинг соцсетей, поиск утечек данных, геолокацию по фото и автоматическое подключение через Tor для анонимности. Поддерживает экспорт результатов в HTML-отчёт и JSON.
⏺ Ссылка на GitHub (https://github.com/C0MPL3XDEV/E4GL30S1NT)
#OSINT #Recon #Python #Privacy | Лаборатория хакера (https://max.ru/lab_hack)
@hackernews_lib
E4GL30S1NT — это легковесный OSINT-фреймворк на Python, объединяющий десятки инструментов для сбора и анализа информации из открытых источников в едином интерфейсе.
— Данный инструмент включает модули для поиска по username, email, IP-адресу, домену, номеру телефона, а также парсинг соцсетей, поиск утечек данных, геолокацию по фото и автоматическое подключение через Tor для анонимности. Поддерживает экспорт результатов в HTML-отчёт и JSON.
⏺ Ссылка на GitHub (https://github.com/C0MPL3XDEV/E4GL30S1NT)
#OSINT #Recon #Python #Privacy | Лаборатория хакера (https://max.ru/lab_hack)
@hackernews_lib
Forwarded from Типичный программист
Хотите разобраться, как PyTorch работает изнутри, а не только вызывать .fit()?
Держите: awesome-cuda-books, кураторский список лучших книг по CUDA и параллельным вычислениям на GPU. 668 звёзд на GitHub.
CUDA от NVIDIA — основная платформа, поверх которой работают PyTorch, TensorFlow и большинство ML-фреймворков. Чтобы разобраться в том, что происходит на уровне ядер и памяти видеокарты, без хорошей книги не обойтись. Учебников по теме немало, и отфильтровать подходящие без ориентира непросто. А тут прямо готовая библиотека, так что забирайте.
#python #pytorch
@tproger
Читайте также в VK, Max и Дзен
Держите: awesome-cuda-books, кураторский список лучших книг по CUDA и параллельным вычислениям на GPU. 668 звёзд на GitHub.
CUDA от NVIDIA — основная платформа, поверх которой работают PyTorch, TensorFlow и большинство ML-фреймворков. Чтобы разобраться в том, что происходит на уровне ядер и памяти видеокарты, без хорошей книги не обойтись. Учебников по теме немало, и отфильтровать подходящие без ориентира непросто. А тут прямо готовая библиотека, так что забирайте.
#python #pytorch
@tproger
Читайте также в VK, Max и Дзен
Forwarded from Заметки Хакер
🖥 Репозиторий: AxCrypt — программа для шифрования файлов и папок
AxCrypt — позволяет защищать файлы с помощью шифрования 128-bit или 256-bit, автоматически шифровать файлы в Dropbox, Google Drive и других сервисах, легко управлять паролями, давать возможность другим пользователям открывать защищённые файлы с помощью своего пароля.
⏺Использует шифрование AES 256-bit, которое является самым сильным стандартизованным шифрованием;
⏺Позволяет открывать, редактировать и обмениваться защищёнными файлами напрямую;
⏺Поддерживает английский, голландский, французский, немецкий, итальянский, корейский, португальский, испанский, шведский, турецкий, русский и другие языки;
⏺Мобильное приложение AxCrypt доступно для Android и iOS и позволяет открывать и просматривать любые файлы, зашифрованные настольной версией.
⏺ Ссылка на GitHub (https://github.com/YatharthChamoli/AxCrypt?ysclid=ml8yntmdik833928758)
⏺ Официальный сайт (https://axcrypt.net/ru/)
⏺ AxCrypt 1.7.3156 | Шифрование файлов "одним кликом" для Windows (https://www.securitylab.ru/software/407446.php?ysclid=ml8ytl4lhg526113853)
#Python #Encryption #Cryptography
@hackernews_lib
AxCrypt — позволяет защищать файлы с помощью шифрования 128-bit или 256-bit, автоматически шифровать файлы в Dropbox, Google Drive и других сервисах, легко управлять паролями, давать возможность другим пользователям открывать защищённые файлы с помощью своего пароля.
⏺Использует шифрование AES 256-bit, которое является самым сильным стандартизованным шифрованием;
⏺Позволяет открывать, редактировать и обмениваться защищёнными файлами напрямую;
⏺Поддерживает английский, голландский, французский, немецкий, итальянский, корейский, португальский, испанский, шведский, турецкий, русский и другие языки;
⏺Мобильное приложение AxCrypt доступно для Android и iOS и позволяет открывать и просматривать любые файлы, зашифрованные настольной версией.
⏺ Ссылка на GitHub (https://github.com/YatharthChamoli/AxCrypt?ysclid=ml8yntmdik833928758)
⏺ Официальный сайт (https://axcrypt.net/ru/)
⏺ AxCrypt 1.7.3156 | Шифрование файлов "одним кликом" для Windows (https://www.securitylab.ru/software/407446.php?ysclid=ml8ytl4lhg526113853)
#Python #Encryption #Cryptography
@hackernews_lib
Forwarded from Типичный программист
Хотите разобраться, как PyTorch работает изнутри, а не только вызывать .fit()?
Держите: awesome-cuda-books, кураторский список лучших книг по CUDA и параллельным вычислениям на GPU. 668 звёзд на GitHub.
CUDA от NVIDIA — основная платформа, поверх которой работают PyTorch, TensorFlow и большинство ML-фреймворков. Чтобы разобраться в том, что происходит на уровне ядер и памяти видеокарты, без хорошей книги не обойтись. Учебников по теме немало, и отфильтровать подходящие без ориентира непросто. А тут прямо готовая библиотека, так что забирайте.
#python #pytorch
@tproger
Читайте также в VK, Max и Дзен
Держите: awesome-cuda-books, кураторский список лучших книг по CUDA и параллельным вычислениям на GPU. 668 звёзд на GitHub.
CUDA от NVIDIA — основная платформа, поверх которой работают PyTorch, TensorFlow и большинство ML-фреймворков. Чтобы разобраться в том, что происходит на уровне ядер и памяти видеокарты, без хорошей книги не обойтись. Учебников по теме немало, и отфильтровать подходящие без ориентира непросто. А тут прямо готовая библиотека, так что забирайте.
#python #pytorch
@tproger
Читайте также в VK, Max и Дзен