Forwarded from Типичный программист
This media is not supported in your browser
VIEW IN TELEGRAM
Русскоязычный ИИ-рентгенолог из бесплатных запчастей — это реально
Большинство открытых медицинских моделей говорят только по-английски. Один разработчик решил это исправить — собрал мультимодальную нейросеть из двух публично доступных моделей и запустил на бесплатных GPU Kaggle.
Архитектура — классический Vision-Language подход: Google ViT смотрит на снимок и извлекает визуальные фичи, ruGPT-3 от Сбера генерирует текст. Проблема в том, что они не умеют работать вместе из коробки. Пришлось «взломать» конфиг ruGPT-3, чтобы Hugging Face создал новые веса кросс-внимания между моделями, — именно их и обучали.
Датасет взяли американский (Indiana University Chest X-Ray), перевели 7000 медицинских заключений через Helsinki-NLP прямо на Kaggle. Обучение 15 эпох на двух T4 заняло 2.5 часа — с fp16, gradient accumulation и JS-скриптом в браузере, чтобы сессия не отвалилась по тайм-ауту. В итоге модель распознаёт «кальцифицированные гранулемы» и чистые лёгкие на русском языке. Да, немного галлюцинирует, но в целом держится.
Код открыт, живое демо на Hugging Face Spaces — можно потрогать прямо сейчас. А прочитать подробности по ссылке: https://tproger.ru/articles/frankenwtejn-v-medicine--kak-ya-skrestil-vit-i-rugpt-3--chtoby-nau
#machinelearning #python
Большинство открытых медицинских моделей говорят только по-английски. Один разработчик решил это исправить — собрал мультимодальную нейросеть из двух публично доступных моделей и запустил на бесплатных GPU Kaggle.
Архитектура — классический Vision-Language подход: Google ViT смотрит на снимок и извлекает визуальные фичи, ruGPT-3 от Сбера генерирует текст. Проблема в том, что они не умеют работать вместе из коробки. Пришлось «взломать» конфиг ruGPT-3, чтобы Hugging Face создал новые веса кросс-внимания между моделями, — именно их и обучали.
Датасет взяли американский (Indiana University Chest X-Ray), перевели 7000 медицинских заключений через Helsinki-NLP прямо на Kaggle. Обучение 15 эпох на двух T4 заняло 2.5 часа — с fp16, gradient accumulation и JS-скриптом в браузере, чтобы сессия не отвалилась по тайм-ауту. В итоге модель распознаёт «кальцифицированные гранулемы» и чистые лёгкие на русском языке. Да, немного галлюцинирует, но в целом держится.
Код открыт, живое демо на Hugging Face Spaces — можно потрогать прямо сейчас. А прочитать подробности по ссылке: https://tproger.ru/articles/frankenwtejn-v-medicine--kak-ya-skrestil-vit-i-rugpt-3--chtoby-nau
#machinelearning #python
Forwarded from Заметки Хакер
🖥 Репозиторий: AxCrypt — программа для шифрования файлов и папок
AxCrypt — позволяет защищать файлы с помощью шифрования 128-bit или 256-bit, автоматически шифровать файлы в Dropbox, Google Drive и других сервисах, легко управлять паролями, давать возможность другим пользователям открывать защищённые файлы с помощью своего пароля.
⏺Использует шифрование AES 256-bit, которое является самым сильным стандартизованным шифрованием;
⏺Позволяет открывать, редактировать и обмениваться защищёнными файлами напрямую;
⏺Поддерживает английский, голландский, французский, немецкий, итальянский, корейский, португальский, испанский, шведский, турецкий, русский и другие языки;
⏺Мобильное приложение AxCrypt доступно для Android и iOS и позволяет открывать и просматривать любые файлы, зашифрованные настольной версией.
⏺ Ссылка на GitHub (https://github.com/YatharthChamoli/AxCrypt?ysclid=ml8yntmdik833928758)
⏺ Официальный сайт (https://axcrypt.net/ru/)
⏺ AxCrypt 1.7.3156 | Шифрование файлов "одним кликом" для Windows (https://www.securitylab.ru/software/407446.php?ysclid=ml8ytl4lhg526113853)
#Python #Encryption #Cryptography
@hackernews_lib
AxCrypt — позволяет защищать файлы с помощью шифрования 128-bit или 256-bit, автоматически шифровать файлы в Dropbox, Google Drive и других сервисах, легко управлять паролями, давать возможность другим пользователям открывать защищённые файлы с помощью своего пароля.
⏺Использует шифрование AES 256-bit, которое является самым сильным стандартизованным шифрованием;
⏺Позволяет открывать, редактировать и обмениваться защищёнными файлами напрямую;
⏺Поддерживает английский, голландский, французский, немецкий, итальянский, корейский, португальский, испанский, шведский, турецкий, русский и другие языки;
⏺Мобильное приложение AxCrypt доступно для Android и iOS и позволяет открывать и просматривать любые файлы, зашифрованные настольной версией.
⏺ Ссылка на GitHub (https://github.com/YatharthChamoli/AxCrypt?ysclid=ml8yntmdik833928758)
⏺ Официальный сайт (https://axcrypt.net/ru/)
⏺ AxCrypt 1.7.3156 | Шифрование файлов "одним кликом" для Windows (https://www.securitylab.ru/software/407446.php?ysclid=ml8ytl4lhg526113853)
#Python #Encryption #Cryptography
@hackernews_lib
Forwarded from Заметки Хакер
🖥 Репозиторий: TTWAF — Web Application Firewall (WAF) на Python для защиты веб-приложений
TTWAF — это Web Application Firewall (WAF), написанный на Python, предназначенный для защиты веб-приложений от различных типов атак.
— Данный инструмент может помочь в обнаружении и предотвращении распространенных веб-уязвимостей, таких как SQL-инъекции, межсайтовый скриптинг (XSS) и другие вредоносные запросы, повышая безопасность веб-серверов.
⏺ Ссылка на GitHub (https://github.com/AmoloHT/TTWAF)
#Python #WAF #Web #Security #Hacking | Лаборатория хакера (https://max.ru/lab_hack)
@hackernews_lib
TTWAF — это Web Application Firewall (WAF), написанный на Python, предназначенный для защиты веб-приложений от различных типов атак.
— Данный инструмент может помочь в обнаружении и предотвращении распространенных веб-уязвимостей, таких как SQL-инъекции, межсайтовый скриптинг (XSS) и другие вредоносные запросы, повышая безопасность веб-серверов.
⏺ Ссылка на GitHub (https://github.com/AmoloHT/TTWAF)
#Python #WAF #Web #Security #Hacking | Лаборатория хакера (https://max.ru/lab_hack)
@hackernews_lib
Forwarded from Заметки Хакер
🖥 Репозиторий: E4GL30S1NT — Универсальный OSINT-фреймворк для автоматизированной разведки по открытым источникам
E4GL30S1NT — это легковесный OSINT-фреймворк на Python, объединяющий десятки инструментов для сбора и анализа информации из открытых источников в едином интерфейсе.
— Данный инструмент включает модули для поиска по username, email, IP-адресу, домену, номеру телефона, а также парсинг соцсетей, поиск утечек данных, геолокацию по фото и автоматическое подключение через Tor для анонимности. Поддерживает экспорт результатов в HTML-отчёт и JSON.
⏺ Ссылка на GitHub (https://github.com/C0MPL3XDEV/E4GL30S1NT)
#OSINT #Recon #Python #Privacy | Лаборатория хакера (https://max.ru/lab_hack)
@hackernews_lib
E4GL30S1NT — это легковесный OSINT-фреймворк на Python, объединяющий десятки инструментов для сбора и анализа информации из открытых источников в едином интерфейсе.
— Данный инструмент включает модули для поиска по username, email, IP-адресу, домену, номеру телефона, а также парсинг соцсетей, поиск утечек данных, геолокацию по фото и автоматическое подключение через Tor для анонимности. Поддерживает экспорт результатов в HTML-отчёт и JSON.
⏺ Ссылка на GitHub (https://github.com/C0MPL3XDEV/E4GL30S1NT)
#OSINT #Recon #Python #Privacy | Лаборатория хакера (https://max.ru/lab_hack)
@hackernews_lib
Forwarded from Типичный программист
Хотите разобраться, как PyTorch работает изнутри, а не только вызывать .fit()?
Держите: awesome-cuda-books, кураторский список лучших книг по CUDA и параллельным вычислениям на GPU. 668 звёзд на GitHub.
CUDA от NVIDIA — основная платформа, поверх которой работают PyTorch, TensorFlow и большинство ML-фреймворков. Чтобы разобраться в том, что происходит на уровне ядер и памяти видеокарты, без хорошей книги не обойтись. Учебников по теме немало, и отфильтровать подходящие без ориентира непросто. А тут прямо готовая библиотека, так что забирайте.
#python #pytorch
@tproger
Читайте также в VK, Max и Дзен
Держите: awesome-cuda-books, кураторский список лучших книг по CUDA и параллельным вычислениям на GPU. 668 звёзд на GitHub.
CUDA от NVIDIA — основная платформа, поверх которой работают PyTorch, TensorFlow и большинство ML-фреймворков. Чтобы разобраться в том, что происходит на уровне ядер и памяти видеокарты, без хорошей книги не обойтись. Учебников по теме немало, и отфильтровать подходящие без ориентира непросто. А тут прямо готовая библиотека, так что забирайте.
#python #pytorch
@tproger
Читайте также в VK, Max и Дзен
Forwarded from Заметки Хакер
🖥 Репозиторий: AxCrypt — программа для шифрования файлов и папок
AxCrypt — позволяет защищать файлы с помощью шифрования 128-bit или 256-bit, автоматически шифровать файлы в Dropbox, Google Drive и других сервисах, легко управлять паролями, давать возможность другим пользователям открывать защищённые файлы с помощью своего пароля.
⏺Использует шифрование AES 256-bit, которое является самым сильным стандартизованным шифрованием;
⏺Позволяет открывать, редактировать и обмениваться защищёнными файлами напрямую;
⏺Поддерживает английский, голландский, французский, немецкий, итальянский, корейский, португальский, испанский, шведский, турецкий, русский и другие языки;
⏺Мобильное приложение AxCrypt доступно для Android и iOS и позволяет открывать и просматривать любые файлы, зашифрованные настольной версией.
⏺ Ссылка на GitHub (https://github.com/YatharthChamoli/AxCrypt?ysclid=ml8yntmdik833928758)
⏺ Официальный сайт (https://axcrypt.net/ru/)
⏺ AxCrypt 1.7.3156 | Шифрование файлов "одним кликом" для Windows (https://www.securitylab.ru/software/407446.php?ysclid=ml8ytl4lhg526113853)
#Python #Encryption #Cryptography
@hackernews_lib
AxCrypt — позволяет защищать файлы с помощью шифрования 128-bit или 256-bit, автоматически шифровать файлы в Dropbox, Google Drive и других сервисах, легко управлять паролями, давать возможность другим пользователям открывать защищённые файлы с помощью своего пароля.
⏺Использует шифрование AES 256-bit, которое является самым сильным стандартизованным шифрованием;
⏺Позволяет открывать, редактировать и обмениваться защищёнными файлами напрямую;
⏺Поддерживает английский, голландский, французский, немецкий, итальянский, корейский, португальский, испанский, шведский, турецкий, русский и другие языки;
⏺Мобильное приложение AxCrypt доступно для Android и iOS и позволяет открывать и просматривать любые файлы, зашифрованные настольной версией.
⏺ Ссылка на GitHub (https://github.com/YatharthChamoli/AxCrypt?ysclid=ml8yntmdik833928758)
⏺ Официальный сайт (https://axcrypt.net/ru/)
⏺ AxCrypt 1.7.3156 | Шифрование файлов "одним кликом" для Windows (https://www.securitylab.ru/software/407446.php?ysclid=ml8ytl4lhg526113853)
#Python #Encryption #Cryptography
@hackernews_lib
Forwarded from Типичный программист
Хотите разобраться, как PyTorch работает изнутри, а не только вызывать .fit()?
Держите: awesome-cuda-books, кураторский список лучших книг по CUDA и параллельным вычислениям на GPU. 668 звёзд на GitHub.
CUDA от NVIDIA — основная платформа, поверх которой работают PyTorch, TensorFlow и большинство ML-фреймворков. Чтобы разобраться в том, что происходит на уровне ядер и памяти видеокарты, без хорошей книги не обойтись. Учебников по теме немало, и отфильтровать подходящие без ориентира непросто. А тут прямо готовая библиотека, так что забирайте.
#python #pytorch
@tproger
Читайте также в VK, Max и Дзен
Держите: awesome-cuda-books, кураторский список лучших книг по CUDA и параллельным вычислениям на GPU. 668 звёзд на GitHub.
CUDA от NVIDIA — основная платформа, поверх которой работают PyTorch, TensorFlow и большинство ML-фреймворков. Чтобы разобраться в том, что происходит на уровне ядер и памяти видеокарты, без хорошей книги не обойтись. Учебников по теме немало, и отфильтровать подходящие без ориентира непросто. А тут прямо готовая библиотека, так что забирайте.
#python #pytorch
@tproger
Читайте также в VK, Max и Дзен
Forwarded from ServerAdmin.ru
Я привык для установки python приложений использовать либо пакетный менеджер системы apt, либо пакетный менеджер самого python – pip. Это устаревший подход, который имеет много недостатков. Через пакетный менеджер обычно доступны только наиболее популярные приложения. Их список ограничен. А через pip напрямую ставить неудобно, так как это ломает совместимость с приложениями, установленными через apt. Если уж хочется использовать pip, то надо запускать его в изолированном окружении, что тоже создаёт некоторые неудобства в дальнейшем использовании приложений.
Решил разобраться с этой темой. В настоящий момент в deb системах, в частности, Debian и Ubuntu, для установки python приложений лучше использовать pipx. Он позволяет автоматически устанавливать приложения в изолированном окружении, которые вызываются нативно из командной строки, но при этом не конфликтуют с системными пакетами. Сам pipx живёт в базовом репозитории:
Далее его можно использовать для установки приложений. Покажу на недавнем примере с ansible-cmdb. Он получится показательным для раскрытия темы. Его можно поставить через pipx:
Но работать установленный таким образом ansible-cmdb не будет. Это связано с тем, что собранный пакет очень старый и не умеет работать в виртуальном окружении, которое создаёт pipx. Последний создаёт символьные ссылки с именем приложения, а сами приложения размещает отдельно в виртуальном окружении. А ansible-cmdb ищет свои ресурсы по жёстко привязанным путям к тому месту, откуда его запустили. С современным приложениями такой проблемы не будет.
В связи с этим нам понадобится ещё одно приложение для работы с пакетами и виртуальными окружениями python – uv. Он, как и pipx, работает в изолированном окружении и не пересекается с системными пакетами. Если pipx используют для установки готовых приложений, то uv для установки зависимостей и создания виртуальных окружений.
Сам uv ставим через pipx:
Пример установки зависимостей через uv:
А теперь возвращаемся к ansible-cmdb и запускаем его в виртуальном окружении через uv:
Проверяем:
Теперь ansible-cmdb будет нормально работать напрямую из консоли. Принципиальной разницы в эксплуатации не будет с тем, что я предложил в своей заметке через:
Если это всё используется в отдельной виртуалке или контейнере. Но в целом правильно запускать именно так, как я описал в текущей заметке. Это не будет ломать совместимость с системными пакетами и другими python приложениями.
📌 Резюмирую:
◽️pipx используем для установки современных python приложений;
◽️uv для установки зависимостей, библиотек и создания виртуальных окружений в том числе для запуска старых приложений.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
#debian #python
Решил разобраться с этой темой. В настоящий момент в deb системах, в частности, Debian и Ubuntu, для установки python приложений лучше использовать pipx. Он позволяет автоматически устанавливать приложения в изолированном окружении, которые вызываются нативно из командной строки, но при этом не конфликтуют с системными пакетами. Сам pipx живёт в базовом репозитории:
# apt install pipx# pipx ensurepath# source ~/.profileДалее его можно использовать для установки приложений. Покажу на недавнем примере с ansible-cmdb. Он получится показательным для раскрытия темы. Его можно поставить через pipx:
# pipx install ansible-cmdbНо работать установленный таким образом ansible-cmdb не будет. Это связано с тем, что собранный пакет очень старый и не умеет работать в виртуальном окружении, которое создаёт pipx. Последний создаёт символьные ссылки с именем приложения, а сами приложения размещает отдельно в виртуальном окружении. А ansible-cmdb ищет свои ресурсы по жёстко привязанным путям к тому месту, откуда его запустили. С современным приложениями такой проблемы не будет.
В связи с этим нам понадобится ещё одно приложение для работы с пакетами и виртуальными окружениями python – uv. Он, как и pipx, работает в изолированном окружении и не пересекается с системными пакетами. Если pipx используют для установки готовых приложений, то uv для установки зависимостей и создания виртуальных окружений.
Сам uv ставим через pipx:
# pipx install uvПример установки зависимостей через uv:
# uv pip install -r requirements.txtА теперь возвращаемся к ansible-cmdb и запускаем его в виртуальном окружении через uv:
# uv venv .venv# source .venv/bin/activate# uv pip install ansible-cmdbПроверяем:
# ansible-cmdb --helpТеперь ansible-cmdb будет нормально работать напрямую из консоли. Принципиальной разницы в эксплуатации не будет с тем, что я предложил в своей заметке через:
# pip install ansible-cmdb --break-system-packagesЕсли это всё используется в отдельной виртуалке или контейнере. Но в целом правильно запускать именно так, как я описал в текущей заметке. Это не будет ломать совместимость с системными пакетами и другими python приложениями.
📌 Резюмирую:
◽️pipx используем для установки современных python приложений;
◽️uv для установки зависимостей, библиотек и создания виртуальных окружений в том числе для запуска старых приложений.
❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
#debian #python
Forwarded from Заметки Хакер
🖥 Репозиторий: E4GL30S1NT — Универсальный OSINT-фреймворк для автоматизированной разведки по открытым источникам
E4GL30S1NT — это легковесный OSINT-фреймворк на Python, объединяющий десятки инструментов для сбора и анализа информации из открытых источников в едином интерфейсе.
— Данный инструмент включает модули для поиска по username, email, IP-адресу, домену, номеру телефона, а также парсинг соцсетей, поиск утечек данных, геолокацию по фото и автоматическое подключение через Tor для анонимности. Поддерживает экспорт результатов в HTML-отчёт и JSON.
⏺️ Ссылка на GitHub (https://github.com/C0MPL3XDEV/E4GL30S1NT)
#OSINT #Recon #Python #Privacy
@hackernews_lib
E4GL30S1NT — это легковесный OSINT-фреймворк на Python, объединяющий десятки инструментов для сбора и анализа информации из открытых источников в едином интерфейсе.
— Данный инструмент включает модули для поиска по username, email, IP-адресу, домену, номеру телефона, а также парсинг соцсетей, поиск утечек данных, геолокацию по фото и автоматическое подключение через Tor для анонимности. Поддерживает экспорт результатов в HTML-отчёт и JSON.
⏺️ Ссылка на GitHub (https://github.com/C0MPL3XDEV/E4GL30S1NT)
#OSINT #Recon #Python #Privacy
@hackernews_lib
Forwarded from Заметки Хакер
🖥 Репозиторий: Bandit — Инструмент для поиска распространенных уязвимостей и проблем безопасности в коде на Python
Bandit — это статический анализатор кода (SAST) для обнаружения потенциальных угроз безопасности в Python-приложениях.
— Анализирует каждый файл проекта, строит абстрактное синтаксическое дерево (AST) и запускает специализированные плагины для поиска таких проблем, как жестко заданные пароли, использование небезопасных функций (например, eval или os.system) и уязвимых конфигураций.
⏺ Ссылка на GitHub (https://github.com/PyCQA/bandit)
#Python #Security #Audit #DevSecOps #Code #AppSec #Pentest |
@hackernews_lib
Bandit — это статический анализатор кода (SAST) для обнаружения потенциальных угроз безопасности в Python-приложениях.
— Анализирует каждый файл проекта, строит абстрактное синтаксическое дерево (AST) и запускает специализированные плагины для поиска таких проблем, как жестко заданные пароли, использование небезопасных функций (например, eval или os.system) и уязвимых конфигураций.
⏺ Ссылка на GitHub (https://github.com/PyCQA/bandit)
#Python #Security #Audit #DevSecOps #Code #AppSec #Pentest |
@hackernews_lib