👩💻 Pdf-extract-API
Этот Python проект представляет собой инструмент для преобразования изображений и PDF-документов в текст в формате Markdown и JSON с высоким уровнем точности.
💡 <i>Поддерживаются табличные данные и математические формулы.</i>
В основе проекта лежит использование FastAPI, а для асинхронной обработки задач применяется Celery.
Для кэширования результатов оптического распознавания символов (OCR) используется Redis.
В проекте реализованы разные методы конвертации, среди которых Marker, Surya-OCR и Tesseract. Также предусмотрена функция удаления персональных данных.
✔️ Установка:
<code>git clone https://github.com/CatchTheTornado/pdf-extract-api.git
cd pdf-extract-api</code>
🖥 Код (https://github.com/CatchTheTornado/pdf-extract-api)
@pythonl (https://t.me/pythonl)
@python_be1
Этот Python проект представляет собой инструмент для преобразования изображений и PDF-документов в текст в формате Markdown и JSON с высоким уровнем точности.
💡 <i>Поддерживаются табличные данные и математические формулы.</i>
В основе проекта лежит использование FastAPI, а для асинхронной обработки задач применяется Celery.
Для кэширования результатов оптического распознавания символов (OCR) используется Redis.
В проекте реализованы разные методы конвертации, среди которых Marker, Surya-OCR и Tesseract. Также предусмотрена функция удаления персональных данных.
✔️ Установка:
<code>git clone https://github.com/CatchTheTornado/pdf-extract-api.git
cd pdf-extract-api</code>
🖥 Код (https://github.com/CatchTheTornado/pdf-extract-api)
@pythonl (https://t.me/pythonl)
@python_be1
👍1
This media is not supported in your browser
VIEW IN TELEGRAM
VideoLingo - опенсорсный проект для перевода видео
Инструмент работает на Whisper от OpenAI. Она позволяет загружать ролики с ютуба, а затем добавлять сабы, в том числе, переведённые на русский язык.
https://github.com/Huanshere/VideoLingo
@python_be1
https://github.com/Huanshere/VideoLingo
Инструмент работает на Whisper от OpenAI. Она позволяет загружать ролики с ютуба, а затем добавлять сабы, в том числе, переведённые на русский язык.
https://github.com/Huanshere/VideoLingo
@python_be1
https://github.com/Huanshere/VideoLingo
👍1
This media is not supported in your browser
VIEW IN TELEGRAM
🔍 pyWhat — инструмент для автоматической идентификации различных типов данных в тексте и файлах! Поддерживает IP-адреса, email, криптографические ключи, URL, номера карт и др.
⭐️ Программа позволяет фильтровать и сортировать результаты, экспортировать данные в JSON и применять специфические фильтры для задач, например, для анализа трафика или поиска утечек данных. Подходит для анализа pcap-файлов, поиска данных в коде, автоматизации задач безопасности и поиска багов в программах.
🔐 Лицензия: MIT
🖥 GitHub (https://github.com/bee-san/pyWhat)
@pythonl (https://t.me/pythonl)
@python_be1
⭐️ Программа позволяет фильтровать и сортировать результаты, экспортировать данные в JSON и применять специфические фильтры для задач, например, для анализа трафика или поиска утечек данных. Подходит для анализа pcap-файлов, поиска данных в коде, автоматизации задач безопасности и поиска багов в программах.
🔐 Лицензия: MIT
🖥 GitHub (https://github.com/bee-san/pyWhat)
@pythonl (https://t.me/pythonl)
@python_be1
🥷 Web_Hacking (https://github.com/Mehdi0x90/Web_Hacking) — коллекция трюков и полезных нагрузок для bug bounty и пентестинга веб-приложений!
🌟 Репозиторий включает в себя техники обхода для различных уязвимостей, таких как обход CAPTCHA, JWT, CORS, а также примеры для тестирования на XSS, SQL-инъекции и других веб-уязвимостей. В репозитории также представлены mindmap-диаграммы для различных атак, ссылки на инструменты, советы по разведке (OSINT) и рекомендации по безопасности ПО.
🖥 Github (https://github.com/Mehdi0x90/Web_Hacking)
@linuxkalii
@python_be1
🌟 Репозиторий включает в себя техники обхода для различных уязвимостей, таких как обход CAPTCHA, JWT, CORS, а также примеры для тестирования на XSS, SQL-инъекции и других веб-уязвимостей. В репозитории также представлены mindmap-диаграммы для различных атак, ссылки на инструменты, советы по разведке (OSINT) и рекомендации по безопасности ПО.
🖥 Github (https://github.com/Mehdi0x90/Web_Hacking)
@linuxkalii
@python_be1
👍1
👩💻 ToolGit
Toolkit - это набор скриптов, которые расширяют функционал Git различными подкомандами, чтобы облегчить жизнь при разработке.
Установка:
<code>git config set —append —global include.path path/to/toolgit/aliases.ini</code>
🖥 Github (https://github.com/ahmetsait/toolgit)
@pythonl (https://t.me/pythonl)
@python_be1
Toolkit - это набор скриптов, которые расширяют функционал Git различными подкомандами, чтобы облегчить жизнь при разработке.
Установка:
<code>git config set —append —global include.path path/to/toolgit/aliases.ini</code>
🖥 Github (https://github.com/ahmetsait/toolgit)
@pythonl (https://t.me/pythonl)
@python_be1
👍1
👩💻 В PyPI внедрил новую систему проверки подлинности пакетов
Разработчики репозитория Python-пакетов PyPI (Python Package Index) сообщили (https://blog.pypi.org/posts/2024-11-14-pypi-now-supports-digital-attestations/) о введении нового механизма цифровой аттестации для проверки подлинности загружаемых пакетов.
Этот механизм заменил прежнюю систему верификации с помощью PGP-подписей. Основное отличие заключается в том, что теперь публикацию пакета подтверждает не сам разработчик, а третья сторона (каталог пакетов), основываясь на проверке через внешнего провайдера OpenID Connect. Это может включать проверку соответствия публикуемого пакета с исходным репозиторием на платформах вроде GitHub или GitLab.
Новая система решает проблемы, присущие старому методу верификации через PGP-подпись, который уже считался устаревшим. Основная трудность заключалась в проверке принадлежности открытых PGP-ключей их владельцам. Из 1069 PGP-ключей, использовавшихся с 2020 года для подписания пакетов в PyPI, 29% ключей вообще не были найдены на крупных публичных серверах ключей, а 35% оказались невозможными для подтверждения в процессе аудита. При этом подтвержденные 36% ключей покрывали всего 0.3% от общего числа подписанных файлов.
В рамках новой системы цифровые подписи формируются с использованием временных эфемерных ключей, создаваемых на основании полномочий, подтвержденных провайдером OpenID Connect.
Когда разработчик создает ключ для подписи, он проходит идентификацию через провайдера, который удостоверяет его связь с основным проектом. Эта инфраструктура основана на системах <code>Sigstore и in-toto Attestation Framework.</code>
Одним из преимуществ аттестации является отсутствие зависимости от постоянных PGP-ключей.
Если закрытый ключ теряется или подвергается атаке, все созданные с его помощью подписи становятся ненадежными. Аттестация же связывает подпись с временным токеном, который подтверждает права разработчика в момент загрузки пакета и его соответствие основному репозиторию кода.
Например, при загрузке пакета, подготовленного через GitHub Actions, аттестация гарантирует наличие связи между пакетом в PyPI и исходным хранилищем, рабочим процессом и хешем коммита, на базе которого был собран пакет.
Для мониторинга подлинности ключей и обнаружения потенциальных угроз в проектах, создающих пакеты, и самом PyPI используется централизованный публичный журнал. Чтобы обеспечить целостность данных и предотвратить изменение информации задним числом, в нем применяется структура «дерева Меркла» (Merkle Tree), где каждая ветвь проверяет все подчиненные ветви и узлы посредством древовидной схемы хеширования.
Кроме того, стоит упомянуть обнаруженный в каталоге PyPI вредоносный пакет под названием «fabrice», который использовал технику тайпсквоттинга – назначение схожего имени, различающегося несколькими символами (например, exampl вместо example, djangoo вместо django, pyhton вместо python и так далее), чтобы замаскироваться под популярную библиотеку «fabric».
Эта библиотека насчитывает около 201 миллиона загрузок (около 7 миллионов за последний месяц). Вредоносный пакет оставался незамеченным с 2021 года и успел набрать более 37 тысяч загрузок.
Пакет «fabrice» имитировал основную функциональность оригинальной библиотеки, но также содержал код для поиска и передачи ключей доступа к AWS (Amazon Web Services), установки бэкдоров и выполнения определенных скриптов.
Активизация вредоносных компонентов происходила как в операционной системе Linux, так и в Windows. В случае с Linux, файлы, связанные с вредоносной активностью, загружались в каталог ~/.local/bin/vscode.
@python_be1
Разработчики репозитория Python-пакетов PyPI (Python Package Index) сообщили (https://blog.pypi.org/posts/2024-11-14-pypi-now-supports-digital-attestations/) о введении нового механизма цифровой аттестации для проверки подлинности загружаемых пакетов.
Этот механизм заменил прежнюю систему верификации с помощью PGP-подписей. Основное отличие заключается в том, что теперь публикацию пакета подтверждает не сам разработчик, а третья сторона (каталог пакетов), основываясь на проверке через внешнего провайдера OpenID Connect. Это может включать проверку соответствия публикуемого пакета с исходным репозиторием на платформах вроде GitHub или GitLab.
Новая система решает проблемы, присущие старому методу верификации через PGP-подпись, который уже считался устаревшим. Основная трудность заключалась в проверке принадлежности открытых PGP-ключей их владельцам. Из 1069 PGP-ключей, использовавшихся с 2020 года для подписания пакетов в PyPI, 29% ключей вообще не были найдены на крупных публичных серверах ключей, а 35% оказались невозможными для подтверждения в процессе аудита. При этом подтвержденные 36% ключей покрывали всего 0.3% от общего числа подписанных файлов.
В рамках новой системы цифровые подписи формируются с использованием временных эфемерных ключей, создаваемых на основании полномочий, подтвержденных провайдером OpenID Connect.
Когда разработчик создает ключ для подписи, он проходит идентификацию через провайдера, который удостоверяет его связь с основным проектом. Эта инфраструктура основана на системах <code>Sigstore и in-toto Attestation Framework.</code>
Одним из преимуществ аттестации является отсутствие зависимости от постоянных PGP-ключей.
Если закрытый ключ теряется или подвергается атаке, все созданные с его помощью подписи становятся ненадежными. Аттестация же связывает подпись с временным токеном, который подтверждает права разработчика в момент загрузки пакета и его соответствие основному репозиторию кода.
Например, при загрузке пакета, подготовленного через GitHub Actions, аттестация гарантирует наличие связи между пакетом в PyPI и исходным хранилищем, рабочим процессом и хешем коммита, на базе которого был собран пакет.
Для мониторинга подлинности ключей и обнаружения потенциальных угроз в проектах, создающих пакеты, и самом PyPI используется централизованный публичный журнал. Чтобы обеспечить целостность данных и предотвратить изменение информации задним числом, в нем применяется структура «дерева Меркла» (Merkle Tree), где каждая ветвь проверяет все подчиненные ветви и узлы посредством древовидной схемы хеширования.
Кроме того, стоит упомянуть обнаруженный в каталоге PyPI вредоносный пакет под названием «fabrice», который использовал технику тайпсквоттинга – назначение схожего имени, различающегося несколькими символами (например, exampl вместо example, djangoo вместо django, pyhton вместо python и так далее), чтобы замаскироваться под популярную библиотеку «fabric».
Эта библиотека насчитывает около 201 миллиона загрузок (около 7 миллионов за последний месяц). Вредоносный пакет оставался незамеченным с 2021 года и успел набрать более 37 тысяч загрузок.
Пакет «fabrice» имитировал основную функциональность оригинальной библиотеки, но также содержал код для поиска и передачи ключей доступа к AWS (Amazon Web Services), установки бэкдоров и выполнения определенных скриптов.
Активизация вредоносных компонентов происходила как в операционной системе Linux, так и в Windows. В случае с Linux, файлы, связанные с вредоносной активностью, загружались в каталог ~/.local/bin/vscode.
@python_be1
👍1
👩💻 ERPNext (https://github.com/frappe/erpnext) — это полнофункциональная ERP-система на Python с открытым исходным кодом, подходящая для бизнеса любого размера.
🌟 Разработанная на фреймворке Frappe, ERPNext охватывает управление финансами, продажами, закупками, производством, CRM, проектами и кадровыми ресурсами. Она предоставляет гибкий интерфейс и может быть настроена под потребности пользователя, поддерживает многоуровневую отчётность и автоматизацию бизнес-процессов.
🔐 Лицензия: GPL-3.0
🖥 Github (https://github.com/frappe/erpnext)
@pythonl
@python_be1
🌟 Разработанная на фреймворке Frappe, ERPNext охватывает управление финансами, продажами, закупками, производством, CRM, проектами и кадровыми ресурсами. Она предоставляет гибкий интерфейс и может быть настроена под потребности пользователя, поддерживает многоуровневую отчётность и автоматизацию бизнес-процессов.
🔐 Лицензия: GPL-3.0
🖥 Github (https://github.com/frappe/erpnext)
@pythonl
@python_be1
👍1