Best-of Machine Learning with Python 😧

Это репозиторий с 920 библиотеками и фреймворками на Python для машинного обучения. Все проекты ранжированы по качеству. Репозиторий можно использовать как источник инструментов под различные нужды, в частности:

*️⃣для непосредственно машинного обучения;
*️⃣для визуализации данных;
*️⃣для работы с финансовыми, медицинскими и другими особыми данными;
*️⃣для оптического распознавания символов;
*️⃣для поиска ближайших элементов в больших наборах данных, основываясь на их векторных представлениях.

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

😏 Uscrapper — надежный OSINT-парсер, предназначенный для эффективного сбора разнообразной персональной информации с веб-сайтов.

Модуль использует методы веб-парсинга и регулярные выражения для извлечения:

⏩ адресов электронной почты;
⏩ ссылок на социальные сети;
⏩ имен авторов;
⏩ геолокации;
⏩ номеров телефонов и имен пользователей из гиперссылочных и негиперссылочных источников на веб-странице;
⏩ поддерживает многопоточность для ускорения этого процесса.

⚡️ Инструмент оснащен передовыми модулями обхода анти-парсинга и поддерживает технологии для извлечения информации из всех ссылок в пределах одного домена. Кроме того, в программе предусмотрена возможность создания отчета, содержащего все извлеченные данные.

Установка:

$ git clone https://github.com/z0m31en7/Uscrapper.git
$ cd Uscrapper/install/
$ chmod +x ./install.sh && ./install.sh

Запуск:

$ python Uscrapper-vanta.py [-h] [-u URL] [-O] [-ns] [-c CRAWL] [-t THREADS] [-k KEYWORDS [KEYWORDS ...]] [-f FILE]

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

🔥 PySpark: небольшой гайд по библиотеке

PySpark — это Python API для Apache Spark. А Apache Spark, в свою очередь, представляет собой движок для распределённой обработки задач, связанных с большими данными. Так, PySpark позволяет работать с данными любого размера.

Библиотека поддерживает все функции Spark, включая Spark SQL и DataFrames.

⏩Spark SQL предназначен для работы со структурированными данными и позволяет сочетать SQL-запросы с программами Spark.
⏩PySpark DataFrames позволяет читать, записывать, трансформировать и анализировать данные.

👆К посту прикрепил небольшую шпаргалку по этим двум основным инструментам PySpark

👉 @PythonPortal | #ресурсы

✨ Requests-HTML — максимально простая и интуитивно понятная библиотека для парсинга html включая асинхронный парсинг.

Установка:

$ pip install requests-html

Пример использования:

from requests_html import HTMLSession
session = HTMLSession()
r = session.get('https://python.org/')

from requests_html import AsyncHTMLSession
asession = AsyncHTMLSession()
async def get_pythonorg():
     r = await asession.get('https://python.org/')
     return r

async def get_reddit():
    r = await asession.get('https://reddit.com/')
    return r

async def get_google():
    r = await asession.get('https://google.com/')
    return r

results = asession.run(get_pythonorg, get_reddit, get_google)
results # check the requests all returned a 200 (success) code
[<Response [200]>, <Response [200]>, <Response [200]>]

for result in results:
     print(result.html.url)

Из коробки поддерживает сохранение cookie файлов, имитирует user-agent, асинхронные запросы, JavaScript и д.р. плюшки.

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

Решение 70 задач Leetcode в 5.5-часовом видео

Ролик охватывает такие темы, как:

*️⃣Временная и пространственная сложность алгоритмов.
*️⃣Все основные структуры данных.
*️⃣Советы по подготовке к интервью.

Все решения даны на Python 👩‍💻

📹 Cмотреть: YouTube

📌Сохраняем себе на случай подготовки к собесам

👉 @PythonPortal | #курсы

Шпаргалка по консольным командам Git

В репозитории кратко описано, как вообще устроена эта система контроля версий и как с ней работать.

Также есть:
⏩некоторые команды текстового редактора Vim;
⏩все необходимые консольные команды;
⏩порядок действий при конфликте слияния;
⏩примеры

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

💪 Очередная находка

email2phonenumber — инструмент OSINT, который позволяет вам получить номер телефона цели, просто имея его адрес электронной почты.

Установка:

$ pip3 install beautifulsoup4 requests

Использование:

$ python3 email2phonenumber.py scrape -e target@email.com

⛓ Ссылка: тык

▶️ Смотреть: тут

👉 @PythonPortal | #ресурсы

Ускорение Python в 2 раза с помощью multiprocessing, async и MapReduce

📖 Читать: ссылка

👉 @PythonPortal | #статья

Для тех кто просил, держите поисковик по библиотекам Python ❤️

PyPI Scout — это классный инструмент, который позволяет искать нужные вам библиотеки, вводя запросы на естественном языке.

Например, можно написать в строке поиска «a package that creates plots and beautiful visualizations» и вам вернётся массив библиотек, которые могут подойти.

🍸 Поиск идёт по инструментам, которые скачиваются не менее 100 раз в неделю.

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

Это реально годнота! 🔥

pdf2docx — Python модуль который позволяет конвертировать PDF документы в docx для дальнейшего редактирования.

Установка:

$ pip install pdf2docx

Пример работы:

from pdf2docx import Converter

pdf_file = '/path/to/sample.pdf'
docx_file = 'path/to/sample.docx'

# convert pdf to docx
cv = Converter(pdf_file)

# all pages by default
cv.convert(docx_file)
cv.close()

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

👩‍💻👩‍💻 TkForge библиотека для создания GUI на Python

Инструмент упрощает процесс. Работает он так:

*️⃣Вы разрабатываете макет графического интерфейса (GUI) в Figma;
*️⃣Затем сохраняете макет и получаете URL проекта;
*️⃣В TkForge указываете токен Figma и URL;
*️⃣Инструмент автоматически генерирует код на Python с использованием Tkinter, который соответствует макету в Figma.

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

🔥 Это небольшие материалы на CodeAcademy по различным структурам данных и алгоритмам, реализованным на Python. Довольно просто объясняют суть и сопровождаются кодом.

*️⃣Node (узел)
*️⃣Linked List (связный список)
*️⃣Doubly Linked Lists (двусвязный список)
*️⃣Queues (очереди)
*️⃣Stacks (стек)
*️⃣Hash Maps (хеш-таблицы)
*️⃣Recursion (рекурсия)
*️⃣Sorting Algorithms (алгоритмы сортировки)
*️⃣Trees (деревья)
*️⃣Heaps (куча)
*️⃣Greedy Algorithms (жадные алгоритмы)

👉 @PythonPortal | #ресурсы

Pydantic 2: Полное руководство для Python-разработчиков — от основ до продвинутых техник

📖 Читать: ссылка

👉 @PythonPortal | #статья

Учебник по Docker на русском ☠️

*️⃣Что такое и зачем нужен Docker
*️⃣ Docker Compose
*️⃣ Работа с контейнерами
*️⃣ Запуск Flask приложения с MongoDB в Docker Compose
*️⃣ Управление Docker в веб-интерфейсе и много чего интересного

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

Бесплатный учебник по Python в виде Colab-ноутбуков 👻

Учебник предназначен для людей, у которых нет опыта программирования. Он постепенно и наглядно погружает в тему.

Состоит из 19 частей. Вот некоторые (вместе со ссылками на Colab-ноутбуки):
🟡Переменные и операторы
🟡Функции
🟡Условия и рекурсия
🟡Строки и регулярные выражения
🟡Анализ текста
🟡Файлы и базы данных

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

Как работает модуль Asyncio в Python 📍

📖 Читать: ссылка

👉 @PythonPortal | #статья

Шпаргалка по Python с кодом для ежедневных задач 🌛

Это пост на Medium, который охватывает множество тем. Каждая иллюстрируется кодом, который можно взять и использовать. Вот что содержится в шпаргалке:

⏩Чтение и запись файлов;
⏩Работа с API;
⏩Манипуляции со списками и словарями;
⏩Работа с операционной системой;
⏩Математические операции;
⏩Работа с базами данных и др.

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

Скрипт шаблон магазина 🍭

Скрипт Telegram бота-магазина легко настраиваемого, наполняемого товарами соответственно вашим потребностям с админ панелью и платежной системой в криптовалюте(BTC, LTC, USDT TRC-20, USDT ERC-20, USDD TRC-20, USDC ERC-20)

🤖 ЯП: Python 3.11+
📂 Модули: aiogram
🖥 База данных: PostgreSQL

⛓ Скачать скрипт

👉 @PythonPortal | #ресурсы

Пишем Telegram-ботов с aiogram 3.x ☠️

📖 Читать: ссылка

👉 @PythonPortal | #статья

Наглядно, как работает Docker 🤩

Архитектура Docker состоит из трех основных компонентов:

⏩ Docker Client
Это интерфейс, посредством которого взаимодействуют пользователи. Он взаимодействует с демоном Docker.

⏩ Docker Host
Здесь демон Docker прослушивает запросы Docker API и управляет различными объектами Docker, включая изображения, контейнеры, сети и тома.

⏩ Docker Registry
Здесь хранятся образы Docker. Например, Docker Hub — широко используемый публичный реестр.

👉 @PythonPortal | #ресурсы

Очередная годная библиотека в Python 💎

LeakSearch — простой в использовании, удобный инструмент для поиска утекших в сеть паролей по базам(ProxyNova, LocalFile).

Поддерживаем поиск по ключевым словам, домены, пользователи и т.д., экспорт файлов в JSON или TXT.🍸

Установка:

$ git clone https://github.com/JoelGMSec/LeakSearch

$ cd LeakSearch

$ pip install -r requirements.txt

Использование:

$ python LeakSearch.py

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы