Полезные библиотеки Python 👩‍💻

TeleParser — проект простого, но эффективного парсера для чатов и каналов Telegram.

Записывает данные в JSON, CSV и MongoDB.

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

Cheatsheet по Pandas

Держите годную шпаргалку по работе с библиотекой Pandas, тут описано самое основное, что может понадобиться в работе:

⏩Группировка данных по заданным параметрам.

⏩Объединение нескольких таблиц в одну сводную.

⏩Очищение данных от дубликатов и невалидных строк или столбцов.

⏩Вывод определенных значений по фильтрам или уникальности.

⏩Использование агрегирующих функций, включая подсчет значений, суммы элементов, определение среднего значения.

⏩Визуализация собранных данных.

👉 @PythonPortal | #ресурсы

Находка для хакеров 😄

Wifiphisher — Python утилита для перехвата паролей от Wi-Fi, которая создает поддельную точку доступа и отключает юзера от оригинальной.

▶️ При попытке пользователя подключиться к интернету, у него возникает видимость точки доступа с тем же SSID, что и прежде, и при попытке войти в нее будет показана веб-страница с запросом пароля, якобы из-за «обновления прошивки». Введенный пароль перехватывается Wifiphisher.

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

Использование Python datetime для работы с датами и временем

📖 Читать: ссылка

👉 @PythonPortal | #статья

⚡️ Шпаргалка по REST API

Может пригодиться многим. В ней есть:
⏩ структура URL запроса
⏩ HTTP-методы
⏩ заголовки запросов и ответов
⏩ коды ответов
⏩ структура JSON

👉 @PythonPortal | #ресурсы

🔥 Ключевые концепции Docker в одной диаграмме: на заметку разработчику

👉 @PythonPortal | #ресурсы

Это хоть и небольшая, но полезная шпаргалка по дебаггингу в Python

Сам ей давно пользуюсь и тебе пригодится 💕

👉 @PythonPortal | #ресурсы

Как устроен Python под капотом

👉 @PythonPortal | #ресурсы

🤓 Gideon — OSINT инструмент написанный на Python для поиска и сбора информации:

⏩ О номере телефона;
⏩ Госномере автомобиля;
⏩ Никнейме;
⏩ Торрентах по IP-адресу.

Установка:

$ git clone https://github.com/YouVBeenHacked/gideon/

$ cd gideon

$ pip3 install requirements.txt

Использование:

$ python gideon.py

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

Создание собственного API на Python (FastAPI)

📖 Читать: ссылка

👉 @PythonPortal | #статья

🫣 Вау! Я для вас кое-что нашёл.

Шпаргалки по Matplotlib

Matplotlib — это мощная библиотека для визуализации данных в Python. Она позволяет создавать различные графики и диаграммы для представления данных в наглядном виде. 👩‍💻

Это официальные шпаргалки от создателей библиотеки. Помимо основной, есть также материалы, разделённые на три категории:

⏩для начинающих
⏩для более опытных разработчиков
⏩советы

👉 @PythonPortal | #ресурсы

❌ Пришло время. Знакомься, это PyDork

Инструмент для автоматизации сбора результатов из популярных поисковиков Google, Bing, DuckDuckGo, Baidu и Yahoo Japan.

Установка:

$ pip install pydork

Пример использования:

# search text at google
$ pydork search -n 10 -t google -- 'super mario'

# search text at google, bing, duckduckgo, with selenium
$ pydork search -s -n 10 -t google bing duckduckgo -- 'super mario'

from pydork.engine import SearchEngine

# SearchEngine
search_engine = SearchEngine()

search_engine.set('google')
search_result = search_engine.search('final fantasy')

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

«В Python слишком много менеджеров пакетов»

📖 Читать: ссылка

👉 @PythonPortal | #статья

Внимание!! Нашли репозиторий с большим количеством шпаргалок по Python на русском языке 😮

Есть PDF-ки по:
⏩типам данных;
⏩функциям;
⏩декораторам;
⏩итераторам и генераторам;
⏩различным модулям;
⏩ООП и многому другому.

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

✔️ LinkedIn_AIHawk — созданная реддитором AI утилита для быстрого поиска работы.

Софт редактирует ваше резюме под описание вакансий и автоматически рассылает их.

Результат впечатляет: за сутки парень разослал 1000 резюме, которые превратились в 50 приглашений на собес. Бот не только правит резюме, но и сам отвечает на вопросы HR-ов от вашего лица.

Установка:

$ git clone https://github.com/feder-cr/LinkedIn_AIHawk_automatic_job_application

$ cd LinkedIn_AIHawk_automatic_job_application

$ pip install -r requirements.txt

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

Создаём хорошие README-файлы для Python-проектов

Все знают, что у проекта должен быть README. Но как его лучше написать и организовать?

📖 Читать: ссылка

👉 @PythonPortal | #статья

Best-of Machine Learning with Python 😧

Это репозиторий с 920 библиотеками и фреймворками на Python для машинного обучения. Все проекты ранжированы по качеству. Репозиторий можно использовать как источник инструментов под различные нужды, в частности:

*️⃣для непосредственно машинного обучения;
*️⃣для визуализации данных;
*️⃣для работы с финансовыми, медицинскими и другими особыми данными;
*️⃣для оптического распознавания символов;
*️⃣для поиска ближайших элементов в больших наборах данных, основываясь на их векторных представлениях.

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

😏 Uscrapper — надежный OSINT-парсер, предназначенный для эффективного сбора разнообразной персональной информации с веб-сайтов.

Модуль использует методы веб-парсинга и регулярные выражения для извлечения:

⏩ адресов электронной почты;
⏩ ссылок на социальные сети;
⏩ имен авторов;
⏩ геолокации;
⏩ номеров телефонов и имен пользователей из гиперссылочных и негиперссылочных источников на веб-странице;
⏩ поддерживает многопоточность для ускорения этого процесса.

⚡️ Инструмент оснащен передовыми модулями обхода анти-парсинга и поддерживает технологии для извлечения информации из всех ссылок в пределах одного домена. Кроме того, в программе предусмотрена возможность создания отчета, содержащего все извлеченные данные.

Установка:

$ git clone https://github.com/z0m31en7/Uscrapper.git
$ cd Uscrapper/install/
$ chmod +x ./install.sh && ./install.sh

Запуск:

$ python Uscrapper-vanta.py [-h] [-u URL] [-O] [-ns] [-c CRAWL] [-t THREADS] [-k KEYWORDS [KEYWORDS ...]] [-f FILE]

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

🔥 PySpark: небольшой гайд по библиотеке

PySpark — это Python API для Apache Spark. А Apache Spark, в свою очередь, представляет собой движок для распределённой обработки задач, связанных с большими данными. Так, PySpark позволяет работать с данными любого размера.

Библиотека поддерживает все функции Spark, включая Spark SQL и DataFrames.

⏩Spark SQL предназначен для работы со структурированными данными и позволяет сочетать SQL-запросы с программами Spark.
⏩PySpark DataFrames позволяет читать, записывать, трансформировать и анализировать данные.

👆К посту прикрепил небольшую шпаргалку по этим двум основным инструментам PySpark

👉 @PythonPortal | #ресурсы

✨ Requests-HTML — максимально простая и интуитивно понятная библиотека для парсинга html включая асинхронный парсинг.

Установка:

$ pip install requests-html

Пример использования:

from requests_html import HTMLSession
session = HTMLSession()
r = session.get('https://python.org/')

from requests_html import AsyncHTMLSession
asession = AsyncHTMLSession()
async def get_pythonorg():
     r = await asession.get('https://python.org/')
     return r

async def get_reddit():
    r = await asession.get('https://reddit.com/')
    return r

async def get_google():
    r = await asession.get('https://google.com/')
    return r

results = asession.run(get_pythonorg, get_reddit, get_google)
results # check the requests all returned a 200 (success) code
[<Response [200]>, <Response [200]>, <Response [200]>]

for result in results:
     print(result.html.url)

Из коробки поддерживает сохранение cookie файлов, имитирует user-agent, асинхронные запросы, JavaScript и д.р. плюшки.

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

Решение 70 задач Leetcode в 5.5-часовом видео

Ролик охватывает такие темы, как:

*️⃣Временная и пространственная сложность алгоритмов.
*️⃣Все основные структуры данных.
*️⃣Советы по подготовке к интервью.

Все решения даны на Python 👩‍💻

📹 Cмотреть: YouTube

📌Сохраняем себе на случай подготовки к собесам

👉 @PythonPortal | #курсы