Как устроен Python под капотом

👉 @PythonPortal | #ресурсы

🤓 Gideon — OSINT инструмент написанный на Python для поиска и сбора информации:

⏩ О номере телефона;
⏩ Госномере автомобиля;
⏩ Никнейме;
⏩ Торрентах по IP-адресу.

Установка:

$ git clone https://github.com/YouVBeenHacked/gideon/

$ cd gideon

$ pip3 install requirements.txt

Использование:

$ python gideon.py

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

Создание собственного API на Python (FastAPI)

📖 Читать: ссылка

👉 @PythonPortal | #статья

🫣 Вау! Я для вас кое-что нашёл.

Шпаргалки по Matplotlib

Matplotlib — это мощная библиотека для визуализации данных в Python. Она позволяет создавать различные графики и диаграммы для представления данных в наглядном виде. 👩‍💻

Это официальные шпаргалки от создателей библиотеки. Помимо основной, есть также материалы, разделённые на три категории:

⏩для начинающих
⏩для более опытных разработчиков
⏩советы

👉 @PythonPortal | #ресурсы

❌ Пришло время. Знакомься, это PyDork

Инструмент для автоматизации сбора результатов из популярных поисковиков Google, Bing, DuckDuckGo, Baidu и Yahoo Japan.

Установка:

$ pip install pydork

Пример использования:

# search text at google
$ pydork search -n 10 -t google -- 'super mario'

# search text at google, bing, duckduckgo, with selenium
$ pydork search -s -n 10 -t google bing duckduckgo -- 'super mario'

from pydork.engine import SearchEngine

# SearchEngine
search_engine = SearchEngine()

search_engine.set('google')
search_result = search_engine.search('final fantasy')

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

«В Python слишком много менеджеров пакетов»

📖 Читать: ссылка

👉 @PythonPortal | #статья

Внимание!! Нашли репозиторий с большим количеством шпаргалок по Python на русском языке 😮

Есть PDF-ки по:
⏩типам данных;
⏩функциям;
⏩декораторам;
⏩итераторам и генераторам;
⏩различным модулям;
⏩ООП и многому другому.

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

✔️ LinkedIn_AIHawk — созданная реддитором AI утилита для быстрого поиска работы.

Софт редактирует ваше резюме под описание вакансий и автоматически рассылает их.

Результат впечатляет: за сутки парень разослал 1000 резюме, которые превратились в 50 приглашений на собес. Бот не только правит резюме, но и сам отвечает на вопросы HR-ов от вашего лица.

Установка:

$ git clone https://github.com/feder-cr/LinkedIn_AIHawk_automatic_job_application

$ cd LinkedIn_AIHawk_automatic_job_application

$ pip install -r requirements.txt

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

Создаём хорошие README-файлы для Python-проектов

Все знают, что у проекта должен быть README. Но как его лучше написать и организовать?

📖 Читать: ссылка

👉 @PythonPortal | #статья

Best-of Machine Learning with Python 😧

Это репозиторий с 920 библиотеками и фреймворками на Python для машинного обучения. Все проекты ранжированы по качеству. Репозиторий можно использовать как источник инструментов под различные нужды, в частности:

*️⃣для непосредственно машинного обучения;
*️⃣для визуализации данных;
*️⃣для работы с финансовыми, медицинскими и другими особыми данными;
*️⃣для оптического распознавания символов;
*️⃣для поиска ближайших элементов в больших наборах данных, основываясь на их векторных представлениях.

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

😏 Uscrapper — надежный OSINT-парсер, предназначенный для эффективного сбора разнообразной персональной информации с веб-сайтов.

Модуль использует методы веб-парсинга и регулярные выражения для извлечения:

⏩ адресов электронной почты;
⏩ ссылок на социальные сети;
⏩ имен авторов;
⏩ геолокации;
⏩ номеров телефонов и имен пользователей из гиперссылочных и негиперссылочных источников на веб-странице;
⏩ поддерживает многопоточность для ускорения этого процесса.

⚡️ Инструмент оснащен передовыми модулями обхода анти-парсинга и поддерживает технологии для извлечения информации из всех ссылок в пределах одного домена. Кроме того, в программе предусмотрена возможность создания отчета, содержащего все извлеченные данные.

Установка:

$ git clone https://github.com/z0m31en7/Uscrapper.git
$ cd Uscrapper/install/
$ chmod +x ./install.sh && ./install.sh

Запуск:

$ python Uscrapper-vanta.py [-h] [-u URL] [-O] [-ns] [-c CRAWL] [-t THREADS] [-k KEYWORDS [KEYWORDS ...]] [-f FILE]

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

🔥 PySpark: небольшой гайд по библиотеке

PySpark — это Python API для Apache Spark. А Apache Spark, в свою очередь, представляет собой движок для распределённой обработки задач, связанных с большими данными. Так, PySpark позволяет работать с данными любого размера.

Библиотека поддерживает все функции Spark, включая Spark SQL и DataFrames.

⏩Spark SQL предназначен для работы со структурированными данными и позволяет сочетать SQL-запросы с программами Spark.
⏩PySpark DataFrames позволяет читать, записывать, трансформировать и анализировать данные.

👆К посту прикрепил небольшую шпаргалку по этим двум основным инструментам PySpark

👉 @PythonPortal | #ресурсы

✨ Requests-HTML — максимально простая и интуитивно понятная библиотека для парсинга html включая асинхронный парсинг.

Установка:

$ pip install requests-html

Пример использования:

from requests_html import HTMLSession
session = HTMLSession()
r = session.get('https://python.org/')

from requests_html import AsyncHTMLSession
asession = AsyncHTMLSession()
async def get_pythonorg():
     r = await asession.get('https://python.org/')
     return r

async def get_reddit():
    r = await asession.get('https://reddit.com/')
    return r

async def get_google():
    r = await asession.get('https://google.com/')
    return r

results = asession.run(get_pythonorg, get_reddit, get_google)
results # check the requests all returned a 200 (success) code
[<Response [200]>, <Response [200]>, <Response [200]>]

for result in results:
     print(result.html.url)

Из коробки поддерживает сохранение cookie файлов, имитирует user-agent, асинхронные запросы, JavaScript и д.р. плюшки.

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

Решение 70 задач Leetcode в 5.5-часовом видео

Ролик охватывает такие темы, как:

*️⃣Временная и пространственная сложность алгоритмов.
*️⃣Все основные структуры данных.
*️⃣Советы по подготовке к интервью.

Все решения даны на Python 👩‍💻

📹 Cмотреть: YouTube

📌Сохраняем себе на случай подготовки к собесам

👉 @PythonPortal | #курсы

Шпаргалка по консольным командам Git

В репозитории кратко описано, как вообще устроена эта система контроля версий и как с ней работать.

Также есть:
⏩некоторые команды текстового редактора Vim;
⏩все необходимые консольные команды;
⏩порядок действий при конфликте слияния;
⏩примеры

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

💪 Очередная находка

email2phonenumber — инструмент OSINT, который позволяет вам получить номер телефона цели, просто имея его адрес электронной почты.

Установка:

$ pip3 install beautifulsoup4 requests

Использование:

$ python3 email2phonenumber.py scrape -e target@email.com

⛓ Ссылка: тык

▶️ Смотреть: тут

👉 @PythonPortal | #ресурсы

Ускорение Python в 2 раза с помощью multiprocessing, async и MapReduce

📖 Читать: ссылка

👉 @PythonPortal | #статья

Для тех кто просил, держите поисковик по библиотекам Python ❤️

PyPI Scout — это классный инструмент, который позволяет искать нужные вам библиотеки, вводя запросы на естественном языке.

Например, можно написать в строке поиска «a package that creates plots and beautiful visualizations» и вам вернётся массив библиотек, которые могут подойти.

🍸 Поиск идёт по инструментам, которые скачиваются не менее 100 раз в неделю.

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

Это реально годнота! 🔥

pdf2docx — Python модуль который позволяет конвертировать PDF документы в docx для дальнейшего редактирования.

Установка:

$ pip install pdf2docx

Пример работы:

from pdf2docx import Converter

pdf_file = '/path/to/sample.pdf'
docx_file = 'path/to/sample.docx'

# convert pdf to docx
cv = Converter(pdf_file)

# all pages by default
cv.convert(docx_file)
cv.close()

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы

👩‍💻👩‍💻 TkForge библиотека для создания GUI на Python

Инструмент упрощает процесс. Работает он так:

*️⃣Вы разрабатываете макет графического интерфейса (GUI) в Figma;
*️⃣Затем сохраняете макет и получаете URL проекта;
*️⃣В TkForge указываете токен Figma и URL;
*️⃣Инструмент автоматически генерирует код на Python с использованием Tkinter, который соответствует макету в Figma.

⛓ Ссылка: тык

👉 @PythonPortal | #ресурсы