🔥**Полезные Python-библиотеки**
**Awesome-Crawler** — сборник модулей и инструментов для веб-скрапинга и парсинга данных на Python и других языках.
🐍 Подборка для Python
⚙️ GitHub / Инструкции
pythonpedia
**Awesome-Crawler** — сборник модулей и инструментов для веб-скрапинга и парсинга данных на Python и других языках.
🐍 Подборка для Python
⚙️ GitHub / Инструкции
pythonpedia
👨💻 Генераторы списков в Python — способ создания списков одним выражением: [выражение for элемент in итерируемый_объект if условие].
Примеры:
1. Квадраты: [x**2 for x in range(10)] → [0, 1, 4, 9, 16, 25, 36, 49, 64, 81]
2. Чётные: [x for x in range(10) if x % 2 == 0] → [0, 2, 4, 6, 8]
3. Пара с условием: [(x, y) for x in [1,2,3] for y in [3,1,4] if x != y] → [(1,3), (1,4), (2,3), (2,1), (2,4), (3,1), (3,4)]
4. Строки: [word.lower() for word in "The quick brown fox".split() if len(word) > 3] → ['quick', 'brown']
Используйте, чтобы сократить код, но избегайте при сложной логике — ради читаемости. Лучше использовать обычные циклы, если код становится запутанным.
#Python #ListComprehension #CodeTips
pythonpedia
Примеры:
1. Квадраты: [x**2 for x in range(10)] → [0, 1, 4, 9, 16, 25, 36, 49, 64, 81]
2. Чётные: [x for x in range(10) if x % 2 == 0] → [0, 2, 4, 6, 8]
3. Пара с условием: [(x, y) for x in [1,2,3] for y in [3,1,4] if x != y] → [(1,3), (1,4), (2,3), (2,1), (2,4), (3,1), (3,4)]
4. Строки: [word.lower() for word in "The quick brown fox".split() if len(word) > 3] → ['quick', 'brown']
Используйте, чтобы сократить код, но избегайте при сложной логике — ради читаемости. Лучше использовать обычные циклы, если код становится запутанным.
#Python #ListComprehension #CodeTips
pythonpedia
🌐 Google Maps Scraper на Python извлекает данные о компаниях: название, адрес, телефон, сайт, отзывы, рейтинг, доставку и самовывоз.
Результат — CSV-таблица для:
📈 лидогенерации
🎯 анализа конкурентов
📊 рыночных исследований
📞 базы контактов
🤖 интеграции с CRM и AI
С помощью Python + Playwright всего за минуты соберёте автосервисы, кафе, отели и др. в любом городе.
Установка:
```git clone https://github.com/zohaibbashir/Google-Maps-Scrapper.git
cd google-maps-scraper
pip install -r requirements.txt
playwright install```
Запуск:
```python main.py -s "Turkish Restaurants in Toronto Canada" -t 20 -o toronto_turkish_restaurants.csv --append```
🔗 GitHub: https://github.com/zohaibbashir/Google-Maps-Scrapper
#WebScraping #Python #Automation
pythonpedia
Результат — CSV-таблица для:
📈 лидогенерации
🎯 анализа конкурентов
📊 рыночных исследований
📞 базы контактов
🤖 интеграции с CRM и AI
С помощью Python + Playwright всего за минуты соберёте автосервисы, кафе, отели и др. в любом городе.
Установка:
```git clone https://github.com/zohaibbashir/Google-Maps-Scrapper.git
cd google-maps-scraper
pip install -r requirements.txt
playwright install```
Запуск:
```python main.py -s "Turkish Restaurants in Toronto Canada" -t 20 -o toronto_turkish_restaurants.csv --append```
🔗 GitHub: https://github.com/zohaibbashir/Google-Maps-Scrapper
#WebScraping #Python #Automation
pythonpedia
🤗1
😱Python в РФ под угрозой?
Разработчики уже второй день сталкиваются с трудностями при подключении к PyPI — главному репозиторию пакетов для Python.
У множества пользователей соединение рвётся на этапе установки TLS-сессии, из-за чего становится невозможно скачивать или обновлять зависимости.
#Python #PyPI #Россия #разработка #IT #интернет
pythonpedia
Разработчики уже второй день сталкиваются с трудностями при подключении к PyPI — главному репозиторию пакетов для Python.
У множества пользователей соединение рвётся на этапе установки TLS-сессии, из-за чего становится невозможно скачивать или обновлять зависимости.
#Python #PyPI #Россия #разработка #IT #интернет
pythonpedia
😁1🎉1
😰 Шпаргалка по дате и времени в Python — сохраняй!
Модуль datetime — ключ к работе с датами и часами.
📅 Основные форматы:
%a → день недели (Mon)
%A → полный день (Monday)
%b → сокращ. месяц (Jan)
%B → полный месяц (January)
%d → день (01–31)
%m → месяц (01–12)
%y → год без века (23)
%Y → полный год (2023)
%j → день года (001–366)
⏰ Время:
%H → часы (00–23)
%I → часы (01–12)
%M → минуты (00–59)
%S → секунды (00–61)
%f → микросекунды
%p → AM/PM
%z → смещение UTC (+0300)
%Z → название часового пояса
%U, %W → неделя года
%x → лок. дата, %X — время
%% → символ %
Примеры:
from datetime import datetime
now = datetime.now()
print(now.strftime("%A, %d %B %Y")) → Wednesday, 03 September 2025
print(now.strftime("%H:%M:%S")) → 12:45:30
👍 Сохраняй — меньше поиска, больше результата!
#Python #datetime #шпаргалка
pythonpedia
Модуль datetime — ключ к работе с датами и часами.
📅 Основные форматы:
%a → день недели (Mon)
%A → полный день (Monday)
%b → сокращ. месяц (Jan)
%B → полный месяц (January)
%d → день (01–31)
%m → месяц (01–12)
%y → год без века (23)
%Y → полный год (2023)
%j → день года (001–366)
⏰ Время:
%H → часы (00–23)
%I → часы (01–12)
%M → минуты (00–59)
%S → секунды (00–61)
%f → микросекунды
%p → AM/PM
%z → смещение UTC (+0300)
%Z → название часового пояса
%U, %W → неделя года
%x → лок. дата, %X — время
%% → символ %
Примеры:
from datetime import datetime
now = datetime.now()
print(now.strftime("%A, %d %B %Y")) → Wednesday, 03 September 2025
print(now.strftime("%H:%M:%S")) → 12:45:30
👍 Сохраняй — меньше поиска, больше результата!
#Python #datetime #шпаргалка
pythonpedia
🤩1
👨💻 Вакансия — Python-разработчик
Компания Selecty ищет Python-разработчиков в крупную продуктовую команду для участия в разных проектах.
Локация: РФ
Формат работы: офис, гибрид или полностью удалённо — вы сами выбираете
Доход: от 250 000 до 400 000 рублей на руки, зависит от опыта и уровня экспертизы
📇 От кандидата ждём:
— Опыт коммерческой разработки на Python от трёх лет
— Работу с микросервисной архитектурой
— Уверенное знание FastAPI, Flask, Django и asyncio
— Практический опыт с Git
— Хорошие коммуникативные навыки и умение работать в команде
📋 Мы предлагаем:
— Оформление по ТК РФ
— Регулярные пересмотры зарплаты — дважды в год
— Добровольное медицинское страхование (ДМС)
— Привлекательные условия по ипотеке
— Полностью удалённый формат, если нужен
✍️ По откликам и вопросам — писать сюда
#работа #вакансия #Python #разработчик #IT #удалёнка #Москва #Россия
pythonpedia
Компания Selecty ищет Python-разработчиков в крупную продуктовую команду для участия в разных проектах.
Локация: РФ
Формат работы: офис, гибрид или полностью удалённо — вы сами выбираете
Доход: от 250 000 до 400 000 рублей на руки, зависит от опыта и уровня экспертизы
📇 От кандидата ждём:
— Опыт коммерческой разработки на Python от трёх лет
— Работу с микросервисной архитектурой
— Уверенное знание FastAPI, Flask, Django и asyncio
— Практический опыт с Git
— Хорошие коммуникативные навыки и умение работать в команде
📋 Мы предлагаем:
— Оформление по ТК РФ
— Регулярные пересмотры зарплаты — дважды в год
— Добровольное медицинское страхование (ДМС)
— Привлекательные условия по ипотеке
— Полностью удалённый формат, если нужен
✍️ По откликам и вопросам — писать сюда
#работа #вакансия #Python #разработчик #IT #удалёнка #Москва #Россия
pythonpedia
😁1
💻 NumPy с нуля: понятный гайд на русском для тех, кто хочет в Data Science
Мечтаете о карьере в анализе данных, машинном обучении или нейросетях? Первый шаг — освоить NumPy. Без него в этой сфере почти никуда.
Этот гайд проведёт вас от основ к практике — просто и без лишней теории. Только живые объяснения и полезные примеры, которые сразу можно применить.
Разберём по полочкам:
💬 Зачем нужен NumPy и почему он — основа почти всех ML-проектов;
💬 Как создавать и управлять массивами;
💬 Как выполнять операции в разы быстрее, чем со стандартными списками Python;
💬 Как эффективно фильтровать, сортировать и обрабатывать данные;
💬 С чего начать путь в Data Science, чтобы не заблудиться среди формул и аббревиатур.
🚀 Идеальный старт для тех, кто хочет от обычного Python перейти к реальному анализу данных.
⬇️ Сохраняем в PDF #DataScience #МашинноеОбучение #Python #NumPy
pythonpedia
Мечтаете о карьере в анализе данных, машинном обучении или нейросетях? Первый шаг — освоить NumPy. Без него в этой сфере почти никуда.
Этот гайд проведёт вас от основ к практике — просто и без лишней теории. Только живые объяснения и полезные примеры, которые сразу можно применить.
Разберём по полочкам:
💬 Зачем нужен NumPy и почему он — основа почти всех ML-проектов;
💬 Как создавать и управлять массивами;
💬 Как выполнять операции в разы быстрее, чем со стандартными списками Python;
💬 Как эффективно фильтровать, сортировать и обрабатывать данные;
💬 С чего начать путь в Data Science, чтобы не заблудиться среди формул и аббревиатур.
🚀 Идеальный старт для тех, кто хочет от обычного Python перейти к реальному анализу данных.
⬇️ Сохраняем в PDF #DataScience #МашинноеОбучение #Python #NumPy
pythonpedia
🖥 МинерU — open-source инструмент для преобразования PDF, Word, Excel и сканов в чистый Markdown. В отличие от OCR:
✅ сохраняет структуру;
✅ извлекает таблицы, изображения, формулы;
✅ удаляет колонтитулы и номера страниц;
✅ поддерживает 109 языков;
✅ работает локально — данные не утекают.
Подходит для загрузки в ChatGPT, Claude, RAG и баз знаний. Больше не нужно вручную править PDF.
⚙️ Установка:
```pip install -U mineru```
▶️ Пример:
```mineru input.pdf -o output/```
Вы получите:
⭐️ Markdown с разметкой
⭐️ JSON с структурой
⭐️ Все изображения
⭐️ Таблицы и формулы в LaTeX
Обязателен к сохранению — один из лучших инструментов для работы с документами и ИИ.
♎️
#Python #AI #OCR
pythonpedia
✅ сохраняет структуру;
✅ извлекает таблицы, изображения, формулы;
✅ удаляет колонтитулы и номера страниц;
✅ поддерживает 109 языков;
✅ работает локально — данные не утекают.
Подходит для загрузки в ChatGPT, Claude, RAG и баз знаний. Больше не нужно вручную править PDF.
⚙️ Установка:
```pip install -U mineru```
▶️ Пример:
```mineru input.pdf -o output/```
Вы получите:
⭐️ Markdown с разметкой
⭐️ JSON с структурой
⭐️ Все изображения
⭐️ Таблицы и формулы в LaTeX
Обязателен к сохранению — один из лучших инструментов для работы с документами и ИИ.
♎️
#Python #AI #OCR
pythonpedia
😁1
💻 Stealth-Requests — Python-библиотека для незаметных запросов, имитирующих браузер: фейковый TLS, авто-заголовки, поддержка прокси и встроенный парсинг.
⚡️ Практически совместима с requests — мало изменений, много пользы.
🛡 Запросы выглядят как от Chrome/Safari, обходят детектирование.
🔄 При ошибках 429/503 — авто-повтор.
Извлекает: заголовок, описание, автора, ссылки, изображения, email, телефоны, таблицы.
🧠 Поддержка HTML → Markdown, BeautifulSoup и lxml.
🚀 Работает с AsyncIO, сессиями и прокси.
⚙️ Установка:
pip install stealth_requests
▶️ Пример:
import stealth_requests as requests
resp = requests.get("https://example.com")
print(resp.status_code, resp.meta.title, resp.emails)
Асинхронно:
async with AsyncStealthSession() as session:
await session.get("https://example.com")
Идеально для парсеров — замена requests с обходом блокировок и умным парсингом.
GitHub: https://github.com/jpjacobpadilla/Stealth-Requests
#webscraping #python #automation
pythonpedia
⚡️ Практически совместима с requests — мало изменений, много пользы.
🛡 Запросы выглядят как от Chrome/Safari, обходят детектирование.
🔄 При ошибках 429/503 — авто-повтор.
Извлекает: заголовок, описание, автора, ссылки, изображения, email, телефоны, таблицы.
🧠 Поддержка HTML → Markdown, BeautifulSoup и lxml.
🚀 Работает с AsyncIO, сессиями и прокси.
⚙️ Установка:
pip install stealth_requests
▶️ Пример:
import stealth_requests as requests
resp = requests.get("https://example.com")
print(resp.status_code, resp.meta.title, resp.emails)
Асинхронно:
async with AsyncStealthSession() as session:
await session.get("https://example.com")
Идеально для парсеров — замена requests с обходом блокировок и умным парсингом.
GitHub: https://github.com/jpjacobpadilla/Stealth-Requests
#webscraping #python #automation
pythonpedia
👏1
🔥 Парсим Ozon без лишних заморочек
Ozon-parser — инструмент для быстрого сбора данных. Без ручной работы. С GUI, Telegram-ботом и многопоточностью.
📦 Собирает до 10 000 товаров: артикулы, названия, цены, ИНН продавцов, рейтинги, заказы.
📤 Экспорт в Excel, JSON + отправка в Telegram.
⚡ Многопоточность — в разы быстрее.
🎛 Управление: GUI или Telegram-бот (/start, /status, /settings).
💬 Для аналитиков, поставщиков, фанатов автоматизации.
🚀 Запускай — и собирай данные за пару кликов.
⚙️ Установка:
git clone https://github.com/NurjahonErgashevMe/ozon-parser
cd ozon-parser
pip install -r requirements.txt
▶️ Запуск:
GUI: python main.py
Telegram-бот: python bot.py
CLI: python app.py
📲 Удобные способы управления.
📊 Собирай, анализируй, решай.
➡️ GitHub: https://github.com/NurjahonErgashevMe/ozon-parser
👇 Готовый архив по ссылке
#Ozon #парсер #Python
pythonpedia
Ozon-parser — инструмент для быстрого сбора данных. Без ручной работы. С GUI, Telegram-ботом и многопоточностью.
📦 Собирает до 10 000 товаров: артикулы, названия, цены, ИНН продавцов, рейтинги, заказы.
📤 Экспорт в Excel, JSON + отправка в Telegram.
⚡ Многопоточность — в разы быстрее.
🎛 Управление: GUI или Telegram-бот (/start, /status, /settings).
💬 Для аналитиков, поставщиков, фанатов автоматизации.
🚀 Запускай — и собирай данные за пару кликов.
⚙️ Установка:
git clone https://github.com/NurjahonErgashevMe/ozon-parser
cd ozon-parser
pip install -r requirements.txt
▶️ Запуск:
GUI: python main.py
Telegram-бот: python bot.py
CLI: python app.py
📲 Удобные способы управления.
📊 Собирай, анализируй, решай.
➡️ GitHub: https://github.com/NurjahonErgashevMe/ozon-parser
👇 Готовый архив по ссылке
#Ozon #парсер #Python
pythonpedia
✍️ Все ключевые слова в Python — кратко и по делу
import keyword
print(keyword.kwlist)
keyword.iskeyword('if') → True
False / True — булевы значения.
None — нет значения.
and, or, not — логика.
as — с import и with.
assert — проверка; ошибка при False.
break — выход из цикла.
class — создаёт класс.
continue — следующая итерация.
def — объявляет функцию.
del — удаляет объект.
elif, else, if — ветвление.
except — ловит ошибки.
finally — код выполнится всегда (с try).
for — цикл по последовательности.
from — указывает модуль.
global — доступ к глобальной переменной.
import — подключает модуль.
in — проверяет наличие.
is — идентичность объектов.
lambda — анонимная функция.
nonlocal — изменяет внешнюю переменную.
pass — пустая инструкция.
raise — вызывает ошибку.
return — возвращает из функции.
try — обработка ошибок.
while — цикл с условием.
yield — возвращает из генератора и приостанавливает.
#Python #КлючевыеСлова #pythonpedia
pythonpedia
import keyword
print(keyword.kwlist)
keyword.iskeyword('if') → True
False / True — булевы значения.
None — нет значения.
and, or, not — логика.
as — с import и with.
assert — проверка; ошибка при False.
break — выход из цикла.
class — создаёт класс.
continue — следующая итерация.
def — объявляет функцию.
del — удаляет объект.
elif, else, if — ветвление.
except — ловит ошибки.
finally — код выполнится всегда (с try).
for — цикл по последовательности.
from — указывает модуль.
global — доступ к глобальной переменной.
import — подключает модуль.
in — проверяет наличие.
is — идентичность объектов.
lambda — анонимная функция.
nonlocal — изменяет внешнюю переменную.
pass — пустая инструкция.
raise — вызывает ошибку.
return — возвращает из функции.
try — обработка ошибок.
while — цикл с условием.
yield — возвращает из генератора и приостанавливает.
#Python #КлючевыеСлова #pythonpedia
pythonpedia
👍1
Использование *args и **kwargs в Python
С помощью *args и **kwargs функция может принимать любое число аргументов. Названия — по соглашению, важны звёздочки.
*args собирает неименованные аргументы в кортеж:
def func(*args):
for i in args:
print(i)
func(1, 2, 3) → args = (1, 2, 3)
**kwargs собирает именованные аргументы в словарь:
def func(**kwargs):
for k, v in kwargs.items():
print(f'{k} = {v}')
func(a=1, b=2) → kwargs = {'a': 1, 'b': 2}
Это делает функции гибче, особенно когда число параметров заранее неизвестно. Например, сумма любых чисел:
def sum(*args):
return sum(args)
#python #args #kwargs
pythonpedia
С помощью *args и **kwargs функция может принимать любое число аргументов. Названия — по соглашению, важны звёздочки.
*args собирает неименованные аргументы в кортеж:
def func(*args):
for i in args:
print(i)
func(1, 2, 3) → args = (1, 2, 3)
**kwargs собирает именованные аргументы в словарь:
def func(**kwargs):
for k, v in kwargs.items():
print(f'{k} = {v}')
func(a=1, b=2) → kwargs = {'a': 1, 'b': 2}
Это делает функции гибче, особенно когда число параметров заранее неизвестно. Например, сумма любых чисел:
def sum(*args):
return sum(args)
#python #args #kwargs
pythonpedia
🔥2
⚡️ Распознаём автомобильные номера на Python за несколько строк. Без облаков, локально, мгновенно.
Fast Plate OCR — лёгкая, но мощная библиотека с поддержкой CPU, NVIDIA GPU, OpenVINO и ONNX. Поддерживает номера из 65+ стран с определением региона.
Возможности:
• Готовые модели — скачай и запускай;
• Архитектура на базе Compact Convolutional Transformer (CCT);
• До тысяч распознаваний в секунду на GPU;
• Дообучение под свой датасет;
• Экспорт в ONNX, TFLite, CoreML — подходит для мобильных и embedded.
Установка:
pip install fast-plate-ocr[onnx-gpu]
Запуск — три строки:
from fast_plate_ocr import LicensePlateRecognizer
ocr = LicensePlateRecognizer("cct-s-v2-global-model")
print(ocr.run("plate.jpg"))
Идеально для:
• Контроля доступа и шлагбаумов;
• Парковок и видеонаблюдения;
• Анализа трафика и OpenCV-проектов.
♎️ GitHub: https://github.com/ankandrew/fast-plate-ocr
😳 Лайф | 📲 Зеркало Max
#Python #OCR #ComputerVision
pythonpedia
Fast Plate OCR — лёгкая, но мощная библиотека с поддержкой CPU, NVIDIA GPU, OpenVINO и ONNX. Поддерживает номера из 65+ стран с определением региона.
Возможности:
• Готовые модели — скачай и запускай;
• Архитектура на базе Compact Convolutional Transformer (CCT);
• До тысяч распознаваний в секунду на GPU;
• Дообучение под свой датасет;
• Экспорт в ONNX, TFLite, CoreML — подходит для мобильных и embedded.
Установка:
pip install fast-plate-ocr[onnx-gpu]
Запуск — три строки:
from fast_plate_ocr import LicensePlateRecognizer
ocr = LicensePlateRecognizer("cct-s-v2-global-model")
print(ocr.run("plate.jpg"))
Идеально для:
• Контроля доступа и шлагбаумов;
• Парковок и видеонаблюдения;
• Анализа трафика и OpenCV-проектов.
♎️ GitHub: https://github.com/ankandrew/fast-plate-ocr
😳 Лайф | 📲 Зеркало Max
#Python #OCR #ComputerVision
pythonpedia
🤗2
💀 SearchPhone — инструмент на Python для разведки по телефону. Объединяет данные из разных источников в один отчёт.
🔍 Проверяет утечки из-за infostealer-малвари, определяет страну, оператора, часовой пояс (phonenumbers).
🔍 Ищет упоминания в Google (SerpAPI), DuckDuckGo, GitHub, соцсетях.
🔍 Анализирует GitHub-код на утечки.
🔍 Уточняет данные через Numverify.
🔍 Сохраняет результаты в JSON и PDF.
Интеграция с Hudson Rock — без API-ключа: покажет, был ли номер в утечках.
⚙️ Установка:
git clone https://github.com/HackUnderway/SearchPhone.git
cd SearchPhone
pip install -r requirements.txt
cp example.env .env
nano .env
Добавь ключи: NUMVERIFY_KEY, SERPAPI_KEY, GITHUB_TOKEN
▶️ Запуск:
python3 search_phone.py
После ввода номера — автоматическая валидация и полный отчёт. Работает на Windows и Linux.
🔗 GitHub: https://github.com/HackUnderway/SearchPhone
🔥 Один запуск — вся информация в одном месте.
#OSINT #Python #Infosec
pythonpedia
🔍 Проверяет утечки из-за infostealer-малвари, определяет страну, оператора, часовой пояс (phonenumbers).
🔍 Ищет упоминания в Google (SerpAPI), DuckDuckGo, GitHub, соцсетях.
🔍 Анализирует GitHub-код на утечки.
🔍 Уточняет данные через Numverify.
🔍 Сохраняет результаты в JSON и PDF.
Интеграция с Hudson Rock — без API-ключа: покажет, был ли номер в утечках.
⚙️ Установка:
git clone https://github.com/HackUnderway/SearchPhone.git
cd SearchPhone
pip install -r requirements.txt
cp example.env .env
nano .env
Добавь ключи: NUMVERIFY_KEY, SERPAPI_KEY, GITHUB_TOKEN
▶️ Запуск:
python3 search_phone.py
После ввода номера — автоматическая валидация и полный отчёт. Работает на Windows и Linux.
🔗 GitHub: https://github.com/HackUnderway/SearchPhone
🔥 Один запуск — вся информация в одном месте.
#OSINT #Python #Infosec
pythonpedia