Панель потоковых данных GitHub — это произведение искусства. 🐈

👉 @PythonPortal | #видео

Скрипт парсер

Скрипт простой, мощный и универсальный Telegram бот для парсинга, разработанный для упрощения процесса извлечения данных с веб-сайтов.

Он имеет удобный интерфейс с меню и поддерживает широкий спектр опций извлечения данных, включая необработанный HTML, элементы HTML, абзацы, ссылки, аудио и видео.

🤖 ЯП: Python 3.11+
📂 Модули: pyrogram, bs4, requests, html5lib
🖥 База данных: -

👉 @PythonPortal | #ресурсы

20 БЕСПЛАТНЫХ ресурсов для изучения Python:

🟢 Веб-сайты:

- Python.org
- Официальный учебник Python: docs.python.org/3/tutorial/
- Документация Python: docs.python.org/3/
- Codecademy:
- Курс "Learn Python 3": codecademy.com/learn/learn-python-3
- freeCodeCamp:
- Курс "Python for Everybody": freecodecamp.org/learn/scientific-computing-with-python/
-тЗадачи Python: freecodecamp.org/learn/python-challenges
- W3Schools:
- Учебник Python: w3schools.com/python/
- Real Python:
- Уроки: realpython.com/tutorials/python/
- GeeksforGeeks:
- Учебник Python: geeksforgeeks.org/python-programming-language/

🟢Интерактивные платформы:
- Академия Хана:
Intro to Programming: http://khanacademy.org/computing/computer-programming
- MIT OpenCourseWare:
Введение в информатику и программирование на Python: http://ocw.mit.edu/courses/6-0001-introduction-to-computer-science-and-programming-in-python-fall-2016/.

🟢Книги и электронные книги:
- Think Python:
Книга онлайн: http://greenteapress.com/wp/think-python-2e/
- Автоматизируйте скучные вещи с помощью Python:
Читать бесплатно онлайн: http://automatetheboringstuff.com

🟢Видеоуроки:
YouTube:
- CS Dojo (Youtube-канал YK Sugi): http://youtube.com/c/CSDojo.
- Corey Schafer: http://youtube.com/user/schafer5
- edX:
Введение в Python: http://edx.org/learn/python

🟢Практические платформы:
- LeetCode:
Python Coding Challenges: http://leetcode.com/problemset/all/?search=python
- HackerRank:
Практика Python: http://hackerrank.com/domains/python

👉 @PythonPortal | #ресурсы

Смотрите, как курсор управляет моим браузером. Он может видеть, что происходит, включая логи сети и консоли.🐈

Теперь мой курсор может отлаживать и исправлять проблемы на сайте без необходимости копировать и вставлять.

ОГРОМНОЕ ускорение для веб-разработки — с этим курсор может конкурировать с v0 и Replit в автономной разработке веб-приложений.

🔜 https://github.com/eastlondoner/cursor-tools

👉 @PythonPortal | #ресурсы

"Машинное обучение с помощью Python"

Этот 366-страничный учебник для студентов инженерных специальностей теперь БЕСПЛАТНЫЙ.

📝Цель этой книги — обсудить разработку моделей машинного обучения с использованием Python. Искусственный интеллект (AI) и машинное обучение (ML) являются важными навыками, которые необходимы каждому выпускнику инженерных и управленческих специальностей для успешного карьерного роста

Получите свой экземпляр:
⏩ https://ggnindia.dronacharya.info/Downloads/Sub-info/RelatedBook/4thSem/Fundamentals-of-AIML-text-book-4.pdf

👉 @PythonPortal | #книги

Альтернатива Pandas, работающая в 100 раз быстрее!

(Она даже может обойти GPU-библиотеки для работы с DataFrame)

Хотя Pandas — самая популярная библиотека для работы с DataFrame, у нее есть серьезные ограничения:

🟢Pandas использует только одно ядро CPU.
🟢Часто создает громоздкие DataFrame.
🟢Жадное (немедленное) выполнение мешает глобальной оптимизации.

Представляем FireDucksDev — высокооптимизированную замену Pandas, которую можно использовать без изменений кода.

Просто замените одну строку:

import fireducks.pandas as pd

☑ И все готово!

В видео ниже FireDucks сравнивается с cuDF (библиотека DataFrame для GPU).
В этом тесте FireDucks оказался даже быстрее, чем cuDF.

⏩ ссылка на Google Colab с тестами

👉 @PythonPortal | #ресурсы

5 декораторов Python, которые должен знать каждый разработчик 😜

➖Статья знакомит разработчиков с мощным инструментом Python, который позволяет изменять поведение функций и методов без изменения их исходного кода.

В ней рассматриваются техники, способные улучшить читаемость, повторное использование и производительность кода, а также упрощают работу с кэшированием, доступом к данным и логированием

📝Читать:
https://www.clcoding.com/2025/02/5-python-decorators-every-developer.html

👉 @PythonPortal | #статья

Ускорьте Python в 50 раз за 4 простых шага

По умолчанию интерпретатор Python, CPython, работает медленно, в основном из-за своей динамичности.

После определения переменной с определённым типом её можно изменить на другой. Эти динамические манипуляции приводят к дополнительным затратам на выполнение и память.

Чтобы ускорить работу, используйте модуль Cython. Он превращает код Python в C, делая его быстрым и эффективным.

Вот как использовать модуль Cython:

1) Загрузите модуль Cython: %load_ext Cython
2) Добавьте магическую команду Cython
3) Указывайте типы данных параметров при использовании функций
4) Определяйте каждую переменную с помощью ключевого слова cdef и указывайте её тип данных

Вот и всё!

Теперь ваш код будет работать с ускорением до скорости нативного машинного кода, как показано на картинке.

👉 @PythonPortal | #tips

enumerate и zip в Python 🖥

👉 @PythonPortal | #ресурсы

Глубокое обучение

- Всего видео: 30

Этот плейлист содержит всё, что нужно знать о нейросетях: от основ до передовых технологий с трансформерами, которые являются основой ChatGPT.

⏩Источник:
https://www.youtube.com/playlist?list=PLblh5JKOoLUIxGDQs4LFFD--41Vzf-ME1

👉 @PythonPortal | #видео

Книга "Machine Learning Yearning" (Автор: Эндрю Нг)

🟢Как правильно выбирать стратегию для ML-проектов
🟢Постановка задач и выбор метрик оценки
🟢Работа с тренировочными и тестовыми наборами данных
🟢Анализ ошибок и определение ключевых проблем модели
🟢Баланс между предвзятостью (bias) и разбросом (variance)
🟢Улучшение качества моделей с помощью регуляризации, архитектуры нейросетей и других методов
🟢Работа с распределением данных и генерализация моделей

Книга не углубляется в математические детали, а делает упор на практическое руководство по улучшению ML-систем.

📝Читать:
https://home-wordpress.deeplearning.ai/wp-content/uploads/2022/03/andrew-ng-machine-learning-yearning.pdf

👉 @PythonPortal | #книги

Визуализация сложных данных в Python стала еще проще! 😮

Знакомьтесь, Cosmograph для Python — виджет, который обеспечивает ускоренную на GPU интерактивную визуализацию графов прямо в твоих Jupyter Notebook.

Почему это прорыв?

🟢Производительность на GPU
🟢Интерактивное исследование сети (панорамирование, масштабирование, наведение, выбор)
🟢Гибкая настройка (расположение, цвета, размеры и многое другое)
🟢Бесшовная интеграция в ноутбуки и простая установка через pip

Но это еще не все:

☑ Симуляции на основе силовых полей для динамических визуализаций
☑ Гладкая работа с крупными графами
☑ Минимальная настройка — просто pip install cosmograph

⏩ Ссылка:
https://github.com/cosmograph-org/py_cosmograph

👉 @PythonPortal | #ресурсы

Это справочник по регулярным выражениям на русском языке.

➖Якорей (например, ^ – начало строки, $ – конец строки)
➖Символьных классов (\d – цифра, \s – пробел и т. д.)
➖POSIX-классов ([:alpha:] – все буквы, [:digit:] – цифры и т. д.)
➖Утверждений (например, ?= – вперед смотрящее утверждение)
➖Шаблонов (например, \d{1,2}/\d{1,2}/\d{4} – дата в формате dd/mm/yyyy)
➖Кванторов (*, +, ?, {n} и их нежадные версии)
➖Специальных символов (\n – новая строка, \t – табуляция и т. д.)
➖Диапазонов ([a-z], [^0-9] и т. д.)
➖Модификаторов (g – глобальный поиск, i – регистронезависимый и т. д.)

👉 @PythonPortal | #ресурсы

Python vs Java 😮

Основное различие:

➖Python интерпретируемый язык, его код выполняется через виртуальную машину Python.
➖Java сначала компилируется в байт-код, а затем выполняется в JVM с помощью JIT-компиляции.
➖Java, как правило, быстрее в работе, а Python проще для написания и отладки.

👉 @PythonPortal | #ресурсы

Легкий парсинг документов с Docling!

Docling — это open-source Python-пакет, который превращает любой документ в данные, готовые для LLM!

🟢OCR для сканированных PDF
🟢Поддержка PDF, PPTX, DOCX и других → конвертация в Markdown, JSON
🟢Продвинутый разбор PDF: структура, порядок чтения, таблицы
🟢Интеграция с LlamaIndex и LangChain

Скоро появится:

➖Извлечение уравнений и кода
➖Нативное расширение для LangChain
➖Извлечение метаданных (заголовки, авторы, ссылки, язык)

Совместим с macOS, Linux и Windows на архитектурах x86_64 и arm64.

⏩ Ознакомиться:
https://github.com/DS4SD/docling

👉 @PythonPortal | #ресурсы

10 алгоритмов машинного обучения для начинающих

➖Linear Regression – линейная регрессия (предсказание числовых значений).
➖Logistic Regression – логистическая регрессия (бинарная классификация).
➖CART Algorithm – алгоритм дерева решений (классификация и регрессия).
➖Naïve Bayes – наивный байесовский классификатор (статистический метод).
➖KNN Algorithm – метод k ближайших соседей (классификация).
➖Apriori – поиск ассоциаций в данных (например, анализ покупок).
➖K-Means – метод k-средних (кластеризация).
➖PCA – метод главных компонент (снижение размерности).
➖Random Forest Classification – случайный лес (ансамблевый метод).
➖AdaBoost – алгоритм бустинга (усиление слабых моделей).

Эти алгоритмы охватывают основные задачи машинного обучения: регрессию, классификацию, кластеризацию и снижение размерности.

👉 @PythonPortal | #ресурсы

На сайте roadmap.sh собрана шикарная подборка идей для практики backend-разработки — от простых CLI-приложений вроде трекера задач до сложных систем бронирования и масштабируемых e-commerce платформ

Проекты разбиты по уровням сложности: начинающий, средний, эксперт

Каждый проект снабжен описанием и рекомендациями, что делает обучение увлекательным и продуктивным

👉 https://roadmap.sh/backend/projects

👉 @PythonPortal | #ресурсы

Перезапустите ядро Jupyter, не теряя переменные

Используйте команду store magic, чтобы сохранять и извлекать переменные даже после перезапуска ядра.

➖Это позволяет избежать необходимости явно сохранять данные на диск или использовать сериализацию (pickle).

👉 @PythonPortal | #tips

25 репозиториев Github, которые должен знать каждый разработчик Python

В список включены как официальные репозитории языка Python, так и популярные библиотеки и фреймворки, такие как Requests, Flask, Django, Pandas, NumPy и другие. Каждый репозиторий сопровождается кратким описанием его назначения и возможностей.

➖Цель статьи — предоставить разработчикам полезные инструменты и ресурсы для повышения эффективности и продуктивности в работе с Python.

📝Читать: клик

👉 @PythonPortal | #статья

Создайте своего собственного оператора OpenAI с помощью инструментов с открытым исходным кодом!

Browser Use — это фреймворк с открытым исходным кодом, который позволяет ИИ-агентам использовать браузер всего лишь с несколькими строками Python-кода.

Основные функции:

🟢100% с открытым исходным кодом
🟢Интеграция с Gradio для веб-интерфейса
🟢Работает с Claude, gpt-4o и Llama 3
🟢Исполнение с участием человека для безопасной работы

Вы просто говорите своему компьютеру, что делать, и Browser Use выполнит задачу.

⏩ Ознакомиться:
https://github.com/browser-use/browser-use

👉 @PythonPortal | #ресурсы