Альтернатива Pandas, работающая в 100 раз быстрее!

(Она даже может обойти GPU-библиотеки для работы с DataFrame)

Хотя Pandas — самая популярная библиотека для работы с DataFrame, у нее есть серьезные ограничения:

🟢Pandas использует только одно ядро CPU.
🟢Часто создает громоздкие DataFrame.
🟢Жадное (немедленное) выполнение мешает глобальной оптимизации.

Представляем FireDucksDev — высокооптимизированную замену Pandas, которую можно использовать без изменений кода.

Просто замените одну строку:

import fireducks.pandas as pd

☑ И все готово!

В видео ниже FireDucks сравнивается с cuDF (библиотека DataFrame для GPU).
В этом тесте FireDucks оказался даже быстрее, чем cuDF.

⏩ ссылка на Google Colab с тестами

👉 @PythonPortal | #ресурсы

5 декораторов Python, которые должен знать каждый разработчик 😜

➖Статья знакомит разработчиков с мощным инструментом Python, который позволяет изменять поведение функций и методов без изменения их исходного кода.

В ней рассматриваются техники, способные улучшить читаемость, повторное использование и производительность кода, а также упрощают работу с кэшированием, доступом к данным и логированием

📝Читать:
https://www.clcoding.com/2025/02/5-python-decorators-every-developer.html

👉 @PythonPortal | #статья

Ускорьте Python в 50 раз за 4 простых шага

По умолчанию интерпретатор Python, CPython, работает медленно, в основном из-за своей динамичности.

После определения переменной с определённым типом её можно изменить на другой. Эти динамические манипуляции приводят к дополнительным затратам на выполнение и память.

Чтобы ускорить работу, используйте модуль Cython. Он превращает код Python в C, делая его быстрым и эффективным.

Вот как использовать модуль Cython:

1) Загрузите модуль Cython: %load_ext Cython
2) Добавьте магическую команду Cython
3) Указывайте типы данных параметров при использовании функций
4) Определяйте каждую переменную с помощью ключевого слова cdef и указывайте её тип данных

Вот и всё!

Теперь ваш код будет работать с ускорением до скорости нативного машинного кода, как показано на картинке.

👉 @PythonPortal | #tips

enumerate и zip в Python 🖥

👉 @PythonPortal | #ресурсы

Глубокое обучение

- Всего видео: 30

Этот плейлист содержит всё, что нужно знать о нейросетях: от основ до передовых технологий с трансформерами, которые являются основой ChatGPT.

⏩Источник:
https://www.youtube.com/playlist?list=PLblh5JKOoLUIxGDQs4LFFD--41Vzf-ME1

👉 @PythonPortal | #видео

Книга "Machine Learning Yearning" (Автор: Эндрю Нг)

🟢Как правильно выбирать стратегию для ML-проектов
🟢Постановка задач и выбор метрик оценки
🟢Работа с тренировочными и тестовыми наборами данных
🟢Анализ ошибок и определение ключевых проблем модели
🟢Баланс между предвзятостью (bias) и разбросом (variance)
🟢Улучшение качества моделей с помощью регуляризации, архитектуры нейросетей и других методов
🟢Работа с распределением данных и генерализация моделей

Книга не углубляется в математические детали, а делает упор на практическое руководство по улучшению ML-систем.

📝Читать:
https://home-wordpress.deeplearning.ai/wp-content/uploads/2022/03/andrew-ng-machine-learning-yearning.pdf

👉 @PythonPortal | #книги

Визуализация сложных данных в Python стала еще проще! 😮

Знакомьтесь, Cosmograph для Python — виджет, который обеспечивает ускоренную на GPU интерактивную визуализацию графов прямо в твоих Jupyter Notebook.

Почему это прорыв?

🟢Производительность на GPU
🟢Интерактивное исследование сети (панорамирование, масштабирование, наведение, выбор)
🟢Гибкая настройка (расположение, цвета, размеры и многое другое)
🟢Бесшовная интеграция в ноутбуки и простая установка через pip

Но это еще не все:

☑ Симуляции на основе силовых полей для динамических визуализаций
☑ Гладкая работа с крупными графами
☑ Минимальная настройка — просто pip install cosmograph

⏩ Ссылка:
https://github.com/cosmograph-org/py_cosmograph

👉 @PythonPortal | #ресурсы

Это справочник по регулярным выражениям на русском языке.

➖Якорей (например, ^ – начало строки, $ – конец строки)
➖Символьных классов (\d – цифра, \s – пробел и т. д.)
➖POSIX-классов ([:alpha:] – все буквы, [:digit:] – цифры и т. д.)
➖Утверждений (например, ?= – вперед смотрящее утверждение)
➖Шаблонов (например, \d{1,2}/\d{1,2}/\d{4} – дата в формате dd/mm/yyyy)
➖Кванторов (*, +, ?, {n} и их нежадные версии)
➖Специальных символов (\n – новая строка, \t – табуляция и т. д.)
➖Диапазонов ([a-z], [^0-9] и т. д.)
➖Модификаторов (g – глобальный поиск, i – регистронезависимый и т. д.)

👉 @PythonPortal | #ресурсы

Python vs Java 😮

Основное различие:

➖Python интерпретируемый язык, его код выполняется через виртуальную машину Python.
➖Java сначала компилируется в байт-код, а затем выполняется в JVM с помощью JIT-компиляции.
➖Java, как правило, быстрее в работе, а Python проще для написания и отладки.

👉 @PythonPortal | #ресурсы

Легкий парсинг документов с Docling!

Docling — это open-source Python-пакет, который превращает любой документ в данные, готовые для LLM!

🟢OCR для сканированных PDF
🟢Поддержка PDF, PPTX, DOCX и других → конвертация в Markdown, JSON
🟢Продвинутый разбор PDF: структура, порядок чтения, таблицы
🟢Интеграция с LlamaIndex и LangChain

Скоро появится:

➖Извлечение уравнений и кода
➖Нативное расширение для LangChain
➖Извлечение метаданных (заголовки, авторы, ссылки, язык)

Совместим с macOS, Linux и Windows на архитектурах x86_64 и arm64.

⏩ Ознакомиться:
https://github.com/DS4SD/docling

👉 @PythonPortal | #ресурсы

10 алгоритмов машинного обучения для начинающих

➖Linear Regression – линейная регрессия (предсказание числовых значений).
➖Logistic Regression – логистическая регрессия (бинарная классификация).
➖CART Algorithm – алгоритм дерева решений (классификация и регрессия).
➖Naïve Bayes – наивный байесовский классификатор (статистический метод).
➖KNN Algorithm – метод k ближайших соседей (классификация).
➖Apriori – поиск ассоциаций в данных (например, анализ покупок).
➖K-Means – метод k-средних (кластеризация).
➖PCA – метод главных компонент (снижение размерности).
➖Random Forest Classification – случайный лес (ансамблевый метод).
➖AdaBoost – алгоритм бустинга (усиление слабых моделей).

Эти алгоритмы охватывают основные задачи машинного обучения: регрессию, классификацию, кластеризацию и снижение размерности.

👉 @PythonPortal | #ресурсы

На сайте roadmap.sh собрана шикарная подборка идей для практики backend-разработки — от простых CLI-приложений вроде трекера задач до сложных систем бронирования и масштабируемых e-commerce платформ

Проекты разбиты по уровням сложности: начинающий, средний, эксперт

Каждый проект снабжен описанием и рекомендациями, что делает обучение увлекательным и продуктивным

👉 https://roadmap.sh/backend/projects

👉 @PythonPortal | #ресурсы

Перезапустите ядро Jupyter, не теряя переменные

Используйте команду store magic, чтобы сохранять и извлекать переменные даже после перезапуска ядра.

➖Это позволяет избежать необходимости явно сохранять данные на диск или использовать сериализацию (pickle).

👉 @PythonPortal | #tips

25 репозиториев Github, которые должен знать каждый разработчик Python

В список включены как официальные репозитории языка Python, так и популярные библиотеки и фреймворки, такие как Requests, Flask, Django, Pandas, NumPy и другие. Каждый репозиторий сопровождается кратким описанием его назначения и возможностей.

➖Цель статьи — предоставить разработчикам полезные инструменты и ресурсы для повышения эффективности и продуктивности в работе с Python.

📝Читать: клик

👉 @PythonPortal | #статья

Создайте своего собственного оператора OpenAI с помощью инструментов с открытым исходным кодом!

Browser Use — это фреймворк с открытым исходным кодом, который позволяет ИИ-агентам использовать браузер всего лишь с несколькими строками Python-кода.

Основные функции:

🟢100% с открытым исходным кодом
🟢Интеграция с Gradio для веб-интерфейса
🟢Работает с Claude, gpt-4o и Llama 3
🟢Исполнение с участием человека для безопасной работы

Вы просто говорите своему компьютеру, что делать, и Browser Use выполнит задачу.

⏩ Ознакомиться:
https://github.com/browser-use/browser-use

👉 @PythonPortal | #ресурсы

Книга автора Зеда А. Шоу "Изучение Python 3 сложным путем"

📝Состоит из 52 тщательно разработанных упражнений, охватывающих темы от работы с командной строкой и структур данных до алгоритмов сортировки, парсинга текста и работы с SQL-базами данных. Каждое упражнение направлено на развитие практических навыков через реализацию проектов, таких как создание блогов, текстовых редакторов и интерпретаторов.

Подход книги основан на активном написании кода и решении реальных задач, что способствует глубокому пониманию и уверенной работе с Python.

📝Читать бесплатно:
https://learncodethehardway.org/more-python-book/

👉 @PythonPortal | #книги