Scrapling — это инструмент для веб-скрапинга, написанный на Python. Он упрощает процесс сбора данных с веб-сайтов.
🟢 Удобный синтаксис для написания парсеров.
🟢 Возможность извлекать данные с использованием CSS-селекторов или XPath.
🟢 Поддержка асинхронного скрапинга (для повышения скорости при работе с большим количеством запросов).
🟢 Простая настройка для автоматического обхода нескольких страниц.
Если вы работаете с веб-скрапингом на Python, Scrapling может стать альтернативой популярным инструментам вроде Scrapy или BeautifulSoup, особенно если требуется асинхронность и высокая скорость.😏
🔜 https://github.com/D4Vinci/Scrapling
👉 @PythonPortal | #ресурсы
Если вы работаете с веб-скрапингом на Python, Scrapling может стать альтернативой популярным инструментам вроде Scrapy или BeautifulSoup, особенно если требуется асинхронность и высокая скорость.
Please open Telegram to view this post
VIEW IN TELEGRAM
"Интерактивная линейная алгебра"
477-страничная книга на эту тему.
⏩ Издание Университета Британской Колумбии
Для понимания систем линейных уравнений как алгебраически (записывая уравнения их решений), так и геометрически (рисуя и визуализируя).
📐 Ознакомиться
👉 @PythonPortal | #ресурсы | дать буст
477-страничная книга на эту тему.
Для понимания систем линейных уравнений как алгебраически (записывая уравнения их решений), так и геометрически (рисуя и визуализируя).
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Лучший вариант для обучения в 2025 году: ML И DL
И это лучшее место, чтобы научиться этому.
- 100 дней ML
- 100 дней DL
❯ 100 дней ML
https://youtube.com/playlist?list=PLKnIA16_Rmvbr7zKYQuBfsVkjoLcJgxHH
❯ Математика для ML
https://youtube.com/playlist?list=PLKnIA16_RmvbYFaaeLY28cWeqV-3vADST
❯ 100 дней DL
https://youtube.com/playlist?list=PLKnIA16_RmvYuZauWaPlRTC54KxSNLtNn
👉 @PythonPortal | #видео
И это лучшее место, чтобы научиться этому.
- 100 дней ML
- 100 дней DL
❯ 100 дней ML
https://youtube.com/playlist?list=PLKnIA16_Rmvbr7zKYQuBfsVkjoLcJgxHH
❯ Математика для ML
https://youtube.com/playlist?list=PLKnIA16_RmvbYFaaeLY28cWeqV-3vADST
❯ 100 дней DL
https://youtube.com/playlist?list=PLKnIA16_RmvYuZauWaPlRTC54KxSNLtNn
Please open Telegram to view this post
VIEW IN TELEGRAM
uv – это потрясающе! 😮
Вы можете запускать Python-скрипты без необходимости беспокоиться о виртуальном окружении, установке зависимостей или версиях Python!
Вот всё, что нужно:
🟢 Укажите зависимости в начале файла
🟢 Запустите команду:
И всё готово!
👉 @PythonPortal | #ресурсы
Вы можете запускать Python-скрипты без необходимости беспокоиться о виртуальном окружении, установке зависимостей или версиях Python!
Вот всё, что нужно:
uv run your_script.py
И всё готово!
Please open Telegram to view this post
VIEW IN TELEGRAM
CuPy — это библиотека для работы с массивами в стиле NumPy, но с поддержкой вычислений на GPU.
Она позволяет использовать NVIDIA CUDA для ускорения операций с массивами, что делает её полезной для научных вычислений, машинного обучения и других задач, требующих высокой производительности.🐈
🟢 Полная совместимость с NumPy (можно легко заменить numpy на cupy в коде).
🟢 Аппаратное ускорение на GPU через CUDA.
🟢 Поддержка многопоточных вычислений.
🟢 Поддержка FFT, линейной алгебры, разреженных матриц и других численных методов.
Если у тебя есть видеокарта NVIDIA и установленная CUDA, ты можешь использовать CuPy для ускорения кода, который обычно работает на CPU через NumPy.
🔜 https://github.com/cupy/cupy
👉 @PythonPortal | #ресурсы
Она позволяет использовать NVIDIA CUDA для ускорения операций с массивами, что делает её полезной для научных вычислений, машинного обучения и других задач, требующих высокой производительности.
Если у тебя есть видеокарта NVIDIA и установленная CUDA, ты можешь использовать CuPy для ускорения кода, который обычно работает на CPU через NumPy.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
WebScrapper-main.zip
450.1 KB
Скрипт парсер
Скрипт простой, мощный и универсальный Telegram бот для парсинга, разработанный для упрощения процесса извлечения данных с веб-сайтов.
Он имеет удобный интерфейс с меню и поддерживает широкий спектр опций извлечения данных, включая необработанный HTML, элементы HTML, абзацы, ссылки, аудио и видео.
🤖 ЯП: Python 3.11+
📂 Модули: pyrogram, bs4, requests, html5lib
🖥 База данных: -
👉 @PythonPortal | #ресурсы
Скрипт простой, мощный и универсальный Telegram бот для парсинга, разработанный для упрощения процесса извлечения данных с веб-сайтов.
Он имеет удобный интерфейс с меню и поддерживает широкий спектр опций извлечения данных, включая необработанный HTML, элементы HTML, абзацы, ссылки, аудио и видео.
Please open Telegram to view this post
VIEW IN TELEGRAM
20 БЕСПЛАТНЫХ ресурсов для изучения Python:
🟢 Веб-сайты:
- Python.org
- Официальный учебник Python: docs.python.org/3/tutorial/
- Документация Python: docs.python.org/3/
- Codecademy:
- Курс "Learn Python 3": codecademy.com/learn/learn-python-3
- freeCodeCamp:
- Курс "Python for Everybody": freecodecamp.org/learn/scientific-computing-with-python/
-тЗадачи Python: freecodecamp.org/learn/python-challenges
- W3Schools:
- Учебник Python: w3schools.com/python/
- Real Python:
- Уроки: realpython.com/tutorials/python/
- GeeksforGeeks:
- Учебник Python: geeksforgeeks.org/python-programming-language/
🟢 Интерактивные платформы:
- Академия Хана:
Intro to Programming: http://khanacademy.org/computing/computer-programming
- MIT OpenCourseWare:
Введение в информатику и программирование на Python: http://ocw.mit.edu/courses/6-0001-introduction-to-computer-science-and-programming-in-python-fall-2016/.
🟢 Книги и электронные книги:
- Think Python:
Книга онлайн: http://greenteapress.com/wp/think-python-2e/
- Автоматизируйте скучные вещи с помощью Python:
Читать бесплатно онлайн: http://automatetheboringstuff.com
🟢 Видеоуроки:
YouTube:
- CS Dojo (Youtube-канал YK Sugi): http://youtube.com/c/CSDojo.
- Corey Schafer: http://youtube.com/user/schafer5
- edX:
Введение в Python: http://edx.org/learn/python
🟢 Практические платформы:
- LeetCode:
Python Coding Challenges: http://leetcode.com/problemset/all/?search=python
- HackerRank:
Практика Python: http://hackerrank.com/domains/python
👉 @PythonPortal | #ресурсы
- Python.org
- Официальный учебник Python: docs.python.org/3/tutorial/
- Документация Python: docs.python.org/3/
- Codecademy:
- Курс "Learn Python 3": codecademy.com/learn/learn-python-3
- freeCodeCamp:
- Курс "Python for Everybody": freecodecamp.org/learn/scientific-computing-with-python/
-тЗадачи Python: freecodecamp.org/learn/python-challenges
- W3Schools:
- Учебник Python: w3schools.com/python/
- Real Python:
- Уроки: realpython.com/tutorials/python/
- GeeksforGeeks:
- Учебник Python: geeksforgeeks.org/python-programming-language/
- Академия Хана:
Intro to Programming: http://khanacademy.org/computing/computer-programming
- MIT OpenCourseWare:
Введение в информатику и программирование на Python: http://ocw.mit.edu/courses/6-0001-introduction-to-computer-science-and-programming-in-python-fall-2016/.
- Think Python:
Книга онлайн: http://greenteapress.com/wp/think-python-2e/
- Автоматизируйте скучные вещи с помощью Python:
Читать бесплатно онлайн: http://automatetheboringstuff.com
YouTube:
- CS Dojo (Youtube-канал YK Sugi): http://youtube.com/c/CSDojo.
- Corey Schafer: http://youtube.com/user/schafer5
- edX:
Введение в Python: http://edx.org/learn/python
- LeetCode:
Python Coding Challenges: http://leetcode.com/problemset/all/?search=python
- HackerRank:
Практика Python: http://hackerrank.com/domains/python
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Смотрите, как курсор управляет моим браузером. Он может видеть, что происходит, включая логи сети и консоли.🐈
Теперь мой курсор может отлаживать и исправлять проблемы на сайте без необходимости копировать и вставлять.
ОГРОМНОЕ ускорение для веб-разработки — с этим курсор может конкурировать с v0 и Replit в автономной разработке веб-приложений.
🔜 https://github.com/eastlondoner/cursor-tools
👉 @PythonPortal | #ресурсы
Теперь мой курсор может отлаживать и исправлять проблемы на сайте без необходимости копировать и вставлять.
ОГРОМНОЕ ускорение для веб-разработки — с этим курсор может конкурировать с v0 и Replit в автономной разработке веб-приложений.
Please open Telegram to view this post
VIEW IN TELEGRAM
"Машинное обучение с помощью Python"
Этот 366-страничный учебник для студентов инженерных специальностей теперь БЕСПЛАТНЫЙ.
📝 Цель этой книги — обсудить разработку моделей машинного обучения с использованием Python. Искусственный интеллект (AI) и машинное обучение (ML) являются важными навыками, которые необходимы каждому выпускнику инженерных и управленческих специальностей для успешного карьерного роста
Получите свой экземпляр:
⏩ https://ggnindia.dronacharya.info/Downloads/Sub-info/RelatedBook/4thSem/Fundamentals-of-AIML-text-book-4.pdf
👉 @PythonPortal | #книги
Этот 366-страничный учебник для студентов инженерных специальностей теперь БЕСПЛАТНЫЙ.
Получите свой экземпляр:
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Альтернатива Pandas, работающая в 100 раз быстрее!
(Она даже может обойти GPU-библиотеки для работы с DataFrame)
Хотя Pandas — самая популярная библиотека для работы с DataFrame, у нее есть серьезные ограничения:
🟢 Pandas использует только одно ядро CPU.
🟢 Часто создает громоздкие DataFrame.
🟢 Жадное (немедленное) выполнение мешает глобальной оптимизации.
Представляем FireDucksDev — высокооптимизированную замену Pandas, которую можно использовать без изменений кода.
Просто замените одну строку:
☑ И все готово!
В видео ниже FireDucks сравнивается с cuDF (библиотека DataFrame для GPU).
В этом тесте FireDucks оказался даже быстрее, чем cuDF.
⏩ ссылка на Google Colab с тестами
👉 @PythonPortal | #ресурсы
(Она даже может обойти GPU-библиотеки для работы с DataFrame)
Хотя Pandas — самая популярная библиотека для работы с DataFrame, у нее есть серьезные ограничения:
Представляем FireDucksDev — высокооптимизированную замену Pandas, которую можно использовать без изменений кода.
Просто замените одну строку:
import fireducks.pandas as pd
В видео ниже FireDucks сравнивается с cuDF (библиотека DataFrame для GPU).
В этом тесте FireDucks оказался даже быстрее, чем cuDF.
Please open Telegram to view this post
VIEW IN TELEGRAM
5 декораторов Python, которые должен знать каждый разработчик 😜
➖ Статья знакомит разработчиков с мощным инструментом Python, который позволяет изменять поведение функций и методов без изменения их исходного кода.
В ней рассматриваются техники, способные улучшить читаемость, повторное использование и производительность кода, а также упрощают работу с кэшированием, доступом к данным и логированием
📝 Читать:
https://www.clcoding.com/2025/02/5-python-decorators-every-developer.html
👉 @PythonPortal | #статья
В ней рассматриваются техники, способные улучшить читаемость, повторное использование и производительность кода, а также упрощают работу с кэшированием, доступом к данным и логированием
https://www.clcoding.com/2025/02/5-python-decorators-every-developer.html
Please open Telegram to view this post
VIEW IN TELEGRAM
Ускорьте Python в 50 раз за 4 простых шага
По умолчанию интерпретатор Python, CPython, работает медленно, в основном из-за своей динамичности.
После определения переменной с определённым типом её можно изменить на другой. Эти динамические манипуляции приводят к дополнительным затратам на выполнение и память.
Чтобы ускорить работу, используйте модуль Cython. Он превращает код Python в C, делая его быстрым и эффективным.
Вот как использовать модуль Cython:
1) Загрузите модуль Cython: %load_ext Cython
2) Добавьте магическую команду Cython
3) Указывайте типы данных параметров при использовании функций
4) Определяйте каждую переменную с помощью ключевого слова cdef и указывайте её тип данных
Вот и всё!
Теперь ваш код будет работать с ускорением до скорости нативного машинного кода, как показано на картинке.
👉 @PythonPortal | #tips
По умолчанию интерпретатор Python, CPython, работает медленно, в основном из-за своей динамичности.
После определения переменной с определённым типом её можно изменить на другой. Эти динамические манипуляции приводят к дополнительным затратам на выполнение и память.
Чтобы ускорить работу, используйте модуль Cython. Он превращает код Python в C, делая его быстрым и эффективным.
Вот как использовать модуль Cython:
1) Загрузите модуль Cython: %load_ext Cython
2) Добавьте магическую команду Cython
3) Указывайте типы данных параметров при использовании функций
4) Определяйте каждую переменную с помощью ключевого слова cdef и указывайте её тип данных
Вот и всё!
Теперь ваш код будет работать с ускорением до скорости нативного машинного кода, как показано на картинке.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Глубокое обучение
- Всего видео: 30
Этот плейлист содержит всё, что нужно знать о нейросетях: от основ до передовых технологий с трансформерами, которые являются основой ChatGPT.
⏩ Источник:
https://www.youtube.com/playlist?list=PLblh5JKOoLUIxGDQs4LFFD--41Vzf-ME1
👉 @PythonPortal | #видео
- Всего видео: 30
Этот плейлист содержит всё, что нужно знать о нейросетях: от основ до передовых технологий с трансформерами, которые являются основой ChatGPT.
https://www.youtube.com/playlist?list=PLblh5JKOoLUIxGDQs4LFFD--41Vzf-ME1
Please open Telegram to view this post
VIEW IN TELEGRAM
Книга "Machine Learning Yearning" (Автор: Эндрю Нг)
🟢 Как правильно выбирать стратегию для ML-проектов
🟢 Постановка задач и выбор метрик оценки
🟢 Работа с тренировочными и тестовыми наборами данных
🟢 Анализ ошибок и определение ключевых проблем модели
🟢 Баланс между предвзятостью (bias) и разбросом (variance)
🟢 Улучшение качества моделей с помощью регуляризации, архитектуры нейросетей и других методов
🟢 Работа с распределением данных и генерализация моделей
Книга не углубляется в математические детали, а делает упор на практическое руководство по улучшению ML-систем.
📝 Читать:
https://home-wordpress.deeplearning.ai/wp-content/uploads/2022/03/andrew-ng-machine-learning-yearning.pdf
👉 @PythonPortal | #книги
Книга не углубляется в математические детали, а делает упор на практическое руководство по улучшению ML-систем.
https://home-wordpress.deeplearning.ai/wp-content/uploads/2022/03/andrew-ng-machine-learning-yearning.pdf
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Визуализация сложных данных в Python стала еще проще! 😮
Знакомьтесь, Cosmograph для Python — виджет, который обеспечивает ускоренную на GPU интерактивную визуализацию графов прямо в твоих Jupyter Notebook.
Почему это прорыв?
🟢 Производительность на GPU
🟢 Интерактивное исследование сети (панорамирование, масштабирование, наведение, выбор)
🟢 Гибкая настройка (расположение, цвета, размеры и многое другое)
🟢 Бесшовная интеграция в ноутбуки и простая установка через pip
Но это еще не все:
☑ Симуляции на основе силовых полей для динамических визуализаций
☑ Гладкая работа с крупными графами
☑ Минимальная настройка — просто
⏩ Ссылка:
https://github.com/cosmograph-org/py_cosmograph
👉 @PythonPortal | #ресурсы
Знакомьтесь, Cosmograph для Python — виджет, который обеспечивает ускоренную на GPU интерактивную визуализацию графов прямо в твоих Jupyter Notebook.
Почему это прорыв?
Но это еще не все:
pip install cosmograph
https://github.com/cosmograph-org/py_cosmograph
Please open Telegram to view this post
VIEW IN TELEGRAM
Регулярные_выражения_на_русском.pdf
95.5 KB
Это справочник по регулярным выражениям на русском языке.
➖ Якорей (например, ^ – начало строки, $ – конец строки)
➖ Символьных классов (\d – цифра, \s – пробел и т. д.)
➖ POSIX-классов ([:alpha:] – все буквы, [:digit:] – цифры и т. д.)
➖ Утверждений (например, ?= – вперед смотрящее утверждение)
➖ Шаблонов (например, \d{1,2}/\d{1,2}/\d{4} – дата в формате dd/mm/yyyy)
➖ Кванторов (*, +, ?, {n} и их нежадные версии)
➖ Специальных символов (\n – новая строка, \t – табуляция и т. д.)
➖ Диапазонов ([a-z], [^0-9] и т. д.)
➖ Модификаторов (g – глобальный поиск, i – регистронезависимый и т. д.)
👉 @PythonPortal | #ресурсы
Please open Telegram to view this post
VIEW IN TELEGRAM
Python vs Java 😮
Основное различие:
➖ Python интерпретируемый язык, его код выполняется через виртуальную машину Python.
➖ Java сначала компилируется в байт-код, а затем выполняется в JVM с помощью JIT-компиляции.
➖ Java, как правило, быстрее в работе, а Python проще для написания и отладки.
👉 @PythonPortal | #ресурсы
Основное различие:
Please open Telegram to view this post
VIEW IN TELEGRAM