🖥 Осваиваем парсинг сайта: короткий туториал на Python

Парсинг сайта
Это метод извлечения информации с веб-сайтов.

Эта методика преимущественно фокусируется на преобразовании неструктурированных данных – в формате HTML – в Интернете в структурированные данные: базы данных или электронные таблицы.

Парсинг сайта включает в себя доступ к Интернету напрямую через HTTP или через веб-браузер.

🗄 Ссылка на статью

Просто Python

📺 Как выучить Python БЕСПЛАТНО за 8 недель: план обучения 80/20

Cпособ выучить Python за восемь недель, используя видео, статьи и практические упражнения. Упражнения очень важны, потому что это лучший способ научиться — это выполнять их.

⌨️ Всего около 30-50 минут в день и постоянство. В данном плане используется принцип 80/20, который поможет вам сначала научиться самому важному, а остальное улучшить с помощью практики.

🗄 Ссылка на статью

Просто Python

⌨️ 11 проектов, которые должен разработать каждый питонист

Веб-проекты на Python:

⏺Агрегатор контента
⏺Regex Query Tool
⏺URL Shortener
⏺Post-It Note
⏺Викторина

GUI-проекты на Python:

⏺Сигнализация
⏺Файловый менеджер
⏺Контроль расходов

Командная строка:

⏺Контакты
⏺Проверка подключения к сайту
⏺Изменение имени файлов

🗄 Ссылка на статью

Просто Python

🎮 15 игр, которые научат программированию

А также помогут подготовиться к техническому собеседованию, развить алгоритмическое мышление и просто провести свободное время с пользой

В данный список входят:

⏺ CodeCombat
⏺ CodinGame
⏺ Ruby Warrior
⏺ Codewars
⏺ Untrusted
⏺ Screeps
⏺ и другие

🗄 Ссылка на статью

Просто Python

📖 Пишем асинхронный парсер и скрапер картинок на Python с графическим интерфейсом

Desktop-приложение, которое по запросу будет сохранять на диске заданное количество картинок.

Т. к. картинок много,
воспользуемся асинхронностью Python для конкурентной реализации операций ввода-вывода.

Рассмотрим чем отличаются библиотеки requests и aiohttp. Создадим два дополнительных потока приложения, чтобы обойти глобальную блокировку интерпретатора Python.

➡️ Ссылка на статью

Просто Python

🛡 32 инструмента для Python, которые помогут писать профессиональный код

32 полезных инструмента для написания чистого, читаемого и безопасного Python-кода: автоформатировщики, линтеры, инструменты проверки типов, фреймворки для юнит-тестирования и генераторы документации.

📖 В статье представлены:

⏺Автоматическое форматирование кода
⏺Линтеры
⏺Проверка типов
⏺Модульное тестирование
⏺Документация

➡️ Ссылка на статью

Просто Python

❤️ Самоучитель для начинающих: как освоить Python с нуля за 30 минут?

Введение в Python за полчаса, а также подборка книг и YouTube-каналов на несколько месяцев интенсивного, но более вдумчивого изучения.

Вы познакомитесь с особенностями языка Python, основными типами данных, условными операторы, циклами и работой с файлами.

В заключении приведена подборка литературы и каналов на YouTube, а также бесплатных курсов.

➡️ Ссылка на статью

Просто Python

📘 Как за один pet-проект получить два диплома

OpenCV2 – библиотека комплексный и простой инструмент, который позволяет читать и сохранять видео, трансформировать перспективу, а также рисовать различные простые геометрические фигуры прямо поверх видео.

🎮 В FIFA пользователь видит небольшую карту с местоположением игроков и мяча на поле, данный элемент интерфейса является очень полезной фичей, без которой невозможно представить полноценный игровой процесс.

Данную карту будем переносить в реальный мир, используя видеозапись матча и нейросеть.

➡️ habr.com

Просто Python

🔎 Шпаргалка для алгособеса 2 — графовые и строковые алгоритмы

Алгоритмы прокачивают умение системно мыслить, искать нестандартные пути решения; человека, у которого эти скиллы на высоте, вряд ли заменит ИИ.

Разбор графовых алгоритмов типо DFS, Флойда–Уоршелла и строковые наподобие Ахо-Корасик.

➡️ habr.com

Просто Python

⚡️Project Omega|ИБ, Osint — новейший канал по информационной безопасности в рунете. Сканеры, пентестинг, криптография, анализаторы сетевого трафика и книги.

Весь материал на канале в общем доступе!

🌐 Луковое ПО: используем TOR для анонимного парсинга

Пришло время для анонимного парсинга веб-страниц. Для этого нам поможет мощная команда: TOR, Privoxy, Python, Linux и наша статья.

🥷 Для успешной разработки парсинг-агента на прокси-сервере нужно установить Linux с такими инструментами:

⏺TOR: распределенная, анонимная и зашифрованная сеть, в которой данные пользователей и сами пользователи никогда не будут раскрыты.
⏺Stem: контроллер Python для TOR.
⏺Privoxy: не кеширующий веб-прокси с фильтрацией, повышенной конфиденциальностью и возможностью изменения данных веб-страниц и заголовков HTTP.

➡️ proglib.io

Просто Python

🚀 Дескрипторы в Python

Дескриптор — это объектовый атрибут с поведением, определяемым методами в его классе.

Если просто — это способ, с помощью которого объект может контролировать доступ к его атрибутам, используя специально определенные методы __get__ set, delete

✒️ Если говорить еще проще — дескрипторы позволяют задавать точки доступа к атрибутам объекта, добавляя дополнительную логику, когда атрибут читается, записывается или удаляется.

➡️ habr.com

Просто Python

📈 Линейная регрессия на Python: объясняем на пальцах

Линейная регрессия применяется для анализа данных и в машинном обучении. Постройте свою модель на Python и получите первые результаты!

Регрессия ищет отношения между переменными.

❗️Регрессия решает проблему единого представления данных анализа для каждого работника. Причём опыт, образование, роль и город – это независимые переменные при зависимой от них зарплате.

➡️ proglib.io

Просто Python

💻 Парсинг веб-сайтов: взгляд изнутри

Парсинг — это процесс синтаксического анализа текста с целью извлечения определенной информации.

Скрапинг — это процесс загрузки веб-страницы и попытка извлечения информации из неё, обычно в обход API, ограничений и правил пользования сайтом.

🟣Парсинг веб-сайтов – это не только технический процесс, но и сложный юридический и этический вопрос.

Понимание правовых и моральных аспектов парсинга является ключевым для его безопасного и эффективного использования.

➡️ habr.com

Просто Python

Академия CyberYozh откроет часть своих курсов бесплатно

✅Материал стоящий, без воды. Рекомендую присмотреться к их курсам по автоматизации с помощью Python и Selenium:

Автоматизация веб действий — вы научитесь работать с мультиаккаунтингом, авторегистрацией и прогревом аккаунтов, парсингом любого веб-контента, накруткой, автоматизацией покупок и заказов, автоматическими ставками. Тематика не простая, но спрос на таких специалистов огромный.

Автоматизация BlockChain — в рамках курса вы изучите автоматизацию BlockChain-проектов и начнете применять знания для сбора ретродропов. Люди делают состояния на этом, нужен лишь азарт, желание писать код и удача. Лучше хобби для питониста не придумать.

⏰ Всего откроют доступ к 8 курсам, но обещают, что доступ превратится в тыкву 14 апреля, лучше поторопиться.

📈 Быстрый путеводитель по Python: cписки за 7 минут

Не путайте в Python списки и массивы: в первых можно хранить разнородные объекты.
Здесь кратко описаны все основные методы списков Python 3.x.

📈 Python списки – это не массивы. Список (list) может представлять коллекцию разнородных объектов: целые и дробные числа, строки, логические значения и т. д.

Описанное свойство позволяет разработчикам применять списки более гибко, чем обычные массивы. Среди типов данных Python списки являются одним из наиболее мощных и часто используемых.

➡️ proglib.io

Просто Python

🐼 10 трюков библиотеки Python Pandas, которые вам нужны.

Pandas — главная библиотека в Python для работы с данными. Её активно используют аналитики данных и дата-сайентисты.

Классные трюки, которые облегчат работу с библиотекой Python Pandas и придадут эффективный код.

🤖 Представленные команды:

⏺read_csv
⏺select_dtypes
⏺copy
⏺map
⏺value counts
⏺и др.

➡️ proglib.io

Просто Python

🖥 Универсальные типы в python

Универсальные типы в python являются незаменимым инструментом, который позволяет выявлять множество ошибок на моменте написания кода, а также делает код чище и элегантнее.

Различные примеры использования универсальных типов и доступно описано, в чем разница между инвариантностью, ковариантностью и контравариантностью.

➡️ habr.com

Просто Python

📣 Разница между pool.map и pool.map_async в Python

pool.map и pool.map_async являются методами модуля multiprocessing.Pool в Python, которые позволяют параллельно выполнять функции на нескольких процессах.

pool.map: Этот метод блокирует выполнение программы до тех пор, пока все задачи не будут завершены.

pool.map_async: Этот метод также принимает функцию и список аргументов, но не блокирует выполнение программы. Вместо этого он возвращает объект multiprocessing.pool.

➡️ habr.com

Просто Python

🛡 Инструменты Python: лучшая шпаргалка для начинающих

Большая шпаргалка для питониста на любой случай. Рассмотрены основные инструменты Python с примерами.

📖 В статье изложены:

⏺Запускаем модуль как самостоятельную программу
⏺Приручаем Python списки
⏺Работаем со словарями
⏺Операции над множествами
⏺Именованный кортеж
⏺И многое другое

➡️ proglib.io

Просто Python