10 Советов и Фишек для написания Лучшего кода на Python

0:00 - Делаем ли видео о mmap?
0:48 - 1. Кешируемые свойства (cached_property)
2:43 - 2. Регистрация atexit событий
3:42 - 3. Как читать огромные файлы?
4:33 - 4. Как определить язык текста?
5:10 - 5. Троллинг от разработчиков Python
6:19 - 6. Валидация email, url, uuid, bitcoin, mac и т.д
7:36 - 7. Планирование задач с schedule
8:18 - 8. Как установить лимиты на текст?
9:17 - 9. Модуль для транслитерации Python
9:44 - 10. Как создать qrcode на Python
10:40 - QrCode + IoBytes в телеграмм канале

источник

@BookPython

Современная статистика: Компьютерный подход с Python

Современная статистика играет важную роль в анализе и интерпретации данных в различных областях. С развитием технологий все большую популярность в области статистики приобретает компьютерный подход. В этой статье мы рассмотрим значение современной статистики и ее органичную интеграцию с языком программирования Python. Мы рассмотрим основные статистические концепции, методы и инструменты, а также осветим реальные приложения и будущие тенденции. Итак, давайте отправимся в это путешествие, чтобы открыть для себя возможности современной статистики с помощью языка Python.

https://pyoflife.com/modern-statistics-a-computer-based-approach-with-python/

@BookPython

Python Crash Course, 2nd Edition: A Hands-On, Project-Based Introduction to Programming
Автор: Eric Matthes (2019)

Это второе издание одной из самых продаваемых книг по Python. Она представляет собой простое введение в программирование на этом языке. Автор пишет об общих концепциях программирования, разбирает основы языка и решения типичных задач. Три реальных проекта во второй части книги позволяют читателям применить свои знания.

Во время чтения вы:
✔️Ознакомитесь с основами синтаксиса Python;
✔️Создадите простую видеоигру;
✔️Используете методы визуализации данных для создания графиков и диаграмм;
✔️Создадите и развернёте интерактивное веб-приложение.

Скачать

👉 @python_360

Скраппинг backlinks Google Search Console

Если вы являетесь веб-мастером или SEO-специалистом, то, скорее всего, вам необходимо регулярно проводить аудит обратных ссылок. Бывают ситуации, когда приходится находить токсичные обратные ссылки и отключать их. Однако очень сложно вручную экспортировать и соотнести все данные об обратных ссылках из Google Search Console.

Если сайты, с которыми вы работаете, имеют значительные размеры, то для получения этих данных из GSC потребуется очень много кликов и экспорта. Это просто невыполнимо.

https://hackernoon.com/scraping-google-search-console-backlinks

@BookPython

Программа-шутка или как за вечер вспомнить Python и красные глаза

Одним из летних вечеров я сидел чате дискорда одного известного в узких кругах ютубера под ником Бэбэй (не спрашивайте кто это, его послужной список стоит отдельной статьи, но точно не на Хабре!). Состою я там в гильдии злодеев, которая пытается смешно злодействовать в рамках правил. И мне пришла «гениальная» идея — написать свою программу для спама фурри картинками на экране нерадивого чатовца, пожелавшего посмотреть, что я прислал. Недолго думая, я приступил к проекту. И ёлки-иголки, как же я не ожидал, что придётся провозится так долго с тем, чтобы она могла работать!

https://habr.com/ru/articles/763408/

@BookPython

Пишем компилятор C в 500 строках Python

Несколько месяцев назад, закончив пост об SDF-пончике, я поставил перед собой задачу написать компилятор C в 500 строках Python1. Насколько сложна эта задача? Оказалось, что довольно сложна, даже после отказа от достаточно большого количества возможностей. Но в то же время она была довольно интересной, а результат оказался на удивление функциональным и вполне простым для понимания!

Кода слишком много, чтобы подробно объяснять его в посте2, поэтому я просто вкратце расскажу о принятых мной решениях, об аспектах, которые пришлось вырезать, и об общей архитектуре компилятора, коснувшись самого главного в каждой из частей. Надеюсь, после прочтения поста код станет для вас доступнее!

Rus https://habr.com/ru/articles/759196/

Eng https://vgel.me/posts/c500/

@BookPython

Как создать свою собственную нейронную сеть с нуля на Python

Мотивация: в рамках моего личного пути к лучшему пониманию глубокого обучения я решил создать нейронную сеть с нуля без библиотеки глубокого обучения, такой как TensorFlow. Я считаю, что понимание внутренней работы нейронной сети важно для любого начинающего специалиста по данным. Эта статья содержит то, что я узнал, и, надеюсь, она будет полезна и вам!

https://habr.com/ru/articles/725668/

@BookPython

Язык программирования Python - что на нем пишут

0:00 Начало
0:14 Опрос
0:32 История появления Питона
1:25 Популярность языка в вебе
1:55 Популярность языка среди разработчиков
2:28 Использования Python в data science
2:55 Использования Python в машинном обучении
3:17 Нейронные сети с помощью Питона
4:49 Веб разработка на Питоне
5:40 Питон в DevOps
6:12 Python в образовании
7:00 Компьютерное зрение и обработка изображений на Питоне
7:53 Питон в компьютерных играх
9:12 Питон и черная дыра
9:54 Зарплаты программистов на Питоне

источник

@BookPython

Подборка ВСЕХ наиболее известных алгоритмов, реализованных на Python

Данная подборка, прежде всего, предназначена для обучения, поскольку сами реализации могут быть менее эффективными, чем те, что в стандартной библиотеке Python, используйте их по своему усмотрению

https://github.com/TheAlgorithms/Python

@BookPython

Консистентность в конкуретной среде: как не захлебнуться в потоках данных

В прошлой статье я рассказал о конкурентной среде в Точке и типовых проблемах, с которыми сталкиваются разработчики. В этот раз речь пойдёт о том, как же можно эту консистентность реализовать и какие злые силы нам могут помешать это сделать. Решил больше не делить статьи на части, поэтому продолжение вот в этой большой статье, всё в одном месте.

Напомню, что текст рассчитан в первую очередь на разработчиков, которые имеют мало практического опыта работы в конкурентной и/или микросервисной среде, поэтому многие вещи я объясню на пальцах. Для тех, кто захочет ознакомиться с более строгими формулировками, сразу скажу, что здесь будут затронуты упрощённые идеи паттернов Transactional Outbox и Saga.

https://habr.com/ru/company/tochka/blog/725722/

@BookPython

Скрапирование веб-сайта с помощью Python и Selenium: Краткое руководство

В современном мире каждый бизнес ищет способы использовать преимущества новых технологий и оставаться конкурентоспособным. Извлечение данных, известное также как data scraping или web scraping, позволяет получить доступ к большим данным автоматизированным способом.

Основными областями применения веб-скреппинга являются ценовая разведка, лидогенерация и маркетинговые исследования. В основном веб-скреппинг практикуется компаниями, которые разрабатывают свои маркетинговые стратегии и стратегии развития на основе огромного количества веб-данных.

Итак, разобравшись с тем, что такое веб-скрейпинг и почему он полезен, давайте посмотрим, как можно перемещаться по нескольким страницам сайта и собирать многочисленные данные с помощью Selenium в Python.

https://hackernoon.com/scraping-a-website-with-python-and-selenium-a-how-to-guide-px5k3380

@BookPython

Пора забывать GridSearch — встречайте ProgressiveGridSearch. Фракталы в ML, постепенно увеличиваем разрешение

Здравствуйте, меня зовут Николай Стрекопытов и я придумал как подбирать гиперпараметры бескомпромиссно лучше GridSearch’а. Нужно лишь изменить порядок вычислений. И да, это заявка на обновление индустриального стандарта - скоро вы сможете улучшить свои ML-пайплайны заменой нескольких строчек кода.

Сначала коротко

Разберем как проводит вычисления GridSearch, а как ProgressiveGridSearch. Первый перебирает все возможные комбинации стандартным вложенным циклом, то есть если нужно перебрать элементы матрицы, то первый алгоритм сначала переберет все столбцы по первой строке и только после приступит ко второй строке, то есть это просто брутфорс. Я предлагаю действовать разумнее. Постепенно увеличивать разрешение вычислений, то есть сначала получить представление о функции крупным мазками по всему диапазону, затем средними мазками, а дальше мелкими и так далее до останова (такой подход дает возможность адекватно приближать функцию в невычисленных узлах).

https://habr.com/ru/articles/726222/

@BookPython

Быстрее, больше, сильнее: фреймворки Python с параллельной обработкой данных

Многие разработчики любят Python за простоту и удобство, но вот быстротой обработки данных этот язык программирования никогда не отличался. Во многом эти ограничения скорости связаны с его эталонной реализацией cPython, которая является однопоточной.

И хотя в Python есть встроенный модуль потоковой обработки, его использование даст нам только параллелизм. Это не поможет ускорить несколько задач, каждая из которых требует полной загрузки ЦП.

Есть у «змеиного языка» и собственный модуль многопроцессорности, который запускает несколько копий интерпретатора Python на отдельных ядрах и предоставляет примитивы для разделения задач между ядрами. Но для по-настоящему сложных задач, например, обработки больших наборов данных в машинном обучении, даже многопроцессорности недостаточно.

Когда требуется распределить задания не только между несколькими ядрами, но и между несколькими машинами, в игру вступают специальные библиотеки и фреймворки Python, реализующие параллельную обработку данных. Они позволяют взять существующее приложение Python и распределить нагрузку между несколькими ядрами, несколькими машинами или комбинировать оба варианта.

https://habr.com/ru/companies/first/articles/724776/

@BookPython

REST API на основе Snake (Python, Mamba, Hydra и Fast API)

Сегодня я хочу попробовать что-то новое и начну исследовать мир Python. В этой статье представлен пошаговый туториал по реализации простого REST API при помощи Python, Fast API, Hydra и Mamba. Более того, я вкратце опишу, как упаковать всех этих змей в один образ Docker и заставить их работать вместе. Весь код выложен на моём GitHub.

Давайте начнём с кратного объяснения того, почему я решил выбрать эту тему.

Rus https://habr.com/ru/companies/ruvds/articles/685302/

Eng https://dzone.com/articles/snake-based-rest-api

@BookPython

Создаем прогресс-бар на Python

Прогресс-бары считаются важными элементами при разработке программного обеспечения, поскольку они обеспечивают обратную связь о ходе выполнения операций и задач. Поэтому в этой заметке мы рассмотрели несколько методов создания индикаторов прогресса в Python.

https://www.geeksveda.com/python-progress-bar/

@BookPython

Machine Learning Pocket Reference
Working with Structured Data in Python
Matt Harrison (2019)

Книга идеально подходящая для программистов, аналитиков данных и инженеров искусственного интеллекта, содержит обзор процесса машинного обучения и знакомит вас с классификацией структурированных данных. В книге рассматриваются различные библиотеки и модели, их компромиссы, настройка и интерпретация. Кроме всего прочего вы изучите методы кластеризации, регрессии и уменьшения размерности. При использовании книги "Машинное обучение: карманный справочник" предполагается знание языка программирования Python. В книге демонстрируется, как использовать различные вспомогательные библиотеки Python для решения реальных задач МО.

Скачать

👉 @python_360

Предварительная обработка данных с помощью библиотеки Pandas (Задача)

В современном мире большинство бизнес-процессов связаны с обработкой больших объемов данных, получаемых от различных источников. Часто эти данные содержат ошибки, дубликаты и пропуски, что может привести к неверным выводам и решениям. Одним из инструментов, которые позволяют очистить и преобразовать данные, является библиотека pandas для языка программирования Python.

Я собираюсь рассмотреть задачу по очистке данных с помощью pandas. Для этого возьмем данные, содержащие дубликаты строк, неправильные типы данных, пропуски и отрицательные значения. Затем я буду использовать функциональные возможности pandas для очистки и преобразования этих данных в форму, пригодную для дальнейшего анализа.

Предположим, у вас есть набор данных, содержащий информацию о продажах компании за последние несколько лет. Но данные не очень чистые, и вы заметили, что есть некоторые проблемы с форматированием и некоторые строки содержат ошибки.

Задача: Необходимо очистить данные о продажах компании за последние несколько лет с помощью библиотеки Pandas.

https://habr.com/ru/articles/727228/

@BookPython

Messaging для чайников. Утилизируем все возможности RabbitMQ на Python

Всем привет! Буквально недавно мне пришлось изучить всю официальную документацию RabbitMQ и множество статей разного качества на тему разных видов маршрутизации в этом брокере.

Оказалось, что материала на эту тему много, но он либо объясняет совсем базовые случаи, либо уходит в такие дебри, которые крайне далеки и тяжелы для человека, который хочет "просто разобраться".

Простых и понятных примеров на Python тоже мало, так как они заставляют вас вникать в код библиотеки, а не особенности RabbitMQ. Для человека, который видит что-то pika-подобное первый раз, это может быть испытанием.

Поэтому я и решил написать эту статью: она нацелена на "чайников" - вы легко можете показать ее вашим джунам, и этого уже должно быть достаточно для начала работы с RabbitMQ.

https://habr.com/ru/articles/743192/

@BookPython

Python NumPy for Beginners: NumPy Specialization for Data Science
Автор: AI Publishing (2022)

Эта книга представляет вам практический и простой подход к быстрому изучению Python и NumPy. Эта книга отличается от других, поскольку вам предстоит не просто читать, а многое делать. За каждой теоретической концепцией следуют практические примеры, что облегчает ее освоение.
Пошаговая схема этой книги упрощает процесс обучения. Автор приложил максимум усилий для того, чтобы то, что вы узнаете, закрепилось в памяти. В конце каждой из 11 глав есть короткие упражнения для проверки ваших знаний теоретических концепций, которые вы изучили.

Скачать

👉 @python_360

Декораторы Python: пошаговое руководство

Понимание декораторов является важной вехой для любого программиста Python. Эта статья представляет собой пошаговое руководство о том, как декораторы могут помочь вам стать более эффективным и продуктивным разработчиком на Python.

Декораторы в Python позволяют расширять и изменять поведение вызываемых объектов (функций, методов и классов) без постоянного изменения самого вызываемого объекта.

Любая достаточно общая функциональность, которую можно «прикрепить» к поведению существующего класса или функции, является отличным примером использования декораторов.

Сюда входит:
- журналирование,
- обеспечение контроля доступа и аутентификации,
- инструментарий и функции управления временем,
- ограничение скорости,
- кэширование и многое другое.

Rus https://habr.com/ru/companies/otus/articles/727590/

Eng https://dbader.org/blog/python-decorators

@BookPython