#cource #курс #курсс
#sberuniversity
https://sberuniversity.online/programs/6000/about


Цифровые навыки
Языки программирования
Python для анализа данных
электронный курс
Python для анализа данных

О программе

Общее описание

Надоела рутина? Доверьте её «Питону»! Электронный курс «Python для анализа данных» поможет освоить популярный язык программирования, чтобы быстро анализировать данные.
Для кого эта программа

специалисты и эксперты любого уровня, у которых есть желание и необходимость в анализе данных и работе с ними
Чему вы научитесь

Получение теоретических и практических знаний по анализу данных с помощью языка программирования Python

Структура программы

Структуры данных

Работа с индексами

Чистка данных

Математические операции

Операции объединения данных

Агрегирование данных

Визуализация данных

logo
Источник: СберУниверситет
Формат обучения Электронный
Раздел
Цифровые навыки
Тема
Языки программирования
Пути обучения с этой программой 3
На страницу трека
Data Analyst

Путь будет интересен тем, кто хочет обладать навыками для эффективной работы с дан...
На страницу трека
Data Engineer

Путь будет интересен тем, кто хочет научиться работать с большими данными.
На страницу трека
Data Scientist

Для тех, кто хочет научиться извлекать из больших данных полезную для бизнеса и...
Рейтинг участников

Крупий Николай

Обучение
Программы
База знаний
Пути обучения

Вдохновляем на развитие

Мое обучение
Программы и курсы
База знаний
Пути обучения
Проекты
Личные данные
История обучения
Мои сертификаты
Настройка уведомлений

Политика конфиденциальности

© 2022, АНО ДПО «Корпоративный университет Сбербанка»
Разработано в студии ImageSpark

Python: декоратор @retry

В Python существует очень простой и удобный способ создавать обёрточные функции — декоратор @retry. Он повышает и качество кода, и скорость разработки.

Посмотрите, как можно его использовать, и насколько понятнее и лаконичнее при этом становится код:

https://tprg.ru/no6G

#чистыйкод

Что такое дескрипторы и их использование в Python 3.6+

Дескрипторы редко используются в Pyhton-проектах напрямую, но крайне часто через сторонние библиотеки. Обычно они необходимы при создании фреймворка или ORM, а ещё на собеседованиях любят задавать вопросы о них.

В этой статье автор постарался максимально понятно объяснить что же такое дескриптор, зачем он нужен и где применяется:

https://tprg.ru/AtwB

from crontab import CronTab

# user=True denotes the current user
cron = CronTab(user=True)
job = cron.new(command='PGPASSWORD=test psql -U someuser -d somedb -c "SELECT 1" -h localhost')
job.setall("*/5 * * * *")

if cron[0].is_valid(): # If syntax is valid, write to crontab
cron.write()

# crontab -l # Check real crontab from shell
# */5 * * * * PGPASSWORD=test psql -U someuser -d somedb -c "SELECT 1" -h localhost
view rawpython-crontab1.py hosted with ❤ by GitHub

def name(_func=None, *, kw1=val1, kw2=val2, ...):
def decorator_name(func):
... # Создает и возвращает функцию-обёртку.

if _func is None:
return decorator_name
else:
return decorator_name(_func)


https://proglib.io/p/vse-chto-nuzhno-znat-o-dekoratorah-python-2020-05-09

textwrap — Text wrapping and filling — Python 3.10.4 documentation
https://docs.python.org/3/library/textwrap.html

Простая задачка - прочитать матрицу по часовой стрелке. Даже есть решение, и не одно, а много. Задачка типа Leetcode. Но мозг со скрежетом решает такие вещи🦥

Есть интересный сайт - https://pythontutor.com/ там можно посмотреть пошаговое выполнение программы, как на картинке.

Онлайн книга - Efficient Python Tricks and Tools for Data Scientists (написанная в git). В книге много примеров.

The goal of this book is to spread the awareness of efficient ways to do Python. They include:
- efficient methods and libraries to work with iterator, dictionary, function, and class
- efficient methods to work with popular data science libraries such as pandas and NumPy
- efficient tools to incorporate in a data science project
- efficient tools to incorporate in any project
- efficient tools to work with Jupyter Notebook.

А я устал от курсов по питону. Начал читать Лутца. Чет после курсов все время все забываю.

а я хочу эту книгу прочитать

Но лучше уж fluent python почитать мне кажется

Phone Screening из Amazon - 2 задачки SQL + 1 Python.

🌞Разработка на Python по 12 принципам SaaS c библиотекой Python-dotenv
Разработчики ML-моделей и аналитики данных не всегда чисто пишут код, как профессиональные программисты. Улучшить качество кода поможет простая методология разработки веб-приложений или SaaS, которая рекомендует:
• использовать декларативные форматы для автоматизации настройки, чтобы сократить время и силы новых разработчиков, присоединяющихся к проекту;
• иметь чистый контракт с базовой операционной системой, обеспечивающий максимальную переносимость между средами выполнения;
• запускать развертывания на современных облачных платформах, избавляя от необходимости администрирования серверов и систем;
• сокращать расхождения между разработкой и производством, обеспечивая непрерывное развертывание для максимальной гибкости;
• масштабироваться без существенных изменений в инструментарии, архитектуре или методах разработки.
Для реализации этих идей SaaS предлагает строить приложения по 12 принципам:
1. Одна кодовая база отслеживается в системе контроля версий, множество развертываний
2. Явно объявить и изолировать зависимости
3. Хранить конфигурацию в среде
4. Относиться к вспомогательным сервисам как к присоединенным ресурсам
5. Строго разделять этапы сборки и запуска
6. Исполнять приложение как один или несколько stateless-процессов
7. Экспортировать сервисы через привязку к порту
8. Обеспечивать параллелизм через масштабирование с помощью модели процесса
9. Максимальная надежность благодаря быстрому запуску и плавному завершению работы
10. Переносимость и похожесть сред от разработки до производства через тестовую
11. Логировать, чтобы рассматривать журналы как потоки событий
12. Выполнять задачи администрирования/управления как одноразовых процессов
Реализовать все это для Python-программы поможет открытая библиотека Python-dotenv. Она считывает пары ключ-значение из файла .env и может устанавливать их как переменные среды. Если приложение берет конфигурацию из переменных среды, запуск его в процессе разработки не очень практичен, т.к. разработчику нужно установить эти переменные среды самостоятельно. Добавив Python-dotenv в свое приложение, можно упростить процесс разработки. Библиотека сама загрузит конфигурацию из файла .env, оставаясь при этом настраиваемым через среду.
Также библиотека может загрузить конфигурацию без изменения среды, распарсить конфигурацию как поток и загрузить файлы .env в IPython. Инструмент также имеет CLI-интерфейс, чтобы манипулировать файлом .env, не открывая его вручную.
https://github.com/theskumar/python-dotenv

Интересная статья про разбор преимуществ языка R перед Python для задач анализа данных и data science

Основная мысль статьи, как мне кажется, вертится вокруг того, что R изначально был задуман как язык для различных манипуляций с данными, в итоге в нём предусмотрены необходимые типы данных, векторизация, удобная работа с табличными данными, пайплайны обработки данных и многое другое. В Python это всё тоже есть, но в виде «наворачиваемых» сверху пакетов, таких как numpy и pandas, но им неминуемо приходится адаптироваться к ООП-шной архитектуре Python, от чего возникает ряд решений, которые кто-то может назвать костыльными

Лично для меня Python всё-таки остаётся основным языком в анализе данных, так как уже слишком много времени и ресурсов затрачено на то, чтобы его изучить. Но для кого-то эта статья может быть хорошим набором аргументов для того, чтобы изучить R

https://habr.com/ru/post/670250/

Библиотеки Python для работы с базами данных и SQL-запросами

1. sqlite3
Библиотека позволяет работать с базами данных SQLite, которые записывают и читают данные с файлов, а значит пользователю не нужно устанавливать сервер для БД, что очень удобно)

2. psycopg2
Модуль для работы с базами данных PostgreSQL. Также позволяет все основные функции с базой данных: работа с таблицами, написание запросов и т.д.

3. mysql-connector-python
Как уже понятно из названия, модуль позволяет подключаться к БД MySQL) Включает в себя все те же функции, что и описанные выше модули. Подробная документация доступна по ссылкам в названии модулей

4. pymssql
Модуль позволяет подключаться к БД Microsoft SQL Server

5. SQLAlchemy
Алхимия при работе с базами данных из python) Библиотека позволяет подключаться к различным БД. Есть множество функций: создание/изменение/удаление таблиц, извлечение/вставка данных, написание запросов, изменение данных. Библиотека позволяет работать с БД с помощью объектно-ориентированного кода, не используя при этом SQL

6. PandaSQL
Модуль позволяет расширить функционал pandas и писать SQL запросы прямо к датафреймам. Как вариант использования модуля с другими библиотеками, после подключения к БД и извлечения данных, к датафрейму можно писать запросы как будто бы к обычной таблице в БД, не используя синтаксис pandas