Статья о том как с помощью Pandas сделать сравнение двух Excel-файлов и отобразить историю изменений в новой книге http://pbpython.com/excel-diff-pandas-update.html

Подробный гайд о том как использовать SQLAlchemy в связке с PostgreSQL. Освещаются не только запросы, но и создание таблиц, добавление новых строк в существующие таблицы. https://learndatasci.com/tutorials/using-databases-python-postgres-sqlalchemy-and-alembic/

Опять о навыках.

Linkedin проанализировал навыки, которые больше всего хотят видеть работодатели в соискателях. Да, вы верно догадываетесь - аналитическое мышление и имение работать с AI, ML, облаками - в топе. Но самое интересное, что по ссылке доступны курсы, которые Линкедин рекомендует пройти для получения тех или иных навыков. Там прям очень хорошо.

Кроме этого, наткнулся на блог Роджера Хуана. Этот парень настолько классно объясняет подходы к программированию (в том числе на SQL, Python и тд), что первой мыслью после того как я оторвался от блога было пригласить его на Матемаркетинг-2019 с лекцией и мастер-классом. Невероятно ясный ум у него. Судите сами:

Принципы программирования
Решение задач на SQL и Python
И много чего еще в его блоге: https://code-love.com

Тут на Реддите большое обсуждение бесплатных книг про Python. Налетайте https://www.reddit.com/r/Python/comments/anfdyh/free_python_books/

Пока ещё не пятница, но её приближение уже чувствуется, а поэтому сегодня у нас будет библиотека для гифок 🕺

Работает она и без указания ключа, но вроде как Giphy скоро запретят пользоваться публичным ключом. https://github.com/shaunduncan/giphypop

🐍 Набор полезных ссылок про Python для анализа данных от друзей канала

🔸Забудьте о matplotlib: визуализация данных в Python вместе с plotly

🔸Авторская статья про использование bs4 для веб-скрапинга данных

🔸Pandas для новичков: получение данных с веб-сайта без использования API

Множество разных материалов по python и не только читайте также на канале hello world

Статья в блоге Виталия Бахвалова про то как с помощью Python-скрипта парсить объявления из Директа http://italylov.ru/blog/all/parsim-obyavleniya-v-direkte-i-delaem-skrinshoty/

Собрал все ссылки про Pandas, которые были размещены в этом канале и не только, на одну страничку, с тегами и указанием языка статьи или туториала. Также там есть ссылка на случай, если кто-то захочет предложить свою статью или заинтересовавшую статью. Делитесь, распространяйте добро) http://bit.ly/2GFnA21

Руководство о том как установить и запустить Jupyter Notebook на выделенном сервере. Отдельный полезнейший бонус этой статьи - как получить и настроить SSL-сертификат от Let's Encrypt для сервера Юпитера. Лично мне держать и запускать свои ноутбуки на выделенном сервере намного удобнее, чем на своем компьютере, так что советую присмотреться к руководству. https://janakiev.com/blog/jupyter-notebook-server/

Седьмая часть из серии статей про автоматизацию рутины с помощью Python. Chang Hsin Lee рассказывает о том как записывать датафреймы в Excel с помощью библиотеки openpyxl, а также как форматировать стили внутри ячеек, чтобы всё было красиво и не приходилось потом в Excel переделывать стили сохраненных экселек. https://changhsinlee.com/pyderpuffgirls-ep7/

В последнее время, становится ясным, что программирование - это уже не только удел технарей, но и тех, кто занимается различными видами гуманитарных и социальных наук. Прежде всего, это связано с ростом количества данных, которые используются в исследованиях. Тут как-то так вышло, что на портале Цифровой Дискурс (@discoursedigital) вышла статья про R и Python для различных НЕпрограммистов🙃 с моим большим комментарием. В нем я рассказываю о том как начать использовать Python, освещаю популярные библиотеки и делюсь своим мнением о том как новичку начать свой путь в программировании. https://discourse.digital/blogs/r-i-python-dlja-gumanitariev-i-neprogrammistov/

Написал в свой блог статью о том как использовать API Google Drive. Многим может быть полезно для автоматизации различной рутины, связанной с отчетностью. Например, можно будет сделать скрипт, заливающий Excel-файлик и сразу конвертирующий его в формат Гугл Таблиц. Или наоборот, скачать файл Гугл Таблиц в виде эксельки. А ещё там про то как создавать папки, удалять файлы. В общем, куча полезного. В конце статьи есть ссылка на ноутбук http://datalytics.ru/all/rabotaem-s-api-google-drive-s-pomoschyu-python/

Если вы хотите изучить Pandas, но пока не нашли практическую задачу для тренировки навыков, то вам поможет замечательный сборник упражнений. Упражнения освещают 10 тем, среди которых группировка данных, визуализация, работа с временными рядами. Удачной прокачки навыков! https://github.com/guipsamora/pandas_exercises

Последний пост из серии статей о том как автоматизировать всяческую рутину с помощью Python. Речь пойдет про Excel (снова), но теперь о том как с помощью openpyxl вставлять рисунки, диаграммы и формулы в книгу https://changhsinlee.com/pyderpuffgirls-ep8/

Я уже выкладывал эту статью, но вышел русский перевод, поэтому делюсь снова. Лонгрид от Нетфликс о том как они используют Jupyter Notebook в работе с данными. В Нетфликс работает куча аналитиков и уж эти то ребята знают толк в том как готовить данные: тут и nteract с его крутым визуализатором, и PaperMill для параметризации ноутбуков, и контейнеризация ноутбуков. Вдохновляющее чтиво https://habr.com/ru/post/439272/

В моей группе на Facebook Дмитрий Осиюк (автор канала WebAnalytics) поделился рядом готовых решений для выгрузки данных из API Google Analytics. Решил собрать несколько решений в один пост, чтобы каждый мог найти что-то подходящее для своих задач.

Во-первых, посмотрите пример использования Reporting API v4 в официальной документации от Google: http://bit.ly/2ECMIVG 🇷🇺

Статья Erik Driessen о том как начать работу с Reporing API v4 с примером обхода сэмплинга и загрузки данных в pandas dataframe: http://bit.ly/2T7iUt4 🇬🇧

Библиотека PGA для вытаскивания данных через Reporting API v3. Умеет сразу конвертировать данные в dataframe: http://bit.ly/2Ti35iO

Руководство по выгрузке данных из GA с помощью библиотеки google2pandas: http://bit.ly/2SwI7Z4 🇬🇧

Скрипт Ryan Praskievicz для выгрузки несэмплированных данных из Google Analytics сразу из нескольких профилей: http://bit.ly/2SsbonC 🇬🇧

На самом деле, таких решений на гитхабе over 9000, но приблизительно все похожи по принципу, советую попробовать покопаться с разными и выбрать то, с которым будет проще работать. Успехов! 💪

Если вы пролистаете записи в этом канале, то увидите, что у меня тут очень много туториалов про Pandas. Вот ещё один. С картинками http://bit.ly/2IKvVnV

Достичь космической скорости можно только с помощью новейшего топлива - данных, собственноручно переработанных при помощи Python.
Научим работать с API и автоматизировать рутинные задачи, не углубляясь в скучную теорию и фундаментальные основы.
Уже завтра 03.03.2019 стартует вводный курс Python для Digital. Промокод на скидку 20% для подписчиков: cosmo0303. https://digitalgod.be/beginner

Статья про различные фишки при работе с Jupyter Notebook, которые могут сильно сэкономить время. Про шорткаты, использование мультикурсора, а также обзор популярных расширений для Jupyter. http://bit.ly/2UjPHb4

Сегодня хочу поделиться с вами крутейшей библиотекой pygsheets для работы с API Гугл Таблиц. Одна из крутейших штук - это то, что с её помощью можно делать графики внутри Гугл Таблиц (смотрите документацию). Также как и большинство библиотек для Гугл Таблиц, библиотека умеет грузить данные из датафрейма (метод set_dataframe). В общем, отличная альтернатива gspread, попробуйте! https://github.com/nithinmurali/pygsheets

Куча небольших, но полезных, туториалов. Есть и суперочевидные, вроде "как загрузить csv в dataframe", но бывают и более любопытные: "4 метода округления в pandas", "конкатенация значений колонок", "применение условия ЕСЛИ в pandas". Советую посмотреть, если хотите открыть для себя новые приёмы в работе с данными. https://datatofish.com/python-tutorials/