Datalytics
9.07K subscribers
218 photos
17 videos
5 files
673 links
Канал для аналитиков данных про Python, карьерное развитие в анализе данных, всякое разное

Автор – @ax_makarov

Отдельный канал про ChatGPT и его практическое применение —  @ai_forge

Чат канала — @pydata_chat

Вакансии — @data_hr
Download Telegram
Пока ещё не пятница, но её приближение уже чувствуется, а поэтому сегодня у нас будет библиотека для гифок 🕺

Работает она и без указания ключа, но вроде как Giphy скоро запретят пользоваться публичным ключом. https://github.com/shaunduncan/giphypop
🐍 Набор полезных ссылок про Python для анализа данных от друзей канала

🔸Забудьте о matplotlib: визуализация данных в Python вместе с plotly

🔸Авторская статья про использование bs4 для веб-скрапинга данных

🔸Pandas для новичков: получение данных с веб-сайта без использования API

Множество разных материалов по python и не только читайте также на канале hello world
Статья в блоге Виталия Бахвалова про то как с помощью Python-скрипта парсить объявления из Директа http://italylov.ru/blog/all/parsim-obyavleniya-v-direkte-i-delaem-skrinshoty/
Собрал все ссылки про Pandas, которые были размещены в этом канале и не только, на одну страничку, с тегами и указанием языка статьи или туториала. Также там есть ссылка на случай, если кто-то захочет предложить свою статью или заинтересовавшую статью. Делитесь, распространяйте добро) http://bit.ly/2GFnA21
Руководство о том как установить и запустить Jupyter Notebook на выделенном сервере. Отдельный полезнейший бонус этой статьи - как получить и настроить SSL-сертификат от Let's Encrypt для сервера Юпитера. Лично мне держать и запускать свои ноутбуки на выделенном сервере намного удобнее, чем на своем компьютере, так что советую присмотреться к руководству. https://janakiev.com/blog/jupyter-notebook-server/
Седьмая часть из серии статей про автоматизацию рутины с помощью Python. Chang Hsin Lee рассказывает о том как записывать датафреймы в Excel с помощью библиотеки openpyxl, а также как форматировать стили внутри ячеек, чтобы всё было красиво и не приходилось потом в Excel переделывать стили сохраненных экселек. https://changhsinlee.com/pyderpuffgirls-ep7/
В последнее время, становится ясным, что программирование - это уже не только удел технарей, но и тех, кто занимается различными видами гуманитарных и социальных наук. Прежде всего, это связано с ростом количества данных, которые используются в исследованиях. Тут как-то так вышло, что на портале Цифровой Дискурс (@discoursedigital) вышла статья про R и Python для различных НЕпрограммистов🙃 с моим большим комментарием. В нем я рассказываю о том как начать использовать Python, освещаю популярные библиотеки и делюсь своим мнением о том как новичку начать свой путь в программировании. https://discourse.digital/blogs/r-i-python-dlja-gumanitariev-i-neprogrammistov/
Написал в свой блог статью о том как использовать API Google Drive. Многим может быть полезно для автоматизации различной рутины, связанной с отчетностью. Например, можно будет сделать скрипт, заливающий Excel-файлик и сразу конвертирующий его в формат Гугл Таблиц. Или наоборот, скачать файл Гугл Таблиц в виде эксельки. А ещё там про то как создавать папки, удалять файлы. В общем, куча полезного. В конце статьи есть ссылка на ноутбук http://datalytics.ru/all/rabotaem-s-api-google-drive-s-pomoschyu-python/
Если вы хотите изучить Pandas, но пока не нашли практическую задачу для тренировки навыков, то вам поможет замечательный сборник упражнений. Упражнения освещают 10 тем, среди которых группировка данных, визуализация, работа с временными рядами. Удачной прокачки навыков! https://github.com/guipsamora/pandas_exercises
Последний пост из серии статей о том как автоматизировать всяческую рутину с помощью Python. Речь пойдет про Excel (снова), но теперь о том как с помощью openpyxl вставлять рисунки, диаграммы и формулы в книгу https://changhsinlee.com/pyderpuffgirls-ep8/
Я уже выкладывал эту статью, но вышел русский перевод, поэтому делюсь снова. Лонгрид от Нетфликс о том как они используют Jupyter Notebook в работе с данными. В Нетфликс работает куча аналитиков и уж эти то ребята знают толк в том как готовить данные: тут и nteract с его крутым визуализатором, и PaperMill для параметризации ноутбуков, и контейнеризация ноутбуков. Вдохновляющее чтиво https://habr.com/ru/post/439272/
🔥1
В моей группе на Facebook Дмитрий Осиюк (автор канала WebAnalytics) поделился рядом готовых решений для выгрузки данных из API Google Analytics. Решил собрать несколько решений в один пост, чтобы каждый мог найти что-то подходящее для своих задач.

Во-первых, посмотрите пример использования Reporting API v4 в официальной документации от Google: http://bit.ly/2ECMIVG 🇷🇺

Статья Erik Driessen о том как начать работу с Reporing API v4 с примером обхода сэмплинга и загрузки данных в pandas dataframe: http://bit.ly/2T7iUt4 🇬🇧

Библиотека PGA для вытаскивания данных через Reporting API v3. Умеет сразу конвертировать данные в dataframe: http://bit.ly/2Ti35iO

Руководство по выгрузке данных из GA с помощью библиотеки google2pandas: http://bit.ly/2SwI7Z4 🇬🇧

Скрипт Ryan Praskievicz для выгрузки несэмплированных данных из Google Analytics сразу из нескольких профилей: http://bit.ly/2SsbonC 🇬🇧

На самом деле, таких решений на гитхабе over 9000, но приблизительно все похожи по принципу, советую попробовать покопаться с разными и выбрать то, с которым будет проще работать. Успехов! 💪
This media is not supported in your browser
VIEW IN TELEGRAM
Достичь космической скорости можно только с помощью новейшего топлива - данных, собственноручно переработанных при помощи Python.
Научим работать с API и автоматизировать рутинные задачи, не углубляясь в скучную теорию и фундаментальные основы.
Уже завтра 03.03.2019 стартует вводный курс Python для Digital. Промокод на скидку 20% для подписчиков: cosmo0303. https://digitalgod.be/beginner
Статья про различные фишки при работе с Jupyter Notebook, которые могут сильно сэкономить время. Про шорткаты, использование мультикурсора, а также обзор популярных расширений для Jupyter. http://bit.ly/2UjPHb4
Сегодня хочу поделиться с вами крутейшей библиотекой pygsheets для работы с API Гугл Таблиц. Одна из крутейших штук - это то, что с её помощью можно делать графики внутри Гугл Таблиц (смотрите документацию). Также как и большинство библиотек для Гугл Таблиц, библиотека умеет грузить данные из датафрейма (метод set_dataframe). В общем, отличная альтернатива gspread, попробуйте! https://github.com/nithinmurali/pygsheets
Куча небольших, но полезных, туториалов. Есть и суперочевидные, вроде "как загрузить csv в dataframe", но бывают и более любопытные: "4 метода округления в pandas", "конкатенация значений колонок", "применение условия ЕСЛИ в pandas". Советую посмотреть, если хотите открыть для себя новые приёмы в работе с данными. https://datatofish.com/python-tutorials/
Написал для блога CoMagic статью о том как с помощью Python делать запросы к Data API CoMagic. В статье рассмотрены особенности параметров API, с которыми часто возникают сложности, например, как ограничивать результаты с помощью фильтров, как задавать список нужных полей https://www.comagic.ru/blog/posts/mar/kak_delat_zaprosy_k_api_comagic_s_pomoshchyu_python_i_zachem_eto_nuzhno/
В среду 13.03.2019 на митапе "Зачем маркетологу программировать на Python" Дима Родин из DigitalGod расскажет о том для решения каких задач маркетологу имеет смысл учиться программировать, а потом я покажу практический пример анализа данных Facebook Ads с помощью Python. https://digitalgod.be/blog/07032019-meetup-1-python-for-marketers
Начал читать книгу Себастьяна Рашки "Python и машинное обучение". К 36ой странице оказалось, что для того, чтобы примеры кода из книги выполнялись корректно необходимы панды 🐼
😁1