Годнота про то как сделать один сервер Jupyter доступным для кучи пользователей с разграничением доступов https://habrahabr.ru/company/yandex/blog/353546/. От туда узнал про nbgrader - систему для оценки заданий с помощью Jupyter (https://github.com/jupyter/nbgrader).

Как-то я раньше не знал о существовании чудесного фреймворка Dash https://github.com/plotly/dash от Plotly для создания собственных аналитических веб-приложений на Питоне. Упрощенно говоря, на выходе получаются дэшборды в виде отдельных веб-сервисов, которые можно кастомизировать как душе угодно. Если кто-то видел Shiny для R, то это его аналог, но для Python. И всё это опенсорсненько. Пример дэшборда: https://dash-stock-tickers.plot.ly/

Интересный формат. Автор планирует туториал из 8 эпизодов для тех аналитиков, кто пытался когда-то изучать Python, но забросил. Бросают обычно из-за того, что люди начинают изучение с синтаксиса, а лучше начинать с решения легких практических задач, избавляя себя от рутины и сразу же чувствуя как Python улучшает рабочий процесс. https://changhsinlee.com/pyderpuffgirls-ep1/

Добавляйтесь в мою группу на Facebook. Делитесь интересными ссылками, задавайте вопросы по анализу данных, по возможности буду отвечать или отвечайте на вопросы других участников. Давайте сообща развивать культуру анализа данных на Python! 🐍

Из статьи на vc.ru узнал о том, что Amazon выкатил в паблик свои курсы по машинному обучению. Бесплатненько. Для курсов выбран любопытный подход, когда различные курсы объединены в обучающие пути. Например, есть обучающий путь для разработчиков ML или для дата-сайентистов.

На сайте издательства Apress до 30 ноября действует акция Cyberweek: продают книги по 7 евро. Среди ассортимента встречается много книг по Python, например, Персональные финансы с помощью Python.💰 Есть книги, где на Github размещено много исходного кода (например). Так что можно даже не покупать, а просто поисследовать что там за код 😏

Первая часть большого и подробного гайда про веб-скрэпинг (парсинг информации с веб-сайтов) с помощью библиотеки BeautifulSoup на Python на примере анализа данных о политических новостях https://www.learndatasci.com/tutorials/ultimate-guide-web-scraping-w-python-requests-and-beautifulsoup/ 🇬🇧

https://www.marsja.se/pandas-read-csv-tutorial-to-csv/
Очень детальное руководство по работе с CSV-файлами в Pandas. Освещена куча насущных вопросов о том как:
⚪️ прочитать CSV и заменить названия колонок,
⚪️ задать индексную колонку,
⚪️ загрузить только заранее определенные колонки,
⚪️ массово удалить колонки без названий, работать с пустыми значениями,
⚪️ пропустить несколько строк при загрузке,
⚪️ загрузить несколько CSV в один датафрейм

Масса полезных и простых советов. Рекомендую

Занятная статья про пирамиду потребностей аналитики. Идеология тут такая же как и в пирамиде Маслоу: пока не удовлетворены базовые потребности, компания не может испытывать потребности более высокого уровня. Простой пример: если у тебя нет данных, то ты может и хочешь заниматься предиктивной моделью, но физически не можешь. Где-то там высоко (ближе к верхушке) также находятся метрики, ведь прежде чем считать метрики мы должны быть уверены в корректности полученных данных https://hackernoon.com/the-ai-hierarchy-of-needs-18f111fcc007

Ноутбук с мастер-класса Александра Швеца из DigitalGod на конференции "Матемаркетинг-2018". Александр разбирает использование Logs API Яндекс.Метрики для анализа длины цепочек посещений, а также показывает интересный пример динамической атрибуции на основе данных того же Logs API, загнанных в Clickhouse https://github.com/ashwets/conferences/blob/master/matemarketing_2018.ipynb

Лично я не очень люблю Matplotlib из-за достаточно сложного синтаксиса. Разбираться в его документации - то ещё удовольствие, поэтому чаще приходится лезть в Stackoverflow и искать среди ответов что-то подходящее. Но нужно признать должное: если нужен комбайн для сложных визуализаций, то вряд ли найдется что-то лучше Matplotlib среди Python-библиотек. Я бы сравнил его с d3.js на JavaScript по уровню кастомизируемости. Статья по ссылке это подтверждает, там 50 мощных визуализаций с примерами кода https://www.machinelearningplus.com/plots/top-50-matplotlib-visualizations-the-master-plots-python/

https://changhsinlee.com/pyderpuffgirls-ep2/ Вторая часть серии туториалов про изучение Python для аналитиков. На этот раз про вытаскивание данных из БД на примере PostgreSQL. Первая часть

Статья о том как с помощью pandas можно разными способами выбирать сэмплы из данных. Может быть полезным, если хотите делать сэмплирование с использованием groupby (чтобы выбрать по N строк из каждой группы), а также делать выборки с фиксированным "псевдо-случайным" числом, чтобы сэмплированная выборка всегда получалась одинаковая (полезно, когда нужно добиться воспроизводимости исследований). https://www.marsja.se/pandas-sample-randomly-select-rows/

Есть много странных рейтингов. Нашел вот рейтинг популярности систем управления базами данных. Судя по нему, PostgreSQL занимает 4е место и показывает хорошие темпы роста. К этому бесполезному факту выкладываю ссылку на отличную статью про то как вытаскивать данные из PostgreSQL в Питоне с помощью psycopg2 https://khashtamov.com/ru/postgresql-python-psycopg2/

Выложили на Github наши скрипты для импорта данных в Google BigQuery из mysql, ftp, https, intercom: https://www.owox.com/c/github-bigquery-integrations.
Все написано на Python для Google Cloud Functions. То есть отдельный сервер для запуска не нужен и проблем с ресурсами как у App Script нет. Инструкции на русском языке, разберется даже маркетолог 🙂

https://changhsinlee.com/pyderpuffgirls-ep3/ Третья часть серии туториалов про изучение Python для аналитиков. Про то, как запускать свои скрипты по расписанию и наслаждаться результатом, попивая кофе и закусывая маффином. Автор показывает один из самых простых способов планирования задач в Python - модуль schedule. На практике, к такому способу прибегают редко, т.к. нужно постоянно держать запущенным питоновский скрипт. Так что решение из статьи по первому времени сгодится, а потом я бы рекомендовал использовать cron или Airflow. В конце статьи - ссылки на две предыдущих части

https://www.dataschool.io/future-of-pandas/
Статья про будущее библиотеки Pandas. Автор основывается на докладе одного из ключевых разработчиков Pandas на митапе PyData 2018 (кстати, рекомендую канал PyData на YouTube, где размещается куча полезного контента). Из интересного: хотят сделать почти все методы такими, чтобы была поддержка chaining, когда весь процесс обработки данных можно описать однострочной длинной последовательностью вызываемых друг за другом методов; уберут из методов поддержку параметра inplace; Apache Arrow будет бэкендом для Pandas, что повлияет на скорость обработки больших датасетов; появятся кастомные типы, например int с поддержкой nan 🎉 (сейчас только float из численных типов поддерживает nan); уберут поддержку обращения к строкам dataframe через ix. В общем, светлое будущее. Версия 0.25, в которой все это будет, запланирована на начало 2019. А следом из 0.25 сделают мажорную версию 1.0, убрав из 0.25 все устаревшие (deprecated) методы.

​​В сети появился скрипт для ежедневного экспорта данных Amplitude в BigQuery через Google Cloud Storage

via @BigQuery

https://tqdm.github.io/
Иногда всяческие приятные мелочи сильно упрощают жизнь. Например, tqdm - очень минималистичная библиотека, единственная функция которой - отображать красивый информативный прогресс бар

Написал в свой блог короткую статейку о том как через Python загружать или получать данные из BigQuery сразу в пандасовский датафрейм. Также немного рассматривается как с помощью нативной питоновской библиотеки bigquery можно управлять датасетами и таблицами. http://datalytics.ru/all/kak-ispolzovat-google-bigquery-s-pomoschyu-python/