Datalytics
9.07K subscribers
218 photos
17 videos
5 files
673 links
Канал для аналитиков данных про Python, карьерное развитие в анализе данных, всякое разное

Автор – @ax_makarov

Отдельный канал про ChatGPT и его практическое применение —  @ai_forge

Чат канала — @pydata_chat

Вакансии — @data_hr
Download Telegram
Хорошая статья, в которой приводится пример простого (но от этого не менее полезного) анализа статистики группы ВКонтакте. Автор сначала получает данные через API (ноутбук со скриптом http://bit.ly/2HTjUv6), а затем с помощью Pandas и Matplotlib строит графики, позволяющие увидеть интересные закономерности https://habr.com/ru/post/440738/
Алексей Куличевский написал один из самых объёмных и доступных для понимания русскоязычных материалов по Pandas. Это бомба 💣 🔥http://smysl.io/blog/pandas/
Для одних визуализация данных является неотъемлемой частью их профессиональной деятельности, а для других — занимательным хобби. Для обмена опытом, взаимопомощи и эффективного обучения было основано Data Visualization Society. Присоединяйтесь! ✊🏻http://tiny.cc/egrs4y
Статья про продвинутое использование Jupyter Notebook. Если вы не в курсе что такое magic-команды и не знали, что можно выполнять shell'овские команды прямо из Юпитера, то найдете в статье много нового😉https://www.dataquest.io/blog/advanced-jupyter-notebooks-tutorial/
Короткий гайд об использовании функций map и replace в Pandas https://kanoki.org/2019/04/06/pandas-map-dictionary-values-with-dataframe-columns/
JetBrains объявили о сотрудничестве с Anaconda. Первым шагом стал новый релиз PyCharm, в котором улучшена поддержка окружений Conda. Также JetBrains анонсировали PyCharm for Anaconda ( https://www.jetbrains.com/pycharm/promo/anaconda/) - полноценную среду разработки для анализа данных и различных научных вычислений с поддержкой Jupyter Notebooks. Жить становится лучше, жить становится веселее😊 https://blog.jetbrains.com/pycharm/2019/04/collaboration-with-anaconda-inc/
Павел Максимов (@pavel_maksimow) выложил в открытый доступ обертку для более удобной работы с API Google Analytics на Python.

- Умеет запрашивать данные маленькими порциями, чтобы обойти семплирование.

- Если в один ответ не поместятся все строки (макс 10000), сделает дополнительные запросы.

- По умолчанию возвращает данные в формате dataframe.

Налетай! Торопись! https://bit.ly/2WYeDpr
Небольшой гайд про выбор (слайсинг) данных из датафрейма. Новичкам будет полезно для того, чтобы понять чем loc отличается от iloc и когда нужно использовать какую из функций. Также там есть интересный пример использования filter для формирования выборки на основе регулярки https://www.pluralsight.com/guides/indexing-selecting-data
Алексей Куличевский написал статью о том как сделать когортный анализ в Pandas. Как всегда подробно и круто! http://smysl.io/blog/pandas-cohorts/
Ответы на вопрос "Почему Python такой плохой язык программирования?". Ожидаемо, что ругаются на то какой он медленный, на табуляции и на динамическую типизацию. А ещё некоторым людям не нравится слишком дружелюбное сообщество и то, что порог входа в Python слишком низкий, настолько низкий, что его даже советуют изучать детям! Ужас какой-то, программисты на Perl явно негодуют. https://www.quora.com/Why-is-python-so-bad
tg_image_250679840.jpeg
29.2 KB
А давайте немного поразгадываем головоломки. Что делает вот такой кусок кода? Правильный ответ выложу завтра в 15:00, к этому времени все успеют попробовать запустить🙃
Классный ноутбук с подробными комментариями, объясняющий основы разведочного анализа данных на примере данных о сердечно-сосудистых заболеваниях. Рекомендую ознакомиться, написано всё интересно и качественно👍https://www.kaggle.com/emstrakhov/lesson-1-eda-with-pandas
Отвечая на вопрос о вчерашней головоломке. Этот код задает в колонке some_column значение, равное 1, для 10% случайно выбранных строк датафрейма. Мне кажется, что для новичков будет полезным детально рассмотреть как работает эта строчка кода, потому что там зарыто много мелких неочевидных нюансов. Написал про это статью: http://datalytics.ru/all/golovolomka-pro-randomny-sempl/
Подробный гайд по визуализации данных с помощью Seaborn.

Лично мне Seaborn нравится больше, чем matplotlib, какие-то более аккуратные графики в нём получаются, даже если использовать дефолтные визуализации.

https://elitedatascience.com/python-seaborn-tutorial
Перевод статьи из блога DataQuest о том как использовать Pandas для анализа тяжелых датасетов. Рассматриваются методики преобразования типов к более легковесным, оптимизация хранения объектных типов с помощью их преобразования к категориальным типам. В итоге, на тестовом датасете получилось на 90% снизить объем памяти, нужной для хранения датасета. https://habr.com/ru/company/ruvds/blog/442516/
Наткнулся на интересную утилиту csvkit.

Это набор инструментов, вызываемых из командной строки, позволяющих быстро производить рутинные операции с csv.
Так csvkit умеет конвертировать csv в json и обратно, читать xlsx-файлы, находить строки, соответствующие условию, вытягивать и передавать данные в БД. Ну и ещё много всего. Почитайте доку, там интересно

https://csvkit.readthedocs.io/en/latest/