Мне вот лично очень тяжело заставить себя заниматься визуализацией в Python с помощью Matplotlib, потому что это какая-то слишком неинтуитивная штука, постоянно приходится обращаться к справке, а если нужно что-то кастомизировать сверх шаблонного решения, то приходится показывать мастерство гугления, чтобы понять как отшлифовать визуализацию до нужного вида. Если кто-то сталкивается с такими же проблемами, то вам может пригодится шпаргалка по Matplotlib от DataCamp https://s3.amazonaws.com/assets.datacamp.com/blog_assets/Python_Matplotlib_Cheat_Sheet.pdf
Mozilla сделали свой инструмент для анализа данных Iodide. Попробовать можно тут: https://alpha.iodide.io/tryit Я, если честно, пока не до конца разобрался что получилось.
Создатели разнесли логику блокнотов на три составляющие:
- Editor, где можно задавать код на разных языках (js, css, python);
- Report Preview, где отображается вывод маркдауна, то есть результат исследования;
- Console, где выводится отладочная информация).
Тем самым Mozilla пытаются решить проблему шаринга результатов исследования, чтобы не приходилось потом собирать какой-нибудь отдельный Гугл Док с результатами и графиками. То есть идеальный процесс такой анализа данных в данном случае выглядит так, что аналитик попутно с разработкой алгоритма анализа сразу же выводит в Report найденные инсайты, оформленные в понятном для всех виде.
Задумка и подход интересные. Будем разбираться https://habr.com/ru/post/444596/
Создатели разнесли логику блокнотов на три составляющие:
- Editor, где можно задавать код на разных языках (js, css, python);
- Report Preview, где отображается вывод маркдауна, то есть результат исследования;
- Console, где выводится отладочная информация).
Тем самым Mozilla пытаются решить проблему шаринга результатов исследования, чтобы не приходилось потом собирать какой-нибудь отдельный Гугл Док с результатами и графиками. То есть идеальный процесс такой анализа данных в данном случае выглядит так, что аналитик попутно с разработкой алгоритма анализа сразу же выводит в Report найденные инсайты, оформленные в понятном для всех виде.
Задумка и подход интересные. Будем разбираться https://habr.com/ru/post/444596/
Хабр
Iodide: интерактивный научный редактор от Mozilla
Изучение аттрактора Лоренца, а затем редактирование кода в Iodide В последние десять лет произошёл настоящий взрыв интереса к «научным вычислениям» и «науке о данных», то есть применению...
Йо-йо! Появилась запись митапа DigitalGod "Погружение в поведенческие данные веб-аналитики", на котором мы с Димой Родиным рассказывали про правильную настройку передачи clientId в Google Analytics, показали скрипт для выгрузки данных из нового User Activity API, а затем рассмотрели крутой пример анализа "сырых" данных о поведении https://digitalgod.be/blog/2019-03-22-meetup-2-deep-dive-web-analytics-data
digitalgod.be
Digital God Meetups / 25 марта / Погружение в поведенческие данные веб-аналитики, GA UserReports
Мы покажем способ работы с данными, который никогда не устареет и не потребует переучиваться каждые несколько лет.
Хорошая обзорная статья про Pandas. Освещаются вопросы от простых до сложных, начиная от того как загнать csv в pandas до не самых очевидных вещей вроде подсчета корреляции (df.cov) между колонками, экспоненциального среднего (df.ewm), нахождения процентного изменения со сдвигом (df.pct_change) https://medium.com/fintechexplained/did-you-know-pandas-can-do-so-much-f65dc7db3051
Medium
Did You Know Pandas Can Do So Much?
Don’t Code Python Without Exploring Pandas First
Если кто-то также как и я захотел наконец-то подтянуть свои знания в статистике, то отчаянно рекомендую курс "Introduction to Statistics" (https://stepik.org/course/701/syllabus) на Stepik. Меня очень радует, что курс содержит только текстовую информацию и никаких видео (мне очень тяжело воспринимать ролики, когда требуется погружение в сложный материал). Также в курсе крутые тестовые задания: радовался как ребенок, когда с первого раза решил задачку сопоставить бокс-плоты с гистограммами😄
Stepik: online education
Introduction to Statistics
The course provides an introduction to statistics and data analysis. During the four week we will discus the most important methods and concepts of statistics.
Статья о том как с помощью библиотеки PyMySQL делать запросы к базе данных MySQL из Python https://khashtamov.com/ru/mysql-python/
Khashtamov
Работа с MySQL в Python
Ранее я уже писал статью про работу с PostgreSQL из Python. Сегодняшний пост будет посвящен другой популярной базе данных MySQL. Мой путь в веб-программирование был классическим: PHP, MySQL и Apache.…
Хорошая статья, в которой приводится пример простого (но от этого не менее полезного) анализа статистики группы ВКонтакте. Автор сначала получает данные через API (ноутбук со скриптом http://bit.ly/2HTjUv6), а затем с помощью Pandas и Matplotlib строит графики, позволяющие увидеть интересные закономерности https://habr.com/ru/post/440738/
10 примеров нестандартного использования команд в Pandas. Лично я для себя открыл интересный пример про процентильные группы, буду использовать. https://proglib.io/p/pandas-tricks/
Библиотека программиста
10 трюков библиотеки Python Pandas, которые вам нужны
Любите панд? Мы тоже. А еще мы любим эффективный код, поэтому собрали классные трюки, которые облегчат работу с библиотекой Python Pandas.
Алексей Куличевский написал один из самых объёмных и доступных для понимания русскоязычных материалов по Pandas. Это бомба 💣 🔥http://smysl.io/blog/pandas/
smysl.io
Аналитикам: большая шпаргалка по Pandas
Для одних визуализация данных является неотъемлемой частью их профессиональной деятельности, а для других — занимательным хобби. Для обмена опытом, взаимопомощи и эффективного обучения было основано Data Visualization Society. Присоединяйтесь! ✊🏻http://tiny.cc/egrs4y
Medium
Представляем вам Сообщество Визуализации Данных
English | Espanol | Português | Română
Статья про продвинутое использование Jupyter Notebook. Если вы не в курсе что такое magic-команды и не знали, что можно выполнять shell'овские команды прямо из Юпитера, то найдете в статье много нового😉https://www.dataquest.io/blog/advanced-jupyter-notebooks-tutorial/
Dataquest
Advanced Jupyter Notebook Tutorial – Dataquest
If you're doing data science in Python, notebooks are a powerful tool. This free Jupyter Notebooks tutorial has will help you get the best out of Jupyter.
Короткий гайд об использовании функций map и replace в Pandas https://kanoki.org/2019/04/06/pandas-map-dictionary-values-with-dataframe-columns/
JetBrains объявили о сотрудничестве с Anaconda. Первым шагом стал новый релиз PyCharm, в котором улучшена поддержка окружений Conda. Также JetBrains анонсировали PyCharm for Anaconda ( https://www.jetbrains.com/pycharm/promo/anaconda/) - полноценную среду разработки для анализа данных и различных научных вычислений с поддержкой Jupyter Notebooks. Жить становится лучше, жить становится веселее😊 https://blog.jetbrains.com/pycharm/2019/04/collaboration-with-anaconda-inc/
JetBrains Blog
Collaboration with Anaconda, Inc. | The PyCharm Blog
Just now at AnacondaCON, JetBrains CEO Max Shafirov, and Anaconda’s CEO Scott Collison announced the start of our collaboration.
The PyCharm team has been working hard in the last months to improve t
The PyCharm team has been working hard in the last months to improve t
Павел Максимов (@pavel_maksimow) выложил в открытый доступ обертку для более удобной работы с API Google Analytics на Python.
- Умеет запрашивать данные маленькими порциями, чтобы обойти семплирование.
- Если в один ответ не поместятся все строки (макс 10000), сделает дополнительные запросы.
- По умолчанию возвращает данные в формате dataframe.
Налетай! Торопись! https://bit.ly/2WYeDpr
- Умеет запрашивать данные маленькими порциями, чтобы обойти семплирование.
- Если в один ответ не поместятся все строки (макс 10000), сделает дополнительные запросы.
- По умолчанию возвращает данные в формате dataframe.
Налетай! Торопись! https://bit.ly/2WYeDpr
GitHub
GitHub - pavelmaksimov/galytics3: Обертка над стандартной библиотекой google_api_python_client для легкой работы с API Google Analytics…
Обертка над стандартной библиотекой google_api_python_client для легкой работы с API Google Analytics v3 - GitHub - pavelmaksimov/galytics3: Обертка над стандартной библиотекой google_api_python_cl...
Небольшой гайд про выбор (слайсинг) данных из датафрейма. Новичкам будет полезно для того, чтобы понять чем loc отличается от iloc и когда нужно использовать какую из функций. Также там есть интересный пример использования filter для формирования выборки на основе регулярки https://www.pluralsight.com/guides/indexing-selecting-data
Pluralsight
Indexing and Selecting Data | Pluralsight
Pluralsight Guides
Алексей Куличевский написал статью о том как сделать когортный анализ в Pandas. Как всегда подробно и круто! http://smysl.io/blog/pandas-cohorts/
smysl.io
Когортный анализ в Pandas
Интересный пример скрэпинга туториалов с сайта DataCamp с помощью BeautifulSoup и дальнейшего анализа с применением Pandas и Seaborn. https://www.datacamp.com/community/tutorials/tutorial-python-beautifulsoup-datacamp-tutorials
Datacamp
Web Scraping using Python (and Beautiful Soup)
Learn how to extract data from the web with Beautiful Soup, manipulate and clean data using Python's Pandas library, and data visualization using Python's Matplotlib library.
Ответы на вопрос "Почему Python такой плохой язык программирования?". Ожидаемо, что ругаются на то какой он медленный, на табуляции и на динамическую типизацию. А ещё некоторым людям не нравится слишком дружелюбное сообщество и то, что порог входа в Python слишком низкий, настолько низкий, что его даже советуют изучать детям! Ужас какой-то, программисты на Perl явно негодуют. https://www.quora.com/Why-is-python-so-bad
Quora
Why is python so bad? - Quora
It isn’t bad, it’s certainly useful for some projects. I like it for smaller tasks that I’d otherwise do in shell scripts. I also find it to be the best pocket calculator in existence (a CLI with python will do that job far better than any pocket ...
tg_image_250679840.jpeg
29.2 KB
А давайте немного поразгадываем головоломки. Что делает вот такой кусок кода? Правильный ответ выложу завтра в 15:00, к этому времени все успеют попробовать запустить🙃