Forwarded from Data Engineering / Инженерия данных / Data Engineer / DWH
Complete Data Engineer’s Vocabulary | by Kovid Rathee | Towards Data Science
https://towardsdatascience.com/complete-data-engineers-vocabulary-87967e374fad
https://towardsdatascience.com/complete-data-engineers-vocabulary-87967e374fad
Medium
Complete Data Engineer’s Vocabulary
Concepts that data engineers must know in 10 words or less
Pandas_in_7_Days_Utilize_Python_to_Manipulate_Data,_Conduct_Scientific.pdf
6.1 MB
Pandas in 7 Days: Utilize Python to Manipulate Data, Conduct Scientific Computing, Time Series Analysis (eng)
Table of Contents
1. Pandas, the Python library
2. Setting up a Data Analysis Environment
3. Day 1 - Data Structures in Pandas library
4. Day 2 - Working within a DataFrame, Basic Functionalities
5. Day 3 - Working within a DataFrame, Advanced Functionalities
6. Day 4 - Working with two or more DataFrames
7. Day 5 - Working with data sources and real-word datasets
8. Day 6 - Troubleshooting Challenges wit Real Datasets
9. Day 7 - Data Visualization and Reporting
10. Conclusion – Moving Beyond
Table of Contents
1. Pandas, the Python library
2. Setting up a Data Analysis Environment
3. Day 1 - Data Structures in Pandas library
4. Day 2 - Working within a DataFrame, Basic Functionalities
5. Day 3 - Working within a DataFrame, Advanced Functionalities
6. Day 4 - Working with two or more DataFrames
7. Day 5 - Working with data sources and real-word datasets
8. Day 6 - Troubleshooting Challenges wit Real Datasets
9. Day 7 - Data Visualization and Reporting
10. Conclusion – Moving Beyond
Time_Series_Analysis_with_Python_Cookbook_Practical_recipes_for.pdf
38.7 MB
Time Series Analysis with Python Cookbook: Practical recipes for exploratory data analysis, data preparation, forecasting, and model evaluation
2022
🏷 Getting Started with Time Series Analysis
🏷 Reading Time Series Data from Files
🏷 Reading Time Series Data from Databases
🏷 Persisting Time Series Data to Files
🏷 Persisting Time Series Data to Databases
🏷 Working with Date and Time in Python
🏷 Handling Missing Data
🏷 Outlier Detection Using Statistical Methods
🏷 Exploratory Data Analysis and Diagnosis
🏷 Building Univariate Time Series Models Using Statistical Methods
🏷 Additional Statistical Modeling Techniques for Time Series
🏷 Forecasting Using Supervised Machine Learning
🏷 Deep Learning for Time Series Forecasting
🏷 Outlier Detection Using Unsupervised Machine Learning
🏷 Advanced Techniques for Complex Time Series
2022
🏷 Getting Started with Time Series Analysis
🏷 Reading Time Series Data from Files
🏷 Reading Time Series Data from Databases
🏷 Persisting Time Series Data to Files
🏷 Persisting Time Series Data to Databases
🏷 Working with Date and Time in Python
🏷 Handling Missing Data
🏷 Outlier Detection Using Statistical Methods
🏷 Exploratory Data Analysis and Diagnosis
🏷 Building Univariate Time Series Models Using Statistical Methods
🏷 Additional Statistical Modeling Techniques for Time Series
🏷 Forecasting Using Supervised Machine Learning
🏷 Deep Learning for Time Series Forecasting
🏷 Outlier Detection Using Unsupervised Machine Learning
🏷 Advanced Techniques for Complex Time Series
GitHub - Zeutschler/tinyolap: TinyOlap is a light-weight, in-process, in-memory, multi-dimensional, model-first OLAP engine for planning, budgeting, reporting, analysis and many other numerical purposes, written in plain Python.
https://github.com/Zeutschler/tinyolap
https://github.com/Zeutschler/tinyolap
GitHub
GitHub - Zeutschler/tinyolap: TinyOlap is a light-weight, in-process, in-memory, multi-dimensional, model-first OLAP engine for…
TinyOlap is a light-weight, in-process, in-memory, multi-dimensional, model-first OLAP engine for planning, budgeting, reporting, analysis and many other numerical purposes, written in plain Python...
Apache Superset Alternatives - Python Data Visualization | LibHunt
https://python.libhunt.com/caravel-alternatives
https://python.libhunt.com/caravel-alternatives
Libhunt
Apache Superset Alternatives - Python Data Visualization | LibHunt
Apache Superset is a Data Visualization and Data Exploration Platform [Moved to: https://github.com/apache/superset]. Tags: Data Visualization, BI, Business Intelligence, Dashboards, Analytics.
Forwarded from Data Engineering / Инженерия данных / Data Engineer / DWH
Modern Data Stack - Ranking | OSS Insight
https://ossinsight.io/collections/modern-data-stack/
https://ossinsight.io/collections/modern-data-stack/
ossinsight.io
Modern Data Stack - Ranking | OSS Insight
Last 28 days / Monthly ranking of repos in this collection by stars, pull requests, issues. Historical Ranking by Popularity.
Статья про то, как создать диаграмму as code в Python
https://www.digitalocean.com/community/tutorials/how-to-create-diagrams-in-python-with-diagram-as-code
https://www.digitalocean.com/community/tutorials/how-to-create-diagrams-in-python-with-diagram-as-code
Digitalocean
How To Create Diagrams in Python with Diagram as Code | DigitalOcean
The Diagram as Code tool allows you to create an architecture diagram of your infrastructure using a Python script. You can reuse code, test, integrate, and …
Мой ТОП 9 КНИГ ДЛЯ ПРОГРАММИСТОВ ЛЮБОЙ МАСТИ (и почему их стоит прочитать). Как читать эффективно?
⏱ ТАЙМИНГ:
0:00 - Книги vs статьи
1:30 - #1 14 Habits of Highly Productive Developers by Zeno Rocha
3:13 - #2 Clean Code: A Handbook of Agile Software Craftsmanship by Robert C. Martin
5:08 - #3 The Pragmatic Programmer: From Journeyman to Master by David Thomas
6:52 - #4 Deep Work: Rules for Focused Success in a Distracted World by Cal Newport
8:13 - #5 Getting Things Done: The Art of Stress-Free Productivity by David Allen
8:31 - #6 Designing Data-Intensive Applications by Martin Kleppmann
10:43 - #7 Patterns of Enterprise Application Architecture by Martin Fowler
12:30 - #8 Design Patterns: Elements of Reusable Object-Oriented Software by Erich Gamma
12:47 - #9 Site Reliability Engineering: How Google Runs Production Systems
13:39 - Как эффективно читать книги. Мои 5 правил
https://www.youtube.com/watch?v=hW53DS13hM4
⏱ ТАЙМИНГ:
0:00 - Книги vs статьи
1:30 - #1 14 Habits of Highly Productive Developers by Zeno Rocha
3:13 - #2 Clean Code: A Handbook of Agile Software Craftsmanship by Robert C. Martin
5:08 - #3 The Pragmatic Programmer: From Journeyman to Master by David Thomas
6:52 - #4 Deep Work: Rules for Focused Success in a Distracted World by Cal Newport
8:13 - #5 Getting Things Done: The Art of Stress-Free Productivity by David Allen
8:31 - #6 Designing Data-Intensive Applications by Martin Kleppmann
10:43 - #7 Patterns of Enterprise Application Architecture by Martin Fowler
12:30 - #8 Design Patterns: Elements of Reusable Object-Oriented Software by Erich Gamma
12:47 - #9 Site Reliability Engineering: How Google Runs Production Systems
13:39 - Как эффективно читать книги. Мои 5 правил
https://www.youtube.com/watch?v=hW53DS13hM4
YouTube
Мой ТОП 9 КНИГ ДЛЯ ПРОГРАММИСТОВ ЛЮБОЙ МАСТИ (и почему их стоит прочитать). Как читать эффективно?
В мой ТОП попали книги как непосредственно про улучшение кода, так и про повышение эффективности вашей работы в целом.
Вы можете просто просмотреть список в тайминге ниже, заскринить его и забыть - как это обычно бывает. А можете посмотреть видео и качественно…
Вы можете просто просмотреть список в тайминге ниже, заскринить его и забыть - как это обычно бывает. А можете посмотреть видео и качественно…
Академия больших данных
Бесплатный образовательный проект от VK в области работы с большими данными. Разработан экспертами из VK, индустрии и научного мира для специалистов с опытом работы в IT.
С нами вы систематизируете и углубите знания в Data Science или сможете комфортно перейти из смежных областей в новую профессию.
Начало обучения
Осень 2022 года
Чтобы поступить на очный или дистанционный форматы обучения, вам нужно лучше всех сдать четыре обязательных вступительных испытания и на усмотрение организаторов Академии больших данных MADE пройти онлайн-собеседование. В этом году мы проводим единый конкурс для очного и дистанционного форматов обучения. Все вступительные экзамены проходят онлайн, а сообщать о них мы вам будем заранее по электронной почте.
@python_powerbi
7 августа
онлайн-тестирование по математике
14 августа
экзамен по программированию
7-21 августа
соревнование по машинному обучению
7-21 августа
заполнение анкеты
22-28 августа
мы выборочно проведем онлайн-собеседование. Будьте готовы уделить 15-30 минут вашего времени.
До 5 сентября
пройдет зачисление в Академию больших данных MADE
5 сентября
начнутся занятия у тех, кто покажет высокие результаты.
https://data.vk.company/pages/index/
Бесплатный образовательный проект от VK в области работы с большими данными. Разработан экспертами из VK, индустрии и научного мира для специалистов с опытом работы в IT.
С нами вы систематизируете и углубите знания в Data Science или сможете комфортно перейти из смежных областей в новую профессию.
Начало обучения
Осень 2022 года
Чтобы поступить на очный или дистанционный форматы обучения, вам нужно лучше всех сдать четыре обязательных вступительных испытания и на усмотрение организаторов Академии больших данных MADE пройти онлайн-собеседование. В этом году мы проводим единый конкурс для очного и дистанционного форматов обучения. Все вступительные экзамены проходят онлайн, а сообщать о них мы вам будем заранее по электронной почте.
@python_powerbi
7 августа
онлайн-тестирование по математике
14 августа
экзамен по программированию
7-21 августа
соревнование по машинному обучению
7-21 августа
заполнение анкеты
22-28 августа
мы выборочно проведем онлайн-собеседование. Будьте готовы уделить 15-30 минут вашего времени.
До 5 сентября
пройдет зачисление в Академию больших данных MADE
5 сентября
начнутся занятия у тех, кто покажет высокие результаты.
https://data.vk.company/pages/index/
data.vk.company
Академия больших данных MADE
Академия больших данных MADE — бесплатный образовательный проект от VK в области работы с большими данными. Разработан экспертами из VK, индустрии и научного мира для специалистов с опытом работы в IT.
Forwarded from PyMagic
Разбираем Pandas по шагам 🐼
Начнем мы с того, что же такое Pandas. Pandas - это библиотека для обработки данных для задач в области Data Science. При помощи нее очень легко и быстро производить различные действия над табличными данными, в том числе и визуализировать.
😓Для тех, кто только знакомиться с данной библиотекой, может возникнуть ряд сложностей, так как методов в pandas довольно много и не всегда есть понимание, что происходит на самом деле, так как при запуске кода в ячейке jupyter, вы увидите только конечный результат.
Сегодня хочу поделиться с вами бесплатным инструментом Pandas Tutor. Он позволяет понять, что же происходит внутри, когда вы, например, делаете группировку, сортировку и другие виды операций над данными при помощи Pandas, а также визуализирует каждый из этапов по шагам.
Давайте посмотрим как выглядит результат с одним и тем же кодом, когда группируем данные в Jupyter и в Pandas Tutor, смотри картинки выше 👆
https://pandastutor.com/vis.html
Начнем мы с того, что же такое Pandas. Pandas - это библиотека для обработки данных для задач в области Data Science. При помощи нее очень легко и быстро производить различные действия над табличными данными, в том числе и визуализировать.
😓Для тех, кто только знакомиться с данной библиотекой, может возникнуть ряд сложностей, так как методов в pandas довольно много и не всегда есть понимание, что происходит на самом деле, так как при запуске кода в ячейке jupyter, вы увидите только конечный результат.
Сегодня хочу поделиться с вами бесплатным инструментом Pandas Tutor. Он позволяет понять, что же происходит внутри, когда вы, например, делаете группировку, сортировку и другие виды операций над данными при помощи Pandas, а также визуализирует каждый из этапов по шагам.
Давайте посмотрим как выглядит результат с одним и тем же кодом, когда группируем данные в Jupyter и в Pandas Tutor, смотри картинки выше 👆
https://pandastutor.com/vis.html
How to produce beautiful, well formatted Excel reports using Python
Using Python, XlsxWriter, Excel
https://blog.devgenius.io/how-to-produce-beautiful-well-formatted-excel-reports-using-python-fd87146a1e0e
Using Python, XlsxWriter, Excel
https://blog.devgenius.io/how-to-produce-beautiful-well-formatted-excel-reports-using-python-fd87146a1e0e
Medium
How to produce beautiful, well formatted Excel reports using Python
Using Python, XlsxWriter, Excel
Forwarded from Data Engineering / Инженерия данных / Data Engineer / DWH
Как собрать платформу обработки данных «своими руками»?
@devops_dataops
https://habr.com/ru/company/itsumma/blog/679516/
@devops_dataops
https://habr.com/ru/company/itsumma/blog/679516/
Хабр
Как собрать платформу обработки данных «своими руками»?
Большое количество российских компаний столкнулись с ограничениями в области ПО. Они теперь не имеют возможности использовать многие важные инструменты для работы с данными. Но, как говорится, одна...