Описание:
#data_science #big_data | Просто Python
Please open Telegram to view this post
VIEW IN TELEGRAM
Разложим по полочкам сходства и различия между специализациями Data Science и Big Data. Их сущность будем раскрывать через примеры и сравнение наборов используемых инструментов.
#data_science #Big_data | Просто Python
Please open Telegram to view this post
VIEW IN TELEGRAM
При работе с большими коллекциями в MongoDB, размер которых превышал десятки миллионов записей, возникла необходимость формировать случайные выборки уникальных значений полей, принадлежащих документам этой коллекции.
#Big_data | Просто Python
Please open Telegram to view this post
VIEW IN TELEGRAM
Мы часто пользуемся функциями для работы с большими данными. Они позволяют упросить и ускорить работу. Некоторые я нашел на просторах интернета, другие написал сам. Сегодня хочу поделиться четырьмя из них
#Big_data | Просто Python
Please open Telegram to view this post
VIEW IN TELEGRAM
Только ленивый не говорит, что работа с big data — профессия будущего. А автор даже больше скажет: это потребность «здесь и сейчас». До 2003 года мы создали столько петабайт данных, сколько сегодня производим каждые два дня.
#big_data | Просто Python
Please open Telegram to view this post
VIEW IN TELEGRAM
Extract Transformation Load — это извлечение данных из источника (E), их трансформация/обогащение (T) и загрузка (L) в хранилище или озеро. Изначально ETL-системы так и строились
#Big_Data | Просто Python
Please open Telegram to view this post
VIEW IN TELEGRAM