Data Engineering Digest
1.17K subscribers
21 photos
27 links
Краткие выжимки и обзоры лучших докладов с конференций по Data Engineering. Экономим ваше время, оставляя только полезное. Для тех, кто любит данные и хочет быть в курсе лучшего в индустрии. Присоединяйтесь! 📊

contact: @NickTselishchev
Download Telegram
Ещё один доклад из которого не получился пост по причине того, что админ очень не любит spark)

https://youtu.be/xhgsQIqkNYY?si=iSXHWg8Fyd-goJz4

Приложу три самых интересных для меня скринов из доклада
🔥10🥰1
5 октября начнется 19-й поток программы Data Engineer от Newprolab

Программа для junior- и middle-дата-инженеров, аналитиков, backend-разработчиков, техлидов и тех, кто работает с data-командами и хочет лучше понимать современный стек DE

📌 Что внутри:
– 10 недель обучения
– 30 занятий: онлайн + записи
– 10 практических лабораторных работ
– облачный кластер и реальные данные
– чат участников и поддержка команды программы

📌 Что получите на выходе:
1. Научитесь решать типовые задачи DE на практике
2. Систематизируете знания и закроете пробелы в современном DE-стеке
3. Поработаете с реальными данными и инфраструктурой, а не только с учебными примерами
4. Соберете практический опыт, который можно обсуждать на собеседованиях и использовать в работе
5. Все записи и материалы останутся у вас после окончания программы

Преподаватели – практикующие специалисты из ведущих технологических компаний. На занятиях можно разбирать реальные кейсы, задавать вопросы и получать обратную связь

👉 Подробности и квиз – на сайте

Квиз покажет, насколько программа подходит именно под вашу роль и задачи, даст персональные рекомендации и промокод на скидку
___
По всем вопросам пишите Алексею @snitsa

Реклама. НОЧУ ДПО «НЬЮПРОЛАБ», ИНН 7729461098, erid: CQH36pWzJqVKq9rQTHdoerUjCtLJwbma2q2Sq6DgPEKAP7
❤3👍1👎1🔥1
Прошу простить, уже долгое время не могу выделить время на полноценный пост о интересных докладах с конференциях. Но это не значит, что доклады я перестал смотреть)

По итогам просмотра очередного доклада: https://www.youtube.com/watch?v=JeAP_L671CQ родился небольшой пост.

На курсах по Clickhouse меня спрашивали: "А если у нас только логи, которые мы хотим анализировать, нам нужен Clickhouse или можно обойтись Elasticsearch?"

Я ответил что-то вроде:

а) Полнотекстовый поиск и расследование, объём умеренный, хранить недолго - оставайтесь на Elasticsearch.
б) Отчёты, тренды, долгая история, SQL - берите ClickHouse, даже если источник только логи. Полнотекстовый поиск в CH тоже есть (индексы для полнотекстового поиска), но заставить их работать - тот ещё квест.
в) Нужны оба сценария - это два разных хранилища: Elasticsearch на короткий операционный контур, ClickHouse на аналитику и длинное хранение. Одно другим не заменяется.

А от меня хотели услышать цифры, сравнение производительности. А я их дать не смог) В этом докладе ссылочка на неплохую статью https://infostart.ru/1c/articles/1325649/

Сам доклад так же рекомендую)
🔥6❤4👍3
5 октября начнется 19-й поток программы Data Engineer от Newprolab

Программа для junior- и middle-дата-инженеров, аналитиков, backend-разработчиков, техлидов и тех, кто работает с data-командами и хочет лучше понимать современный стек DE

📌 Что внутри:
– 10 недель обучения
– 30 занятий: онлайн + записи
– 10 практических лабораторных работ
– облачный кластер и реальные данные
– чат участников и поддержка команды программы

📌 Что получите на выходе:
1. Научитесь решать типовые задачи DE на практике
2. Систематизируете знания и закроете пробелы в современном DE-стеке
3. Поработаете с реальными данными и инфраструктурой, а не только с учебными примерами
4. Соберете практический опыт, который можно обсуждать на собеседованиях и использовать в работе
5. Все записи и материалы останутся у вас после окончания программы

Преподаватели – практикующие специалисты из ведущих технологических компаний. На занятиях можно разбирать реальные кейсы, задавать вопросы и получать обратную связь

👉 Подробности и квиз – на сайте

Квиз покажет, насколько программа подходит именно под вашу роль и задачи, даст персональные рекомендации и промокод на скидку
___
По всем вопросам пишите Алексею @snitsa
❤4👎1