Ода эффективным менеджерам
«Это мне ИИшка посчитала, я не знаю, как и почему»
От создателей:
«Этот слайд мне аналитик прислал, у него и спрашивайте»
«Это мне ИИшка посчитала, я не знаю, как и почему»
От создателей:
«Этот слайд мне аналитик прислал, у него и спрашивайте»
😁18🙊4✍1❤1
Разговоры на Архитекторском - Выпуск 5 с Алмазом Хайфуллиным
Тема: опыт переезда КХД с Greenplum на Data Lakehouse
В августе мы с Алмазом записали отличный стрим про опыт переезда команды Скилбокс на Lakehouse (Trino-Iceberg-S3). Наконец, выкладываю запись.
Во время стрима у нас случилась накладка, и облачная запись Zoom приказала долго жить. Поэтому первая треть записи теперь в формате листинга слайдов. Оставим этот момент как эксклюзив для тех, кто был на стриме воочию - чем-то же надо их наградить!
Как мне кажется, полезной информации в видео очень много. Не буду совсем уж спойлерить, но вот некоторые темы
1️⃣ Как организовать сырой слой данных так, чтобы не бояться миграций. И не бояться выключать старое КХД, когда миграция подходит к концу.
2️⃣ Как быстро подцеплять новые данных в паркетах под формат Iceberg с использование нескольких разных мета-каталогов
3️⃣ Какие операторы для Airflow написать для облегчения процесса работы с Lakehouse.
Ни и вишенка на торте - реальная экономика нового КХД в сравнении с Greenplum!
Как уже начать смотреть на разных платформах
Ссылки:
ВК Видео - https://vkvideo.ru/video-228742675_456239043
ЮТ - https://www.youtube.com/watch?v=ROuJc3PTH6Y
Также рекомендую посмотреть другие видео плейлиста "Разговоры на архитекторском". Мы с гостями старались!
https://vkvideo.ru/playlist/-228742675_6
Подпишитесь на все каналы (если еще нет)
📱 Телеграм
📱 ВК Видео
📱 Youtube
Тема: опыт переезда КХД с Greenplum на Data Lakehouse
В августе мы с Алмазом записали отличный стрим про опыт переезда команды Скилбокс на Lakehouse (Trino-Iceberg-S3). Наконец, выкладываю запись.
Во время стрима у нас случилась накладка, и облачная запись Zoom приказала долго жить. Поэтому первая треть записи теперь в формате листинга слайдов. Оставим этот момент как эксклюзив для тех, кто был на стриме воочию - чем-то же надо их наградить!
Как мне кажется, полезной информации в видео очень много. Не буду совсем уж спойлерить, но вот некоторые темы
Ни и вишенка на торте - реальная экономика нового КХД в сравнении с Greenplum!
Как уже начать смотреть на разных платформах
Ссылки:
ВК Видео - https://vkvideo.ru/video-228742675_456239043
ЮТ - https://www.youtube.com/watch?v=ROuJc3PTH6Y
Также рекомендую посмотреть другие видео плейлиста "Разговоры на архитекторском". Мы с гостями старались!
https://vkvideo.ru/playlist/-228742675_6
Подпишитесь на все каналы (если еще нет)
Please open Telegram to view this post
VIEW IN TELEGRAM
VK Видео
Разговоры на архитекторском #5. Алмаз Хайфуллин про переезд GP->DLH.mp4
Алмаз Хайфуллин, руководитель Офиса Данных Skillbox рассказывает про практику быстрого переезда из Greenplum в Data Lakehouse (Iceberg, Trino, S3). В видео: - Трудности Greenplum и от чего хотелось уйти - План переезда - Цена и сроки - Что получилось в итоге…
👍8❤3🔥3
О настоящей цене Селф-Сервис Аналитики
У народа нет хлеба? Пусть едят пирожные!
Не хватает аналитиков для того чтобы разобрать все задачи от бизнеса? Внедряйте селф-сервис!
Разбираемся о настоящей цене Селф-Сервис аналитики с королевой Марией-Антуанеттой.
12 карточек-мероприятий, которые необходимо сделать чтобы Селф-Сервис заработал
Дополнения списка в комментариях - приветствуются.
P.S. Агенты нам все это сделают сами из данных тех, какие получились! Ведь сделают, правда? Достаточно промпт удачный подобрать.
У народа нет хлеба? Пусть едят пирожные!
Не хватает аналитиков для того чтобы разобрать все задачи от бизнеса? Внедряйте селф-сервис!
Разбираемся о настоящей цене Селф-Сервис аналитики с королевой Марией-Антуанеттой.
12 карточек-мероприятий, которые необходимо сделать чтобы Селф-Сервис заработал
Дополнения списка в комментариях - приветствуются.
P.S. Агенты нам все это сделают сами из данных тех, какие получились! Ведь сделают, правда? Достаточно промпт удачный подобрать.
🔥7
О настоящей цене Селф-Сервис Аналитики
У народа нет хлеба? Пусть едят пирожные!
Не хватает аналитиков для того чтобы разобрать все задачи от бизнеса? Внедряйте селф-сервис!
Разбираемся о настоящей цене Селф-Сервис аналитики с королевой Марией-Антуанеттой.
12 карточек-мероприятий, которые необходимо сделать чтобы Селф-Сервис заработал
Дополнения списка в комментариях - приветствуются.
P.S. Агенты нам все это сделают сами из данных тех, какие получились! Ведь сделают, правда? Достаточно промпт удачный подобрать.
У народа нет хлеба? Пусть едят пирожные!
Не хватает аналитиков для того чтобы разобрать все задачи от бизнеса? Внедряйте селф-сервис!
Разбираемся о настоящей цене Селф-Сервис аналитики с королевой Марией-Антуанеттой.
12 карточек-мероприятий, которые необходимо сделать чтобы Селф-Сервис заработал
Дополнения списка в комментариях - приветствуются.
P.S. Агенты нам все это сделают сами из данных тех, какие получились! Ведь сделают, правда? Достаточно промпт удачный подобрать.
🔥5👎1💯1
Пока накапливается все больше докладов и проектов с миграцией с гринплама на ДЛХ (Скиллбокс, Лемана, ВБ и другие), ребята мужественно обновляют ГП до хотя бы Postgres-14.
Постгрес 14 это 2021 год, если что. Но у большинства все еще Greenplum v6 на основе Postgre 9.4 года так 2014-го (!)
Ох нелегкая эта работа, вытаскивать мамонта из болота. Но когда ты Аренадата, других вариантов нет.
Постгрес 14 это 2021 год, если что. Но у большинства все еще Greenplum v6 на основе Postgre 9.4 года так 2014-го (!)
Ох нелегкая эта работа, вытаскивать мамонта из болота. Но когда ты Аренадата, других вариантов нет.
👍11
На день Учителя
Недавно в архиве нашел фото, где два полковника стоят в почетном карауле у мемориальной доски директору их школы. На фото полковникам лет 60-70, один из них - мой дед. Потому что Учитель.
Тренеры по гимнастике моих девочек младше меня примерно вдвое, но к ним обращаешься по имени-отчеству. Потому что Учитель.
Мне в свое время повезло встретить людей, кого можно назвать Учитель (сенсей - самое уважительное обращение в Японии). Человек, который мог бы сказать толпе отбитых от гормонов малолеток перестать что-то делать, и они бы перестали. Потому что Учитель, сказал: это неправильно.
Половина преподавателей в университетах приходили к нам не потому что им платят зарплату. Зарплаты там смешные.
Пытаюсь и я когда-нибудь стать чем-то похожим. Пока правда, руками надо что-то делать, другая фаза.
Недавно в архиве нашел фото, где два полковника стоят в почетном карауле у мемориальной доски директору их школы. На фото полковникам лет 60-70, один из них - мой дед. Потому что Учитель.
Тренеры по гимнастике моих девочек младше меня примерно вдвое, но к ним обращаешься по имени-отчеству. Потому что Учитель.
Мне в свое время повезло встретить людей, кого можно назвать Учитель (сенсей - самое уважительное обращение в Японии). Человек, который мог бы сказать толпе отбитых от гормонов малолеток перестать что-то делать, и они бы перестали. Потому что Учитель, сказал: это неправильно.
Половина преподавателей в университетах приходили к нам не потому что им платят зарплату. Зарплаты там смешные.
Пытаюсь и я когда-нибудь стать чем-то похожим. Пока правда, руками надо что-то делать, другая фаза.
👍8❤4🔥1
Моя дата инфра частично лежит вслед за Яндекс облаком.
А у вас как дела?👉
А у вас как дела?
Please open Telegram to view this post
VIEW IN TELEGRAM
💯8😨5
Лежим в Airflow потому что на нем натянут KubrrnetesExecutor, а куберам плохо. Был бы он развернут в виртуалке, все бы замечательно работало на LocalExecutor-ах.
Таски по большей части DbtRunTestOpetator, ну может кое-где легаси пандасы небольшие остались.
И вот мы чтобы пнуть DBT Selector тянемся в кубер за подом. А кубер при авариях падает первым и поднимается последним, потому что чем сложнее система тем более она хрупкая.
Не переинжиниривайте на ровном месте, дамы и господа.
Таски по большей части DbtRunTestOpetator, ну может кое-где легаси пандасы небольшие остались.
И вот мы чтобы пнуть DBT Selector тянемся в кубер за подом. А кубер при авариях падает первым и поднимается последним, потому что чем сложнее система тем более она хрупкая.
Не переинжиниривайте на ровном месте, дамы и господа.
💯7
Очень очень хорошая идея держать кронтаб, который в режиме graceful degradation при недоступности куберов, аэрфлоу и других сложных сервисов, обновит хотя бы базовые отчетные витрины. Вам зачтется.
Переливки простых данных баш скриптами + последовательные dbt run.
И git pull ветки master свежий иметь.
Мотаем на ус, дни когда работает Яндекс.Дрон, даны нам для этого.
Переливки простых данных баш скриптами + последовательные dbt run.
И git pull ветки master свежий иметь.
Мотаем на ус, дни когда работает Яндекс.Дрон, даны нам для этого.
👍4🔥2