“От монолита к микросервисам. Глава 1 Основные сведения о микросервисах / Филипп Дельгядо”.
В рамках обсуждения первой главы рассмотрели понятия микросервисов и их отличия от монолитов, а также обсудили преимущества и недостатки каждого подхода. Также мы поговорили о таких ключевых понятиях, как "Cohesion" и "Coupling".
https://youtube.com/live/VNCSWWum3sg
В рамках обсуждения первой главы рассмотрели понятия микросервисов и их отличия от монолитов, а также обсудили преимущества и недостатки каждого подхода. Также мы поговорили о таких ключевых понятиях, как "Cohesion" и "Coupling".
https://youtube.com/live/VNCSWWum3sg
YouTube
От монолита к микросервисам. Глава 1 Основные сведения о микросервисах / Филипп Дельгядо
В рамках обсуждения первой главы мы рассмотрим понятия микросервисов и их отличия от монолитов, а также обсудим преимущества и недостатки каждого подхода. Также мы поговорим о таких ключевых понятиях, как "Cohesion" и "Coupling".
Канал с анонсами https:…
Канал с анонсами https:…
VK Kubernetes Conf — первая Kubernetes-конференция 2024 года
⏰ 28.03.2024, 14:00 МСК
28 марта VK Cloud проведёт новую конференцию VK Kubernetes Conf, чтобы команды, которые работают с оркестратором и накапливают колоссальный опыт, могли поделиться им с сообществом.
Основной темой обсуждения внутри комьюнити была и остается сложность оркестратора: растёт количество инструментов, усложняются архитектурные паттерны, повышаются требования к ИБ и к администрированию решений — защищенность Kubernetes становится приоритетом №1. Первое K8s-событие этого года будет посвящено отказоустойчивости и аварийному восстановлению, уязвимостям кластеров и тому, как с ними бороться. Спикеры и участники обсудят сценарии применения Kubernetes, которые в последние годы набирают обороты, среди них — работа с данными и ML.
Спикерами конференции станут эксперты из «Тинькофф», VK, Wildberries, VK Cloud, Газпромбанка, билайна и других компаний. Доклады помогут решить типичные проблемы пользователей оркестратора, а также просто расширят кругозор, чтобы в непредвиденных ситуациях каждый специалист понимал вектор подходов к решению аварийной или среднестатистической задачи на своих проектах.
VK Kubernetes Conf — это повод встретиться с сообществом и обменяться опытом, получить совет от специалистов и просто хорошо провести время с людьми, которые говорят с тобой на одном языке.
Конференция будет интересна разработчикам, инженерам доступности сервисов (SRE), DevOps и DevSecOps-инженерам, архитекторам, тестировщикам и всем, кто работает с Kubernetes.
Регистрация
⏰ 28.03.2024, 14:00 МСК
28 марта VK Cloud проведёт новую конференцию VK Kubernetes Conf, чтобы команды, которые работают с оркестратором и накапливают колоссальный опыт, могли поделиться им с сообществом.
Основной темой обсуждения внутри комьюнити была и остается сложность оркестратора: растёт количество инструментов, усложняются архитектурные паттерны, повышаются требования к ИБ и к администрированию решений — защищенность Kubernetes становится приоритетом №1. Первое K8s-событие этого года будет посвящено отказоустойчивости и аварийному восстановлению, уязвимостям кластеров и тому, как с ними бороться. Спикеры и участники обсудят сценарии применения Kubernetes, которые в последние годы набирают обороты, среди них — работа с данными и ML.
Спикерами конференции станут эксперты из «Тинькофф», VK, Wildberries, VK Cloud, Газпромбанка, билайна и других компаний. Доклады помогут решить типичные проблемы пользователей оркестратора, а также просто расширят кругозор, чтобы в непредвиденных ситуациях каждый специалист понимал вектор подходов к решению аварийной или среднестатистической задачи на своих проектах.
VK Kubernetes Conf — это повод встретиться с сообществом и обменяться опытом, получить совет от специалистов и просто хорошо провести время с людьми, которые говорят с тобой на одном языке.
Конференция будет интересна разработчикам, инженерам доступности сервисов (SRE), DevOps и DevSecOps-инженерам, архитекторам, тестировщикам и всем, кто работает с Kubernetes.
Регистрация
Forwarded from BI & DA events (Николай Крупий)
Telegram
Data Events
20 марта, 14:00, онлайн и офлайн в Москве
UNION ALL — большая конференцию о технологиях и эффективных решениях для работы с данными
На конференции расскажут про возможности #YandexGPT, работу с собственными ML-моделями, поделятся важными новостями Yandex…
UNION ALL — большая конференцию о технологиях и эффективных решениях для работы с данными
На конференции расскажут про возможности #YandexGPT, работу с собственными ML-моделями, поделятся важными новостями Yandex…
Forwarded from YTsaurus Community Chat (RU)
Всем привет!
У нас сегодня важная дата — ровно год назад мы вышли в опенсорс! ✨ за год у нас уже более 1700 звёзд и 100 форков на GitHub, а также вы — наше большое сообщество пользователей и контрибьюторов. Хотим сказать огромное спасибо — что пользуетесь, задаете вопросы, приносите issues и всячески поддерживаете. Дальше — больше!
А ещё мы пришли с подарками — новой версией YTsaurus и ещё несколькими ключевыми обновлениями. О них вы можете прочитать в блоге (да, теперь у нас есть блог!) на нашем сайте.
Рассказывайте о нас друзьям и коллегам, подписывайтесь на наш YouTube и ставьте звёзды — будем очень рады.
У нас сегодня важная дата — ровно год назад мы вышли в опенсорс! ✨ за год у нас уже более 1700 звёзд и 100 форков на GitHub, а также вы — наше большое сообщество пользователей и контрибьюторов. Хотим сказать огромное спасибо — что пользуетесь, задаете вопросы, приносите issues и всячески поддерживаете. Дальше — больше!
А ещё мы пришли с подарками — новой версией YTsaurus и ещё несколькими ключевыми обновлениями. О них вы можете прочитать в блоге (да, теперь у нас есть блог!) на нашем сайте.
Рассказывайте о нас друзьям и коллегам, подписывайтесь на наш YouTube и ставьте звёзды — будем очень рады.
Мы всегда ищем способы сделать инженерию данных проще и удобнее. Роман Зыков создал полностью рабочую систему, которой хочет поделиться с вами!
При этом он отказался от использования знакомых инструментов.
🔍 Что мы обсудим на вебинаре:
🔸Почему выбрал DuckDB для разработки data приложений, отказавшись от привычных инструментов.
🔸Как построил полностью рабочую систему с базой данных, dbt, и оркестратором для ежедневного обновления данных без использования облачных сервисов.
🔸Живые примеры и исходные коды проекта.
🔸Управление данными с помощью #DBT и Prefect.io.
👨💻 Приходите на вебинар, если вы хотите:
• Узнать, как использовать #DuckDB для создания эффективных data приложений.
• Познакомиться с бесплатными инструментами для инжиниринга данных.
• Вдохновиться реальным проектом и увидеть, как можно управлять данными без облаков.
#datalearn #вебинар #DuckDB #DBT #Prefect
https://t.me/rockyourdata/4608
Please open Telegram to view this post
VIEW IN TELEGRAM
📆 23 апреля, с 09:00 до 19:00, Москва.
Отраслевая дата-конференция для CDO и DWH-архитекторов.
Ключевая тема — бизнес-результаты, полученные благодаря работе с данными и проектам, реализованным на российском ПО. Спикеры: ВТБ, «Газпромбанк», «Норникель», «Вкусно — и точка», «Детский мир», «Бургер Кинг», «Почта России», «Тинькофф Банк» и Unilever.
📌 Также на мероприятии:
— тренды в работе с данными;
— обзор функционала и roadmap развития дата-платформы Arenadata;
— дискуссия по проблематике проектов, реализованных в облаках (с участием VK Cloud Solutions, Cloud.ru, «Облако КРОК», Beeline Cloud, CloudMTS и Т1 Cloud).
— обзор состояния и перспектив рынка данных в России.
🏢 Место: отель Hyatt Regency Moscow Petrovsky Park.
🎦 Гибридный формат (онлайн + офлайн)
➡️ Регистрация здесь
Отраслевая дата-конференция для CDO и DWH-архитекторов.
Ключевая тема — бизнес-результаты, полученные благодаря работе с данными и проектам, реализованным на российском ПО. Спикеры: ВТБ, «Газпромбанк», «Норникель», «Вкусно — и точка», «Детский мир», «Бургер Кинг», «Почта России», «Тинькофф Банк» и Unilever.
📌 Также на мероприятии:
— тренды в работе с данными;
— обзор функционала и roadmap развития дата-платформы Arenadata;
— дискуссия по проблематике проектов, реализованных в облаках (с участием VK Cloud Solutions, Cloud.ru, «Облако КРОК», Beeline Cloud, CloudMTS и Т1 Cloud).
— обзор состояния и перспектив рынка данных в России.
🏢 Место: отель Hyatt Regency Moscow Petrovsky Park.
🎦 Гибридный формат (онлайн + офлайн)
➡️ Регистрация здесь
Сегодня выкатили новую версия Apache #Airflow — 2.9. В релизе много полезных изменений и фиксов, а также новых фич:
@task.bash
декоратор. Возвращаемое значение обёрнутой в этот декоратор функции будет выполнено в виде bash-командыПолный список изменений смотри по ссылке.
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
Release Apache Airflow 2.9.0 · apache/airflow
Significant Changes
Following Listener API methods are considered stable and can be used for production system (were experimental feature in older Airflow versions) (#36376):
Lifecycle events:
on_...
Following Listener API methods are considered stable and can be used for production system (were experimental feature in older Airflow versions) (#36376):
Lifecycle events:
on_...
Как системному аналитику DWH попасть в Тинькофф? О чем спросят на собеседовании? Какие задачи предложат решать?
Все ответы — на Tinkoff DWH Connect. В апреле пройдут три онлайн-мероприятия для системных аналитиков DWH. Уровень мидл и выше.
Вот что будет:
— Weekend Offer, 20 и 21 апреля. Можете попасть в команду Тинькофф за пару дней. Пройдете все этапы собеседования за выходные — и, если все понравится, оффер ваш.
Посетите все три ивента или сразу приходите на собеседование.
Зарегистрируйтесь до 17 апреля. Детали тут.
erid:2VtzqwiLKyh
Реклама. АО "Тинькофф Банк", ИНН 7710140679, лицензия ЦБ РФ № 2673
Все ответы — на Tinkoff DWH Connect. В апреле пройдут три онлайн-мероприятия для системных аналитиков DWH. Уровень мидл и выше.
Вот что будет:
— Weekend Offer, 20 и 21 апреля. Можете попасть в команду Тинькофф за пару дней. Пройдете все этапы собеседования за выходные — и, если все понравится, оффер ваш.
Посетите все три ивента или сразу приходите на собеседование.
Зарегистрируйтесь до 17 апреля. Детали тут.
erid:2VtzqwiLKyh
Реклама. АО "Тинькофф Банк", ИНН 7710140679, лицензия ЦБ РФ № 2673
Как Kubernetes захватывает Data-индустрию, Trino и dbt в продакшн, как запустить риал-тайм антифрод за две недели — об этом поговорим на VK Data Meetup
⏰23 мая, 15:00-19:00 по МСК
📍Офис VK и онлайн
⚡️Бесплатная регистрация: https://bit.ly/3QkKIpv?erid=2Vtzqve4Wxx
VK Data Meetup — серия событий для дата-инженеров, разработчиков, администраторов о практиках работы с данными на разных уровнях. Майский митап посвящен актуальным архитектурным паттернам платформ данных и технологиям, которые позволят их реализовать.
Речь пойдет о DWH, Data Lake, Data LakeHouse и Data Mesh — где они применяются и с какими подводными камнями можно встретиться на практике. Узнаете, как Kubernetes незаметно, но уверенно захватывает индустрию, почему в коммьюнити все чаще говорят про Trino, как интегрировать CI/CD в работу с данными.
Мероприятие будет интересно дата-инженерам, специалистам по DWH, администраторам, архитекторам и разработчикам.
Посмотреть полную программу и зарегистрироваться: https://bit.ly/3QkKIpv?erid=2Vtzqve4Wxx
⏰23 мая, 15:00-19:00 по МСК
📍Офис VK и онлайн
⚡️Бесплатная регистрация: https://bit.ly/3QkKIpv?erid=2Vtzqve4Wxx
VK Data Meetup — серия событий для дата-инженеров, разработчиков, администраторов о практиках работы с данными на разных уровнях. Майский митап посвящен актуальным архитектурным паттернам платформ данных и технологиям, которые позволят их реализовать.
Речь пойдет о DWH, Data Lake, Data LakeHouse и Data Mesh — где они применяются и с какими подводными камнями можно встретиться на практике. Узнаете, как Kubernetes незаметно, но уверенно захватывает индустрию, почему в коммьюнити все чаще говорят про Trino, как интегрировать CI/CD в работу с данными.
Мероприятие будет интересно дата-инженерам, специалистам по DWH, администраторам, архитекторам и разработчикам.
Посмотреть полную программу и зарегистрироваться: https://bit.ly/3QkKIpv?erid=2Vtzqve4Wxx
Forwarded from Data Events via @ContestMasterBot
Внимание розыгрыш двух билетов на https://t.me/data_events/2946!
Уже участвует 4 человек.
Для присоединения к розыгрышу, нажми на кнопку ниже.
Уже участвует 4 человек.
Для присоединения к розыгрышу, нажми на кнопку ниже.
Forwarded from Инжиниринг Данных (Dmitry)
14-15 мая - Iceberg Summit. Iceberg формат для хранения данных в озере данных lake house. Если вы работаете с данными, то вы должны знать один из 3х форматов delta, iceberg, hudi.
Реально 2 доминируют Delta развивается databricksом, Iceberg сам по себе хорош и популярен.
Реально 2 доминируют Delta развивается databricksом, Iceberg сам по себе хорош и популярен.
Forwarded from Инжиниринг Данных (Dmitry)
13 июня будет Trino Fest, у них есть онлайн сессия.
Trino - SQL движок, который умеет читать данные из других баз данных, файлов, NoSQL баз, sftp, и еще много чего. Полностью открытое ПО. Я знаю, что можно использовать sql движок от Clickhouse/Duckdb (без функции хранения данных в базу), но деталей не знаю.
Я даже специально зашел на любимый сайт своей молодости HH (headhunter ru) и поискал “trino”, и нашел довольно много вакансий Инженера Данных с Trino. Также trino используются в отечественном облаке.
Идеальный стек мог бы быть в облаке или on-premise:
- Trino - SQL Engine, строим Iceberg Data Lake
- Нужно найти где хранить данные, в зависимости от возможностей
- dbt - бизнес логика в SQL
- Airflow/Prefect - расписание
- Airbyte/Meltano - набор коннекторов к источникам данных
- Metabase - SQL доступ для пользователей + дашборды (возможно Superset)
- Kubernetes - хостинг всего этого дела
Trino - SQL движок, который умеет читать данные из других баз данных, файлов, NoSQL баз, sftp, и еще много чего. Полностью открытое ПО. Я знаю, что можно использовать sql движок от Clickhouse/Duckdb (без функции хранения данных в базу), но деталей не знаю.
Я даже специально зашел на любимый сайт своей молодости HH (headhunter ru) и поискал “trino”, и нашел довольно много вакансий Инженера Данных с Trino. Также trino используются в отечественном облаке.
Идеальный стек мог бы быть в облаке или on-premise:
- Trino - SQL Engine, строим Iceberg Data Lake
- Нужно найти где хранить данные, в зависимости от возможностей
- dbt - бизнес логика в SQL
- Airflow/Prefect - расписание
- Airbyte/Meltano - набор коннекторов к источникам данных
- Metabase - SQL доступ для пользователей + дашборды (возможно Superset)
- Kubernetes - хостинг всего этого дела
trino.io
A sneak peek of Trino Fest 2024
Trino Fest is drawing ever closer. Commander Bun Bun has been hard at work behind the scenes arranging the schedule and making sure that Trino’s trip to Boston is going to be a great one. In case you missed it, we announced Trino Fest a couple months ago…