Задача всех, кто работает с данными — не только передавать их из точки А в точку Б, но и делать инфраструктуру удобнее.
Дмитрий Бугайченко на SmartData 2021 расскажет об опыте Сбера в организации работы с данными. Вы узнаете, как эволюционировали подходы к выделению вычислительных ресурсов и организации доступа, как менялся набор инструментов и подходов к моделированию, как развивались подходы к выводу результатов в промышленную эксплуатацию. Он также расскажет о ролях людей в команде и стеке технологий, где есть как готовые, так и самописные решения. Доклад будет полезен прежде всего практикующим инженерам и лидерам команд, которые хотят лучше работать с ресурсами в области данных.
Подробности и билеты: https://vk.cc/c6Femk
Дмитрий Бугайченко на SmartData 2021 расскажет об опыте Сбера в организации работы с данными. Вы узнаете, как эволюционировали подходы к выделению вычислительных ресурсов и организации доступа, как менялся набор инструментов и подходов к моделированию, как развивались подходы к выводу результатов в промышленную эксплуатацию. Он также расскажет о ролях людей в команде и стеке технологий, где есть как готовые, так и самописные решения. Доклад будет полезен прежде всего практикующим инженерам и лидерам команд, которые хотят лучше работать с ресурсами в области данных.
Подробности и билеты: https://vk.cc/c6Femk
Удивительный факт — Apache Spark иногда хранит данные на диске. И, конечно же, это замедляет их обработку.
Jacek Laskowski на SmartData 2021 заглянет во внутренности Spark и расскажет, как сделать его быстрее, заставив работать только с ОЗУ.
Подробности и билеты: https://vk.cc/c6Fbt1
Jacek Laskowski на SmartData 2021 заглянет во внутренности Spark и расскажет, как сделать его быстрее, заставив работать только с ОЗУ.
Подробности и билеты: https://vk.cc/c6Fbt1
С темой оптимизации распределенных запросов в SQL-движках сталкивается почти каждый дата инженер. И если с запросом что-то идет не так, то знание матчасти поможет быстро решить эту проблему.
Владимир Озеров и Алексей Гончарук на SmartData 2021 расскажут, как заставить распределенные SQL-движки эффективно обрабатывать данные, расположенные на нескольких серверах. Из доклада вы узнаете о техниках, которые для этого применяются, и о принципах работы оптимизатора распределенных запросов. А еще получите море ссылок на первоисточники для подробного изучения этой темы.
Узнать подробности и выбрать билеты можно на сайте конференции: https://vk.cc/c6FisJ
Владимир Озеров и Алексей Гончарук на SmartData 2021 расскажут, как заставить распределенные SQL-движки эффективно обрабатывать данные, расположенные на нескольких серверах. Из доклада вы узнаете о техниках, которые для этого применяются, и о принципах работы оптимизатора распределенных запросов. А еще получите море ссылок на первоисточники для подробного изучения этой темы.
Узнать подробности и выбрать билеты можно на сайте конференции: https://vk.cc/c6FisJ
Тема идентификации пользователей стала особенно актуальна в связи с последовательным ужесточением работы механизмов трекинга в браузерах и необходимостью выполнять законодательства типа 152-ФЗ и GDPR. Новые ограничения ведут к новым требованиям к работе библиотек фингерпринтинга, векторизации клиентских идентификаторов, работе с коллизиями, сшиванию и расшиванию юзеров и т.п.
Артур Хачуян — один из наиболее известных российских экспертов в области отслеживания поведения пользователей в интернете. Его багаж технических наработок в этой области огромен, и он поделится им с участниками SmartData 2021. Артур расскажет о технических аспектах построения кросс ID для веб-аналитики. Доклад будет полезен всем, кто работает с отслеживанием интернет-активности пользователей своих сервисов и пытается строить корректные и быстрые системы трекинга, отвечающие последним техническим и юридическим реалиям.
Подробности и билеты: https://vk.cc/c6HQNd
Артур Хачуян — один из наиболее известных российских экспертов в области отслеживания поведения пользователей в интернете. Его багаж технических наработок в этой области огромен, и он поделится им с участниками SmartData 2021. Артур расскажет о технических аспектах построения кросс ID для веб-аналитики. Доклад будет полезен всем, кто работает с отслеживанием интернет-активности пользователей своих сервисов и пытается строить корректные и быстрые системы трекинга, отвечающие последним техническим и юридическим реалиям.
Подробности и билеты: https://vk.cc/c6HQNd
SmartData 2021 стартует уже сегодня!
Нам очень хотелось бы, чтобы усилия команды организаторов и программного комитета оценило как можно больше людей. Поэтому мы решили сделать доступ к четвертому дню конференции свободным для всех желающих.
В билет бесплатного дня входит:
– 8 докладов: например, среди них «Рабочее место D-people — опыт Сбер» от Дмитрия Бугайченко, «How an analytical database stopped me smoking: A practical story with Exasol» от Valerie Wiedemann и Christian Langmayr, а также «Воркшоп. Делаем жизнь инженеров проще с Big Data Tools» от Паши Финкельштейна;
– Дискуссии после каждого доклада, где можно пообщаться со спикером;
– «Разговор в телевизоре» — вещание из главной студии;
– Возможность поучаствовать в играх, квизах, конкурсах и других активностях от партнеров конференции — там можно не только круто провести время, но и получить ценные призы;
– Виртуальная выставка конференции;
– Чаты, где сидят ваши коллеги со всего мира.
Регистрация на бесплатный день: https://vk.cc/c6O01a
Нам очень хотелось бы, чтобы усилия команды организаторов и программного комитета оценило как можно больше людей. Поэтому мы решили сделать доступ к четвертому дню конференции свободным для всех желающих.
В билет бесплатного дня входит:
– 8 докладов: например, среди них «Рабочее место D-people — опыт Сбер» от Дмитрия Бугайченко, «How an analytical database stopped me smoking: A practical story with Exasol» от Valerie Wiedemann и Christian Langmayr, а также «Воркшоп. Делаем жизнь инженеров проще с Big Data Tools» от Паши Финкельштейна;
– Дискуссии после каждого доклада, где можно пообщаться со спикером;
– «Разговор в телевизоре» — вещание из главной студии;
– Возможность поучаствовать в играх, квизах, конкурсах и других активностях от партнеров конференции — там можно не только круто провести время, но и получить ценные призы;
– Виртуальная выставка конференции;
– Чаты, где сидят ваши коллеги со всего мира.
Регистрация на бесплатный день: https://vk.cc/c6O01a
Вы потратили уйму рабочего времени на настройку базы данных, но ее производительность все еще низкая? А что, если при работе с большими наборами данных часть работы DBA будет выполнять искусственный интеллект?
Valerie Wiedemann и Christian Langmayr на SmartData 2021 расскажут об Exasol — аналитической базе данных. Вы узнаете, что у нее внутри и как она может помочь вам в создании BI-бэкенда. Спикеры продемонстрируют работу Exasol на примере финансовой базы данных с миллионами транзакций и то, как машинное обучение для обнаружения мошенничества может быть перенесено в базу данных.
Подробности и билеты: https://vk.cc/c6P5ej
Valerie Wiedemann и Christian Langmayr на SmartData 2021 расскажут об Exasol — аналитической базе данных. Вы узнаете, что у нее внутри и как она может помочь вам в создании BI-бэкенда. Спикеры продемонстрируют работу Exasol на примере финансовой базы данных с миллионами транзакций и то, как машинное обучение для обнаружения мошенничества может быть перенесено в базу данных.
Подробности и билеты: https://vk.cc/c6P5ej
Зима близко! Участвуйте в розыгрыше от IT_One и выиграйте зимний набор из шапки, шарфа, рюкзака и термоса. Никаких квестов, нужно только зарегистрироваться. Пятерых везунчиков выберут рандомом в Zoom 14 октября в 18:10 по Москве. Удачи!
А в среду ее сотрудники ждут вас на вебинаре о компании. Приходите послушать о жизни в IT_One, ее проектах и развитии. Кстати, в конце выберут три лучших вопроса от участников, а их авторы получат уютные свитшоты. Начало — в 19:00.
Сегодня AvitoTech приготовили для вас доклад «DWH как продукт». Евгений Николаев расскажет, как продуктовый подход к разработке платформы помогает решать десятки аналитических задач ежедневно без постоянного роста команды. Начало — в 17:00.
А еще команда AvitoTech запилила для вас игру «Навалилось». Станьте зверем-тестировщиком, который следит за разработчиками и не пускает баги в прод. 14 октября в 20:00 назовут игроков с самым большим количеством очков, и они станут обладателями фирменного мерча.
Подробности ищите на live.jugru.org
А в среду ее сотрудники ждут вас на вебинаре о компании. Приходите послушать о жизни в IT_One, ее проектах и развитии. Кстати, в конце выберут три лучших вопроса от участников, а их авторы получат уютные свитшоты. Начало — в 19:00.
Сегодня AvitoTech приготовили для вас доклад «DWH как продукт». Евгений Николаев расскажет, как продуктовый подход к разработке платформы помогает решать десятки аналитических задач ежедневно без постоянного роста команды. Начало — в 17:00.
А еще команда AvitoTech запилила для вас игру «Навалилось». Станьте зверем-тестировщиком, который следит за разработчиками и не пускает баги в прод. 14 октября в 20:00 назовут игроков с самым большим количеством очков, и они станут обладателями фирменного мерча.
Подробности ищите на live.jugru.org
JetBrains Projector — инструмент, позволяющей запускать на удаленных серверах IDE на основе IntelliJ и произвольные приложения на фреймворке Swing. Приходите на доклад Олега Чирухина, чтобы познакомиться с Projector'ом поближе. Олег покажет его подкапотное пространство и расскажет о том, что он умеет. Начало — в 18:00.
Паша Финкельштейн из JetBrains — человек с огромным опытом от разработки и дата-инженерии до менеджмента и системного администрирования. Но он не только много знает, но еще любит и умеет рассказывать.
Сегодня Олег Чирухин возьмет у него интервью, в котором задаст много вопросов о Data Engineering: что на данный момент можно считать трендами в этой области, из чего состоит работа инженера данных и как менялась сфера последние несколько лет. Готовьте свои вопросы и присоединяйтесь! Начало — в 17:00.
Сегодня Олег Чирухин возьмет у него интервью, в котором задаст много вопросов о Data Engineering: что на данный момент можно считать трендами в этой области, из чего состоит работа инженера данных и как менялась сфера последние несколько лет. Готовьте свои вопросы и присоединяйтесь! Начало — в 17:00.
Как сказал о ML один мудрый человек, счастливые дата-саентисты счастливы одинаково, но каждый несчастный дата-саентист несчастлив по-своему. Узнали? Согласны?
Сегодня в своем докладе Дмитрий Гронский расскажет о том, как живется MLOps в Ozon Tech. Вы узнаете, какая у них есть специфика инфраструктуры и работы DS-команд, как команды воевали с ETL-пайплайнами, обучением и трекингом ML-моделей и многое другое. Начало — в 18:00 по Москве.
Сегодня в своем докладе Дмитрий Гронский расскажет о том, как живется MLOps в Ozon Tech. Вы узнаете, какая у них есть специфика инфраструктуры и работы DS-команд, как команды воевали с ETL-пайплайнами, обучением и трекингом ML-моделей и многое другое. Начало — в 18:00 по Москве.
Вчера Роман Кондаков из Querify Labs выступил с докладом о том, как добавить к любому приложению SQL-интерфейс с помощью Apache Calcite. А сегодня Владимир Озеров из Querify Labs проведет в продолжение темы небольшой воркшоп, где покажет, как это сделать. Присоединяйтесь, чтобы попробовать это на практике и задать вопросы. Начало — в 19:30.
JUG Ru Group ОНЛАЙН
IT-конференции JUG Ru Group. 25 мая — 27 июня. Воркшоп: добавляем SQL к вашему приложению за 30 минут
__Тематическая дискуссия не записывается__
Apache Calcite — фреймворк, который позволяет добавить SQL-интерфейс к любому приложению. В данной лайвкодинг-сессии мы научим воображаемую СУБД выполнять SQL-запросы.
Apache Calcite — фреймворк, который позволяет добавить SQL-интерфейс к любому приложению. В данной лайвкодинг-сессии мы научим воображаемую СУБД выполнять SQL-запросы.
Квази-изменяемые хранилища — не только горячая, но и немного мистическая тема. Но Олег Чирухин и Паша Финкельштейн из JetBrains не боятся мистики 🙂 Сегодня они проведут дискуссию, на которой обсудят Hudi, DeltaLake, Iceberg и что в целом происходит на этом рынке. Приходите поделиться своим мнением и услышать чужое. Начало — в 17:00.
Внимание! Тематические дискуссии не записываются.
Внимание! Тематические дискуссии не записываются.
JUG Ru Group ОНЛАЙН
IT-конференции JUG Ru Group. 25 мая — 27 июня. Обсуждение: квази-изменяемые хранилища
__Тематическая дискуссия не записывается!__
Мы поговорим про Hudi, DeltaLake, Iceberg и другие хранилища. Квази-изменяемые хранилища не только одна из самых горячих тем, но еще и довольно мистическая. Обсудим, что сейчас есть на рынке и куда это всё движется.
Мы поговорим про Hudi, DeltaLake, Iceberg и другие хранилища. Квази-изменяемые хранилища не только одна из самых горячих тем, но еще и довольно мистическая. Обсудим, что сейчас есть на рынке и куда это всё движется.
Channel name was changed to «SmartData — канал конференции»
Недавно мы анонсировали конференции весны и лета 2022 года — попасть на все семь можно по абонементу Full Pass. Этот пост о нем.
Напомним даты:
– DotNext, .NET — 7-8 апреля.
– Heisenbug, тестирование — 12-14 апреля.
– HolyJS, JavaScript-разработка — 18-21 апреля.
– JPoint, Java-разработка — 25-28 апреля.
– Mobius, мобильная разработка — 23-26 мая.
– Hydra, параллельные и распределенные системы — 1-3 июня.
– C++ Russia, C++ разработка — 6-9 июня.
Чтобы оценить контент, посмотрите подборку популярных докладов с прошедших конференций.
Даже если вы работаете только в одном направлении, вам все равно может зайти. На всех конференциях есть «универсальные» доклады, Q&A-сессии с известными экспертами, технические интервью, обсуждения и разные активности вроде интеллектуальных игр. Примеры можно найти в том же плейлисте.
Full Pass стоит как билеты на две конференции, а полезностей и приятностей дает со всех семи. Сделка века :)
Переходите на сайт за подробностями и покупкой: https://bit.ly/3H3oCRG
Напомним даты:
– DotNext, .NET — 7-8 апреля.
– Heisenbug, тестирование — 12-14 апреля.
– HolyJS, JavaScript-разработка — 18-21 апреля.
– JPoint, Java-разработка — 25-28 апреля.
– Mobius, мобильная разработка — 23-26 мая.
– Hydra, параллельные и распределенные системы — 1-3 июня.
– C++ Russia, C++ разработка — 6-9 июня.
Чтобы оценить контент, посмотрите подборку популярных докладов с прошедших конференций.
Даже если вы работаете только в одном направлении, вам все равно может зайти. На всех конференциях есть «универсальные» доклады, Q&A-сессии с известными экспертами, технические интервью, обсуждения и разные активности вроде интеллектуальных игр. Примеры можно найти в том же плейлисте.
Full Pass стоит как билеты на две конференции, а полезностей и приятностей дает со всех семи. Сделка века :)
Переходите на сайт за подробностями и покупкой: https://bit.ly/3H3oCRG
Дорогие друзья, коллеги, члены программных комитетов, спикеры, эксперты, спонсоры, партнёры и участники конференции SmartData.
На наших мероприятиях собираются люди со всего мира: из разных стран, разных вероисповеданий и с разными политическими позициями. При этом они стараются находить общий язык и помогать друг другу. От такого конструктивного взаимодействия выигрывают все, за это мы с вами и любим конференции.
То, что происходит сейчас на территории Украины, идёт вразрез с ценностями мирного и взаимовыгодного сотрудничества.
Но больше всего нам больно от того, что гибнут люди и растёт ненависть.
Чтобы не отвлекать вас от действительно важных сейчас вещей, мы приняли решение:
1. Приостановить всю рекламу наших конференций в интернете во всех её видах.
2. Перевести все наши чаты и социальные сети в режим тишины.
По всем вопросам пишите на support@jugru.org.
Сейчас время позаботиться о наших с вами близких, давайте этим и займёмся. Остальное подождёт.
До связи.
На наших мероприятиях собираются люди со всего мира: из разных стран, разных вероисповеданий и с разными политическими позициями. При этом они стараются находить общий язык и помогать друг другу. От такого конструктивного взаимодействия выигрывают все, за это мы с вами и любим конференции.
То, что происходит сейчас на территории Украины, идёт вразрез с ценностями мирного и взаимовыгодного сотрудничества.
Но больше всего нам больно от того, что гибнут люди и растёт ненависть.
Чтобы не отвлекать вас от действительно важных сейчас вещей, мы приняли решение:
1. Приостановить всю рекламу наших конференций в интернете во всех её видах.
2. Перевести все наши чаты и социальные сети в режим тишины.
По всем вопросам пишите на support@jugru.org.
Сейчас время позаботиться о наших с вами близких, давайте этим и займёмся. Остальное подождёт.
До связи.
#видеозаписи
Привет!
Выложили в открытый доступ на YouTube записи с прошлого сезона. Приятного просмотра!
Привет!
Выложили в открытый доступ на YouTube записи с прошлого сезона. Приятного просмотра!
🔥7👍1
#анонсы
SmartData 2022 пройдет в октябре.
Если у вас большой опыт работы с данными и вы хотите им поделиться, приглашаем стать спикером на SmartData 2022. Вы заработаете репутацию эксперта, познакомитесь с крутыми специалистами и получите весомую строчку в резюме. А мы поможем подготовиться, поделимся записью и привлечем аудиторию.
Нам интересны следующие темы:
— Стриминг: Flink, Kafka, Spark и др;
— СУБД и хранилища для больших данных;
— Архитектура DWH;
— Data governance;
— Технологии построения ETL;
— Оркестрация и MLOps;
— Cloud solutions.
Если хотите выступить с темой, которой нет в списке, мы обязательно рассмотрим ваши предложения.
Подать заявку можно по ссылке: https://bit.ly/3yiKCVs
SmartData 2022 пройдет в октябре.
Если у вас большой опыт работы с данными и вы хотите им поделиться, приглашаем стать спикером на SmartData 2022. Вы заработаете репутацию эксперта, познакомитесь с крутыми специалистами и получите весомую строчку в резюме. А мы поможем подготовиться, поделимся записью и привлечем аудиторию.
Нам интересны следующие темы:
— Стриминг: Flink, Kafka, Spark и др;
— СУБД и хранилища для больших данных;
— Архитектура DWH;
— Data governance;
— Технологии построения ETL;
— Оркестрация и MLOps;
— Cloud solutions.
Если хотите выступить с темой, которой нет в списке, мы обязательно рассмотрим ваши предложения.
Подать заявку можно по ссылке: https://bit.ly/3yiKCVs
❤3
#анонсы
SmartData возвращается — теперь и в офлайн!
В октябре SmartData пройдет снова, и на этот раз в необычном формате:
— 17-18 октября будет онлайн-часть,
— 29 октября соберемся в Санкт-Петербурге (с онлайн-трансляцией для тех, кто не может добраться до площадки).
В предыдущий раз SmartData была офлайновой в далеком 2017-м, так что с нетерпением ждем встречи. Но думаем и о тех участниках, которые не готовы добраться до Петербурга. Так что мы совместим возможности обоих форматов: можно будет хоть приехать и увидеть всех лично, хоть смотреть доклады из любой точки планеты.
Программа станет известна позже — но заранее понятно, что в ней будут практически применимые доклады для дата-инженеров, упор в которых сделан на техническую конкретику. Можно ожидать появления точной программы, но по мере приближения конференции цены повышаются, так что есть повод приобрести билет уже сейчас.
А для тех, кто дочитывает посты до конца, у нас есть подарок: промокод
Переходите на сайт и воспользуйтесь скидкой до 7 августа: https://bit.ly/3oruBIy
SmartData возвращается — теперь и в офлайн!
В октябре SmartData пройдет снова, и на этот раз в необычном формате:
— 17-18 октября будет онлайн-часть,
— 29 октября соберемся в Санкт-Петербурге (с онлайн-трансляцией для тех, кто не может добраться до площадки).
В предыдущий раз SmartData была офлайновой в далеком 2017-м, так что с нетерпением ждем встречи. Но думаем и о тех участниках, которые не готовы добраться до Петербурга. Так что мы совместим возможности обоих форматов: можно будет хоть приехать и увидеть всех лично, хоть смотреть доклады из любой точки планеты.
Программа станет известна позже — но заранее понятно, что в ней будут практически применимые доклады для дата-инженеров, упор в которых сделан на техническую конкретику. Можно ожидать появления точной программы, но по мере приближения конференции цены повышаются, так что есть повод приобрести билет уже сейчас.
А для тех, кто дочитывает посты до конца, у нас есть подарок: промокод
JRGTM2022A , дающий скидку 20% на билет Personal Online и 25% на Personal Online + Offline! Переходите на сайт и воспользуйтесь скидкой до 7 августа: https://bit.ly/3oruBIy
🔥6🐳1
#анонсы
Все еще думаете, стоит ли выступать на конференции? Вот пять причин, почему все-таки стоит:
— Общение с экспертами индустрии.
— Новые знакомства и обмен опытом.
— Билеты на все конференции сезона.
— Запись вашего выступления в 4К.
— Репетиции выступления с персональным куратором.
Напоминаем: прием заявок на SmartData 2022 заканчивается 30 августа.
Осталось всего пять дней, чтобы выбрать тему и стать спикером.
Подавайте заявку по ссылке — https://bit.ly/3QVgWpF
Все еще думаете, стоит ли выступать на конференции? Вот пять причин, почему все-таки стоит:
— Общение с экспертами индустрии.
— Новые знакомства и обмен опытом.
— Билеты на все конференции сезона.
— Запись вашего выступления в 4К.
— Репетиции выступления с персональным куратором.
Напоминаем: прием заявок на SmartData 2022 заканчивается 30 августа.
Осталось всего пять дней, чтобы выбрать тему и стать спикером.
Подавайте заявку по ссылке — https://bit.ly/3QVgWpF
❤2
#доклады
Привет!
SmartData возвращается в октябре, и в программе уже есть первые доклады. Настало время рассказать о них.
Как конфигурировать автоматический пайплайн, не копируя код на все узлы? Как уследить за версионированием? А если задача еще сложнее — и вычисления гетерогенные?
Александр Нозик расскажет, как правильно конфигурировать пайплайны, а также разберет концепцию «процессора метаданных» в фреймворке DataForge. Из доклада вы узнаете о том, как избежать проблем с валидацией конфигурации и делать вычисления при помощи разного кода — даже на разных языках. Автоматизированно, параллельно и с кэшированием результатов.
Подробности и билеты на SmartData 2022: https://bit.ly/3ASGhKj
Привет!
SmartData возвращается в октябре, и в программе уже есть первые доклады. Настало время рассказать о них.
Как конфигурировать автоматический пайплайн, не копируя код на все узлы? Как уследить за версионированием? А если задача еще сложнее — и вычисления гетерогенные?
Александр Нозик расскажет, как правильно конфигурировать пайплайны, а также разберет концепцию «процессора метаданных» в фреймворке DataForge. Из доклада вы узнаете о том, как избежать проблем с валидацией конфигурации и делать вычисления при помощи разного кода — даже на разных языках. Автоматизированно, параллельно и с кэшированием результатов.
Подробности и билеты на SmartData 2022: https://bit.ly/3ASGhKj
👍3🔥1