Секция ML System Design на конференции Data Fusion 2024

17.04.2024 на конференции Data Fusion 2024 будет секция по ML System Design.
С рассказом о своем опыте проектирования сложных ML-систем выступят спикеры из VK, X5, Мегафона.
Модератор секции - Дмитрий Колодезев.
Конференция пройдет 17-18 апреля в технологическом кластере «Ломоносов» в Москве. Бесплатно, но с регистрацией (безопасники требуют).
Регистрация уже открыта

Ваш @Reliable ML

#datafusion #offline #mlsystemdesign

Опубликован новый пример дизайна ML системы по шаблону Reliable ML
Пополняем базу примеров хороших дизайн-документов

Сегодня добавили новый пример дизайн-документа - проект от Симулятора ML. Даниил Картушов и команда представляют pet project по разработке чат-бота для поиска ответов на разные запросы в телеграм-каналах.

Опубликованный дизайн-док - пример хорошо проработанного и не перегруженного лишней информацией документа. Для более глубокого погружения в потребности пользователей в части про бизнес-требования команда проекта добавила User Story Map и Customer Journey Map. Это, кстати, может стать отличным дополнением к шаблону дизайн-документов.

Огромное спасибо авторам документа за вклад в развитие ML-дизайна.

Шаблон дизайн-документа ML-систем от Reliable ML
Материалы по работе с дизайн-доком
Как написать док вместе с Reliable ML

Stay tuned!

Ваш @Reliable ML

#business #tech #ml_system_design

Секция Career от Reliable ML на Data Fest 2024
25 мая в офисе VK, Москва

Всем привет!

Есть у нас с Димой такая традиция, каждый год в конце мая мы организуем секцию Reliable ML на Data Fest. А в этом году делаем аж три секции.

А все почему? Потому что очень много крутых докладов. Приходите послушать и обсудить!

Публикуем расписание секции Карьера, которая пройдет 25 мая офлайн в офисе VK в Москве.

Сначала поговорим с вами о рынке труда и карьерных вопросах со стороны работника/кандидата, а потом - со стороны руководителей команд.

Регистрация на площадку на 25 мая тут.

В этот же день после обеда будет вторая наша офлайн секция - Data Strategy. Расписание опубликуем чуть позже.

Ваш @Reliable ML

#datafest #offline #ods #career #reliable_ml #business

Секция Data Strategy от Reliable ML на Data Fest 2024
25 мая в офисе VK, Москва, зал "Кинозал"

Угадайте, какую секцию собрать сложнее всего и почему?

Публикуем расписание секции Data Strategy, которая пройдет 25 мая офлайн в офисе VK в Москве.

Поговорим о стратегии по данным: что это за зверь, зачем он нужен, и как к нему подступиться, если все-таки нужен.

Регистрация на площадку на 25 мая тут.

Ваш @Reliable ML

#datafest #offline #ods #career #reliable_ml #business

2 июня 2024 с 10:00 до 12:30 мск онлайн-секция Reliabe ML
про causal inference, ML Design Doc, пользу для бизнеса и инопланетян.

Как подключиться:
Страница https://app.spatial.chat/s/ods
Пароль: festfinaleparrot

До встречи на датафесте!

Ваш @Reliable ML

#datafest #online #ods #reliable_ml

Всем доброго воскресного утра!
В 10 стартуем нашу секцию.
Явки, пароли актуальны.

В комментариях к этому посту можно задавать вопросы, если в спатиале вдруг неудобно :)

Датаужин ReliableML вместе с ODS Moscow

А давайте соберемся оффлайн в Москве!
В среду 19 июня примерно с 19:00 до 21:00 дата-ужин вместе ODS Moscow
Обсудить датафест, курсы, дизайндоки, ml system design и просто обсудить новости. На датафесте поговорить времени не было совсем - а тут будет 😉

📍Место: We Cidreria (Лубянский проезд 15с2)
Бронь на имя Александр

Ваш Reliable_ML

#reliable_ml #offline #анонс #дата_ужин

Data-роли и где они обитают - Секция Career - Data Fest 2024
Обсуждение доклада Иры Голощаповой, CDO Operations, Raiffeisenbank

Всем привет!

Материалы секций Reliable ML уже опубликованы на ODS.ai: Career, Data Strategy, Reliable ML.

В этом году мы решили попробовать экспериментальный формат - публиковать по одному докладу каждой нашей секции - со всеми важными материалами и ссылками - и главное - возможностью обсуждения доклада с его автором.
Для авторов это замечательная возможность получить вашу обратную связь и улучшить подачу материала и его полезность, а для читателей - прояснить любые вопросы по теме.

Вроде win-win strategy! Давайте попробуем.

Начнем с первого доклада в первой нашей секции на Data Fest в этом году - Career. И доклад этот, по иронии судьбы (или по хитрому замыслу оргов), от Иры Голощаповой. Поэтому призыв автора в тред должен вполне получиться.

Data-роли и где они обитают

В докладе обсудили ключевые роли в работе с данными: data engineer, DWH analyst, data steward, data analyst, data scientist, data product manager. Рассмотрели суть работы каждой роли в терминах цепочки ценности данных и процесса работы над дата-продуктом, определили главные навыки, которые отличают роли, узнали о том, какие есть карьерные треки для данных ролей, а также поговорили о том, над какими навыками стоит работать, чтобы расти по выбранному треку.

Презентацию доклада можно найти здесь, видеозапись - тут.

В тред жду любые ваши вопросы по теме.

Все ли важные дата-роли охвачены? Есть ли важные навыки, или карьерные советы, которые вы бы добавили от себя?

Давайте затестим формат!

Ваш @Reliable ML

#tech #business #datafest2024 #career

Десять вопросов, которые нужно задать перед трудоустройством - Секция Career - Data Fest 2024
Обсуждение доклада Евгения Смирнова, Head of ML Laboratory, Alfa Bank

Продолжаем серию обсуждения докладов секции Career на Data Fest 2024.

Следующий доклад в обсуждении - от Жени Смирнова, руководителя ML Лаборатории в Альфа банке, автора канала Нескучный Data Science.

Десять вопросов, которые нужно задать перед трудоустройством

Женя рассказал, о чем - кроме размера заработной платы - стоит спросить работодателя на этапе собеседований. Чтобы потом на испытательном сроке не было мучительно больно за бесцельно... (ну, вы понимаете).

От себя добавим, что умение задать правильные вопросы на собеседовании - это важнейший, и часто недооцененный кандидатами навык. Собеседование на знания, фит и культуру проходите не только вы, но и ваш потенциальный работодатель. И только при его детальном прохождении обеими сторонами случается серендипити - велью и кайф от работы. Поэтому доклад считаем очень важным для просмотра, а также для того, чтобы составить (если еще не), и пополнить ваш список важных вопросов для работодателя.

Презентацию доклада можно найти здесь, видеозапись - тут.

В треде Женя готов ответить на любые ваши вопросы по теме доклада.

А какие вопросы вы считаете важным задать работодателю, чтобы понять, что вам точно будет комфортно и драйвово на новом месте?

***

Полные материалы секций Reliable ML на Data Fest 2024 можно посмотреть на сайте ODS.ai:

- Career от 25.05
- Data Strategy от 25.05
- Reliable ML от 02.06

Ваш @Reliable ML

#tech #business #datafest2024 #career

Из Geoscience в Data Science. Плюсы, минусы, подводные камни - Секция Career - Data Fest 2024
Обсуждение доклада Натальи Ковальчук, разработчика ML-алгоритмов, SmartGeoAdviser

Продолжаем обсуждение докладов секции Career на Data Fest 2024.

Наташа Ковальчук рассказала о плюсах и минусах мягкого карьерного перехода из геологических исследований в data science, а также детально раскрыла особенности применения Data Science в нефтегазовой отрасли.

Спасибо Наташе за то, что поделилась своим опытом. Такой искренний рассказ с большой любовью к своему делу дает мощное вдохновение на преодоление трудностей на пути к выбранному карьерному треку в DS.

Презентацию доклада можно найти здесь, видеозапись - тут.

Наташа готова ответить в треде к этому посту на любые ваши вопросы по теме доклада.

Есть ли среди наших подписчиков те, кто перешел в data science из других сфер? Поделитесь вашими историями! В чем были сложности? Как удалось справиться и прийти к своей цели?

***

Полные материалы секций Reliable ML на Data Fest 2024 можно посмотреть на сайте ODS.ai:

- Career от 25.05
- Data Strategy от 25.05
- Reliable ML от 02.06

Ваш @Reliable ML

#tech #business #datafest2024 #career

Дюжина советов по работе с командой - Секция Career - Data Fest 2024
Обсуждение доклада Ильи Алтухова, руководителя группы экспериментальных технологий, AI VK

В секции Карьера на Data Fest в этом году было два блока докладов: взгляд со стороны работника/кандидата, и - со стороны работодателя. Первый блок мы обсудили в трех постах выше, а теперь переходим к следующему.

Первый доклад со стороны работодателя - от Ильи Алтухова - про полезные советы и инструменты работы с командой.

Илья поделился своими находками, полученными за почти 10 лет опыта работы тимлидом data science команд. Предложил практические рекомендации, которые можно применять в работе. Обсудили темы: с чего начать тимлидство, как повысить эффективность поиска специалистов в команду, как спланировать рост компетенций в команде, как наладить коммуникацию и работу с ОС, можно ли ходить в отпуск и не работать, работа с вовлеченностью команды.

Презентацию доклада можно найти здесь, видеозапись - тут.

Илья с нами и готов ответить в треде на любые ваши вопросы по теме доклада.

А какие инструменты используете вы в работе с командой? Что помогает вам в руководстве командой, или что нравится вам в том, как организует работу команды ваш лид?

***

Полные материалы секций Reliable ML на Data Fest 2024 можно посмотреть на сайте ODS.ai:

- Career от 25.05
- Data Strategy от 25.05
- Reliable ML от 02.06

Ваш @Reliable ML

#tech #business #datafest2024 #career

Личный опыт: построить дата-команду в сформировавшемся коллективе - Секция Career - Data Fest 2024
Обсуждение доклада Артема Каледина, team lead-а команды геоаналитики в билайне

Завершаем обсуждение докладов в секции Карьера на Data Fest вторым докладом, отражающим взгляд со стороны работодателя - а именно, тимлида, который приходит в давно работающую по своим практикам команду, и которому необходимо значительно перестроить существующие процессы.

В своем докладе Артем Каледин рассказал о личном опыте сильной перестройки работы команды и построения новых практик, влияющих на развитие геоаналитики в билайне. Рассказал также о своем росте в тимлида, радостях и сложностях этого перехода.

Презентацию доклада можно найти здесь, видеозапись - тут.

Артем готов ответить в треде на любые ваши вопросы по теме доклада.

Был ли у вас подобный опыт перестройки сформировавшихся коллективов? Как преодолевали сложности?
О жизни и росте в тимлиды мы тоже всегда готовы потереть!

***

Полные материалы секций Reliable ML на Data Fest 2024 можно посмотреть на сайте ODS.ai:

- Career от 25.05
- Data Strategy от 25.05
- Reliable ML от 02.06

Ваш @Reliable ML

#tech #business #datafest2024 #career

Дата-стратегия в крупной группе компаний - Секция Data Strategy - Data Fest 2024
Обсуждение доклада Виктора Кантора, ex-CDO MTS, founder MLinside

В этом году на Data Fest мы с Димой провели экспериментальную секцию - Data Strategy. Тем самым расширили охват тем, обсуждаемых на фесте, добавив к data science проблематике историю с построением и развитием команд данных.

Опыт считаем успешным - запрос стратегического взгляда на дата-офисы оказался большим. Секция собрала аншлаг участников и после каждого доклада были интереснейшие обсуждения, которые потом продолжились на афтепати. Поэтому предлагаем дообсуждать недообсужденное с каждым из наших прекрасных CDO - авторов докладов.

Первым на секции выступил Виктор Кантор, у которого есть замечательный тг-канал Kantor.AI, а также школа по ML - MLinside. Витя в своем докладе задал провокационный вопрос: а нужна ли вообще стратегия по данным компании? И далее, с помощью интересных кейсов и примеров раскрыл пользу наличия стратегии, а также наиболее важные аспекты, которые там должны быть продуманы.

Презентацию доклада можно найти здесь, видеозапись - тут.

Витя готов ответить в треде на ваши вопросы по теме доклада.

Есть ли в вашей команде/компании дата-стратегия? Насколько, на ваш взгляд, она полезна?

***

Полные материалы секций Reliable ML на Data Fest 2024 можно посмотреть на сайте ODS.ai:

- Career от 25.05
- Data Strategy от 25.05
- Reliable ML от 02.06

Ваш @Reliable ML

#tech #business #datafest2024 #career

Канал на RUTUBE

Собрали все видео на rutub-канале https://rutube.ru/channel/42225198/

Давно хотели завести канал, на котором были бы собраны лекции и доклады по теме ReliableML. Видео были разбросаны по разным каналам, и блокировка Youtube заставила наконец-то собрать их вместе.

Вопрос к читателям: нужно ли выгрузить туда еще и материалы митапов, секций датафеста?

Ваш @Reliable ML

#video

Дата-стратегия в крупной группе компаний - Секция Data Strategy - Data Fest 2024
Обсуждение #2 - доклад Виктора Кантора, ex-CDO MTS, founder MLinside

Как вы могли заметить, наши публикации докладов с Data Fest 2024 несколько притормозились с середины августа. А все почему? Потому что много работы очень много работы Виктор Кантор, многоуважаемый докладчик секции Data Strategy, дал нам справедливый фидбек о том, что публикации обсуждений выглядят однообразно и их не особо хочется обсуждать.

Мы покумекали, согласились, и решили учесть фидбек Вити. И попробовать обсуждения в другом формате - делиться с вами своими мыслями о содержании доклада, и задавать вопросы вместе с вами.

И начнем мы с доклада Вити 😈

Ключевым слайдом доклада мне показался слайд про акценты дата стратегии. Но к этим акцентам у нас есть комменты. Пройдемся по пунктам.

1. Сбор и хранение данных. Если группа достаточно большая, а данных достаточно много, то важно также учитывать, какие данные нам не нужны, и когда и как от них избавляться. Сюда я бы также добавила безжалостное ревью архитектуры данных и целевого технологического стека, и избавление от legacy и технического долга.

2. Монетизация. Все здорово, только важно, чтобы ответы на вопросы были привязаны к стратегии самой компании. То, в каких сферах мы развиваем ML внутри и вне должно быть нужно самой компании и вписываться в ее вектор развития.

3. Качество данных. Одного наличия данных мало, нужно думать о качестве. Но и качества данных мало, они чаще всего не работают без окружения полноценными процессами data governance. Само качество данных состоит из мониторинга с инфраструктурой ("научиться автоматически выявлять ошибки") и процессов решения инцидентов, найденных с помощью мониторинга ("исправить ошибки"). Без решения проблем - мониторинг сам по себе - не имеет смысла. А когда мы ступаем на тропу процессов... то тут и выясняется, что чтобы они появились и в итоге заработали, нам нужно подумать о миллионе аспектов владения данными, ответственности и пр. Это и составляет data governance.

4. Реализация "сверху вниз": KPI, индексы, поручения руководства. Тут и добавить нечего, это очень нужно. Особенно на первых порах, когда закладывается фундамент цифровой трансформации. Правда. это не значит, что дата команде нужно сидеть и ждать безоговорочной поддержки руководства. Чтобы она была, CDO и его команде нужно работать: объяснять и аргументировать.

5. Реализация "снизу вверх". Если под наполнением компании data people Витя имеет в виду не только найм дата команды, но и обращение бизнес стейкхолдеров в data people, то полностью разделяем. В компании может быть много людей, но если они не стремятся поделиться знаниями и научить своим ценностям бизнес-стейкхолдеров, то это будет приводить к обособлению дата-людей и накоплению непонимания друг друга. Есть мы, кто делает реальное дело, общается с клиентом и зарабатывает деньги. И есть дата-ребята, которые делают какую-то свою математику и дашборды, и зачем-то долго копаются в данных. Настоящее value для компании достигается через взаимопонимание и партнерство.

А какие акценты добавили бы вы в стратегию по данным?

Доклад: YouTube | RUTube | ODS.ai | Преза

Ваш @Reliable ML

#tech #business #datafest2024 #data_strategy

В любой ситуации - оставаться хорошим человеком
Немного о важном

Недавно обсудили с Димой, что можно писать в канале и просто о том, что важно и что в голове в последнюю, например, неделю или месяц. А не готовить что-то сложное и нагруженное ночами и долго, как мы любим.

Попробуем начать)

Сегодня хочется поговорить о том, что все мы с вами разные и работа у нас разная, и таланты, и интересы. И темпераменты тоже.

А еще у каждого из нас бывают моменты, когда тяжело, не получается, когда кто-то выбесил, работа/коллеги/etc. неприкольные, хочется все бросить, и еще много чего сделать.

Если мы в сложные моменты можем остаться верными себе и сделать что-то, что ситуацию изменит - это прекрасно.

Если же мы при этом отпускаем эмоции из под контроля: устраиваем скандал, делаем/говорим гадости, обманываем, то в сумме в долгосроке нам же будет хуже.

На любом рабочем месте, в любой жизненной ситуации - вы создаёте себя. И это ваша ответственность и выбор, как поступать. Совокупность ваших поступков на каждом рабочем месте/мероприятии - это ваша репутация и бренд, который с каждым шагом по карьерной лестнице будет иметь всё больше значения.

Хорошие поступки возвращаются потом самыми неожиданными путями, поддержкой, помощью и теплотой. Плохие - в лучшем случае не возвращаются.

Желаем вам оставаться верными себе. И к поступкам подходить осознанно.

Ваш @Reliable ML

#мысль_месяца #business

Экономика дата офиса - Секция Data Strategy - Data Fest 2024
Доклад Павла Мягких, ex-CDO Gazprom ID, ex-директор Big Data Lenta

На Data Fest 2024 в нашей секции про стратегию данных выступил Павел Мягких - с непростой темой про экономику дата офиса.

Каждый менеджер и сотрудник дата-команды в большой и не очень корпорации знает, что бигдата и AI - это стильно, модно и молодежно. И, кажется, что сейчас каждый знает, что это еще и очень дорого.

Но далеко не каждый готов задумываться, а уж тем более, считать денежное value дата-продуктов, и, следовательно, окупаемость дата офиса. А не задумываться можно, как мы уже с вами как-то обсуждали, только когда с общемировой конъюнктурой все норм. То есть, сейчас прям самое время задумываться.

А еще более не каждый, или даже совсем редкий менеджер, готов делать это правильно, и инвестировать в это "правильно" ресурсы и время.

В докладе Паша рассказал про важность расчета окупаемости дата офиса, про общую логику её расчета, а также про категории проектов и их приоритезацию. При этом центровой темой как во время доклада, так и после него, стала тема про "правильный" расчет value дата-продуктов. Или, проще говоря, про АБ-тестирование (занудная ремарка: мы тут, конечно, немного упрощаем и в целом с вами знаем, что оценка эффектов описывается далеко не только АБ). При обсуждении доклада CDO так разошлись, что секция про дата стратегию чуть не стала митапом про АБ-тестирование.

Посыл доклада - надо инвестировать в построение методики АБ-тестирования и использовать его не только для проектов Big Data, но и вообще для инвестпроектов компании (где применимо). Ибо это способствует не только более корректному пониманию того, куда инвестировать, но еще и исправлению совокупной оценки эффекта инвестиционного потока с космической, на близкую к правде.

Дискуссию вызвал вопрос - а точно ли совокупный эффект всех АБ покажет правду, ведь тесты (чаще всего) не учитывают затухание эффекта в долгосрочном периоде? Да и Валера недавно поднимал важную тему про совокупный эффект АБ.

А как считаете вы? Стоит ли вписывать АБ-тестирование в жизнь компании, и где нужно остановиться?

Доклад: YouTube | RUTube | ODS.ai

Ваш @Reliable ML

#tech #business #datafest2024 #data_strategy