Всем привет, на связи Александр 🧑💻
Молодой MLOps-инженер и автор данного канала "MLOps Weekly"
В данном канале я буду рассказывать про особенности работы MLOps инженером, учебу в ИТМО, различные конференции из мира IT с уклоном в DevOps. Буду делиться мнением по поводу различных статей и также накидывать интересный материал для прочтения в свободное время
Если вы интересуетесь тем, как устроен мир IT и в частности DevOps в сфере машинного обучения, или даже если вы уже являетесь специалистом в этой области, то присоединяйтесь, будет интересно
PS: первые посты "О Себе", а также уже нечто интересное (инсайд информация из мира DevOps) выйдет, как только на канале наберется около 50 человек после "агитационной" кампании
Молодой MLOps-инженер и автор данного канала "MLOps Weekly"
В данном канале я буду рассказывать про особенности работы MLOps инженером, учебу в ИТМО, различные конференции из мира IT с уклоном в DevOps. Буду делиться мнением по поводу различных статей и также накидывать интересный материал для прочтения в свободное время
Если вы интересуетесь тем, как устроен мир IT и в частности DevOps в сфере машинного обучения, или даже если вы уже являетесь специалистом в этой области, то присоединяйтесь, будет интересно
PS: первые посты "О Себе", а также уже нечто интересное (инсайд информация из мира DevOps) выйдет, как только на канале наберется около 50 человек после "агитационной" кампании
❤1👍1
IT Митап - это классное место, где спикеры и организаторы могут заявить о себе, а слушатели узнать решение каких-то наболевших проблем.
С другой же стороны, митапы не заканчиваются только лишь докладами. Это, прежде всего, неформальное мероприятие с общением и нетворкингом в приятной атмосфере (особенно на afterparty с пиццей и всякими вкусностями). Вы можете позадавать вопросы спикерам как экспертам или даже найти интересную работу.
Так, в конце 27 октября проходила конференция от AlfaBank “Data Science Meet Up #3: Business edition”, на которой я выступал с докладом Что такое MLOps и как мы внедряли каскады моделей.
Это был мой первый опыт в роли спикера на профессиональных выступлениях, который оказался потрясающим: начиная от удовольствия во время выступления после месяца подготовки, заканчивая положительной обратной связью, отзывами и закусками с красной рыбкой 🍣.
Доклад был посвящен тому, чем отличается типичный DevOps подход от MLOps. Я постарался оттолкнуться от проблем, которые возникали на стадии расширения сферы машинного обучения, рассказав, как они могут решаться на реальном примере. О том как создать не просто пайплайн по выкату моделей, но и делать это в более широких масштабах.
Возвращаясь к опыту в роли спикера, этот митап послужил толчком, чтобы пойти куда-то дальше. Тема этого доклада была в основном направлена на младших специалистов. Ее расширенную и более глубокую в проработке версию я решил рассказать уже на ежегодной конференции DevOps Conf 2024, о которой будет уже следующий пост.
#it_conferences
С другой же стороны, митапы не заканчиваются только лишь докладами. Это, прежде всего, неформальное мероприятие с общением и нетворкингом в приятной атмосфере (особенно на afterparty с пиццей и всякими вкусностями). Вы можете позадавать вопросы спикерам как экспертам или даже найти интересную работу.
Так, в конце 27 октября проходила конференция от AlfaBank “Data Science Meet Up #3: Business edition”, на которой я выступал с докладом Что такое MLOps и как мы внедряли каскады моделей.
Это был мой первый опыт в роли спикера на профессиональных выступлениях, который оказался потрясающим: начиная от удовольствия во время выступления после месяца подготовки, заканчивая положительной обратной связью, отзывами и закусками с красной рыбкой 🍣.
Доклад был посвящен тому, чем отличается типичный DevOps подход от MLOps. Я постарался оттолкнуться от проблем, которые возникали на стадии расширения сферы машинного обучения, рассказав, как они могут решаться на реальном примере. О том как создать не просто пайплайн по выкату моделей, но и делать это в более широких масштабах.
Возвращаясь к опыту в роли спикера, этот митап послужил толчком, чтобы пойти куда-то дальше. Тема этого доклада была в основном направлена на младших специалистов. Ее расширенную и более глубокую в проработке версию я решил рассказать уже на ежегодной конференции DevOps Conf 2024, о которой будет уже следующий пост.
#it_conferences
🔥2❤1
DevOpsConf 2024 в Сколково: Будущее DevOps и MLOps на горизонте.
Этот год стал настоящим переломным моментом для DevOps-сообщества. Kubernetes уже не единственный герой дня, уступая место новым звездам: Platform Engineering, Безопасности, и самое главное, сфере Machine Learning. Было проведено несколько воркшопов, связанных с применением локальных LLM моделей, с некоторыми DevOps практиками и с проработкой soft-скилов внутри команд. Также нашлось и место для Fail-митапа, на котором множество спикеров из разных компаний рассказывали о своих крупных фейлах. Однако об этом говорить неприятно, поэтому все, что было на этом докладе, останется навсегда в зале 🤫
Мой доклад нашел место как раз в новой секции Big Data и Data Engineering и назывался “Как создать ML-платформу по выводу 💯 моделей в неделю”.
Я долго думал над этим названием, над тем, стоит ли делать его таким броским, однако все же остановился на таком. Как и упоминалось в предыдущем посте, этот доклад был некоторым продолжением с предыдущей конференции.
Вся структура доклада была построена на разграничении обязанностей между командами разработки и MLOps инженерами. Она питалась вопросом: А чем должен заниматься MLOps инженер? Первый блок был посвящен тому, как мы научились на лету распределять ресурсы для Jupyter ноутбуков. Как предоставить ноутбуки пользователям, основываясь на том, что MLOps инженеры должны прежде всего предоставлять среду для разработки, а уже опытные DS и DE будут ее использовать так, как им это необходимо, не зная всю инфраструктуру в целом. Второй блок представлял собой улучшенный подход в обучении и выкладке моделей по сравнению с предыдущим вариантом с конференции из прошлого поста.
По итогу выступления наша команда не только решила проблемы нескольких компаний, которые имеют похожий продукт, но и получила объемную обратную связь по части оптимизации текущего подхода.
Как только появится запись доклада на YouTube, я выложу ее в этой группе
#it_conferences
Этот год стал настоящим переломным моментом для DevOps-сообщества. Kubernetes уже не единственный герой дня, уступая место новым звездам: Platform Engineering, Безопасности, и самое главное, сфере Machine Learning. Было проведено несколько воркшопов, связанных с применением локальных LLM моделей, с некоторыми DevOps практиками и с проработкой soft-скилов внутри команд. Также нашлось и место для Fail-митапа, на котором множество спикеров из разных компаний рассказывали о своих крупных фейлах. Однако об этом говорить неприятно, поэтому все, что было на этом докладе, останется навсегда в зале 🤫
Мой доклад нашел место как раз в новой секции Big Data и Data Engineering и назывался “Как создать ML-платформу по выводу 💯 моделей в неделю”.
Я долго думал над этим названием, над тем, стоит ли делать его таким броским, однако все же остановился на таком. Как и упоминалось в предыдущем посте, этот доклад был некоторым продолжением с предыдущей конференции.
Вся структура доклада была построена на разграничении обязанностей между командами разработки и MLOps инженерами. Она питалась вопросом: А чем должен заниматься MLOps инженер? Первый блок был посвящен тому, как мы научились на лету распределять ресурсы для Jupyter ноутбуков. Как предоставить ноутбуки пользователям, основываясь на том, что MLOps инженеры должны прежде всего предоставлять среду для разработки, а уже опытные DS и DE будут ее использовать так, как им это необходимо, не зная всю инфраструктуру в целом. Второй блок представлял собой улучшенный подход в обучении и выкладке моделей по сравнению с предыдущим вариантом с конференции из прошлого поста.
По итогу выступления наша команда не только решила проблемы нескольких компаний, которые имеют похожий продукт, но и получила объемную обратную связь по части оптимизации текущего подхода.
Как только появится запись доклада на YouTube, я выложу ее в этой группе
#it_conferences
❤1🔥1🥰1
А пока что я хотел бы узнать, на сколько вам будет интересна тема развития DevOps? Какие тенденции существуют сейчас и что нас ждет дальше.
Набираем 10 🔥 под этим постом и я выкладываю рассуждения на тему NextOps в ближайшее время.
Набираем 10 🔥 под этим постом и я выкладываю рассуждения на тему NextOps в ближайшее время.
🔥12🍾2💋1😈1
Перед тем, как заглянуть в будущее любой области, крайне важно иметь четкое понимание её настоящего и прошлого. Именно поэтому мои размышления о направлении, в котором движется DevOps-методология, я решил разбить на несколько постов.
В первом посте мы окунемся в историю DevOps, попытаемся понять, с чего всё началось и как развивалась эта методология до сегодняшнего дня. В последующем материале я сфокусируюсь на анализе текущего состояния DevOps и попробую предугадать его будущее.
#interesting
В первом посте мы окунемся в историю DevOps, попытаемся понять, с чего всё началось и как развивалась эта методология до сегодняшнего дня. В последующем материале я сфокусируюсь на анализе текущего состояния DevOps и попробую предугадать его будущее.
#interesting
❤1🔥1🥰1
DevOps, термин, который впервые прозвучал около 15 лет назад, до сих пор остается без четкого определения. Для меня лично DevOps — это не просто набор инструментов или практик, но и способ решения проблем взаимодействия между командами.
С одной стороны, современные инструменты позволяют автоматизировать процессы и улучшить взаимосвязь между этапами создания продукта. С другой стороны, эти инструменты не всегда способны полностью разрешить проблемы в коммуникации между командами. Например, продукты типа Azure DevOps обещают решение всех проблем "из коробки". Но стоит ли полагаться на них полностью?
DevOps часто воспринимается начинающими специалистами как набор процессов для создания и развертывания кода. Однако это лишь верхушка айсберга. DevOps затрагивает множество аспектов, от тестирования до управления инфраструктурой, и важно помнить о конечной цели — улучшении сотрудничества и взаимодействия между командами.
Без постоянного осознания начальной и конечной точек, весь процесс рискует превратиться в бесконечное улучшение технической среды ради самого улучшения. DevOps — это гораздо больше, чем технологии. Это методология, цель которой — сплочение команд и улучшение их взаимодействия для достижения общих целей.
С одной стороны, современные инструменты позволяют автоматизировать процессы и улучшить взаимосвязь между этапами создания продукта. С другой стороны, эти инструменты не всегда способны полностью разрешить проблемы в коммуникации между командами. Например, продукты типа Azure DevOps обещают решение всех проблем "из коробки". Но стоит ли полагаться на них полностью?
DevOps часто воспринимается начинающими специалистами как набор процессов для создания и развертывания кода. Однако это лишь верхушка айсберга. DevOps затрагивает множество аспектов, от тестирования до управления инфраструктурой, и важно помнить о конечной цели — улучшении сотрудничества и взаимодействия между командами.
Без постоянного осознания начальной и конечной точек, весь процесс рискует превратиться в бесконечное улучшение технической среды ради самого улучшения. DevOps — это гораздо больше, чем технологии. Это методология, цель которой — сплочение команд и улучшение их взаимодействия для достижения общих целей.
❤2👍1
Оглядываясь на обширное исследование от компании Dora (DevOps Research and Assessment), которая была основана родоначальниками DevOps движения, можно найти множество примеров успешного применения методологии. Их анализ показывает, что успешное применение DevOps требует комплексного подхода, который включает не только технические аспекты, но и культурные изменения внутри организаций. Исследования Dora выделили ключевые аспекты, которые коррелируют с успешным внедрением DevOps-практик и позитивным влиянием на производительность организации.
Анализ Схемы DORA:
1. Технические Возможности: здесь рассматриваются элементы, такие как поддержание кода, непрерывная интеграция, автоматизация развертывания и прочие, которые создают основу для гибкой и эффективной инфраструктуры.
2. Доставка ПО и Производительность: эти показатели, включая время изменения, частоту развертывания, процент неудачных изменений и время восстановления после сбоев, напрямую связаны с качеством и эффективностью технических процессов.
3. Организационная Производительность: различают коммерческую и некоммерческую производительность, подчеркивая, что DevOps влияет на результаты независимо от целей организации.
4. Благополучие: важным элементом схемы является благополучие команд, включая снижение стресса при развертывании, уменьшение объема переделок и предотвращение выгорания. Это подчеркивает важность DevOps не только для процессов, но и для создания здоровой рабочей среды.
Эта схема демонстрирует, как важно видеть целостную картину и стремиться не только к техническому совершенству, но и к улучшению взаимодействия внутри команд и всей организации.
Таким образом DevOps требует не только технических знаний, но и понимания культурных аспектов работы в команде. Без этого, даже самые продвинутые инструменты не смогут полностью раскрыть потенциал методологии.
В следующем посте по этой теме я рассмотрю текущее состояние DevOps, обсудим тренды и новые роли в этой области 🔥
А с тем, чем для вас является DevOps поделитесь в комментариях под этим постом!
Анализ Схемы DORA:
1. Технические Возможности: здесь рассматриваются элементы, такие как поддержание кода, непрерывная интеграция, автоматизация развертывания и прочие, которые создают основу для гибкой и эффективной инфраструктуры.
2. Доставка ПО и Производительность: эти показатели, включая время изменения, частоту развертывания, процент неудачных изменений и время восстановления после сбоев, напрямую связаны с качеством и эффективностью технических процессов.
3. Организационная Производительность: различают коммерческую и некоммерческую производительность, подчеркивая, что DevOps влияет на результаты независимо от целей организации.
4. Благополучие: важным элементом схемы является благополучие команд, включая снижение стресса при развертывании, уменьшение объема переделок и предотвращение выгорания. Это подчеркивает важность DevOps не только для процессов, но и для создания здоровой рабочей среды.
Эта схема демонстрирует, как важно видеть целостную картину и стремиться не только к техническому совершенству, но и к улучшению взаимодействия внутри команд и всей организации.
Таким образом DevOps требует не только технических знаний, но и понимания культурных аспектов работы в команде. Без этого, даже самые продвинутые инструменты не смогут полностью раскрыть потенциал методологии.
В следующем посте по этой теме я рассмотрю текущее состояние DevOps, обсудим тренды и новые роли в этой области 🔥
А с тем, чем для вас является DevOps поделитесь в комментариях под этим постом!
❤1
DevOps, MLOps и новые “модные” слова 🔥
Продолжая тему предыдущих постов, далее мы поговорим о современных трендах DevOps. Но сперва, давайте разберемся, в чем отличия новых популярных направлений.
Знаете ли вы разницу между DevOps и, например, MLOps, DataOps, Chaos Engineer? Если нет, то этот пост для вас.
На первый взгляд, все они кажутся разделенными направлениями, однако координальных отличий от типичного DevOps на самом деле нет. Это все те же специалисты, но с некоторыми новыми инструментами и новыми практиками.
MLOps, например, сосредоточен на моделях машинного обучения и данных. DataOps улучшает циклы обработки данных, а Chaos Engineer тестирует устойчивость систем к сбоям.
По сути своей, здесь изменяются лишь артефакты и упор на какую-то определенную часть цикла разработки.
Схема Патрика Дебуя (одного из родоначальников методологии DevOps) наглядно показывает этот момент. По оси X мы видим увеличение доли работы связанной с разработкой в пользу выкладки, а ось Y отражает, насколько "хайповым" является термин 😎
С одной стороны, такое разнообразие возникло из-за нечеткого определения DevOps. Однако с другой же, новые направления — не просто модные слова. Они отражают расширение DevOps в новые области, где традиционные методы уже не так эффективны.
А как вы думаете, какие направления станут ключевыми в ближайшем будущем? Делитесь в комментариях!
Продолжая тему предыдущих постов, далее мы поговорим о современных трендах DevOps. Но сперва, давайте разберемся, в чем отличия новых популярных направлений.
Знаете ли вы разницу между DevOps и, например, MLOps, DataOps, Chaos Engineer? Если нет, то этот пост для вас.
На первый взгляд, все они кажутся разделенными направлениями, однако координальных отличий от типичного DevOps на самом деле нет. Это все те же специалисты, но с некоторыми новыми инструментами и новыми практиками.
MLOps, например, сосредоточен на моделях машинного обучения и данных. DataOps улучшает циклы обработки данных, а Chaos Engineer тестирует устойчивость систем к сбоям.
По сути своей, здесь изменяются лишь артефакты и упор на какую-то определенную часть цикла разработки.
Схема Патрика Дебуя (одного из родоначальников методологии DevOps) наглядно показывает этот момент. По оси X мы видим увеличение доли работы связанной с разработкой в пользу выкладки, а ось Y отражает, насколько "хайповым" является термин 😎
С одной стороны, такое разнообразие возникло из-за нечеткого определения DevOps. Однако с другой же, новые направления — не просто модные слова. Они отражают расширение DevOps в новые области, где традиционные методы уже не так эффективны.
А как вы думаете, какие направления станут ключевыми в ближайшем будущем? Делитесь в комментариях!
🔥4🤔2💩1👌1
Трансформация DevOps: Путь к Platform Engineering и Аналитике 🚀
В мире DevOps наступает эра Platform Engineering — это не просто тренд, это эволюция методологии. DevOps-команды, превращаются в архитекторов платформ 👷♂️🏗, обеспечивая фундамент для своих разработчиков. Это направление получило широкое признание и стало темой обсуждения на многих конференциях, включая DevOps Enterprise Summit и DevOps Conf 🎤📈
Однако как упоминалось в предыдущих постах, прогресс не останавливается лишь на создании инструментов и платформ. Сейчас происходит также сдвиг фокуса с технических аспектов на процессы. Это еще раз подчеркивает, что суть DevOps не только в инструментах, но и в грамотно выстроенных внутренних процессах и командных взаимодействиях 👫🔄
Общение с организаторами и спикерами конференций, а также анализ докладов подтверждают эту тенденцию.
По диаграмме видно, что Platform Engineering набирает обороты. Кроме того очень сильно развивается область машинного обучения: об этом свидетельствуют такие тренды, как AI/MLOps, Data Mesh, Data Observability 🤖🔍
Это говорит о постоянной проработке новых направлений, в то время как традиционный “general” DevOps уступает место более специализированным дисциплинам.
Также видно, что анализ инцидентов и разработка документации как кода становятся одиними из новых путей для улучшения процессов. Они не просто устраняют последствия, но и создают основу для предотвращения проблем в будущем. И если все также вернуться к исследованию от Dora, очевидно, что это сильный толчок в переходе на зеленый блок схемы.
А какие тренды DevOps заметили вы и как они влияют на вашу работу? 🤔💬
В мире DevOps наступает эра Platform Engineering — это не просто тренд, это эволюция методологии. DevOps-команды, превращаются в архитекторов платформ 👷♂️🏗, обеспечивая фундамент для своих разработчиков. Это направление получило широкое признание и стало темой обсуждения на многих конференциях, включая DevOps Enterprise Summit и DevOps Conf 🎤📈
Однако как упоминалось в предыдущих постах, прогресс не останавливается лишь на создании инструментов и платформ. Сейчас происходит также сдвиг фокуса с технических аспектов на процессы. Это еще раз подчеркивает, что суть DevOps не только в инструментах, но и в грамотно выстроенных внутренних процессах и командных взаимодействиях 👫🔄
Общение с организаторами и спикерами конференций, а также анализ докладов подтверждают эту тенденцию.
По диаграмме видно, что Platform Engineering набирает обороты. Кроме того очень сильно развивается область машинного обучения: об этом свидетельствуют такие тренды, как AI/MLOps, Data Mesh, Data Observability 🤖🔍
Это говорит о постоянной проработке новых направлений, в то время как традиционный “general” DevOps уступает место более специализированным дисциплинам.
Также видно, что анализ инцидентов и разработка документации как кода становятся одиними из новых путей для улучшения процессов. Они не просто устраняют последствия, но и создают основу для предотвращения проблем в будущем. И если все также вернуться к исследованию от Dora, очевидно, что это сильный толчок в переходе на зеленый блок схемы.
А какие тренды DevOps заметили вы и как они влияют на вашу работу? 🤔💬
❤5👍1🔥1🥰1