SRE-инженер или системный администратор: кто нужен вашей компании?
Компании все чаще ищут SRE-инженеров, и требования к ним похожи на те, что предъявляют к системным администраторам. В статье разбираемся, действительно ли SRE-инженер — отдельная профессия или это все тот же админ, но под новым названием.
Компании все чаще ищут SRE-инженеров, и требования к ним похожи на те, что предъявляют к системным администраторам. В статье разбираемся, действительно ли SRE-инженер — отдельная профессия или это все тот же админ, но под новым названием.
mcs.mail.ru
В чем разница между SRE-инженером и системным администратором: ищем отличия | Блог Mail.Ru Cloud Solutions
Расскажем, чем занимается SRE-инженер, что он должен уметь, чем отличается от системного администратора и что меняется в компании, когда в нее приходит SRE-инженер.
В промышленности и энергетике задействовано дорогое и сложное оборудование. Чтобы избежать его поломок и простоев, применяют методы предиктивной аналитики — предсказания различных событий. Примеры использования технологии — в карточках, еще больше кейсов — по ссылке.
В 2021 году компании сосредоточатся на cloud-native-приложениях
Компания Capgemini опубликовала прогнозы развития облачных технологий на 2021 год. Судя по ним, в этом году облака ждет еще большее развитие.
🌤 Компании поймут, что без облаков не обойтись. Зависимость от старых решений тормозит развитие компаний, в долгосрочной перспективе это дорого обойдется. В 2021 году еще больше компаний будут переходить в облака, потому что хотят идти в ногу со временем.
🤝 Вендоры будут больше сотрудничать. Для компаний все важнее становится независимость от конкретного поставщика. Они стараются выбирать независимые решения, потому что хотят быть уверены, что используемые технологии можно легко заменить. Поэтому многие поставщики будут сотрудничать и интегрировать свои решения друг с другом.
📦 Компании сосредоточатся на cloud-native-приложениях. Многие компании поняли, что cloud-native-приложения раскрывают все преимущества облаков, и стараются создавать как можно больше таких приложений.
💰 Компании будут серьезнее подходить к внедрению облачных технологий. В 2020 году многие компании переходили в облака, но не всегда могли соблюсти баланс между затратами и эффективностью. Но теперь, когда все немного успокоилось, компании будут применять более взвешенный подход к внедрению облаков. Они пересмотрят свои решения о том, какие технологии использовать и в каком объеме.
Подробнее
Компания Capgemini опубликовала прогнозы развития облачных технологий на 2021 год. Судя по ним, в этом году облака ждет еще большее развитие.
🌤 Компании поймут, что без облаков не обойтись. Зависимость от старых решений тормозит развитие компаний, в долгосрочной перспективе это дорого обойдется. В 2021 году еще больше компаний будут переходить в облака, потому что хотят идти в ногу со временем.
🤝 Вендоры будут больше сотрудничать. Для компаний все важнее становится независимость от конкретного поставщика. Они стараются выбирать независимые решения, потому что хотят быть уверены, что используемые технологии можно легко заменить. Поэтому многие поставщики будут сотрудничать и интегрировать свои решения друг с другом.
📦 Компании сосредоточатся на cloud-native-приложениях. Многие компании поняли, что cloud-native-приложения раскрывают все преимущества облаков, и стараются создавать как можно больше таких приложений.
💰 Компании будут серьезнее подходить к внедрению облачных технологий. В 2020 году многие компании переходили в облака, но не всегда могли соблюсти баланс между затратами и эффективностью. Но теперь, когда все немного успокоилось, компании будут применять более взвешенный подход к внедрению облаков. Они пересмотрят свои решения о том, какие технологии использовать и в каком объеме.
Подробнее
На удаленке сотрудники часто используют личные компьютеры — это усложняет установку софта, управление настройками и обеспечение информационной безопасности, в том числе защиту корпоративных данных. В карточках выше — три способа решить эту проблему, а все подробности — здесь.
ZFS: особенности и отличия от других файловых систем
Георгий Меликов, контрибьютор проектов OpenZFS и ZFS on Linux и разработчик IaaS в команде Mail.ru Cloud Solutions рассказал об особенностях ZFS. Вот основные моменты:
📁 ZFS — симбиоз файловой системы и менеджера томов, которая предоставляет инструменты для простого управления дисковым массивом. Плюсы ZFS в том, что он знает, что и где лежит, группирует это и дает некоторые другие фишки, в частности безопасное хранение данных.
📝Это copy-on-write файловая система, которая никогда не перезаписывает данные. Система всегда оперирует новым блоком, для обеспечения консистентности данных не нужен журнал, как в большинстве других файловых систем.
🏪 ZFS — локальное хранилище с большим спектром применения. Система подходит для домашнего использования, в NFS-хранилище, а также в качестве крупного хранилища.
Подробнее об особенностях и архитектуре ZFS
Георгий Меликов, контрибьютор проектов OpenZFS и ZFS on Linux и разработчик IaaS в команде Mail.ru Cloud Solutions рассказал об особенностях ZFS. Вот основные моменты:
📁 ZFS — симбиоз файловой системы и менеджера томов, которая предоставляет инструменты для простого управления дисковым массивом. Плюсы ZFS в том, что он знает, что и где лежит, группирует это и дает некоторые другие фишки, в частности безопасное хранение данных.
📝Это copy-on-write файловая система, которая никогда не перезаписывает данные. Система всегда оперирует новым блоком, для обеспечения консистентности данных не нужен журнал, как в большинстве других файловых систем.
🏪 ZFS — локальное хранилище с большим спектром применения. Система подходит для домашнего использования, в NFS-хранилище, а также в качестве крупного хранилища.
Подробнее об особенностях и архитектуре ZFS
RabbitMQ vs Apache Kafka: что выбрать для проекта?
В системе с объемными вычислительными задачами и потоками событий необходимо наладить коммуникацию между ее компонентами. Чаще всего для этого используют одно из двух решений: RabbitMQ или Apache Kafka — почитайте, чем они отличаются.
В системе с объемными вычислительными задачами и потоками событий необходимо наладить коммуникацию между ее компонентами. Чаще всего для этого используют одно из двух решений: RabbitMQ или Apache Kafka — почитайте, чем они отличаются.
mcs.mail.ru
RabbitMQ или Apache Kafka: в чем отличие и что выбрать для проекта | Блог VK Cloud Solutions
RabbitMQ и Apache Kafka — популярные решения для организации распределенной архитектуры. Разбираемся, чем они отличаются и как выбрать подходящее решение.
Запись выступления «Базы данных в современной IIoT-платформе»
Как известно, универсальной базы данных не существует. Особенно когда нужно построить платформу интернета вещей, способную обрабатывать миллионы событий от датчиков в режиме near real-time.
На @Databases Meetup Андрей Сергеев, руководитель группы разработки IoT-решений в Mail.ru Cloud Solutions, рассказал, как выбирали СУБД для Mail.ru IoT Platform: с чего все начиналось, с какими проблемами столкнулись, как их решали и что в итоге получилось. Посмотрите запись его выступления.
Как известно, универсальной базы данных не существует. Особенно когда нужно построить платформу интернета вещей, способную обрабатывать миллионы событий от датчиков в режиме near real-time.
На @Databases Meetup Андрей Сергеев, руководитель группы разработки IoT-решений в Mail.ru Cloud Solutions, рассказал, как выбирали СУБД для Mail.ru IoT Platform: с чего все начиналось, с какими проблемами столкнулись, как их решали и что в итоге получилось. Посмотрите запись его выступления.
Ученые использовали дронов для создания мобильной квантовой сети
Возможно, это начало создания квантового интернета.
🔥 Квантовая сеть — быстрый и защищенный способ передачи информации. Состояние одного запутанного фотона мгновенно передается другому, что позволяет быстро передавать данные. А прослушать такую связь незаметно нельзя: при любом вмешательстве остаются заметные следы.
😱 Основная сложность при построении квантовых сетей — передать фотоны на большое расстояние, так как из-за помех они рассеиваются, не достигнув точки назначения. Есть попытки создания оптоволоконных квантовых сетей, но самый лучший источник передачи лучей — атмосфера.
🤖 Как ученые попытались решить проблему. С помощью дронов. Задача состояла в том, чтобы установить квантовую связь между двумя наземными станциями. Один из дронов генерировал запутанные пары фотонов. Первый фотон он отправлял на станцию, а второй — дрону-ретранслятору, который перенаправлял его на вторую наземную станцию. В результате между станциями удалось установить квантовую связь.
Наземные станции находились на расстоянии километра друг от друга. Это немного, но ученые уверены, что это лишь начало — и в будущем квантовую связь можно будет наладить между сильно удаленными объектами.
Источник на английском
Возможно, это начало создания квантового интернета.
🔥 Квантовая сеть — быстрый и защищенный способ передачи информации. Состояние одного запутанного фотона мгновенно передается другому, что позволяет быстро передавать данные. А прослушать такую связь незаметно нельзя: при любом вмешательстве остаются заметные следы.
😱 Основная сложность при построении квантовых сетей — передать фотоны на большое расстояние, так как из-за помех они рассеиваются, не достигнув точки назначения. Есть попытки создания оптоволоконных квантовых сетей, но самый лучший источник передачи лучей — атмосфера.
🤖 Как ученые попытались решить проблему. С помощью дронов. Задача состояла в том, чтобы установить квантовую связь между двумя наземными станциями. Один из дронов генерировал запутанные пары фотонов. Первый фотон он отправлял на станцию, а второй — дрону-ретранслятору, который перенаправлял его на вторую наземную станцию. В результате между станциями удалось установить квантовую связь.
Наземные станции находились на расстоянии километра друг от друга. Это немного, но ученые уверены, что это лишь начало — и в будущем квантовую связь можно будет наладить между сильно удаленными объектами.
Источник на английском
Исследователи из Стэнфорда разработали виртуальную систему, которая ускоряет ИИ в 7 раз
Возможно, система выйдет в массовое производство через 3-5 лет и улучшит работу искусственного интеллекта.
⚛️ ИИ-ускоритель — специальное устройство, которое ускоряет работу нейронных сетей, алгоритмов машинного обучения и других задач искусственного интеллекта. Такие устройства ориентированы на арифметические операции с низкой точностью и вычисления в памяти, что повышает производительность сложных ИИ-алгоритмов.
⚛️ Основные задержки при работе с нейронными сетями возникают при передаче данных из основной памяти в микросхему процессора. Новый чип построен на резистивной памяти с произвольным доступом (RRAM), которая обладает высокой скоростью работы.
⚛️ Но даже этого недостаточно, потому что нейронные сети становятся крупнее, и им нужно больше памяти. Поэтому ученые объединили несколько чипов и разработали систему, которая создает иллюзию одного процессора с большим объемом памяти (отсюда и название Illusion). Такой способ позволяет расширять систему по мере роста нейронных сетей.
⚛️ Сейчас реальный прототип состоит из 8 объединенных чипов. Но при помощи моделирования удалось выяснить, что если построить систему из 64 чипов, то ИИ-приложения будут работать в 7 раз быстрее и потреблять в 7 раз меньше энергии, чем в современных процессорах.
Источник на английском
Возможно, система выйдет в массовое производство через 3-5 лет и улучшит работу искусственного интеллекта.
⚛️ ИИ-ускоритель — специальное устройство, которое ускоряет работу нейронных сетей, алгоритмов машинного обучения и других задач искусственного интеллекта. Такие устройства ориентированы на арифметические операции с низкой точностью и вычисления в памяти, что повышает производительность сложных ИИ-алгоритмов.
⚛️ Основные задержки при работе с нейронными сетями возникают при передаче данных из основной памяти в микросхему процессора. Новый чип построен на резистивной памяти с произвольным доступом (RRAM), которая обладает высокой скоростью работы.
⚛️ Но даже этого недостаточно, потому что нейронные сети становятся крупнее, и им нужно больше памяти. Поэтому ученые объединили несколько чипов и разработали систему, которая создает иллюзию одного процессора с большим объемом памяти (отсюда и название Illusion). Такой способ позволяет расширять систему по мере роста нейронных сетей.
⚛️ Сейчас реальный прототип состоит из 8 объединенных чипов. Но при помощи моделирования удалось выяснить, что если построить систему из 64 чипов, то ИИ-приложения будут работать в 7 раз быстрее и потреблять в 7 раз меньше энергии, чем в современных процессорах.
Источник на английском
Запись вебинара «Docker Swarm vs K8s. Уйти нельзя остаться. Когда, кому и зачем переходить на Kubernetes со Swarm»
Есть мнение, что Kubernetes сложен в управлении и мало доступен обычным людям, а выгоды от него не всегда очевидны. Docker Swarm проще, но в нем не хватает многих полезных фич: например, авторизации в кластере и встроенных балансеров.
Уйти или остаться? Павел Селиванов, ведущий DevOps-инженер Mail.ru Cloud Solutions провел вебинар, где рассмотрел оба решения с точки зрения их функциональности и ограничений. И рассказал, когда лучше перейти на K8s, а когда — остаться на Swarm. Посмотрите запись вебинара.
Есть мнение, что Kubernetes сложен в управлении и мало доступен обычным людям, а выгоды от него не всегда очевидны. Docker Swarm проще, но в нем не хватает многих полезных фич: например, авторизации в кластере и встроенных балансеров.
Уйти или остаться? Павел Селиванов, ведущий DevOps-инженер Mail.ru Cloud Solutions провел вебинар, где рассмотрел оба решения с точки зрения их функциональности и ограничений. И рассказал, когда лучше перейти на K8s, а когда — остаться на Swarm. Посмотрите запись вебинара.
В 2021 году востребованность DevOps-инженеров вырастет
Компания CodinGame опубликовала результаты опроса о трудоустройстве и работе IT-специалистов. Рассказываем самое интересное.
🤔 Сложнее всего будет нанимать DevOps-инженеров. Спрос на них резко вырос в 2020 году, так как компании стали массово переводить инфраструктуру в облака. Поэтому 43% HR-специалистов уверены, что в 2021 году им будет трудно найти хороших DevOps-инженеров. На втором и третьем месте по востребованности бэкэнд- и фулл-стек-разработчики.
🗣 В 2020 году половина разработчиков собеседовались удаленно. Однако это понравилось лишь 15% разработчиков и 25% кадровиков, а большая часть предпочитает личное общение.
🎓 Почти в 80% случаев разработчиков нанимают без высшего IT-образования. 55% кадровиков сказали, что периодически нанимают разработчиков без IT-диплома, а 24% делают это регулярно. Сейчас для успешного трудоустройства важнее не формальное образование, а реальный опыт и навыки кандидата.
🏠 Разработчики предпочитают комбинировать работу в офисе и дома. 43% разработчиков хотят работать в офисе несколько дней в неделю, а остальные дни — удаленно. 24% предпочитают работать полностью удаленно, и лишь 5% — полностью в офисе.
Источник на английском
Компания CodinGame опубликовала результаты опроса о трудоустройстве и работе IT-специалистов. Рассказываем самое интересное.
🤔 Сложнее всего будет нанимать DevOps-инженеров. Спрос на них резко вырос в 2020 году, так как компании стали массово переводить инфраструктуру в облака. Поэтому 43% HR-специалистов уверены, что в 2021 году им будет трудно найти хороших DevOps-инженеров. На втором и третьем месте по востребованности бэкэнд- и фулл-стек-разработчики.
🗣 В 2020 году половина разработчиков собеседовались удаленно. Однако это понравилось лишь 15% разработчиков и 25% кадровиков, а большая часть предпочитает личное общение.
🎓 Почти в 80% случаев разработчиков нанимают без высшего IT-образования. 55% кадровиков сказали, что периодически нанимают разработчиков без IT-диплома, а 24% делают это регулярно. Сейчас для успешного трудоустройства важнее не формальное образование, а реальный опыт и навыки кандидата.
🏠 Разработчики предпочитают комбинировать работу в офисе и дома. 43% разработчиков хотят работать в офисе несколько дней в неделю, а остальные дни — удаленно. 24% предпочитают работать полностью удаленно, и лишь 5% — полностью в офисе.
Источник на английском
Mail.ru Cloud Solutions поможет российским компаниям выйти на европейский рынок
Облачная платформа Mail.ru Cloud Solutions запускает дата-центр в Амстердаме и начинает предоставлять облачные услуги на территории Европы. Вот что это значит для клиентов:
👨👩👦 Компании смогут хранить личные данные граждан ЕС, работая в привычном интерфейсе. По GDPR, европейскому закону о защите персональных данных, личные данные граждан Евросоюза можно хранить только на серверах, находящихся на территории ЕС. Mail.ru Cloud Solutions предоставляет клиентам такую возможность, но в привычном интерфейсе российского облака.
⛅️ Адаптировать решения для работы в ЕС не потребуется — российское и европейское облако MCS связаны между собой. При этом компании смогут меньше тратить на обслуживание инфраструктуры за рубежом и общаться с техподдержкой на русском языке.
📈 В европейском облаке будут доступны все сервисы Mail.ru Cloud Solutions. Компании, которые уже работают в странах ЕС, смогут перенести свои европейские проекты в облако MCS. А бизнес, который планирует выход на международный рынок, — быстро запускать сервисы и приложения для европейских пользователей.
Подробнее
Облачная платформа Mail.ru Cloud Solutions запускает дата-центр в Амстердаме и начинает предоставлять облачные услуги на территории Европы. Вот что это значит для клиентов:
👨👩👦 Компании смогут хранить личные данные граждан ЕС, работая в привычном интерфейсе. По GDPR, европейскому закону о защите персональных данных, личные данные граждан Евросоюза можно хранить только на серверах, находящихся на территории ЕС. Mail.ru Cloud Solutions предоставляет клиентам такую возможность, но в привычном интерфейсе российского облака.
⛅️ Адаптировать решения для работы в ЕС не потребуется — российское и европейское облако MCS связаны между собой. При этом компании смогут меньше тратить на обслуживание инфраструктуры за рубежом и общаться с техподдержкой на русском языке.
📈 В европейском облаке будут доступны все сервисы Mail.ru Cloud Solutions. Компании, которые уже работают в странах ЕС, смогут перенести свои европейские проекты в облако MCS. А бизнес, который планирует выход на международный рынок, — быстро запускать сервисы и приложения для европейских пользователей.
Подробнее
5 инструментов для мониторинга кластера Kubernetes
✅ Kubebox — терминальная консоль для кластера Kubernetes. Позволяет управлять кластером и отслеживать его статус через старый добрый интерфейс. Еще в нем можно легко перейти к нужному пространству имен и выполнить команду в нужном контейнере, чтобы быстро устранить неполадки или восстановить работу.
✅ Kubedash предоставляет UI для анализа производительности. Агрегирует и обобщает метрики из различных источников, показывает администраторам высокоуровневые аналитические данные. Kubedash использует в качестве источника данных Heapster, который запускается как сервис по умолчанию на всех кластерах Kubernetes и собирает показатели и аналитику в каждом контейнере.
✅ Prometheus — опенсорсный инструмент для мониторинга и уведомлений. Позволяет создавать собственные метрики и содержит готовые интеграции с разными технологиями: PostgreSQL, MySQL, Kubernetes и другими. Де факто Prometheus сегодня — стандарт мониторинга для Kubernetes.
✅ Kubetail — небольшой bash-скрипт для агрегирования журналов многих подов в один поток. Исходная версия Kubetail не умеет фильтровать или выделять, но на Github есть отдельный форк, который умеет раскрашивает логи с помощью MultiTail.
✅ Kubernetes Operational View (Kube-ops-view) — read-only системная панель, которая может работать со многими кластерами Kubernetes. С ее помощью вы можете легко перемещаться между кластерами, отслеживать ноды и состояние подов. В качестве источника данных инструмент использует Heapster.
Ещё больше инструментов для развертывания, мониторинга, безопасности, CI/CD в Kubernetes — в статье.
✅ Kubebox — терминальная консоль для кластера Kubernetes. Позволяет управлять кластером и отслеживать его статус через старый добрый интерфейс. Еще в нем можно легко перейти к нужному пространству имен и выполнить команду в нужном контейнере, чтобы быстро устранить неполадки или восстановить работу.
✅ Kubedash предоставляет UI для анализа производительности. Агрегирует и обобщает метрики из различных источников, показывает администраторам высокоуровневые аналитические данные. Kubedash использует в качестве источника данных Heapster, который запускается как сервис по умолчанию на всех кластерах Kubernetes и собирает показатели и аналитику в каждом контейнере.
✅ Prometheus — опенсорсный инструмент для мониторинга и уведомлений. Позволяет создавать собственные метрики и содержит готовые интеграции с разными технологиями: PostgreSQL, MySQL, Kubernetes и другими. Де факто Prometheus сегодня — стандарт мониторинга для Kubernetes.
✅ Kubetail — небольшой bash-скрипт для агрегирования журналов многих подов в один поток. Исходная версия Kubetail не умеет фильтровать или выделять, но на Github есть отдельный форк, который умеет раскрашивает логи с помощью MultiTail.
✅ Kubernetes Operational View (Kube-ops-view) — read-only системная панель, которая может работать со многими кластерами Kubernetes. С ее помощью вы можете легко перемещаться между кластерами, отслеживать ноды и состояние подов. В качестве источника данных инструмент использует Heapster.
Ещё больше инструментов для развертывания, мониторинга, безопасности, CI/CD в Kubernetes — в статье.
Популярность Kubernetes растет, несмотря на трудности
Компания D2iQ опубликовала результаты опроса компаний об их опыте использования Kubernetes.
🤩 Kubernetes все популярнее и популярнее. 94% компаний сталкиваются со сложностями работы с Kubernetes: проблемы безопасности, эффективное масштабирование и нехватка ресурсов. При этом сложность технологии не мешает росту ее популярности: в ближайшие 2 года количество проектов в Kubernetes вырастет на 61%. Вероятно, компании будут использовать облачные Managed-решения для избавления от части проблем.
😫 Основные проблемы с Kubernetes возникают на этапе разработки, так считают 47% компаний. Это может выливаться во многие часы переработок, сжатые сроки и напряжение внутри команды. Один из способов избежать таких сложностей — повышать квалификацию команд.
📚 Навыки Kubernetes востребованы. Практически все компании (98%) уже обучают или планируют обучать сотрудников работе с Kubernetes в ближайшее время. Большинство инженеров поддерживают эту идею, потому что навыки Kubernetes повышают их востребованность как специалистов и помогают карьерному росту.
Подробнее
Компания D2iQ опубликовала результаты опроса компаний об их опыте использования Kubernetes.
🤩 Kubernetes все популярнее и популярнее. 94% компаний сталкиваются со сложностями работы с Kubernetes: проблемы безопасности, эффективное масштабирование и нехватка ресурсов. При этом сложность технологии не мешает росту ее популярности: в ближайшие 2 года количество проектов в Kubernetes вырастет на 61%. Вероятно, компании будут использовать облачные Managed-решения для избавления от части проблем.
😫 Основные проблемы с Kubernetes возникают на этапе разработки, так считают 47% компаний. Это может выливаться во многие часы переработок, сжатые сроки и напряжение внутри команды. Один из способов избежать таких сложностей — повышать квалификацию команд.
📚 Навыки Kubernetes востребованы. Практически все компании (98%) уже обучают или планируют обучать сотрудников работе с Kubernetes в ближайшее время. Большинство инженеров поддерживают эту идею, потому что навыки Kubernetes повышают их востребованность как специалистов и помогают карьерному росту.
Подробнее
