MLflow в облаке: простой способ быстро вывести ML модели в продакшен

MLflow — один из самых стабильных и легких инструментов для управления жизненным циклом моделей машинного обучения. Он работает практически с любой библиотекой машинного обучения.

Если хотите изучить MLflow, посмотрите вебинар Александра Волынского, PaaS-архитектора платформы Mail.ru Cloud Solutions. В видео разбираем, как установить и настроить MLflow в близком к production варианте, а также показываем, как использовать облачные сервисы в качестве backend-сервисов MLflow.

👉 Посмотреть вебинар в записи

Как развернуть приложение на Apache Spark в Kubernetes

Написали подробный гайд о том, как быстро развернуть Spark внутри Kubernetes и запустить в нем свое приложение. Почитайте, если хотите разобраться с этой непростой технологией.

Быстрые и сверхбыстрые диски в облаке

При переносе высоконагруженных систем в облако важно выбрать правильный тип дисков. В статье рассказываем о быстрых дисках High IOPS SSD и сверхбыстрых — Low Latency NVMe, они обеспечивают максимальную пропускную способность и минимизируют время задержки.

Основы Kubernetes: введение в технологию и базовая архитектура

Kubernetes помогает упростить управление множеством контейнеров, ускорить разработку контейнеризованных приложений и выкатку обновлений. В статье рассказываем об основах этой популярной технологии и разберемся, как она работает.

Деплоим проект на Kubernetes в Mail.ru Cloud Solutions

Василий Озеров, основатель агентства Fevlake с 8-летним опытом в DevOps, в серии статей рассказывает о развертывании кластера Kubernetes в облаке Mail.ru Cloud Solutions. В первой части — выбор архитектуры приложения, написание API-сервера, запуск Kubernetes и развертывание RabbitMQ через Helm.

​​92% компаний придерживаются мультиоблачной стратегии

Компания Flexera опубликовала результаты отчета о состоянии облачных технологий. Вот самые интересные результаты.

💯 Облаком пользуются почти все. 99% опрошенных используют хотя бы одно публичное или частное облако. Преобладает мультиоблачная стратегия: 92% компаний используют несколько облаков, при этом 82% используют гибридное облако — комбинацию частного и публичного.

⛅️ Растет доверие к публичным облакам. У 50% опрошенных рабочие нагрузки перенесены в публичное облако, а через год ожидается увеличение до 57%. Свои данные в публичном облаке хранят 46% компаний, а через год ожидается 54%.

👉 Компании выбирают централизованный подход к облаку. У 75% компаний есть отдельная команда, которая занимается только облаками. Основная цель таких команд — управлять облаком, ускорить его внедрение, снижать затраты и риски.

❌ Главная проблема миграции — зависимости приложений, так считают 51% опрошенных. Для 48% проблемой стала техническая осуществимость, то есть невозможность миграции локальных приложений.

Источник на английском

​​Из-за пандемии SRE-практики стали популярнее

В Transposit опубликовали отчет о состоянии автоматизации в DevOps. Вот что выяснилось.

😱 На удаленке сложнее устранять инциденты. Из-за удаленной работы, вызванной пандемией, в 90,4% компаний увеличилось количество инцидентов при обслуживании ПО. Причем на удаленке их устранять сложнее: невозможность пообщаться лично назвали главным препятствием 46,1% опрошенных.

⚒ SRE становится мейнстримом. Чтобы решить проблему, в 98% компаний за последний год расширили SRE-практики, в 62,4% продолжат это делать в 2021 году.

🧑‍ Компании будут нанимать SRE-инженеров. По всей видимости, в 2021 году эта специальность станет более востребованной. Вероятно, SRE-инженерам поручат автоматизацию ручных процессов, ее отсутствие — основная причина медленной реакции на инциденты.

💻 В 40% компаний уже есть сотрудники, ответственные за автоматизацию. Они отвечают за автоматизацию инфраструктуры, записи MTTR-метрик, корпоративных коммуникаций и процессов общения с клиентами. Чаще всего у них возникают сложности из-за отсутствия документации.

Источник на английском

​​Получите 5 000 рублей на рекламное продвижение своего бизнеса во ВКонтакте

Начните продвигать свой бизнес во ВКонтакте прямо сейчас: купон 5 000 рублей действует на размещение первой рекламной кампании.

Как получить купон: До 20 апреля 2021 года напишите в сообщения сообщества ВКонтакте для бизнеса (необходимо авторизоваться во ВКонтакте) кодовое слово MAIL.RUВЕСНА и заберите свой купон.

Купон удваивает ваш платеж: он активируется при пополнении счета рекламного кабинета на сумму 5 000 рублей.

Реклама ВКонтакте — это более 70 различных настроек таргетинга для поиска клиентов даже на конкретной улице. Показывайте рекламу тем, чьи интересы связаны с вашими товарами или услугами, кто бывает рядом с вашим офисом или уже существующим клиентам!

В сообществе «ВКонтакте для бизнеса» вы узнаете, как успешно продвигать бизнес во ВКонтакте, даже если вы никогда этого не делали, и получите ответы на все вопросы.

Вести бизнес онлайн проще, чем кажется!

👉 Не забудьте забрать свой купон в сообщениях сообщества ВКонтакте для бизнеса.

​​Приглашаем на конференцию «BigDataUniverse #1» от Arenadata

15 апреля Mail․ru Cloud Solutions примет участие в клиентской онлайн-конференции партнера Arenadata «BigDataUniverse #1».

На мероприятии спикеры компаний ВТБ, АО «Банк ЦентрКредит» (Казахстан), X5 RetailGroup, Mail.ru Cloud Solutions, Accenture, «Диасофт», DIS Group и Arenadata поделятся своим видением о том, как выглядит сегодня рынок BigData, что им движет и на каких принципах строятся актуальные подходы к построению современной IT-инфраструктуры. Будет много кейсов из практики.

Arenadata расскажет о планах развития своей платформы и поделится опытом, как работать с устаревшими хранилищами данных.

От Mail․ru Cloud Solutions выступит Дмитрий Лазаренко, директор по продукту.

Время проведения мероприятия: четверг, 15 апреля, с 10:00 до 15:00.
Формат: онлайн
Подробная программа и регистрация по ссылке: clc.to/pfOPVA

Приглашаем принять участие. Будет очень интересно!

​​Бесплатный вебинар «Все для быстрого старта проекта на Managed-базах данных» от Mail․ru Cloud Solutions

Часто уже на самом старте проекта важно определиться с типом СУБД и учесть нюансы архитектуры решения. Для отдельных компаний важно, чтобы данные оставались неизменными и воспроизводились в первозданном виде, для других проектов нужны БД, которые помогут справиться с периодом пиковых нагрузок.

На вебинаре вас ждет вводный курс по Managed СУБД: мы сформируем базовые представления о работе с облачными базами данных и обсудим, как выбрать инструмент в зависимости от особенностей IT-инфраструктуры и специфики задач.

Мероприятие пройдет во вторник, 27 апреля, онлайн.
Начало в 17:00 по Москве.

👉 Регистрируйтесь

​​Как использовать Kafka: четыре способа

Apache Kafka — распределенный отказоустойчивый брокер сообщений. Вот четыре основных сценария его использования.

✅ Для связи микросервисов. С помощью Kafka микросервисы или отдельные части системы могут общаться: один сервис отправляет сообщение в очередь, другие подписываются на них. Например, после оплаты заказа, сервис отправляет сообщение в очередь. Другие сервисы его получают выполняют нужные действия: отправляют email, обновляют статус заказа или создают заявку для сбора товара на складе.

✅ Организация потока данных. Kafka пригодится, если нужно обрабатывать потоковые данные: их передают по цепочке и обрабатывают на каждом этапе. Такой сценарий можно реализовать благодаря грамотной организации роутинга сообщений в Kafka.

✅ Агрегация записей. В Apache Kafka можно писать данные намного быстрее, чем в обычную базу данных. Это позволяет организовать сбор разных метрик, рассчитывать от них какие-либо значения, например средние или максимальные, и уже эти значения сохранять в базу данных.

✅ Сбор логов. В Apache Kafka можно хранить сообщения в течение определенного времени. Это позволяет построить систему для кратковременного хранения логов, которая разгружает базу данных и медленные системы логирования.

Подробнее

Деплоим проект на Kubernetes в Mail.ru Cloud Solutions

Продолжаем рассказывать о том, как развернуть кластер Kubernetes в Mail.ru Cloud Solutions. Во второй части — все этапы разработки Cloud-Native приложений на K8s: от запуска кластера до построения CI/CD и разработки собственного Helm-чарта.

​​Для успешного внедрения AI/ML компаниям не хватает внутренних ресурсов

Компания Rackspace опубликовала результаты исследования состояния AI/ML-проектов в компаниях.

🤖 Только 17% компаний полноценно используют AI/ML, и они уже могут масштабировать свои решения. 51% компаний только изучают новую для себя тему и пробуют что-то внедрять, а 31% переходят от пилотного проекта к продуктивной эксплуатации.

😬 Компаниям часто не хватает данных и внутренних ресурсов. Основные проблемы, которые мешают внедрять AI/ML-проекты: недостаточное качество или отсутствие данных, недостаток опыта в компаниях или плохо продуманная стратегия.

💸 Основной показатель эффективности — деньги. Для большинства компаний основным критерием при оценке эффективности внедрения AI/ML являются деньги. 52% компаний оценивают рост прибыли, а 51% — рост выручки. Есть и другие критерии вроде улучшения качества процессов, но их сложнее оценить количественно.

⚒ Более половины компаний сотрудничают с провайдерами AI/ML. 41% компаний полностью полагаются на партнеров, 38% — только на свои силы, а 21% комбинируют свои силы и стороннюю помощь.

💻 AI/ML в первую очередь внедряют в IT. 43% компаний в первую очередь внедряют AI/ML в IT-деятельность, 33% — в операционную деятельность. Также такие технологии применяют в сферах, связанных с обслуживанием клиентов, финансами и маркетингом.

Подробнее

Деплоим проект на Kubernetes в Mail.ru Cloud Solutions

Василий Озеров, DevOps-инженер с 8-летним опытом, продолжает рассказывать о развертывании кластера Kubernetes в облаке Mail.ru Cloud Solutions. В третьей части — настройка мониторинга, построение CI/CD и разработка Helm-чарта. В статье есть ссылки на предыдущие выпуски.

​​Как изменился наем IT-специалистов

В CodinGame опросили 15 000 разработчиков и HR-менеджеров, чтобы узнать, как за последний год изменился наем на IT-позиции. Вот что выяснилось:

✅ Конкуренция за IT-специалистов стала жестче. Рекрутерам все сложнее найти квалифицированного кандидата быстрее конкурентов, согласовать его ожидания с требованиями руководства, а главное, сделать все это максимально быстро.

✅ Разработчики тщательно выбирают место работы. Они смотрят на профессиональные вызовы, возможность соблюсти баланс между отдыхом и работой, а также на конкурентную зарплату. При этом только 6,9% рекрутеров понимают, что баланс между работой и отдыхом — решающий фактор при принятии решения.

✅ Высок спрос на DevOps-инженеров, бэкенд- и Full Stack-разработчиков. Так, сложности с поиском DevOps-инженеров предвидят 43,3% HR-специалистов, с поиском бэкенд- и Full Stack-разработчиков — 41%. Еще в дефиците архитекторы, разработчики ПО, специалисты по работе с данными и машинному обучению.

Подробнее

​​Очереди сообщений: где их используют

Очереди сообщений позволяют обрабатывать запросы асинхронно, решая проблему обработки больших объемов данных. Вот где чаще всего их применяют.

✅ Асинхронная обработка задач. Задания по обработке данных приходят на один сервер очереди сообщений, а непосредственная работа происходит на других серверах. Это позволяет распределить нагрузку по обработке больших объемов данных между серверами.

✅ Коммуникации между микросервисами. Серверы очередей — легкий и дешевый способ наладить взаимодействие между отдельными частями системы и построить распределенную систему с минимумом усилий.

✅ Событийно-ориентированные системы. Службы очередей сообщений наследуют многие концепции из систем обработки событий. Например, в финансовых системах после каждой банковской операции возникает событие, которое попадает в очередь сообщений и обрабатывается разными сервисами.

Подробнее

​​48% работодателей предлагают разработчикам полностью удаленный режим

В CodinGame представили отчет о том, как за последний год изменился найм разработчиков и других IT-специалистов. Вот что стало известно:

🏠 Большинство программистов предпочитают удаленку. Только 5% разработчиков хотят все время приходить в офис, а 43,2% предпочитают работать удаленно хотя бы несколько дней в неделю.

🙎‍♂️ Работодатели смирились с удаленкой. Если в 2020 году только 4% компаний предлагали программистам полностью удаленный режим, то в 2021 году их уже 48%.
В большинстве компаний (52,9%) разработчикам разрешают работать из дома пару дней в неделю, а категорически против удаленки только 5,8%.

📑 Документооборот и адаптация новых сотрудников тоже перешли в онлайн. 51,6% опрошенных, которые недавно сменили работу, рассказали, что процесс оформления полностью или частично проходил удаленно. С очным трудоустройством за последние восемь месяцев сталкивались только 6%.

Подробнее