​​Как использовать Kafka: четыре способа

Apache Kafka — распределенный отказоустойчивый брокер сообщений. Вот четыре основных сценария его использования.

✅ Для связи микросервисов. С помощью Kafka микросервисы или отдельные части системы могут общаться: один сервис отправляет сообщение в очередь, другие подписываются на них. Например, после оплаты заказа, сервис отправляет сообщение в очередь. Другие сервисы его получают выполняют нужные действия: отправляют email, обновляют статус заказа или создают заявку для сбора товара на складе.

✅ Организация потока данных. Kafka пригодится, если нужно обрабатывать потоковые данные: их передают по цепочке и обрабатывают на каждом этапе. Такой сценарий можно реализовать благодаря грамотной организации роутинга сообщений в Kafka.

✅ Агрегация записей. В Apache Kafka можно писать данные намного быстрее, чем в обычную базу данных. Это позволяет организовать сбор разных метрик, рассчитывать от них какие-либо значения, например средние или максимальные, и уже эти значения сохранять в базу данных.

✅ Сбор логов. В Apache Kafka можно хранить сообщения в течение определенного времени. Это позволяет построить систему для кратковременного хранения логов, которая разгружает базу данных и медленные системы логирования.

Подробнее

Деплоим проект на Kubernetes в Mail.ru Cloud Solutions

Продолжаем рассказывать о том, как развернуть кластер Kubernetes в Mail.ru Cloud Solutions. Во второй части — все этапы разработки Cloud-Native приложений на K8s: от запуска кластера до построения CI/CD и разработки собственного Helm-чарта.

​​Для успешного внедрения AI/ML компаниям не хватает внутренних ресурсов

Компания Rackspace опубликовала результаты исследования состояния AI/ML-проектов в компаниях.

🤖 Только 17% компаний полноценно используют AI/ML, и они уже могут масштабировать свои решения. 51% компаний только изучают новую для себя тему и пробуют что-то внедрять, а 31% переходят от пилотного проекта к продуктивной эксплуатации.

😬 Компаниям часто не хватает данных и внутренних ресурсов. Основные проблемы, которые мешают внедрять AI/ML-проекты: недостаточное качество или отсутствие данных, недостаток опыта в компаниях или плохо продуманная стратегия.

💸 Основной показатель эффективности — деньги. Для большинства компаний основным критерием при оценке эффективности внедрения AI/ML являются деньги. 52% компаний оценивают рост прибыли, а 51% — рост выручки. Есть и другие критерии вроде улучшения качества процессов, но их сложнее оценить количественно.

⚒ Более половины компаний сотрудничают с провайдерами AI/ML. 41% компаний полностью полагаются на партнеров, 38% — только на свои силы, а 21% комбинируют свои силы и стороннюю помощь.

💻 AI/ML в первую очередь внедряют в IT. 43% компаний в первую очередь внедряют AI/ML в IT-деятельность, 33% — в операционную деятельность. Также такие технологии применяют в сферах, связанных с обслуживанием клиентов, финансами и маркетингом.

Подробнее

Деплоим проект на Kubernetes в Mail.ru Cloud Solutions

Василий Озеров, DevOps-инженер с 8-летним опытом, продолжает рассказывать о развертывании кластера Kubernetes в облаке Mail.ru Cloud Solutions. В третьей части — настройка мониторинга, построение CI/CD и разработка Helm-чарта. В статье есть ссылки на предыдущие выпуски.

​​Как изменился наем IT-специалистов

В CodinGame опросили 15 000 разработчиков и HR-менеджеров, чтобы узнать, как за последний год изменился наем на IT-позиции. Вот что выяснилось:

✅ Конкуренция за IT-специалистов стала жестче. Рекрутерам все сложнее найти квалифицированного кандидата быстрее конкурентов, согласовать его ожидания с требованиями руководства, а главное, сделать все это максимально быстро.

✅ Разработчики тщательно выбирают место работы. Они смотрят на профессиональные вызовы, возможность соблюсти баланс между отдыхом и работой, а также на конкурентную зарплату. При этом только 6,9% рекрутеров понимают, что баланс между работой и отдыхом — решающий фактор при принятии решения.

✅ Высок спрос на DevOps-инженеров, бэкенд- и Full Stack-разработчиков. Так, сложности с поиском DevOps-инженеров предвидят 43,3% HR-специалистов, с поиском бэкенд- и Full Stack-разработчиков — 41%. Еще в дефиците архитекторы, разработчики ПО, специалисты по работе с данными и машинному обучению.

Подробнее

​​Очереди сообщений: где их используют

Очереди сообщений позволяют обрабатывать запросы асинхронно, решая проблему обработки больших объемов данных. Вот где чаще всего их применяют.

✅ Асинхронная обработка задач. Задания по обработке данных приходят на один сервер очереди сообщений, а непосредственная работа происходит на других серверах. Это позволяет распределить нагрузку по обработке больших объемов данных между серверами.

✅ Коммуникации между микросервисами. Серверы очередей — легкий и дешевый способ наладить взаимодействие между отдельными частями системы и построить распределенную систему с минимумом усилий.

✅ Событийно-ориентированные системы. Службы очередей сообщений наследуют многие концепции из систем обработки событий. Например, в финансовых системах после каждой банковской операции возникает событие, которое попадает в очередь сообщений и обрабатывается разными сервисами.

Подробнее

​​48% работодателей предлагают разработчикам полностью удаленный режим

В CodinGame представили отчет о том, как за последний год изменился найм разработчиков и других IT-специалистов. Вот что стало известно:

🏠 Большинство программистов предпочитают удаленку. Только 5% разработчиков хотят все время приходить в офис, а 43,2% предпочитают работать удаленно хотя бы несколько дней в неделю.

🙎‍♂️ Работодатели смирились с удаленкой. Если в 2020 году только 4% компаний предлагали программистам полностью удаленный режим, то в 2021 году их уже 48%.
В большинстве компаний (52,9%) разработчикам разрешают работать из дома пару дней в неделю, а категорически против удаленки только 5,8%.

📑 Документооборот и адаптация новых сотрудников тоже перешли в онлайн. 51,6% опрошенных, которые недавно сменили работу, рассказали, что процесс оформления полностью или частично проходил удаленно. С очным трудоустройством за последние восемь месяцев сталкивались только 6%.

Подробнее

Apache Spark 3.1: Spark on Kubernetes теперь общедоступен

С выходом Apache Spark 3.1 в марте 2021-го проект Spark on Kubernetes официально перешел в статус общедоступного и готового к эксплуатации. В статье — самое важное об основных возможностях Spark 3.1.

​​Бесплатный вебинар «Как запустить проект в Kubernetes за 60 минут» от Mail․ru Cloud Solutions

Kubernetes — сложная для внедрения технология, если запускать ее самостоятельно, преодолевая все подводные камни и неочевидные препятствия. Мы хотим упростить этот путь.

На вебинаре 29 апреля покажем, как быстро задеплоить проект в Kubernetes за 60 минут, как справиться со всеми сложностями и настроить автоматизированный конвейер разработки приложения.

По итогам вебинара вы получите готовый репозиторий в GitHub и сможете самостоятельно повторить все действия, которые спикер покажет на вебинаре.

Мероприятие пройдет в четверг, 29 апреля, онлайн.
Начало в 17:00 по Москве.

👉 Регистрируйтесь

Как расширить приложение в Kubernetes при помощи мультиконтейнерных подов

Как запустить в Kubernetes приложения, которые явно не предназначены для работы в контейнерной среде? Можно использовать технологию мультиконтейнерного пода, она позволяет менять поведение приложения, не изменяя его кода.

Сайт интернет-магазина: технические вопросы простым языком

Чтобы запустить сайт интернет-магазина, нужно выбрать инфраструктуру, решить вопрос с хранением данных, безопасностью и аналитикой. В статье простым языком объясняем, какие инструменты можно использовать и как обойтись минимумом затрат.

​​Не терять клиентов и быстрее обрабатывать запросы пользователей

Mail.ru Cloud Solutions представил новую систему управления очередями сообщений. Она работает на Tarantool — собственной высокопроизводительной In-Memory платформе, за счет чего скорость обработки запросов достигает 5000 запросов в секунду на одну очередь.

В нашей статье — о том, как подобные системы помогают обрабатывать запросы в моменты пиковых нагрузок, снижать риск сбоев и потери данных, а также создавать надежную связь между серверами в разных филиалах.

Подход Multicloud Native Service: как он поможет сделать IT-систему максимально отказоустойчивой

Если вам нужно построить на 100% отказоустойчивую и высокодоступную систему, то можно использовать подход Multicloud Native Service. О его особенностях рассказывает Николай Бутенко, руководитель Private Cloud в Mail.ru Cloud Solutions.

8 практических советов, которые помогут получить максимум пользы от Kubernetes

Kubernetes — сложный инструмент, и, чтобы получить от него полную отдачу, нужно правильно его настроить и использовать. В статье собрали советы, которые помогут разработчикам и администраторам построить стабильный, безопасный и управляемый кластер Kubernetes.

Вся правда о работе в B2B в одной статье

Есть мнение, что в B2B каждый чих приходится согласовывать, а корпоративные клиенты едят мозг чайной ложкой. Чтобы развеять предубеждения, в Mail.ru Cloud Solutions решили показать внутреннюю кухню. В статье — откровенные рассказы сотрудников о том, как устроена их работа.

​​Из-за пандемии ИИ стал популярнее

Компания KPMG опубликовала результаты исследования о том, как пандемия повлияла на развитие искусственного интеллекта. Вот что выяснилось:

✅ ИИ используют во многих отраслях. Чаще всего решения на базе ИИ применяют в промышленном производстве (93%), финансах (84%), технологиях (83%), розничной торговле (81%), естественных науках (77%), здравоохранении (67%) и госсекторе (61%).

✅ Пандемия дала толчок к широкому распространению ИИ. Наиболее сильно это выразилось в промышленном производстве (72%), технологиях (57%) и розничной торговле (53%).

✅ Технологии на базе ИИ развиваются слишком быстро. Так считают специалисты из сфер промышленного производства (55%), технологий (49%), розничной торговли (49%), естественных наук (47%), финансов (37%), в правительстве (37%) и здравоохранении (35%).

Источник на английском

Как ускорить работу микросервиса с помощью многопоточности, асинхронности и кэша
 
Принесли полезный гайд: автор применяет к простому без затей микросервису методы ускорения его работы, попутно рассматривая плюсы и минусы каждого.