🤔 Ликбез: что такое системы оркестрации контейнеров

Контейнеры — распространенная и популярная технология. Но когда контейнеров становится слишком много, ими трудно управлять. И тут на помощь приходят системы оркестрации.

В статье рассказываем, какие основные задачи выполняют оркестраторы и приводим несколько примеров популярных систем.

Как мигрировать на Managed Kubernetes без боли

Планируете переехать в облачный Kubernetes? В зависимости от текущей архитектуры, для миграции может потребоваться лишь небольшая правка yaml-файлов, а может придется проводить полный рефакторинг приложений.

Узнайте, какие существуют стратегии миграции, от чего зависит сложность и как справляться с возможными проблемами.

​​Планировщик распределенных ресурсов (Distributed Resource Scheduler, DRS) — необходимый компонент практически любой виртуализированной среды. Он выравнивает нагрузку на хостах, чтобы виртуальные машины получали ресурсы в нужном объеме и работали максимально эффективно.

В статье рассказываем, как это устроено и как работает, а также почему мы разработали собственную реализацию механизма DRS.

​​Графические процессоры — это не только обработка графики

Изначально графические процессоры нужны были только для того, чтобы рисовать пиксели в графике. Сегодня же GPU используются для сложных вычислений, и в определенных ситуациях они намного эффективней CPU.

✅ Обработка изображений. Так как GPU изначально работали с графикой, то и сегодня они обрабатывают большие массивы изображений. Например, снимки из космоса помогают следить за состоянием лесов или развитием половодья. Но предварительно их нужно обработать и нанести определенную разметку — этим занимаются GPU.

✅ Рендеринг графики. Чтобы создавать реалистичные мультфильмы, нужно учитывать множество деталей — например, как падает свет и выглядят тени. Для этого нужны большие вычислительные мощности, поэтому крупные студии используют графические процессоры.

✅ Промышленный интернет вещей. GPU помогают создавать цифровых двойников — виртуальные копии станков или целых заводов. Для этого предприятия собирают большое количество данных о работе оборудования. Затем строят трехмерную модель, которая позволяет проводить эксперименты и смотреть, как это повлияет на работу оборудования.

✅ Машинное обучение. GPU применяют на всех этапах машинного обучения — от подготовки данных до эксплуатации ML-моделей. Машинное обучение используют во многих областях. Например, в медицине ИИ может проверять КТ- и МРТ-снимки и находить на них патологические изменения.

✅ Тяжелые вычисления. Это вычисления на основе сложных алгоритмов, которым нужно большое количество ресурсов. Например, докинг — метод молекулярного моделирования, он позволяет подобрать молекулу, которая лучше всего взаимодействует с нужным белком.

👉 Подробный рассказ о применении GPU с примерами

Как настроить мониторинг событий в Kubernetes: 4 бесплатных инструмента

По умолчанию события в Kubernetes хранятся всего один час, и этого может быть недостаточно для анализа логов. В статье — четыре инструмента, которые подойдут для мониторинга событий.

​​Что такое Apache Spark и как он используется в Big Data

В работе с большими данными используется много разных инструментов. Apache Spark — один из них. Мы рассказываем, как он используется в Big Data и сравниваем с похожей технологией — Hadoop MapReduce.

​​🤔 Ликбез: как работает протокол MQTT

Для передачи данных в IoT используется специальный протокол MQTT, работающий по принципу издатель-подписчик. В статье говорим о базовых вещах: как он устроен и где применяется.

​​Переход на облачную операционную модель снижает расходы в 1,2–2,7 раза

Новое исследование компании Accenture показывает: компании, которые внедряют облако в свою операционную модель, добиваются больших успехов.

👉 Почти каждая организация внедрила облако и искусственный интеллект в свою работу за последние 10 лет. Но только половина из них использует их для трансформации повседневной работы. И всего от 12% до 15% компаний внедряют облако в свою операционную модель. Accenture называет их «‎постоянные соперники».

👉 Эти компании не стремятся к экономии, но в конечном итоге именно они добиваются большего снижения затрат — в 1,2–2,7 раза.

👉 Чтобы эффективно использовать облако, важно разработать четкую стратегию, развивать «гибкое» мышление, накапливать опыт, а также изучать возможность цифровой трансформации с помощью 5G и виртуализации.

👉 Главный вывод — будущая конкурентоспособность компаний зависит от того, какой тип облаков и облачных сервисов они выберут сегодня.

Читать подробнее

​​Четыре вида персональных данных

Если вы храните или обрабатываете персональные данные, то нужно понимать, к какому виду они относятся. От этого зависит степень необходимой защиты.

👉 Общие. Это базовые личные данные: ФИО, место регистрации, номер телефона, email. Обычно эти данные и так известны некоторым другим людям, могут быть опубликованы в общедоступных источниках.

👉 Специальные. Информация о личности человека: расовая и национальная принадлежность, политические или философские взгляды, состояние здоровья, информация о судимостях. Эти данные обычно находятся в закрытом доступе: их можно узнать только лично у человека, либо сделав официальный запрос в больницу, полицию или суд.

👉 Биометрические. Это физиологические или биологические особенности человека, которые используются для установления личности: фотографии, отпечатки пальцев, группа крови. Важно, что к таким данным относятся только то, что используется для идентификации человека. Например, фотографии для системы распознавания лиц сотрудников — биометрические данные, а фотографии в личных делах — нет.

👉 Иные. В эту категорию относится все, что нельзя отнести к общедоступным, специальным или биометрическим данным. Это дополнительная информация, которая часто может меняться. Например, членство в клубе или корпоративные данные: зарплата, периоды отпусков, стаж. Эти данные сложнее всего отличить от специальных.

В статье подробнее рассказываем, что такое персональные данные и как их нужно защищать в зависимости от вида.

​​Кажется, что разработка в B2B и B2C — это совершенно два разных мира. Многие разработчики считают, что в B2B неинтересно работать, невозможно принимать решения быстро и развивать свои навыки.

Но это не так. Мы делимся советами, как можно организовать процессы, чтобы не тормозить принятие решений, помочь разработчикам учиться и избежать авралов. Также наши разработчики рассказывают, как это отражается на их работе:

Например, вот что думает Виктория о разнице разработки B2B и B2C.

​​На платформе Mail.ru Cloud Solutions появился сервис для автоматического анализа SQL-запросов

✅ holistic․dev — сервис статического анализа структуры БД и SQL-запросов. Он автоматически находит проблемы безопасности, производительности и архитектуры в базе данных. Все проблемы отражаются в подробных отчетах.

✅ Оптимизация производительности позволяет ускорить приложения. В итоге они лучше справляются с высокой нагрузкой, и вам не нужно выбирать самую мощную конфигурацию Managed DB. Также holistic․dev может находить логические ошибки в SQL-запросах и проблемы безопасности.

✅ Автоматизация этих действий позволит разгрузить системных администраторов и backend-разработчиков от многочасового анализа запросов и направить их силы на более актуальные задачи.

✅ Сервис holistic.dev не подключается к БД напрямую, а лишь анализирует тексты DDL- и DML-запросов. То есть сервис не видит ваши данные и вам не нужно беспокоиться за их сохранность.

✅ Для подключения достаточно зарегистрироваться на сайте holistic.dev, получить токен, указать его на платформе Mail.ru Cloud Solutions в параметрах вашего инстанса PostgreSQL. Все это бесплатно.

Подробнее