​​Какие данные можно считать большими?

Таблица в Экселе на 500 000 строк — это большие данные или еще нет? А если строк миллиард? Ну а распечатки температурных графиков со всех метеостанций Архангельской области — Big Data или нет?

На самом деле, большие данные соответствуют трем критериям:

✅ Данные — цифровые. Книги в национальной библиотеке или стопки документов в архиве компании — это данные, и их много. Но термин Big Data означает только цифровые данные, которые хранятся на серверах.

✅ Данных поступает много и они быстро накапливаются. Например, за 20 лет в базе данных интернет-магазина накопилось 10 миллионов заказов, но пополняется она на 100 заказов в сутки — это не Big Data. А вот записи показателей сенсоров в двигателе самолета в объеме нескольких гигабайт в час — уже большие данные.

✅ Данные разнородны и слабо структурированы. Заказы в онлайн-магазине упорядочены, из них легко извлечь информацию, например, определить самые популярные товары, поэтому они не относятся к Big Data. Напротив, показания датчиков температуры с корпуса самолета, собранные за шесть месяцев, — большие данные. В них вроде бы есть польза, но пока непонятно, как ее извлечь.

Подробнее о больших данных для бизнеса

​​Рынок публичных облачных услуг в России превысил $1 млрд в 2020 году

Такие данных приводит IDC в отчете MarketScape Russia’s Public Cloud Infrastructure as a Service. Вот что еще в нем интересного:

👍 Решения российских провайдеров способны конкурировать с сервисами глобальных игроков. В отличие от многих стран международным компаниям-гиперскейлерам не удалось поглотить российский рынок облачных услуг.

⛅️ Российский бизнес пересмотрел свое отношение к облакам. Крупный бизнес развивает собственные облачные стратегии и воспринимает облако не только как инфраструктуру, но и как платформу с готовыми инструментами.

💻 Быстрее всего растет PaaS — это признак зрелости рынка. Например, в 2020 году выручка Mail.ru Cloud Solutions по этому направлению увеличилась на 240%, средний объем потребления услуги вырос на 79%.

Подробнее

​​Дискуссия в Clubhouse «Завтра облачно: неважно, как много весят данные»

Через полчаса встречаемся в Clubhouse и обсуждаем высокие нагрузки и производительность IT-систем. В беседе участвуют Илья Летунов, руководитель Mail.ru Cloud Solutions и Tarantool, ведущие Zavtracast, эксперты ВТБ, Yota и Альфа-Страхования.

На повестке — к чему готовиться, запуская приложение или цифровой сервис, как IT-инфраструктуре догнать пользовательские сервисы и нужно ли бороться с устаревшими IT-системами.

👉 26 февраля, 9:00 Москвы. Присоединяйтесь к беседе

Как управляться с данными с помощью облачных решений

В больших данных — часто ключ к пониманию клиентов и процессов. Но данные недостаточно где-то хранить, чтобы извлекать из них пользу. Нужен полный цикл управления: от хранения и обработки до анализа и принятия решений.

Как построить инфраструктуру для работы с данными, на вебинаре рассказал Александр Волынский, архитектор платформы Mail.ru Cloud Solutions. Вы узнаете, какие есть инструменты для хранения, обработки и анализа данных и как их можно использовать. Посмотрите вебинар в записи.

Как задеплоить проект на Kubernetes в Mail.ru Cloud Solutions

Василий Озеров, основатель агентства Fevlake и действующий DevOps-инженер (опыт в DevOps — 8 лет) провел открытый практикум Rebrain x Mail.ru Cloud Solutions. Программа:

— Обзор задачи и архитектуры;
— Написание API-сервера;
— Запуск в Kubernetes с балансировщиком, облачными базами;
— Развертывание кластера RabbitMQ через Helm в Kubernetes.

Если не были на практикуме, посмотрите его в записи.

​​Как устроена разработка по методу DevOps

DevOps — особый подход к разработке, который позволяет автоматизировать рабочие процессы и быстрее выпускать готовые IT-продукты. Вот как устроена разработка по этой методологии:

✅ Формулирование требований и проектирование. Менеджер проекта описывает, чего бизнес ожидает от приложения, а команда разработки создает структуру будущего продукта и расписывает этапы его создания.

✅ Разработка. Команда, обычно под руководством DevOps-инженера, создает среду и конвейер CI/CD, в которых будет происходить разработка продуктов. Параллельно с этим программисты работают непосредственно над кодом: пишут его, анализируют, контролируют версии.

✅ Запуск конвейера CI/CD. Когда часть кода готова, разработчики запускают скрипты, подготовленные и автоматизированные на прошлом шаге — эти скрипты превращают код в продукт.

✅ Непрерывное тестирование. Написанный код с помощью скриптов уходит на автоматическое тестирование. Оно происходит без участия программистов и тестировщиков и помогает выявить ошибки при внесении изменений и выгрузке кода.

✅ Непрерывное развертывание. Когда конфигурации протестированы, автоматические скрипты сразу отправляют их развертываться на «боевых» серверах. В итоге выпуск ПО или обновления в релиз перестает быть выдающимся событием и превращается в рутину.

✅ Непрерывный мониторинг. Когда приложение ушло на рабочий сервер, к нему подключаются системы мониторинга. Они контролируют, как работает приложение, записывают все ошибки в логи, оповещают о проблемах и автоматически перезагружают и отключают сломанные функции.

Подробнее о методологии DevOps

​​Бесплатный вебинар «Ошибки PRO-уровня при внедрении Kubernetes»

Kubernetes — одна из технологий, которую любят все: бизнесу он обеспечивает высокую скорость релизов, а всем ИТ-специалистам, от разработчиков до аналитиков данных — помогает строить и жить. Но часто на принятие решения о необходимости внедрения технологии сильно влияет хайп и ее популярность.

Внедрить Kubernetes — независимо от того, ваша это идея или вас заставили — на вебинаре мы рассмотрим все риски, связанные с этим решением, неочевидные препятствия и нюансы внедрения и эксплуатации, а также недоиспользованную выгоду.

По следам нашего исследования этой темы мы соберемся проговорить основные проблемы, как их избежать или как минимизировать последствия случившегося. В этот раз рассчитываем на много ваших вопросов на Q&A в конце вебинара, чтобы вживую пройтись по всем спорным моментам.

Мероприятие пройдет в четверг, 11 марта, онлайн.
Начало в 18:00 по Москве.

👉 Регистрируйтесь

​​70% компаний предпочитают открытый исходный код проприетарным облачным технологиям

Компании IBM и O’Reilly провели опрос об открытом исходном коде и облаке. Вот основные результаты:

⚒ 94% опрошенных оценивают открытый код как равный или даже превосходящий проприетарный код. Почти все респонденты используют открытый код во многих аспектах своей деятельности и ценят его за то, что он позволяет не привязываться к конкретному поставщику.

⛅️ 70% предпочитают облачных провайдеров с открытыми технологиями. Также 54% уверены, что обучение навыкам, специфичным для одного провайдера, ограничивает их профессиональный рост.

👨‍🏫 51% считают открытый код важным фактором при приеме на работу. По мнению опрошенных, технологии с открытым исходным кодом позволяют больше зарабатывать и выбирать среди бо́льшего количества работодателей.

👩‍💻 65% согласны с тем, что вклад в проекты с открытым исходным кодом впечатляет потенциальных работодателей и помогает в дальнейшем трудоустройстве.

Источник на английском

Как онлайн-кинотеатрам, видеохостингам и онлайн-школам не терять клиентов из-за долгой загрузки видео

Воспроизведение видео не началось в течение 10 секунд — потеряли половину зрителей. В статье рассказываем, какие технологии помогут не допустить такой ситуации.

​​Тем, кто пользуется облачными сервисами, стоит подписаться на канал Mail.ru Cloud Solutions — экосистемы облачных сервисов, с помощью которой можно построить IT-систему любого масштаба.

На единой платформе можно получить масштабируемую облачную инфраструктуру, облачные базы данных, среды управления контейнерами, инструменты работы с данными и другие решения для разработки и цифровизации бизнеса.

На канале — все свежие новости платформы: запуски новых сервисов, фичи, полезные ссылки, рекомендации по работе с облаками и многое другое.

👉 Рекомендуем подписаться: https://t.me/mcsnews

​​Дискуссия «Завтра облачно: работа и найм в B2B ИТ»

В эту пятницу мы снова собираемся в Clubhouse: вместе с Ильей Летуновым, руководителем Mail.ru Cloud Solutions и Tarantool, Анной Пановой, Head of Recruitment & Talent Acquisition Каspersky, Алексеем Корякиным, техническим директором Tarantool, Александром Салтановым, техническим директором Mail.ru Cloud Solutions, обсудим вопросы работы и найма в сферах B2B ИТ и высоких технологий в целом.

Поговорим о том:

— чем отличается работа в B2B и B2C ИТ?
— какие требования к кандидатам предъявляют работодатели из сферы высоких технологий?
— какими скиллами и знаниями должен обладать специалист, чтобы получить работу мечты?

Эти и другие вопросы завтра, 5 марта, в 9:00 Москвы обсудим в нашей комнате «Завтра облачно» в ClubHouse.

👉 Присоединяйтесь

Как в «Ашане» построили платформу для аналитики сотен ТБ данных и ML в публичном облаке

В «Ашане» разработали алгоритмы машинного обучения, внедрение которых помогло точно планировать закупки, сокращать издержки и значительно увеличивать продажи. Но для разработки ML-моделей, построения прогнозов и аналитики данных требовалась гибкая и эластичная инфраструктура.  

Лучшее решение — разместить единую Big Data-платформу в облаке, для этого понадобился надежный технологический партнер, способный быстро отвечать на рост потребностей ритейлера. 

Почему в «Ашане» выбрали Mail.ru Cloud Solutions, как построили платформу для работы с данными и AI и как это повлияло на бизнес-процессы компании, рассказал Александр Дорофеев, руководитель группы Big Data компании «Ашан Ритейл Россия».

​​Нужно ли разработчику знать Kubernetes и в какой мере? Круглый стол «Слёрма» и MCS

Как быть разработчику, которому нужно использовать Kubernetes? Где ответственность разработчика, а где админа? Кто виноват, если после внедрения «прилёг продакшен»?

Ответы на эти вопросы искали на круглом столе эксперты «Слёрма» и облачной платформы Mail.ru Cloud Solutions. Посмотрите запись дискуссии или почитайте расшифровку.