Цифровизируй это
1.65K subscribers
239 photos
4 videos
944 links
На этой площадке мы, команда VK Tech, собираем экспертные комментарии по текущей цифровой повестке, выясняем, что сейчас волнует бизнес, и выносим это на обсуждение.| tech.vk.com
Download Telegram
На удаленке сотрудники часто используют личные компьютеры — это усложняет установку софта, управление настройками и обеспечение информационной безопасности, в том числе защиту корпоративных данных. В карточках выше — три способа решить эту проблему, а все подробности — здесь.
​​ZFS: особенности и отличия от других файловых систем

Георгий Меликов, контрибьютор проектов OpenZFS и ZFS on Linux и разработчик IaaS в команде Mail.ru Cloud Solutions рассказал об особенностях ZFS. Вот основные моменты:

📁 ZFS — симбиоз файловой системы и менеджера томов, которая предоставляет инструменты для простого управления дисковым массивом. Плюсы ZFS в том, что он знает, что и где лежит, группирует это и дает некоторые другие фишки, в частности безопасное хранение данных.

📝Это copy-on-write файловая система, которая никогда не перезаписывает данные. Система всегда оперирует новым блоком, для обеспечения консистентности данных не нужен журнал, как в большинстве других файловых систем.

🏪 ZFS — локальное хранилище с большим спектром применения. Система подходит для домашнего использования, в NFS-хранилище, а также в качестве крупного хранилища.

Подробнее об особенностях и архитектуре ZFS
RabbitMQ vs Apache Kafka: что выбрать для проекта?

В системе с объемными вычислительными задачами и потоками событий необходимо наладить коммуникацию между ее компонентами. Чаще всего для этого используют одно из двух решений: RabbitMQ или Apache Kafka — почитайте, чем они отличаются.
​​Запись выступления «Базы данных в современной IIoT-платформе»

Как известно, универсальной базы данных не существует. Особенно когда нужно построить платформу интернета вещей, способную обрабатывать миллионы событий от датчиков в режиме near real-time.

На @Databases Meetup Андрей Сергеев, руководитель группы разработки IoT-решений в Mail.ru Cloud Solutions, рассказал, как выбирали СУБД для Mail.ru IoT Platform: с чего все начиналось, с какими проблемами столкнулись, как их решали и что в итоге получилось. Посмотрите запись его выступления.
​​Контейнеризация приложений: что это такое и когда стоит использовать

По меткому выражению специалистов из IBM, контейнеризация «позволяет писать приложения один раз и запускать их где угодно». В статье разбираем, действительно ли это так.
​​Ученые использовали дронов для создания мобильной квантовой сети

Возможно, это начало создания квантового интернета.

🔥 Квантовая сеть — быстрый и защищенный способ передачи информации. Состояние одного запутанного фотона мгновенно передается другому, что позволяет быстро передавать данные. А прослушать такую связь незаметно нельзя: при любом вмешательстве остаются заметные следы.

😱 Основная сложность при построении квантовых сетей — передать фотоны на большое расстояние, так как из-за помех они рассеиваются, не достигнув точки назначения. Есть попытки создания оптоволоконных квантовых сетей, но самый лучший источник передачи лучей — атмосфера.

🤖 Как ученые попытались решить проблему. С помощью дронов. Задача состояла в том, чтобы установить квантовую связь между двумя наземными станциями. Один из дронов генерировал запутанные пары фотонов. Первый фотон он отправлял на станцию, а второй — дрону-ретранслятору, который перенаправлял его на вторую наземную станцию. В результате между станциями удалось установить квантовую связь.

Наземные станции находились на расстоянии километра друг от друга. Это немного, но ученые уверены, что это лишь начало — и в будущем квантовую связь можно будет наладить между сильно удаленными объектами.

Источник на английском
​​Исследователи из Стэнфорда разработали виртуальную систему, которая ускоряет ИИ в 7 раз

Возможно, система выйдет в массовое производство через 3-5 лет и улучшит работу искусственного интеллекта.

⚛️ ИИ-ускоритель — специальное устройство, которое ускоряет работу нейронных сетей, алгоритмов машинного обучения и других задач искусственного интеллекта. Такие устройства ориентированы на арифметические операции с низкой точностью и вычисления в памяти, что повышает производительность сложных ИИ-алгоритмов.

⚛️ Основные задержки при работе с нейронными сетями возникают при передаче данных из основной памяти в микросхему процессора. Новый чип построен на резистивной памяти с произвольным доступом (RRAM), которая обладает высокой скоростью работы.

⚛️ Но даже этого недостаточно, потому что нейронные сети становятся крупнее, и им нужно больше памяти. Поэтому ученые объединили несколько чипов и разработали систему, которая создает иллюзию одного процессора с большим объемом памяти (отсюда и название Illusion). Такой способ позволяет расширять систему по мере роста нейронных сетей.

⚛️ Сейчас реальный прототип состоит из 8 объединенных чипов. Но при помощи моделирования удалось выяснить, что если построить систему из 64 чипов, то ИИ-приложения будут работать в 7 раз быстрее и потреблять в 7 раз меньше энергии, чем в современных процессорах.

Источник на английском
​​Запись вебинара «Docker Swarm vs K8s. Уйти нельзя остаться. Когда, кому и зачем переходить на Kubernetes со Swarm»

Есть мнение, что Kubernetes сложен в управлении и мало доступен обычным людям, а выгоды от него не всегда очевидны. Docker Swarm проще, но в нем не хватает многих полезных фич: например, авторизации в кластере и встроенных балансеров.

Уйти или остаться? Павел Селиванов, ведущий DevOps-инженер Mail.ru Cloud Solutions провел вебинар, где рассмотрел оба решения с точки зрения их функциональности и ограничений. И рассказал, когда лучше перейти на K8s, а когда — остаться на Swarm. Посмотрите запись вебинара.
​​В 2021 году востребованность DevOps-инженеров вырастет

Компания CodinGame опубликовала результаты опроса о трудоустройстве и работе IT-специалистов. Рассказываем самое интересное.

🤔 Сложнее всего будет нанимать DevOps-инженеров. Спрос на них резко вырос в 2020 году, так как компании стали массово переводить инфраструктуру в облака. Поэтому 43% HR-специалистов уверены, что в 2021 году им будет трудно найти хороших DevOps-инженеров. На втором и третьем месте по востребованности бэкэнд- и фулл-стек-разработчики.

🗣 В 2020 году половина разработчиков собеседовались удаленно. Однако это понравилось лишь 15% разработчиков и 25% кадровиков, а большая часть предпочитает личное общение.

🎓 Почти в 80% случаев разработчиков нанимают без высшего IT-образования. 55% кадровиков сказали, что периодически нанимают разработчиков без IT-диплома, а 24% делают это регулярно. Сейчас для успешного трудоустройства важнее не формальное образование, а реальный опыт и навыки кандидата.

🏠 Разработчики предпочитают комбинировать работу в офисе и дома. 43% разработчиков хотят работать в офисе несколько дней в неделю, а остальные дни — удаленно. 24% предпочитают работать полностью удаленно, и лишь 5% — полностью в офисе.

Источник на английском
​​Mail.ru Cloud Solutions поможет российским компаниям выйти на европейский рынок

Облачная платформа Mail.ru Cloud Solutions запускает дата-центр в Амстердаме и начинает предоставлять облачные услуги на территории Европы. Вот что это значит для клиентов:

👨‍👩‍👦 Компании смогут хранить личные данные граждан ЕС, работая в привычном интерфейсе. По GDPR, европейскому закону о защите персональных данных, личные данные граждан Евросоюза можно хранить только на серверах, находящихся на территории ЕС. Mail.ru Cloud Solutions предоставляет клиентам такую возможность, но в привычном интерфейсе российского облака.

⛅️ Адаптировать решения для работы в ЕС не потребуется — российское и европейское облако MCS связаны между собой. При этом компании смогут меньше тратить на обслуживание инфраструктуры за рубежом и общаться с техподдержкой на русском языке.

📈 В европейском облаке будут доступны все сервисы Mail.ru Cloud Solutions. Компании, которые уже работают в странах ЕС, смогут перенести свои европейские проекты в облако MCS. А бизнес, который планирует выход на международный рынок, — быстро запускать сервисы и приложения для европейских пользователей.

Подробнее
​​5 инструментов для мониторинга кластера Kubernetes

Kubebox — терминальная консоль для кластера Kubernetes. Позволяет управлять кластером и отслеживать его статус через старый добрый интерфейс. Еще в нем можно легко перейти к нужному пространству имен и выполнить команду в нужном контейнере, чтобы быстро устранить неполадки или восстановить работу.

Kubedash предоставляет UI для анализа производительности. Агрегирует и обобщает метрики из различных источников, показывает администраторам высокоуровневые аналитические данные. Kubedash использует в качестве источника данных Heapster, который запускается как сервис по умолчанию на всех кластерах Kubernetes и собирает показатели и аналитику в каждом контейнере.

Prometheus — опенсорсный инструмент для мониторинга и уведомлений. Позволяет создавать собственные метрики и содержит готовые интеграции с разными технологиями: PostgreSQL, MySQL, Kubernetes и другими. Де факто Prometheus сегодня — стандарт мониторинга для Kubernetes.

Kubetail — небольшой bash-скрипт для агрегирования журналов многих подов в один поток. Исходная версия Kubetail не умеет фильтровать или выделять, но на Github есть отдельный форк, который умеет раскрашивает логи с помощью MultiTail.

Kubernetes Operational View (Kube-ops-view) — read-only системная панель, которая может работать со многими кластерами Kubernetes. С ее помощью вы можете легко перемещаться между кластерами, отслеживать ноды и состояние подов. В качестве источника данных инструмент использует Heapster.

Ещё больше инструментов для развертывания, мониторинга, безопасности, CI/CD в Kubernetes — в статье.
​​Популярность Kubernetes растет, несмотря на трудности

Компания D2iQ опубликовала результаты опроса компаний об их опыте использования Kubernetes.

🤩 Kubernetes все популярнее и популярнее. 94% компаний сталкиваются со сложностями работы с Kubernetes: проблемы безопасности, эффективное масштабирование и нехватка ресурсов. При этом сложность технологии не мешает росту ее популярности: в ближайшие 2 года количество проектов в Kubernetes вырастет на 61%. Вероятно, компании будут использовать облачные Managed-решения для избавления от части проблем.

😫 Основные проблемы с Kubernetes возникают на этапе разработки, так считают 47% компаний. Это может выливаться во многие часы переработок, сжатые сроки и напряжение внутри команды. Один из способов избежать таких сложностей — повышать квалификацию команд.

📚 Навыки Kubernetes востребованы. Практически все компании (98%) уже обучают или планируют обучать сотрудников работе с Kubernetes в ближайшее время. Большинство инженеров поддерживают эту идею, потому что навыки Kubernetes повышают их востребованность как специалистов и помогают карьерному росту.

Подробнее
​​Запись выступления «Архитектура S3: 3 года эволюции Mail.ru Cloud Storage»

S3-хранилище Mail.ru Cloud Solutions выросло до кластера в десятки терабайт в RAM, где лежат метаданные о миллиардах пользовательских объектов. Архитектура такой облачной базы данных требует нетривиального подхода — например, для нее важно линейное масштабирование.

На @Databases Meetup Владимир Перепелица, архитектор платформы Mail.ru Cloud Solutions, рассказал, как менялась архитектура S3-хранилища, как реализован шардинг, как выполнялась миграция данных без даунтайма и какую роль в развитии S3 сыграло использование базы данных Tarantool. Посмотрите запись его выступления.
Как предоставить доступ к кластеру Kubernetes с помощью клиентского сертификата

Простое руководство по предоставлению доступа к новому кластеру Kubernetes, включая настройку аутентификации и привязку ролей. Процесс показан на клиентском сертификате x509.
​​Три четверти администраторов уверены в своей сети, хотя они не знают всех сетевых настроек

Компания Auvik Networks опубликовала результаты исследования практик управления сетями. Вот главные выводы из отчета.

🤔 Более 50% администраторов не полностью знают свою сеть. При этом 77% специалистов уверены в том, что она безопасна, стабильна и правильно настроена.

😧 Только 36% компаний регулярно делают резервные копии настроек сети, несмотря на постоянные изменения в конфигурации. А 27% компаний практически никогда не обновляют сетевую документацию.

🤖 IT-специалисты тратят много времени на то, что можно автоматизировать. Например, на документацию (58%), построение карт сети (55%) и резервное копирование конфигураций (61%).

Источник на английском
Почему лучше работать в B2B-проектах: неожиданные факты о разработке в B2B и B2C

Есть мнение, что в B2B-разработке программисты работают с древними технологиями и дорабатывают старые админки. К Mail.ru Cloud Solutions это не относится: облачная платформа — технологически сложный проект, и для легаси в нем попросту нет места. В статье рассказываем, как в компании организована разработка.
​​К 2023 году спрос на роботизированные складские системы увеличится в 4 раза

🧳 Goods-to-Person (G2P) — это системы, которые помогают транспортировать груз на складах. При этом работники склада затрачивают минимум времени и усилий на транспортировку грузов.

😷 Обычно такие системы используют для повышения производительности сотрудников и плотности хранения товаров. Но во время пандемии они также обеспечивают социальное дистанцирование работников, которым не нужно перемещаться по складу.

📈 G2P легко внедрить, в отличие от других решений дистанцирования на складах, вроде отслеживания перемещения работников. Поэтому аналитики Gartner считают, что к 2023 году спрос на G2P-системы вырастет в 4 раза.

Источник на английском
Эксперты Mail.ru Cloud Solutions участвуют в круглом столе со Слёрм. Приходите, встреча уже в этот четверг!