​Защита данных в облаке: необычные сценарии

Мы уже рассказывали об инструментах для защиты данных в облаке. Сегодня приведем два специфических юзкейса.

Защита данных в облачных нейросетях

Сегодня компании часто переносят в облако ресурсоемкие системы. Примером могут быть нейросети, которым нужно большое количество вычислительных ресурсов. Такие системы используют, к примеру, медицинские организации — для анализа сведений о состоянии пациентов и постановки диагнозов.

Проекты в сфере медицины часто работают с конфиденциальной информацией (например, медицинскими снимками), поэтому данные, посылаемые нейросети, необходимо защищать. Для этого используют шифрование.

Одно из таких решений в прошлом году предложили инженеры из MIT — его назвали Gazelle. Зашифрованные данные разбиваются на части. Во время работы сервер с нейросетью не имеет доступа ко всей информации (часть вычислений выполняется на машинах в ЦОД поликлиники). Это обеспечивает высокий уровень защищенности данных. Об используемых алгоритмах шифрования мы рассказывали на Хабре.

Соблюдение требований GDPR

Отвлечемся от нейросетей и машинного обучения, поговорим о более приземленных вещах — GDPR. Новый регламент по защите данных действует в ЕС с прошлого года. За нарушения бизнесу грозит штраф в 20 млн евро или 4% годового дохода компании. Одно из положений GDPR обязывает организации удалять из внутренних баз данных информацию о гражданах ЕС по их требованию. Если таких запросов поступает много, справиться с этим становится непросто.

Новая платформа управления данными Availability Suite от Veeam умеет автоматически проверять, не осталось ли в бэкапах ПД данных о людях, которые воспользовались своим правом по GDPR. Это повышает информационную безопасность в компании и снижает риск утечек.

​Почему жёсткие диски стали реже ломаться

Двадцать лет назад жесткие диски были самым ненадежным компонентом сервера. Устройства IBM серии Deskstar выходили из строя так часто, что им дали нарицательное прозвище — Deathstar («Звезда смерти»). Но в последнее время ситуация изменилась в лучшую сторону — расскажем почему.

Гелиевые камеры. Корпуса некоторых жёстких дисков заполняют гелием. Этот газ в семь раз легче воздуха, что снижает силу трения, действующую на магнитные диски.

Еще гелиевая среда предотвращает коррозию, так как в этом газе отсутствует водяной пар. В результате срок службы накопителя увеличивается.

Лучшие условия в дата-центрах. Время жизни жестких дисков напрямую связано с температурой в серверной. Если она превышает 50°C или падает ниже 5°C, резко возрастает количество поломок.

Поэтому компании внедряют технологии для управления кондиционерами на базе машинного обучения. С помощью датчиков они мониторят температуру в ЦОД и распределяют потоки воздуха оптимальным образом.

Новые технологии HDD. В диски внедряют датчики вращательной вибрации (RV-сенсоры). Специальный модуль меняет характер движения блока головок и перераспределяет вибрации на корпус устройства. В результате снижается вероятность повреждения магнитной поверхности считывающей головкой.

​Как управлять железом в дата-центре — две новые технологии

В дата-центрах могут размещаться десятки тысяч и даже миллионы серверов. Чтобы управлять всем этим железом, операторы используют системы автоматизации. О двух таких актуальных инструментах мы расскажем далее.

DCIM-решения нового поколения

DCIM-система (или Data center infrastructure management) — это программное обеспечение, которое следит за работой серверов, хранилищ и маршрутизаторов в дата-центре. Еще оно мониторит энергопотребление систем кондиционирования.

Подобные решения существуют довольно давно, однако не пользовались популярностью. Всему виной была скромная функциональность систем и громоздкость их интерфейсов. С появлением DCIM второго поколения ситуация изменилась.

Теперь информация предоставляется операторам дата-центра в едином интерфейсе в виде графиков, схем, тепловых карт и таблиц. Если какой-то компонент инфраструктуры начинает сбоить, система дает рекомендации по устранению неполадок. В некоторых случаях она даже сможет решить проблему самостоятельно.

«Звуковой» мониторинг

Еще одной актуальной разработкой являются системы music-defined networking. При мониторинге состояния дата-центра они анализируют, как тот «звучит». Подобную систему представили, в частности, инженеры из США — она балансирует нагрузку на серверы.

Машины с помощью подключенных к ним мини-компьютеров Raspberry Pi генерируют звуки разной высоты. Чем выше частота издаваемого сигнала, тем сильнее загружена машина. Специальный контроллер в дата-центре учитывает эту информацию и автоматически перераспределяет задачи.

​Кто поддерживает облачные проекты — рассказываем о четырех open source фондах

В мире насчитываются десятки фондов, продвигающих открытое программное обеспечение. Сегодня расскажем о тех из них, которые развивают облачные инструменты.

OpenStack Foundation (OSF)

В первую очередь фонд занимается разработкой одноименной облачной операционной системы — OpenStack. Также OSF поддерживает проекты, которые создают инструменты для контейнеризации и периферийных вычислений. Все участники получают от организации менторскую и техническую поддержку.

GraphQL Foundation

Его цель — развитие языка запросов GraphQL. Этот язык нужен для взаимодействия с серверами, хранящими базы данных. В фонде создают инструменты, которые упростят разработку сервисов на GraphQL. Поддержку фонду оказывают ИТ-гиганты: IBM, Netflix, GitHub и др.

Ceph Foundation

Ceph — это объектная сеть, которая помогает создавать файловые хранилища в облаке. О разных типах хранилищ мы рассказывали в предыдущем посте. Цель фонда — сформировать экосистему вокруг Ceph: внедрить в нее функциональность для работы с машинным обучением и контейнерами.

Linux Foundation Edge

Задача Edge — объединить фрагментированный рынок решений для периферийных вычислений. В этой сфере пока нет устоявшейся терминологии и единого перевода основных понятий. Компании-участники намерены решить эту проблему и формируют словарь с ключевыми терминами и определениями. Также на базе фонда развиваются платформы для управления IoT-устройствами.

Это не все открытые фонды, поддерживающие облачные разработки. О других проектах мы расскажем в следующий раз.

​Почему нельзя просто так взять и внедрить «зелёные» технологии в дата-центрах

Мировые дата-центры потребляют 2% всего вырабатываемого на планете электричества и выделяют большое количество парниковых газов. Из-за этого в ИТ-индустрии сформировался спрос на инфраструктуру, использующую возобновляемые источники энергии. Однако не все «зеленые» решения оказались эффективны.

В США, если дата-центр желает использовать энергию из возобновляемых источников, то его владельцы могут приобрести специальные сертификаты — Renewable Energy Certificates (REC).

Но даже в этом случае энергия будет поступать из общей электросети, к которой подключены станции, работающие на угле или нефти. По этой причине нельзя гарантировать, что в машинные залы будет попадать только «зеленая» энергия.

Чтобы обеспечить дата-центры электричеством из возобновляемых источников наверняка, компании строят собственные солнечные и ветряные фермы.

Но обходится такая инфраструктура дорого и далеко не всем по карману — например, за последние шесть лет Google потратили около $3 млрд.

Даже если у компании есть такие деньги, она не всегда может найти место для строительства. Эта проблема актуальна для дата-центров в Азии. Многие из них стоят в крупных городах, где нет возможности разместить масштабные ветряные или солнечные установки.

Но все это не значит, что владельцы дата-центров не уделяют внимания «зеленому» вопросу. Компании, которые не могут полностью перейти на энергию из возобновляемых источников, внедряют технологии, сокращающие энергопотребление. Например, новые системы охлаждения. О некоторых из них мы рассказывали в одном из предыдущих постов.

​Почему компании используют виртуальные машины, а не контейнеры

Последние годы в ИТ-сфере растет популярность контейнеров Docker. Но корпоративные клиенты IaaS-провайдеров не спешат внедрять эту технологию и продолжают работать с виртуальными машинами (ВМ). Поговорим о том, почему так происходит.

Причина первая — риски для безопасности. Каждая виртуальная машина обладает собственной операционной системой. Контейнеры же представляют собой процессы, которые делят ядро ОС.

По этой причине, если злоумышленник получит права суперпользователя, он сможет повлиять на работу всех приложений. В случае с ВМ у хакера не получится «выйти» за её пределы и нанести серьезный урон системе.

Причина вторая — сложность в управлении. На одном сервере обычно работают от 15 до 30 виртуальных машин. Число контейнеров зачастую превышает 40 — управлять таким количеством довольно сложно.

Да, на рынке есть специальные системы оркестровки, например, Kubernetes. Но подобные решения активно развиваются, и их приходится часто обновлять, что сказывается на стабильности контейнерной среды.

Причина третья — отсутствие кроссплатформенности. Большинство контейнеров основаны на Linux. Поэтому их бывает сложно запустить в среде Windows. Виртуальные машины можно переносить на разные платформы без каких-либо ограничений.

Сегодня появляется все больше решений для работы с контейнерами, которые «подогревают» популярность технологии. Однако ВМ не сдают позиций и, судя по всему, еще долго будут важнейшим элементом ИТ-инфраструктуры компаний.

​Как разместить в облаке 100% инфраструктуры — кейс корпоративного клиента ИТ-ГРАД

Сегодня мы поделимся кейсом компании SL Tech, разрабатывающей B2B-сервисы. Они перенесли в облако ИТ-ГРАД всю свою ИТ-инфраструктуру.

Зачем понадобилось облако

SL Tech занимаемся предоставлением онлайн-услуг B2B-партнерам, поэтому их инфраструктура должна иметь высокую доступность и легко масштабироваться.

Варианты с on-premise или выделенными серверами в дата-центре не подошли. В этих случаях нельзя гибко менять объемы вычислительных мощностей — количество процессоров и памяти. Поэтому в SL Tech обратились за помощью к IaaS-провайдеру.

Что перенесли в облако

В продакшн-среде компания содержит 15 виртуальных машин. В облако мигрировали все ВМ, поддерживающие работу приложений для страховых компаний и финтех-индустрии. В будущем в облаке будут запущенны новые сервисы по продаже онлайн-услуг.

В чем выгода

Компания объединила на одной площадке все свои решения. Получился агрегированный сервис, доступный клиентам через API-интерфейс. В результате выросло качество предоставляемых услуг для клиентов.

IaaS для комфортного масштабирования бизнеса — кейс Avito.ru

Продолжаем рассказывать о клиентах ИТ-ГРАД. На очереди — один из самых известных сервисов в рунете — Avito.ru

За почти 12 лет существования «Авито» из просто сайта объявлений превратился в интернет-гиганта с сильной командой разработчиков и амбициозными планами. Чтобы реализовать их, компании нужна была гибкая и масштабируемая инфраструктура — а также возможность снизить расходы на содержание собственного оборудования.

В «Авито» остановились на IaaS-модели — и выбрали облако ИТ-ГРАД. Как отмечает руководитель разработки «Авито» Иван Калуцкий, важную роль при выборе провайдера сыграли: стоимость услуг, условия SLA, а также тот факт, что у «Авито» уже был опыт сотрудничества с ИТ-ГРАД.

Что выносили в облако

В защищенное облако перенесли часть офисных систем и сервисов:

🔸 SharePoint-портал, на котором реализован внутренний документооборот (это бизнес-критичная система, которая постоянно используется сотрудниками и должна быть доступна 24/7)
🔹 инфраструктурные сервисы Active Directory
🔸 файловые серверы
🔹 резервные копии отдельных приложений и баз данных

Что в итоге

Сейчас «Авито» использует гибридное облако. Решение позволило «Авито» получить доступность сервиса 99,95% и при этом избежать операционной нагрузки по обслуживанию инфраструктуры. В ближайшем будущем компания планирует перенести на облачную площадку оставшиеся сервисы.

​Дата-центр будущего: три технологии для развертки 5G-сетей

По данным Ericsson, к 2024 году объемы мобильного трафика вырастут в пять раз (по сравнению с прошлым годом). Увеличится и нагрузка на дата-центры телеком-компаний. Для решения проблемы крупные ИТ-бренды разрабатывают новые сетевые технологии. О некоторых из них расскажем далее.

Nokia. Компания представила чип для оптоволоконных сетей — PSE-3. Он использует алгоритм вероятностного формирования сигнального созвездия (Probabilistic Constellation Shaping, или PCS). Система учитывает вероятность искажения данных и энергию, необходимую на отправку сигнала. На основе этой информации она выбирает оптимальную амплитуду для передачи данных.

Три года назад с помощью PCS впервые удалось достигнуть скорости в один терабит за секунду. Разработчики ожидают, что технология позволит 5G-сетям передавать большие объемы данных и адаптироваться под текущие потребности в трафике.

VMware. Платформа для виртуализации vCloud NFV получила новые 5G-функции. Она организует работу базовых сервисов сети (например, ядра архитектуры сети беспроводной связи) и позволяет переносить их между разными облачными средами.

Также компания поставляет технологию NSX SD-WAN. Она автоматизирует масштабирование сетевой инфраструктуры.

Cisco. Компания разработала решения Tetration Platform и Application Centric Infrastructure. Первое позволяет мониторить инфраструктуру в реальном времени. Второе нужно для автоматической настройки сетей.

Оба инструмента основаны на концепции self-driving network (беспилотная сеть). По аналогии с беспилотными автомобилями такие сети используют алгоритмы машинного обучения для управления трафиком. Системы Cisco помогут развернуть сети нового поколения на территории США уже в следующем году.

​IaaS для комфортного масштабирования бизнеса — кейс Redweb

Продолжаем делиться нашими кейсами. Сегодня — о сотрудничестве с Redweb — опытным игроком в сфере разработки и интеграции digital-платформ для клиентского и внутрикорпоративного взаимодействия, систем централизованного обмена данными и электронного документооборота.

Среди клиентов Redweb — Kaspersky Lab, Центробанк, Qiwi, BMW, Honda и другие крупные бизнесы. Все они получают специализированные решения и поддержку. В том числе в соответствии со стандартом PCI DSS и регулированием согласно ФЗ-152 и GDPR.

«ИТ-ГРАД» стал надежным партнером в решении таких задач — Redweb строит информационные системы на основе нашего облака с сертифицированной защитой персональных данных.

Так для одного из проектов Redweb использовали нашу услугу «Облако ФЗ-152» и внедрили PCI DSS для сервиса своего клиента.

Кстати, в рамках этого кейса мы помогли Redweb в том числе и с подготовкой необходимой организационно-распорядительной документации, чтобы компания могла выполнить все свои обязательства перед регулятором.

​Почему vGPU не уступают по производительности железным решениям

Есть мнение, что виртуализация снижает производительность графических ускорителей. Но на самом деле современные vGPU по скорости работы не уступают bare-metal.

ИТ-компании постоянно совершенствуют vGPU-платформы. VMware в начале года обновили гипервизор ESXi. В него добавили технологию DirectPath I/O. Она позволила драйверу CUDA связываться с GPU в обход гипервизора и быстрее передавать данные.

Также из ESXi убрали функцию балансировки нагрузки vMotion, так как виртуальные машины всегда работают с одним графическим ускорителем. Это решение сократило операционные расходы на передачу данных.

Другой пример — платформа Radeon Open Compute от AMD. Она использует технологию SR-IOV. Её задача — разделить шину PCIe на части для каждой виртуальной машины. В результате возрастает скорость передачи данных между облачными CPU и GPU.

Совершенствуются и аппаратные платформы. В прошлом году Nvidia представили новый процессор — Tesla T4. Он построен на архитектуре Turing, которая распараллеливает выполнение операций с плавающей точкой. По сравнению с GPU предыдущего поколения производительность выросла на три терафлопса.

Сегодня разрабатывают и другие технологии, которые ускорят vGPU. Например, чипы, в которых объединены ядра GPU и CPU для более эффективного обмена данными. Также создаются балансировщики нагрузки, которые повышают производительность облачных графических процессоров. В будущем в этой сфере можно ожидать еще больше новинок.

​Создать open source дата-центр — три фонда, которые делают это

В прошлый раз мы говорили о фондах, разрабатывающих открытые облачные инструменты. Сегодня на очереди организации, создающие стандарты для оборудования в ЦОД.

Open Compute Project (OCP). Основан в 2011 году компаниями Facebook, Cisco, IBM и Dell и др. Его цель — разработка стандарта модульных 21-дюймовых стоек. По сравнению с классическими 19-дюймовыми, они увеличивают коэффициент эффективно используемого пространства на 15%. Блоки питания в стойках имеют напряжение 48 вольт (вместо 12 вольт), что сокращает энергопотребление серверов на 30%.

Еще в OCP разрабатывают стандарт, который описывает требования к модульному серверу. Он поддерживает процессоры большинства крупных производителей и снабжен портами 50GbE. Также устройство может работать с графическими процессорами: один блок вмещает до восьми GPU.

Open19 Foundation. Фонд основали в 2017 году компании HP, LinkedIn и Vapor IO. Стандарт этого фонда устанавливает требования к структуре сетей и энергопотреблению и описывает форм-фактор для стоек. Среди требований числятся: жидкостное охлаждение и универсальная структура блок-корзин для размещения железа в любых комбинациях.

Open Data Center Committee (ODDC). Основан в 2014 году китайскими ИТ-гигантами Alibaba, Baidu и Tencent. Среди проектов фонда — GPU-сервер и гиперконвергентное решение, объединяющее память, вычислительные и сетевые ресурсы в пул, сконфигурированный для работы в дата-центре.

Таким образом, open source становится популярнее среди производителей железа. Уже в ближайшем будущем можно ожидать появления новых устройств, построенных на базе открытых аппаратных стандартов.

​Узнать за 60 секунд: что такое сервисно-определяемый файрвол

Сервисно-определяемый файрвол не так давно представила VMware. Это — брандмауэр, который способен анализировать поведение приложений. Он защищает ИТ-инфраструктуру даже в том случае, если злоумышленнику уже удалось проникнуть в сеть. Это его главное отличие от классических брандмауэров, которые блокируют лишь атаки извне.

Файрвол VMware построен на базе двух платформ — AppDefense и NSX.

AppDefense — система обнаружения угроз, которая анализирует поведение приложений с помощью алгоритмов машинного обучения. Модель поведения строится на основе данных телеметрии, которые VMware предоставляют клиенты. Если умный алгоритм замечает аномальную активность в сети, то сообщает об этом администратору, а тот уже принимает необходимые меры.

NSX — платформа виртуализации, отвечающая за настройку программно-определяемых сетей. Она управляет политиками безопасности, следит за работой всей системы и отвечает за масштабирование. Об этой системе мы кратко рассказывали в одном из предыдущих постов.

Сервисно-определяемый файрвол уже находит применение в дата-центрах и мультиоблачных средах некоторых мировых компаний.

В этой статье на примере компании «Умный житель» расскажем о том, как удалось автоматизировать процесс управления и эксплуатации недвижимости и как в этом вопросе помогли облачные технологии.

Поскольку российский рынок облачных услуг представлен большим количеством игроков, компания пошла по классическому пути выбора провайдера, который сводился к запросу коммерческих предложений у ряда поставщиков.

В результате на основании коммерческих предложений, анализа рынка и отзывов о компаниях было принято решение в пользу «ИТ-ГРАД».

http://amp.gs/UHBO

​Как повысить энергоэффективность дата-центра

Дата-центры потребляют более 2% мирового электричества. Через шесть лет эта цифра может вырасти в десять раз. Чтобы решить проблему, в ЦОД внедряют новые энергоэффективные технологии. О некоторых из них расскажем сегодня.

DCIM-решения. Это программные инструменты, которые мониторят энергопотребление серверов, хранилищ, маршрутизаторов и вентиляционных систем.

Они автоматически перераспределяют нагрузку между серверами и дают рекомендации операторам ЦОД по настройке систем кондиционирования. В некоторых случаях удается сократить энергопотребление дата-центра на 10%.

О других возможностях DCIM-решений мы писали в одном из прошлых материалов.

Виртуализация. Она позволяет запустить большее количество приложений на меньшем количестве физических серверов. Также виртуализация дает возможность менять объем вычислительных ресурсов «на лету», отключая незадействованные мощности.

В результате сокращаются затраты на электричество — VMware говорят, что экономия может достигать 80%.

Микроклимат. На системы охлаждения приходится половина электричества, расходуемого дата-центром. Устранив «утечки» холода, можно понизить энергопотребление.

Для этого в серверной выделяют «холодные» и «горячие» коридоры со специальными панелями-заглушками, не допускающими смешения воздушных потоков. По оценкам экспертов, такой подход экономит до 30% электричества.

Операторы ЦОД внедряют и другие технологии, снижающие энергопотребление. Крупные ИТ-компании экспериментируют с алгоритмами машинного обучения, которые автоматизируют работу систем охлаждения. О них мы писали тут.

​Как бороться с «зомби-серверами»: поможет новый балансировщик нагрузки из MIT

Дата-центры используют всего 20–40% доступных им вычислительных мощностей. Такое распределение ресурсов ведет к появлению серверов-зомби. Это — машины, которые большую часть времени простаивают и впустую расходуют электроэнергию. По некоторым оценкам, в «состоянии зомби» находится треть всех серверов в мире.

Чтобы решить проблему неэффективного распределения нагрузки, в MIT разработали новый балансировщик Shenango. Это Linux-библиотека на языке C с байндингами Rust и C++.

За распределение процессов в системе отвечает алгоритм IOKernel. Каждые пять микросекунд он проверяет, все ли задачи, назначенные ядрам, выполнены. Если в буфере возникла задержка, то IOKernel перенаправляет «застрявшие» задачи на свободные ядра.

Также Shenango использует подход work stealing. Ядра, выделенные под одно приложение, следят за количеством задач друг у друга. Если ядро заканчивает работу раньше остальных, то оно автоматически забирает часть нагрузки у соседей.

Авторы технологии говорят, что она способна повысить коэффициент использования процессоров в дата-центрах до 100%. В результате операторы ЦОД смогут экономить на покупке и обслуживании серверов и предоставлять услуги большему числу клиентов.

VMware Empower 2019: отчет о конференции в нашем Telegram-канале

20–23 мая команда «ИТ-ГРАД» примет участие в конференции VMware Empower 2019 в Лиссабоне, ориентированной на технических специалистов в области виртуализации. Мы, как партнер VMware, не могли пройти стороной это событие.

В течение конференции мы будем делиться актуальными новостями, обзорами и аналитикой, чтобы не только компании-участники мероприятия, но и наши читатели были в курсе последних событий.

Свежие новости будем размещать в нашем Telegram-канале в режиме реального времени. Более подробные отчеты и аналитику по итогам каждого дня конференции вы найдете в нашем блоге на Хабре http://amp.gs/UaTY.

«Ожидания пользователей безвозвратно изменили логику защиты данных, сломав понятие корпоративного периметра».

VMware будет продолжать активное развитие Workspace ONE и смежных продуктов. В ближайшие годы планируется более чем в два раза увеличить долю искусственного интеллекта в работе платформы.

Workspace ONE — платформа, основная цель которой — централизация и прозрачность управления пользовательским окружением: гостевыми ОС, мобильными устройствами, аккаунтами, приложениями, каталогами. Продукт привлекает все больше партнеров компании и крупных игроков рынка защиты информации. Workspace ONE призван обеспечить баланс между требованиями администраторов к защите данных и ожиданий пользователей в контексте удобства и функциональности корпоративных ресурсов в условиях полной виртуализации рабочего окружения и доступа к нему с устройств под управлением различных ОС и из недоверенных сетей.

Заявлено, что в скором времени одна панель управления Workspace ONE позволит заменить более 50 окон: от настройки политик доступа к корпоративным ресурсам до управления антивирусным ПО.

http://amp.gs/U62m

Организация VMware EMPOWER 2019 впечатляет: антураж, логистика - все на высшем уровне. А мы совсем скоро опубликуем еще несколько коротких отчетов с сегодняшних технических сессий.

"Миграция датацентра с NSX-V на NSX-T без простоев проще, чем может показаться"

Многие опасаются перехода с NSX-V на NSX-T. Вот что на эту тему уже прозвучало на конференции VMware EMPOWER 2019:

Виртуализация сетей завтрашнего дня с VMware NSX-T открывает новые возможности для multicloud и гибридных окружений. Теперь виртуальные сети, построенные на платформе VMware NSX, совместимы и со сторонними гипервизорами. Платформа NSX-T не будет привязана к vCenter/vSphere, что позволяет использовать ее как standalone-решение для различных типов виртуальной и физической инфраструктуры. Кроме того, существенно изменен метод инкапсуляции пакетов. Используемая в NSX-V VXLAN заменена на Geneve. Эти технологии не совместимы между собой. Ввиду этого многие клиенты VMware откладывают переход на NSX-T. В то же время компания VMware утверждает, что при следовании всем рекомендациям процедура миграции может быть выполнена с недоступностью сети не более 3-х минут. Спикеры на конференции обещают, что процесс будет проходить гладко и не должен вызывать затруднений у администраторов. Как это выглядит на практических кейсах будет описано в нашем блоге на Habr в одном из следующих постов.

https://habr.com/ru/company/it-grad/blog/