Раньше у них был свой registry, но он жрал несколько терабайтов хранилища, так что они перешли на quay.io

Хранилка у них на Ceph

Мониторинг раньше был на Nagios, а сейчас на Prometheus+Alertmanager+Matrix

Архитектура текущей инфраструктуры

Необычно, что у них воркеры и мастера — это одни и те же узлы

Таким способом экономят на ресурсах

Редхат, купи им ещё серваков(

Вообще круто, что у них уже виртуалки через openshift рулятся, т.к. это относительно новая тема, но становящаяся популярной

CI/CD во все поля, IaaS тоже

Rook — это оператор автоматизации хранилища. Через него они могут получать все необходимые типы хранилища. Блочные устройства, CephFS и RadosGW (S3-совместимое хранилище)

GitLab у них один из самых устаревших ресурсов и в данный момент он работает в одной виртуалке, но они постепенно перетаскивают его в контейнеры в OpenShift кластер. Планируют завершить работу над этим в течение нескольких недель

Тем временем у меня тг отвалился без впн

Prometheus у них получает телеметрию отовсюду. Они мониторят
даже эту конференцию в BigBlueButton! Они видят задержку, нагрузку, количество зрителей и прочее. Таким образом, они могут заранее предпринять решения, чтобы справиться с нагрузкой. Например, развернуть ещё один узел OpenShift или перевести трансляцию в другое место

Миграции, которые были проведены за последние 4 года

Говорят, что OpenShift 3 был крут, но был запутаннее и сложнее. А OpenShift 4 дал куда больше автоматизации и надёжности (в том числе благодаря CoreOS).

Я так понимаю, что они шляпный опеншифт юзают, а не okd

Говорят, что относительно безболезненно произошла миграция OCP3 → OCP4

Немного статистики по CI/CD

Достижения по CI/CD

Раньше был RHEL 7/CentOS 7 и было очень тяжело на них держать CI. Иногда сборка фейлилась. На Fedora стало сильно проще

Docuum теперь следит, чтобы у них больше не заканчивалось место)