Forwarded from Inside Yandex Cloud
Меня зовут Александр Душеин, я техлидер команды архитекторов Yandex Cloud.
В новой статье на Хабре я расскажу подробнее, что поможет избегать таких ситуаций: какая работа по предотвращению серых отказов была проделана на нашей стороне, какие рекомендации стоит взять на вооружение пользователям и какие инструменты в дальнейшем помогут проводить учения по отказоустойчивости инфраструктуры, чтобы выявлять неоптимально настроенные ресурсы.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3
Рассмотрим кейс: розничная сеть N ежедневно обрабатывает десятки тысяч файлов логов, включая чувствительные данные — например, чеки и транзакции.
Все они хранятся в Object Storage. При этом инфраструктура, которая отвечает за обработку логов, работает в закрытом контуре: по требованиям безопасности она не имеет выхода в интернет и не может обращаться к публичным IP-адресам.
Возникает проблема: данные хранятся в S3 с публичным адресом, а сервисы-обработчики находятся в изолированной сети и физически не могут к ним подключиться.
Как решить задачу?
🤝 — Согласовать с СИБ доступ из частной сети в интернет
👌 — Настроить NAT на конкретный публичный IP-адрес Object Storage
👍 — Использовать сервис VPC Private Endpoints
Все они хранятся в Object Storage. При этом инфраструктура, которая отвечает за обработку логов, работает в закрытом контуре: по требованиям безопасности она не имеет выхода в интернет и не может обращаться к публичным IP-адресам.
Возникает проблема: данные хранятся в S3 с публичным адресом, а сервисы-обработчики находятся в изолированной сети и физически не могут к ним подключиться.
Как решить задачу?
🤝 — Согласовать с СИБ доступ из частной сети в интернет
👌 — Настроить NAT на конкретный публичный IP-адрес Object Storage
👍 — Использовать сервис VPC Private Endpoints
👍7👌5🤝4
Как просто и безопасно получить доступ к Yandex Object Storage изнутри виртуальной сети
VPC — это облачная виртуальная сеть, которая позволяет создавать облачные сети и подсети, а также настраивать статические маршруты. Кроме этого, VPC позволяет назначать виртуальным машинам внутренние IP-адреса и, в случае если нужен доступ к публичным ресурсам, внешние IP-адреса.
🙅 Часто требования безопасности запрещают назначение публичных IP-адресов, внешний доступ, доступ в интернет и даже NAT.
➡️ VPC Private Endpoints решает эту проблему: он обеспечивает доступ, подключая сервисы «внутрь» вашей VPC.
Подробнее об устройстве сервисного подключения в Yandex Virtual Private Cloud читайте в документации.
VPC — это облачная виртуальная сеть, которая позволяет создавать облачные сети и подсети, а также настраивать статические маршруты. Кроме этого, VPC позволяет назначать виртуальным машинам внутренние IP-адреса и, в случае если нужен доступ к публичным ресурсам, внешние IP-адреса.
В карточках рассказываем, как подключаться к S3 из VPC без доступа в интернет, а чтобы углубиться в тему, смотрите доклад с конференции Yandex Scale 2024.
Подробнее об устройстве сервисного подключения в Yandex Virtual Private Cloud читайте в документации.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5👀3
Есть нюанс: самый дешёвый класс не всегда самый выгодный. Например, записать файл на 0,37 мегабайта в ICE будет стоить примерно столько же, сколько хранить этот файл целый год.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8🔥4
Как упаковать S3-хранилище в on-premises кластер?
Локальная версия Yandex Object Storage даёт все преимущества облачного хранилища и соблюдает ключевые условия к on-prem:
Хранилище масштабируется до эксабайтов данных и неограниченного количества объектов в бакете, совместимо с Amazon S3 API, надёжно с SLA 99,98% и стабильно даже при кратном росте объёмов данных.
🚩 В прошлых постах мы уже говорили о том, как работать с S3 внутри облака. На митапе about:cloud — infrastructure 2025 Александр Нечаев рассказал, как мы упаковываем компоненты S3-хранилища для развёртывания в on-premises, и подробно объяснил:
🔥 — уже смотрю выступление Саши
❤️ — хочу узнать, как реализовать решение
🤝 — хочу узнать, как это работает на практике
Локальная версия Yandex Object Storage даёт все преимущества облачного хранилища и соблюдает ключевые условия к on-prem:
🟣 соответствует регуляторным требованиям;🟣 предоставляет полный контроль над данными;🟣 интегрируется с локальной инфраструктурой;🟣 обеспечивает адаптивное управление нагрузками — технические характеристики S3 on-premises подбираются под нужные требования по производительности, отказоустойчивости и пропускной способности.
Хранилище масштабируется до эксабайтов данных и неограниченного количества объектов в бакете, совместимо с Amazon S3 API, надёжно с SLA 99,98% и стабильно даже при кратном росте объёмов данных.
🔴
как удалось поместить всё в один маленький K8s-кластер и что пришлось заменить;
🔴
что помогает on-premise хранилищу держать нагрузку и переживать отказ хостов;
🔴
что делать, если пропускная способность сети выше скорости дисков;
🔴
где догфудинг полезен, а где им пользоваться не стоит;
🔴
как упростить установку десятков Helm-чартов без вреда скорости разработки.
🔥 — уже смотрю выступление Саши
❤️ — хочу узнать, как реализовать решение
🤝 — хочу узнать, как это работает на практике
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4🔥4🤝3
Гибкая и масштабируемая инфраструктура Yandex Cloud позволяет разворачивать сложные веб-сервисы и помогает справиться с нагрузкой путем балансировки между ресурсами и зонами доступности.
В карточках рассказываем, как наши клиенты уже решают задачи по обеспечению отказоустойчивости приложений в облаке.
Подробнее о каждом кейсе читайте на сайте:🐧 Payselection🐧 Мосполитех🐧 «Виасат»
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍1🔥1
Сегодня тренды идут в двух направлениях:
Новая платформа Stackland отвечает на каждый из них.
Решение будет доступно в первом квартале 2026 года. Больше о его работе читайте на сайте Yandex Cloud.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3❤2