​​Архитектура DWH

В проектах с большими данными серьезное значение имеет концепция архитектуры хранилища. Самые распространенные подходы к DWH следующие:

📌Архитектура Ральфа Кимбалла. Хранилище — набор витрин данных и ничего больше.
📌Архитектура Билла Инмона. Подразумевает наличие не только витрин, но и корпоративного слоя данных.
📌Архитектура Дэна Линстедта. Модель, в которой с помощью архитектурных решений и выделения таблиц разных типов стоимость вносимых изменений сильно снижена. Она динамичнее предыдущих, удобнее в работе и не требует постоянной доработки.
📌Архитектура EAV. Модель, которая обеспечивает большую гибкость при создании новых данных за счет использования сущностей, атрибутов и их значений.

Выбрать подходящую вашим задачам архитектуру непросто, но зато правильно спроектированное DWH поможет дальше эффективно работать с данными.

​​Автоматизируем тяжеловесные процессы merge

✈️ Автоматизация - дело хорошее. Особенно в контексте частоповторяющихся обыденных рабочих задач. Упростить тяжелые рабочие процессы разработчикам помогает Aviator - набор инструментов, который позволяет управлять запросами Pull в Git.

⚙️Aviator состоит из четырех компонентов.

MergeQueue. Автоматизированная очередь, которая управляет рабочим процессом Merging для репозитория GitHub, защищая важные ветви от неисправных сборок.

ChangeSets. Рабочие процессы для синхронизации валидации и объединения нескольких PR в одном репозитории или в нескольких.

FlakyBot. Инструмент для автоматического определения и обработки результатов нестабильных тестов в инфраструктуре CI.

Stacked PRs CLI. Инструмент командной строки для работы с cross-PR зависимостями.

🔐Что важно, со всеми задачами Aviator помогает справиться с соблюдением требований безопасности.

​​Сегодня День системного администратора!

💾Первый раз этот праздник был устроен в 1999 году американским сисадмином Тедом Кекатосом. Это был просто пикник на природе, в котором приняли участие члены небольшой софтверной компании.

Поздравляем всех повелителей серверных и укротителей софта с профессиональным праздником!

👨‍💻Желаем, чтобы у вас в жизни ничего не лагало, не вылетало и не глючило, а благодарные пользователи говорили вам «спасибо» не только в последнюю пятницу июля.

Да прибудет с вами сила Ctrl + Alt + Del!

​​Infrastructure as Code

⚙️Инфраструктура как код (IaC) — подход к созданию и настройке инфраструктуры через конфигурационные файлы. Процесс можно сравнить с разработкой ПО - продумывается архитектура, прописываются процессы, устанавливается взаимодействие инфраструктурных элементов. Все это описывается в специальных форматах: yaml, json, xml и т.д.

📑Философия IaC основывается на принципах «единого источника правды» - исполнение одного и тот же кода формирует одну и ту же исполняемую среду.

🗂️Ключевая особенность IaC — с инфраструктурой взаимодействует система через конфигурационные файлы, а не администраторы или девопсы в ручном режиме.

👨‍💻Сейчас IaC — одна из доминирующих концепций в DevOps. Она так популярна благодаря повышению скорости разработки, тестирования и возможности внедрения непрерывного развертывания (CI/CD). Сама концепция проста и прозрачна, а многие инструменты работы с ней имеют невысокий порог вхождения. Например — Ansible.

Запустили новый кластер на базе DataSpace-3

Продолжаем расширять список возможностей для наших клиентов. Теперь при заказе виртуального сервера можно выбрать новый ЦОД DataSpace-3.

Это позволит получить все преимущества Enterprise-виртуализации по лучшим ценам:

📌vCPU Intel Xeon Gold 6154 (3GHz) - 180р. / vCPU
📌RAM ECC DDR4 - 240р. / GB
📌SAS - 5р. / GB
📌SSD - 12р. / GB

Характеристики самой доступной конфигурации:

⚙️vCPU: Intel Xeon Gold 6154 (3GHz) - 1
⚙️RAM: ECC DDR4 - 512 МБ
⚙️SAS: 10 ГБ
Цена: 450 р./мес.

Преимущества DataSpace-3:

⚡️Установленная мощность 9,5 МВт, 5 периметров безопасности, 12 серверных залов с энергообеспечением 360 кВт
⚡️Надежный ЦОД с расположением в Москве
⚡️Сертификация Tier III
⚡️Пинг до Московской биржи 2 мс - лучший вариант для трейдинга

Ограничения DataSpace-3:

⛔️Max vCPU - 8
⛔️Max RAM - 16 ГБ

Заказывайте виртуальный сервер на базе ЦОД DataSpace-3 и масштабируйте вычислительные мощности под ваши задачи.

Заказать сервер: https://clck.ru/35BxtW

​​Сегодня у нас особенный день - 7 августа 1cloud исполняется 11 лет!

🎉За это время мы смогли создать востребованный сервис и стать заметным игроком на рынке облачных решений для бизнеса. То, что вы продолжаете пользоваться нашими услугами - главный индикатор успеха для нас.

🎁Мы хотим поделиться с вами нашей радостью и подарить промокод на 500 рублей. Копируйте его и используйте в Панели 1cloud.

Промокод: 569584

Как применить промокод?

📌Скопируйте промокод
📌Зайдите в Панель 1cloud
📌Перейдите в «Настройки профиля» и выберите раздел «Промокод»
📌Введите промокод и нажмите «Активировать промокод»
📌Бонусные 500 рублей добавятся при следующем пополнении баланса

Подробно об активации промокода можно прочитать на нашем справочном портале.

Спасибо, что выбираете 1cloud!

​​Ansible

☁️Ansible — инструмент автоматизации работы с серверами и ПО на них. С его помощью можно создавать, удалять, изменять облачные серверы, устанавливать и изменять на них ПО, управлять сетями и сетевыми настройками.

⚙️Все это Ansible делает самостоятельно, следуя заранее подготовленным сценариям — плейбукам.

Ansible состоит из 4 базовых элементов:
📍Inventory — файл с данными серверов, над которыми нужно совершить действия.
📍Modules — скрипты или программы, которые загружаются на удаленные машины и там исполняются.
📍API — интерфейс взаимодействия с Ansible.
📍Plugins — сопрограммы, расширяющие возможности Ansible.

🔄Ansible использует безагентную модель работы по методу push. Принцип работы заключается в загрузке на удаленные серверы скриптов или программ, исполнения их и фиксации изменений состояния системы.

​​Новые условия в публичной оферте

☁️Наш главный приоритет - предоставить пользователям надежную инфраструктуру в соответствии с SLA. Для этого мы периодически проводим профилактические работы, во время которых иногда необходимо перенести виртуальные машины на другие площадки.

📝К сожалению, не всегда удается оперативно связаться с пользователями и согласовать перенос виртуальной машины. Это сильно затягивает проведение работ. Поэтому мы вводим новые пункты в публичную оферту, которые позволят нам проводить работы при отсутствии связи с пользователем.

🔗Подробно об изменениях в публичной оферте можно узнать на нашем сайте.

​​Локальная и распределенная установка Grafana

📊Grafana — система визуализации данных из различных систем сбора статистики. Она поддерживает установку на самые популярные операционные системы, а в качестве базы данных можно использовать SQLite (по умолчанию), MySQL и PostgreSQL.

🔎В связке с node exporter и Prometheus Grafana представляет удобную систему мониторинга нагрузки. Такая связка может быть установлена локально — на сервере, который нужно мониторить, или распределенно — на отдельных серверах.

📦Для локальной установки удобнее всего использовать Docker. Так вы сможете легко следить за состоянием системы мониторинга, и она не будет мешать основным программам, так как будет изолирована. В случае с распределенной системой, на наблюдаемый сервер устанавливается только агент, который собирает данные, а БД и система визуализации устанавливаются на другие серверы.

💻Локальная установка системы мониторинга нагрузки хороша, когда у вас 1 сервер для мониторинга, а если нужно мониторить кластер — подойдет распределенная система.

​​Управляем инфраструктурой с Terraform

С помощью Terraform можно разворачивать серверы, настраивать сети, балансировщики нагрузки и прочие элементы инфраструктуры.

📝Terraform использует декларативный стиль и является идемпотентным. Это значит, что дважды одно и то же действие он выполнять не будет, а в конфигурационный файл вносится финальное состояние инфраструктуры.

Для взаимодействия с API облачных провайдеров Terraform использует специальные модули — «провайдеры», которые можно скачать с официальных репозиториев GitHub.

⚙️Terraform работает с инфраструктурой, а с ПО и ОС на серверах работают другие системы управления IaC: Ansible, Chef, Salt и т.д. Они могут применяться в связке с Docker и другими системами контейнеризации.

​​Как работает Django-стек

⚙️ Классический Django-стек состоит из 4 базовых элементов: Web-сервер, WSGI-сервер, сам Django и СУБД. Часто в эту схему добавляют еще ПО для работы с безопасностью и памятью.

Разберем подробно работу каждого элемента:

1️⃣Веб-сервер принимает и обрабатывает HTTP-запрос браузера, затем передает его в Application-сервер.
2️⃣Application-сервер разбирает данные и, исходя из своей конфигурации, по протоколу WSGI передает их в Django.
3️⃣Django обрабатывает данные и возвращает результат работы обратно Application-серверу. Он передает результат веб-серверу, который возвращает клиенту готовую HTML-страницу.

Django берет на себя все, что связано с роутингом URL и логикой обработки запросов, также Django стандартизирует внутреннюю архитектуру Web-приложений, в которых реализуется основная бизнес-логика проекта.