Уроки из наших 8 лет работы с Kubernetes в продакшене — два крупных сбоя кластера, отказ от самоуправляемого решения, снижение затрат, инструменты и многое другое

На ранних этапах в Urb-it, ещё до моего прихода, мы решили использовать Kubernetes как краеугольный камень нашей облачно-нативной стратегии. Мотивом этого выбора было наше ожидание быстрого масштабирования в сочетании с желанием использовать возможности оркестрации контейнеров, чтобы получить более динамичную, устойчивую и эффективную среду для наших приложений. А с нашей микросервисной архитектурой Kubernetes отлично подходил для этой задачи.

📌 Подробнее: https://medium.com/@.anders/learnings-from-our-8-years-of-kubernetes-in-production-two-major-cluster-crashes-ditching-self-0257c09d36cd

MemOps 🤨

MemOps 😃

MarkItDown — утилита написанная на Python для преобразования различных файлов в формат Markdown для использования с LLM и связанными с ними конвейерами анализа текста.

В этом отношении она наиболее близка к textract, но с акцентом на сохранение важной структуры и содержимого документа в формате Markdown (включая заголовки, списки, таблицы, ссылки и т. д.). Хотя вывод зачастую достаточно презентабелен и удобен для восприятия, он предназначен для использования инструментами анализа текста и может быть не лучшим вариантом для высококачественного преобразования документов для восприятия человеком.

В настоящее время MarkItDown поддерживает конвертацию из:
- PDF
- PowerPoint
- Word
- Exel
- Изображения (метаданные EXIF и OCR)
- Аудио (метаданные и транскрипция речи)
- HTML
- Текстовые форматы (CSV, JSON, XML)
- ZIP-файлы (перебирает содержимое)
- URL-адреса YouTube
- EPubs
- и многое другое!

📌 Подробнее: https://github.com/microsoft/markitdown

MemOps 🤨

Мы внедрили Agile и CI/CD, чтобы ускорить разработку! 😊

MemOps 😃

Single‑Instance Oracle Database на OpenShift

Red Hat представила результаты инженерной работы, направленной на поддержку БД от Oracle. Описана подробная reference‑архитектура и проверка работоспособности с акцентом на производительность, масштабируемость и поддержку live‑миграции.

📌 Подробнее: https://www.redhat.com/en/blog/single-instance-oracle-database-openshift-virtualization

MemOps 🤨

MemOps 😃

🤔 ИБ-специалисты тонут в данных об угрозах, но не могут их использовать

Тут наткнулся на свежий отчет от Google Cloud и Forrester, и он в очередной раз подтвердил то, о чем мы с вами и так догадывались. Большинство ИБ-отделов (если в организации они вообще есть 🎩) по всему миру просто тонут в данных, а реальной пользы от этого мало.

По их данным, 61% IT-руководителей признают, что их команды перегружены потоком информации об угрозах. У 60% не хватает квалифицированных людей, чтобы это всё анализировать. 72% организаций признаются, что их подход к кибербезопасности преимущественно реактивный. То есть ИБ-отделы не предотвращают, а тушат пожары по факту.

Интересный момент про производственный сектор. Именно там больше всего боятся пропустить реальную угрозу из-за информационного шума. Стандартные IT-инструменты плохо подходят для анализа OT-окружений (АСУ ТП, SCADA), а уязвимости там могут быть куда критичнее.

Что касается самих угроз, то на первых местах фишинг и шифровальщики. Но вот на третье место уже вылезли AI-инъекции, далее атаки на цепочки поставок.

Получается прикольная кулстори, когда купили SIEM-систему за стопицот миллионов, настроили тысячу алертов, а в итоге сидим и не знаем, за что хвататься. А реальная угроза в это время спокойно проходит мимо, потому что она не попала ни в один из наших умных дашбордов.

Типичный 🎹 Сисадмин

MemOps 😃

DNS-хаос, зомби-поды и майнеры в кластере: самые невероятные случаи при работе с Kubernetes

Kubernetes — мощный и одновременно сложный инструмент, работа с которым неизбежно порождает… инциденты. И на практике DNS виновата далеко не всегда. Иногда всё ломает слишком длинное имя деплоймента, протухший CA-сертификат или сбой сетевой карты, из-за которого TCP-пакеты просто отбрасываются. В статье вас ждут самые интересные и поучительные инженерные истории с Reddit.

📌 Подробнее: https://habr.com/ru/companies/flant/articles/931902/

MemOps 🤨

MemOps 😃

Linux Storage 101: Разделение диска на несколько разделов

В реальных условиях серверы часто требуют разбиения накопителя на несколько разделов, отформатированных в разные файловые системы.

Пример:
▪️ext4 — для системных данных и логов
▪️btrfs — для данных приложений

📌 Подробнее: https://labs.iximiuz.com/challenges/storage-partition-drive

MemOps 🤨

MemOps 😃

Planify — легковесный таск менеджер / трекер

Возможности:
- аккуратный визуальный стиль.
- перетаскивание и упорядочивание: сортируйте свои задачи там, где вам удобно.
- индикатор прогресса для каждого проекта.
- будьте более продуктивны и организуйте свои задачи по «Разделам».
- визуализируйте свои события и лучше планируйте свой день.
- система напоминаний. Вы можете создать одно или несколько напоминаний по своему усмотрению.
- лучшая интеграция с тёмной темой.
- напоминания и уведомления.
- быстрый поиск.
- повторяющиеся даты сдачи.

Поддержка Todoist и Nextcloud:
- синхронизируйте свои проекты, задачи и разделы.
- поддержка Todoist в офлайн-режиме: работа без подключения к Интернету; когда все будет подключено снова, все будет синхронизировано.

📌 Подробнее: https://github.com/alainm23/planify

MemOps 🤨

MemOps 😃

7 Crucial PostgreSQL Best Practices

📌 Подробнее: https://speakdatascience.com/postgresql-best-practices

MemOps 🤨

MemOps 😃

Glasskube

Это пакетный менеджер с открытым исходным кодом для Kubernetes. Он делает развертывание, обновление и настройку пакетов в Kubernetes в 20 раз быстрее по сравнению с такими инструментами, как Helm или Kustomize. Вдохновлён простотой Homebrew и npm. Вы можете выбрать: использовать Glasskube через интерфейс (UI), командную строку (CLI) или развёртывать пакеты напрямую через GitOps.

📌 Подробнее: https://github.com/glasskube/glasskube

MemOps 🤨

MemOps 😃

Can’t delete your kube pod? Here’s the reason why!

📌 Подробнее: https://medium.com/@jonathan_10756/cant-delete-your-kube-pod-here-s-the-reason-why-99b8ec17354d

MemOps 🤨

Изолированные контейнеры, работающие на одном ядре. Всё по учебнику.

Типичный 🐳 Сисадмин

Как спрятать сontrol plane Kubernetes от любопытных глаз

Control plane Kubernetes — как сейф с главными ключами. Он управляет кластером, хранит sensitive-информацию и зачастую представляет собой лакомую цель для злоумышленников.

В этой статье — разбор того, как спрятать control plane в сервисе Managed Kubernetes, предоставляемом в облаке: зачем это нужно, какие варианты существуют и с какими проблемами мы столкнулись на практике. Рассмотрим несколько open source решений, которые протестировали у себя в поисках надёжного способа изолировать control plane-ноды от пользователя и сделать их недоступными для какого-либо внешнего взаимодействия.

📌 Подробнее: https://habr.com/ru/companies/mws/articles/931232/

MemOps 🤨