Clickhouse & MySQL - better together

#clickhouse #mysql #percona

Богдан, Олег и специальный гость Роман Хавроненко из Cloudflare.

https://soundcloud.com/generictalks/0009-kogda-servisu-khvatit-nasypat-v-gostyakh-roman-khavronenko

00:00:00 - Вводная. Патроны. Гость Роман из Cloudflare.
00:02:21 - С места в карьер. Есть ли замена ClickHouse? Druid, Redshift и ручные поделки. Как работать с большим количеством выборок в ClickHouse.
00:13:55 - Отказоустойчивость. Минутка SRE. Graceful degradation. Планирование и внедрение SLA и SLO. Зачем нужен Error Budget. Травим байки.
00:29:51 - Обузданый хаос. Как заставить своих программистов правильно обрабатывать ошибки и не падать по первому чиху. Поможет ли нам service mesh?
00:37:25 - Где предел паранойи? Можно ли отхендлить какую угодно ошибку? Когда пора остановится?
00:46:44 - Пытаемся разобрать конкретный пример и паттерны которые можно использовать.
00:55:45 - Графиков так много что глаза разбегаются. Автоматический корреляционный анализ. Metrics Driven Development.
01:07:58 - Adaptive capacity limiting и smart load balancing. Как косвенно или напрямую измерять загруженность сервера и почему мерять CPU load не всегда правильно.
01:18:08 - Приоритизация трафика и load shedding. Как работать с запросами произвольной сложности. Event sourcing and CQRS.
01:34:10 - Экзотические техники работы с перегрузками: батчинг, агрегация, сэмплирование.

​Поднимите руки кто знает Instana. Это observability-система для контроля распределённых (=микросервисных) приложений. Очень крутая и динамично развивающаяся, как говорится. Самое охрененское — это их визуализации. Больше так никто не делает. Причём все технологии контролируются одним единственным агентом, который после установки на сервер сам распознает что там и как работает. Распространение агентов заточено под использование CI/CD. По деньгам они получаются дешевле Appdynamics или New Relic, если посчитать стоимость за агента.

А сама новость заключается в том, что Instana теперь начала поддерживать мониторинг стека vmware. И это очень позитивная новость, т.к. добавляет дополнительный уровень абстракции в рамках одной системы.

Если хотите пилот на вашей инфре или просто узнать больше — пишите в личку.

👍 — слышал про Instana и считаю интересным решением

👎 — я свой Jaeger, OpenTracing или <свой вариант> не променяю на платное решение

👀 — у меня монолитное приложение, работает на физическом сервере в кладовке и мне не до ваших распределённых глупостей

Опубликован план окончания поддержки CoreOS Container Linux
https://www.opennet.ru/opennews/art.shtml?num=52315
Определена дата прекращения сопровождения дистрибутива CoreOS Container Linux, на смену которому пришёл проект Fedora CoreOS (после поглощения проекта CoreOS компания Red Hat объединила Fedora Atomic Host и CoreOS Container Linux в рамках единого продукта). Последнее обновление для CoreOS Container Linux намечено на 26 мая, после чего жизненный цикл проекта завершиться. 1 сентября связанные с CoreOS ресурсы будут удалены или переведены в режим только для чтения. Например, будут удалены предлагавшиеся для загрузки установочные образы, сборки для облачных окружений и репозитории с обновлениями. Репозитории на GitHub и система отслеживания ошибок будут останутся доступны в режиме только для чтения. #opennet

Burnout in Software Development Demystified

Подробно про выгорание в IT и как с ним бороться.

https://thevaluable.dev/burnout-software-developer

Новый материал в блоге — обзор альтернативы Redis и наш опыт с ней в одном из проектов: https://habr.com/ru/company/flant/blog/478404/

Если вы еще не пробовали rclone для бекапов, то пора это делать

https://www.linuxuprising.com/2020/02/cloud-storage-sync-program-rclone-151.html

Так, пока менеджеры не разрешат нам писать на golang, – предлагаю всем через актив директори установить вот этот клон docker’а на баше:

https://github.com/p8952/bocker

⌛️ Про балансировку, сценарии и реализацию оных. На русском языке, от ребят из Selectel: https://selectel.ru/blog/load-balancing/

#напочитать #balancer

Миграция с PostgreSQL на CockroachDB

vardbg - интересный инструмент дебага и профилирования для python. Фишка его в том, что он визуализирует flow программы.

#python #debugg #algorithm

При всей моей не любви к node, js, но выпустили новую версию Yarn

ODAT: Oracle Database Attacking Tool

За ссылку спасибо @oleg_log

​​⚡️⚡️⚡️ Авторитетнейший ресурс российского IT-сообщества «Хабрахабр» покинул Россию ⚡️⚡️⚡️

👉 Сегодня при логине на «Хабр» пользователям выдается сообщение об изменениях в пользовательском соглашении c 07.02.2020. Соглашение с новым юрлицом «Хабр Блокчейн Паблишинг ЛТД» с офисом в Никосии (Кипр):
https://account.habr.com/info/agreement/

👆 Вероятнее всего это связано с нежеланием «Хабра» выполнять мероприятия связанные с обязанностями Организатора Распространения Информации (ОРИ). Мероприятия подразумевают бесконтрольный доступ силовиков к информации о пользователях и их переписке, предоставления ключей шифрования силовикам, включая журнал сессионных ключей, хранение всей информации несколько лет в интересах силовых ведомств

ℹ️ «Хабр» существует с 2006 года. Является одним из самых авторитетных и популярных IT-порталов России. 24 сентября 2014 года ресурс был внесен в реестр ОРИ под №6. «Хабр» является одним из немногих российских ресурсов, ведущих так называемый «транспаренси репорт»: https://habr.com/ru/info/transparency/

Коллеги, сообщество Monhouse анонсировало календарь мероприятий по мониторингу на 20-ый год (весь календарь тут https://monhouse.tech/events). Всего будет 7 митапов, 2 круглых стола и 1 конфа в два потока.

Сейчас сообщество ищет спикеров на:
1) митап по CI/CD процессам (19 марта);
2) Big Monitoring Meetup(BMM) 5 Conf (23 апреля).

Database Lab - Thin database clones for faster development

Lab allows superfast cloning of large databases to solve the following problems:

help build development and testing environments involving full-size database,

provide temporary full-size database clones for SQL query optimization (see also: Joe bot, which works on top of Database Lab),

help verify database migrations (DB schema changes) and massive data operations.

😱😱

 an example, the cloning of 10 TiB PostgreSQL database takes less than 2 seconds.

Стали доступны видео с конференции DevOops 2019 🎉🎉🎉

Программа: http://amp.gs/usRp
Плейлист: http://amp.gs/usRB
#devoops #videos #conference

⚙️ Посмотрел сам, и показал в заметке. Procs - инетерсная алтернатива ps, написанная на Rust. Табличный, цветной вывод, дополнительная информация, сортировка, вывод по ключам, логические условия и всё вот это вот.

📗 https://sysadmin.pm/procs-util/

#будничное #ps #procs