I hate overtime
870 subscribers
129 photos
4 videos
54 files
961 links
Some DevOps, SRE and IT development stuff
Download Telegram
I hate overtime
#data Шикарный лонгрид с обзорами и сравнением DWH и DataLake Одна картинка чего стоит, хех. Кмк, это самое емкое определение data governance
#data
Ну и заодно, DataBricks решили, что вот этот вот ваш DWH поверх Hadoop теперь называется DataLakehouse.
Статья не особо примечательная, но есть несколько интересных ссылок касательно технологий(в том числе и OSS) заточенных прямо под такую архитектуру данных
Obsidian и Foam прям огонь! Заодно узнал про прикольную методу zettelkasten
Forwarded from oleg_log (Oleg Kovalov)
Так вот. Dropbox победил.

Много кто из отозвавшихся синхронизирует через Db, и книги, и доки, и даж фотки. Фотки чаще в Google Photos и iCloud.

Треть тех, кто кто юзает клауд, еще и на HDD/SSD сливают бекап, на всякий случай. Звучит честно. Была парочка человек с зашифрованными флешками и самым важным (ssh ключи и боевые картиночки).

Поддержание своего сервера с каким-то там бесплатным решением для синхронизации оказалось редким (я о Syncthing и аналогах). Хотя у Digitalocean дешевый S3 как помню.

2. Для знаний Телеграм (внезапно) и Notion. Apple, Google, MS заметки очень редкие оказались, хотя мне кажется Apple-вские юзает все, у кого мак/айфон. Может я неправильно в чужие мониторы смотрел.

Foam и https://obsidian.md/ идеальный вариант, если боитесь, что с Notion что-то случится. (https://www.orgroam.com/ сюда же)

Ах да, кое-кто сделал решение с Todoist -> Integromat => Airtable (No code, товарищи), как минимум лайк за оригинальность.

Если интересно мое:
1. Google drive для доков и бюрократии, хотя часть и на Dropbox тоже. Google photos для медиа.
2. Хотелось Notion но сильно не зашло, хотелось попробовтаь в Markdown, но остановился на "приватный канал в телеге по теме" куда просто кидаю хорошие ссылки.

Но Фоам и Обсидиан точно потыкаю, хочется аналог книги. Спасибо всем отозвавшимся.
Forwarded from FEDOR BORSHEV
Список вопросов для 1:1

Отличный список для вдохновения, ~300 вопросов, которые можно задать на личной встрече с сотрудником.

Есть всё, от банального «Что ты думаешь о моей работе» до крутейшего «Если бы ты был CEO, чтобы ты поменял первым делом?».
Флант | Специалисты по DevOps и Kubernetes
Новый перевод в блоге — обзор и сравнение утилит для валидации Kubernetes-манифестов: https://habr.com/ru/company/flant/blog/511018/
Очень годный обзор, кстати! Советую обзавестись хотя бы минимумом(kubeval), что бы не попасть в ситуацию когда лимиты на ресурсы не сработали потому что в вашем любимом редакторе tab не в нужное число пробелов выставлен(это, кстати, реал стори, поцоны. Как же меня тогда бомбило....)
#monitoring #anomalydetection
Ну и вдогонку статья от гитлаба как они сделали anomaly detection(z-score) на проме.
Советую почитать, потому как реализовать такое достаточно просто, и хорошо помогает при спайках
#design
Не скажу что это самое точное объяснение SOLID'а, но точно самое милое.
Слава роботам!
Forwarded from Selectel Newsfeed
Как заблокировать трафик из определенных стран? 🏴‍☠️

Кажется, что фильтрация трафика — тривиальная задача. Но не все так просто. Старые инструкции потеряли актуальность, а новых особо никто не написал. Поэтому мы посчитали своим долгом это исправить.

С помощью чего будем настраивать?
Фильтрация будет настраиваться с помощью стандартной сетевой утилиты iptables. Но ей потребуется расширение для работы с GeoIP-данными.

Где найти расширение и что делать с ядром ОС?
Нам потребуется xtables-addons. Эта хитрая штука устанавливает расширения для iptables в виде самостоятельных модулей ядра, благодаря чему не нужно перекомпилировать ядро ОС.

Детальная инструкция в нашем блоге: http://slc.tl/Dx-Xl
POSTGRESSO
https://habr.com/ru/company/postgrespro/blog/442804/
#sql #postgres
В свое время парни из PgProfessional запилили бомбезный цикл статей про постгрес. Но, оказывается, что есть пейпер с дизайном того самого постгреса 1987года. Забавно что, например, проблемы с 32битными xid изначально не было
Forwarded from ITGram
Недавно Бизли зарелизил Practical Python Programming -- курс по Питону, который он создавал и преподавал 13 лет. Выглядит курс очень круто, покрывает всё самое нужное, от установки питона и типов данных и до тестирования и создания и установки пакетов.
Наблюдаемость SRE: пространства имен и структура метрик

Структурированные пространства имен метрик важны для быстрого доступа к информации во время инцидентов. Один из способов, который эффективен при создании гибкой модели метрик, — думать о них как о дереве.

Перевели статью, в которой рассматриваются свойства пространств имен метрик, позволяющие постепенно увеличивать детализацию запросов и переходить к подмножествам данных, а также просматривать метрику с точки зрения метрик, из которых она состоит.
Forwarded from DataEng
Бесплатные лекции про распределённые системы от профессора Lindsey Kuper: https://www.youtube.com/playlist?list=PLNPUF5QyWU8O0Wd8QDh9KaM1ggsxspJ31
Вот как все-таки приятно иметь дело с хорошим API! Есть у меня в одном из проектов тестик с Mock'ом на NSubstitute. Тестик очень простой: мок считает что нужный метод дернули N раз с определенными входными параметрами.
Внезапно, тестик начал падать. В описании фейла такое:
вы ждали, что метод foo(any Bar, Baz) будет вызван 5 раз, а он ни разу не вызвался((
Вообще-то есть 5 похожих колов(отличия я тебе заботливо пометил *):
foo(Bar, *Baz*)
...
Ну тут вот я, конечно, сразу вспомнил, что воткнул в foo еще один параметр типа Baz с дефолтным значением. А был бы другой выхлоп от тестика, пришлось бы время тратить, в кодобазу лезть или вообще, прости господи, дебажить!
Спасибо NSubstitute'у, в Moq и в FakeItEasy такого вот нет
#db
Наткнулся тут на прошлогоднюю статью на тему почему Cockroach выбрал RocksDB в качестве движка. Если кто тоже пропустил, то очень рекомендую. TLDR:
1. Выбрали, внезапно, не потому что LSM, а за фичи. Например, у RocksDB в KV-интерфейсе есть возможность скана по диапазону ключей и bulk-вставки. Без этого SQL-движок Cockroach бы сильно тормозил
2. Занимательная экскурсия в кишки RocksDB.
3. Как построено взаимодействие Cockroach и Rocks
4. in CockroachDB, put/scan are the two most dominant operations because of the higher level guarantees we provide as a serializable SQL database
5
. Ну и еще куча прикольностей
#jvm
Пара неплохих статей про java memory model и все что вокруг
Вот тут прям хорошо про happens-before
А вот тут, помимо большого сериала по сабжу, еще много полезного про jvm
Доисторический, но очень ценный набор советов как дизайнить презы. Если кто активно выступает, то это вам)))