#data #s3
Очень интересный пейпер про DeltaLake.
TLDR: Databricks построило и заопенсорсило ACID поверх S3! Для того что бы достичь всех необходимых гарантий они придумали писать WAL для Parquet'а в Parquet))
Звучит безумно, но у них это в проде с 2017

Похоже что Fedora сделает дефолтной файловой системой btrfs.

Проблемы с данными

Если в ваших планах нет сна - начинайте читать.
Или запланируйте на это недельку, чтобы поглощать небольшими кусочками.
OpenStack, облака и сети.
https://habr.com/ru/post/516020/

#linux #containers
Небольшой видос про PID-namespace'ы Linux'а. Чувак сначала руками строит иерархию, демонстрируя изоляцию, а в конце запускает контейнер, демонстрируя что там все то же самое.

#arch #db #data https://www.youtube.com/watch?v=fU9hR3kiOK0

#db #ravendb #data
Оказывается у RavenDb есть онлайн-книжка "Inside RavenDb", где написано как это все работает.
На секундочку, у них мультимастер, но они обещают работу даже при падении всех нод кроме одной. Более того, у них ACID транзакции и еще куча других фич

Эт, я как-то раньше собирать начал, думаю повод открыть. Короч решил сделать Awesome Load Balancing. Да, сборник проектов, докладов и прочех веселостей по теме. Feel free to dobavit.

https://github.com/cristaloleg/awesome-load-balancing

Тут у Elastic'а ивент намечается! 13-15 октября, куча докладов, все, конечно же, онлайн и бесплатно

Всем привет! В этот четверг 17 сентября, совместно с Softline, я буду проводить вебинар по Grafana. Рассмотрим такие темы как observability, MTTR vs MTBF, а также я сделаю небольшое демо Metrics/Logs/Tracing где покажу, как с помощью Grafana можно эффективно искать корреляции между метриками (Prometheus), логами (Loki) и трейсами (Jaeger). Вебинар бесплатный, требуется предварительная регистрация. https://softline.ru/events/web_2020_grafana_200917

Недавно в блоге facebook'а вышла статья про их Shard Manager. Это важная часть их инфраструктуры, которая не только льет данные в нужное место, но и занимается провиженингом шардов, фейловером и даже каким-то лоад-балансингом.
Интересно, почему до сих пор никто не запилил такое в опенсурс? У многих ведь свои велосипеды. Думаю пользовалось бы спросом)

​​Awesome EventStorming!

EventStorming is a workshop-based method to quickly find out what is happening in the domain of a software program. Comparing to other methods it is extremely lightweight and requires intentionally no support by a computer. The result is expressed in sticky notes on a wide wall. The business process is "stormed out" as a series of domain events which are denoted as orange stickies.

You can find here some links to interesting materials, articles or presentations about EventStorming.

https://github.com/mariuszgil/awesome-eventstorming

CockroachDB полностью слезла с RocksDB, написав свой key-value storage(Pebble) на Golang 📦

Круто, что по перфомансу Pebble получился не хуже плюсового RocksDB (по крайней мере в их бенчмарках 😉)

https://www.cockroachlabs.com/blog/pebble-rocksdb-kv-store

Вряд ли на меня подписаны даже wannabe хаскелисты, но, возможно, кому-нибудь будет интересно: сегодня в 20.00 по мск будет вебинар про рантайм Хаскеля. Обещают внутрянку и GC. Оставлю тут ссылку на оригинальный твит
https://twitter.com/serokell/status/1306537892186132480?s=19

Доклад был очень крутой и подробный (хотя Максим и утверждал, что он начального уровня) — разбирались этапы генерации STG и Cmm из пайплайна компиляции хаскеля. Жду запись, а пока ссылки на посты по данной теме из презентации:
— http://takenobu-hs.github.io/downloads/haskell_ghc_illustrated.pdf
— https://www.well-typed.com/blog/2014/05/understanding-the-stack/
— http://www.well-typed.com/blog/95/
— http://www.scs.stanford.edu/14sp-cs240h/slides/ghc-rts.pdf
— http://blog.ezyang.com/2011/04/tracing-the-compilation-of-hello-factorial/
— https://gitlab.haskell.org/ghc/ghc/wikis/commentary/compiler/generated-code
— https://gitlab.haskell.org/ghc/ghc/wikis/commentary/rts/storage/gc/remembered-sets
— https://github.com/well-typed/ghc-events-analyze

IBM всех приглашает на Digital Developer Conference 22 и 24 сентября. Бесплатно. Будут эксперты Red Hat и IBM . Kubernetes, Tekton и другой OpenSource. Red Hat OpenShift в облаке и не только. Модернизация приложений. DevOps. Лабы. Все будет . Реегистрация тут : https://ibm.biz/devcon-cloud

Выложили запись доклада: https://www.youtube.com/watch?v=vvLDerKtUWE
Очень рекомендую!

Кстати, 22 сентября намечается ивент, где отец-основатель RavenDb расскажет как оно работает

#management
Принес вам абсолютно бомбический пейпер из недр микрософта про влияние знакомства с кодовой базой(перевел как мог code ownership) на количество pre- и post- release взрывов.
TLDR такой:
1. Чем больше новых контрибьюторов на проекте, тем больше взрывов. Ваш Кэп
2. Разница в качестве между проверенным контрибьютором и мейнтейнером есть, но меньше чем в п.1
3. Чем лучше качество кода, тем влияние менее заметно(у Win7 корреляция слабее чем у Vista)

Пейпер — своеобразный привет любителям перебрасывать разработчиков на ходу между проектами, адвокатам проектных команд и т.д.