Стали доступны видео с конференции https://systemswe.love/

Данная конференция посвящена тому, как работают системы изнутри.

https://www.youtube.com/watch?v=TPe6UXMDMGM
#conference #videos #systems #engineering

JetBrains анонсировали IDE для golang под названием gogland

На текущий момент можно только попроситься в закрытое бета-тестирование.

https://www.jetbrains.com/go/
#golang #ide #jetbrains

Полезьная и простая в понимании статья про особенности работы современных сборщиков мусора в Java и Go. К сожалению, что касается Go статья не совсем точная (обсуждение неточностей в комментариях к статье).

https://medium.com/@octskyward/modern-garbage-collection-911ef4f8bd8e#.bd0lldopm
#golang #gc #java

Vimeo в своем блоге опубликовала статью о том, как они улучшали алгоритм балансировки нагрузки.

Статья в основном про инженерный подход и про то как дойти от чтения академических статей к патчу, принятому в апстриме крупного open-source проетка.

https://medium.com/vimeo-engineering-blog/improving-load-balancing-with-a-new-consistent-hashing-algorithm-9f1bd75709ed

#vimeo #consistenthash #ch #load #balancing #lb #haproxy #algorithms

В продолжении вчерашней ссылки про сборщик мусора в Go. Небольшое сравнение пауз сборки мусора в популярных языках (Go 1.7 + Head, Java 1.8.0 + G1, Haskell в реализации GHC 8.0.1, Racket 6.6, OCaml 4.03.0).

В статье также дается описание (с примерами) текущей схемы работы сборщика мусора в Go.

https://blog.pusher.com/golangs-real-time-gc-in-theory-and-practice/
#golang #gc #java #benchmark

И на закуску совсем сложный Proposal по улучшению механизма работы сборщика мусора в Go.

Proosal содержит много математики и подробностей о том, как разработчики Go собираются уменьшить количество stop-the-world случаев в Go 1.8 и 1.9.

https://github.com/golang/proposal/blob/master/design/17503-eliminate-rescan.md

#golang #gc #proposal #algorithms #hardcore

Facebook выложил в OpenSource свою in-memory time-series базу данных, основанную на концептах из Gorilla whitepaper.

Заявлена производительность более 1.5 млн точек в секунду.
Из коробки поддерживается интеграция с Grafana.

https://github.com/facebookincubator/beringei

#timeseries #tsdb #gorilla #facebook

Google опубликовал проект Grumpy, транслирующий python в Go. Пока он пока он находится на очень ранней стадии разработки, но уже позволяет транслировать некоторые программы. Также он позволяет использовать модули написанные на Go из питона.

https://opensource.googleblog.com/2017/01/grumpy-go-running-python.html?m=1

#golang #go #python #google

Опубликованы видео и аудиозаписи докладов с конференции LISA 16 (Large Installation System Administration).

Данная конференция является одной из старейших (проходит регулярно с 1986 года) и довольно крупных (ежегодно на нее приезжают тысячи слушателей и десятки докладчиков), поэтому практически каждый сможет найти там интересный для себя доклад.

Записи можно найти по ссылке:
https://www.usenix.org/conference/lisa16/conference-program
#LISA #videos #conference

Сказ о том, как GitHub заменил Redis на свой MySQL. Описаны как причины, так и последствия миграции.

http://githubengineering.com/moving-persistent-data-out-of-redis/
#github #redis #mysql

Тихо и незаметно, выложили видеозаписи с GrafanaCon 2016.

Данная мини-конференция была посвещена мониторингу и выходу grafana 4.0.

Посмотреть видео можно на официальном YouTube канале.
https://www.youtube.com/playlist?list=PLDGkOdUX1Ujp_6OnJ8M-t59eGPs0rZF4Q
#grafanacon #grafana #monitoring #videos

Пример использования и масштабирования memcache от reddit.

В процессе они достигли впечатляющих цифр в более чем миллион запросов к кэшу в секунду. В статье также содержится пример типичных подводных камней, связанных с кешированием.

https://redditblog.com/2017/01/17/caching-at-reddit/
#reddit #memcache #cache

Instagram рассказал о том как они уменьшили потребление памяти своих серверных приложений на 10% просто напросто выключив GC (Python)

https://engineering.instagram.com/dismissing-python-garbage-collection-at-instagram-4dca40b29172
#python #instagram #gc

На волне всеобщего увлечения devops'изацией, в куче компаний решили что админы не нужны, и управлением серверами могут заниматься сами разработчики. Могут, но неплохо бы думать научиться, чтобы небыло как с GitLab: один разработчик случайно удаляет продакшн базу данных, перепутав сервера. И тут выясняется, что бэкапы есть, но восстановить из них ничего нельзя. В общем поучительная история. https://docs.google.com/document/d/1GCK53YDcBWQveod9kfzW-VCxIABGiryG7_z_6jHdVik/pub

К сожалению у меня последние пару недель не было возможности постить новости. Но на эти выходные я поехал на FOSDEM и возродил старый канал с трансляцией коротких конспектов докладов, которые я посещаю. К сожалению их будет не очень много, но может будет интересно:
https://t.me/linuxconnotes

Pinterest выложил в OpenSource свою системы репликации и кластеризации для RocksDB под названием Rocksplicator. Она написана на C++, позволяет делать асинхронную master-slave репликацию, оптимизирована для низких задержек.

В заметке также описана архитектура решения, так что если вам не интересен RocksDB, все равно стоит почитать.

https://medium.com/@Pinterest_Engineering/open-sourcing-rocksplicator-a-real-time-rocksdb-data-replicator-558cd3847a9d

#rocksdb #replication #pinterest #highavailability

Иногда одна маленькая утечка памяти в паре незначительных модулей, может привести к очень и очень печальным последствиям.

Такое, например, недавно произошло с CloudFlare - из-за ошибки в реализации парсера, используемого для HTTP Rewrite и Server-Side Excludes в течении последних нескольких месяцев возможны были редкие утечки кусков памяти веб-сервра, которые содержали например HTTP заголовки ответов от других клиентов. Проблему уже успели окрестить CloudBleed.

Подробности в блоге самих CloudFlare: https://blog.cloudflare.com/incident-report-on-memory-leak-caused-by-cloudflare-parser-bug/

#security #bugs #cloudflare #cloudbleed

Если вы еще не слышали про коллизию sha-1: Google и национальный институт исследований математики и компьютерных наук в Нидерландах (CWI) научились делать взаимные правки двух произвольных файлов так, чтобы в резульате их SHA1 сумма совпадала. Исследования заняли два года.

Что это значит для всех нас? Пора уже закопать стюардессу и перейти хотя бы на SHA-256 или SHA-3.

Подробности в блоге: https://security.googleblog.com/2017/02/announcing-first-sha1-collision.html

#google #sha1 #security

Cloudflare опубликовал предварительный отчет о влиянии случившегося Cloudbleed на приватные данные пользователей.

Подробности в официальном блоге: https://blog.cloudflare.com/quantifying-the-impact-of-cloudbleed/

#cloudflare #cloudbleed #security

Amazon опубликовал отчет о случившемся 28-ого февраля с S3 в регионе US-EAST-1.

tldr: ошибка в команде и вместо небольшого количества серверов грохнули несколько больше. На этих серверах физически крутились системы отвечающие за чуть больше чем все общение с AWS и распределение новых объектов. Понадобилось делать полный перезапуск пострадавших сервисов, что и вызвало outage.

Подробности: https://aws.amazon.com/message/41926/

#amazon #fuckup #outage #s3