Всем привет 👋! Первый пост в канале будет посвящён докладу "Сети для Golang-разработчика", прочитанному на Let's GoConf

Код из презентации можно увидеть в репозитории (Ставим звёздочки, изучаем, пробуем сами!)

Доклад получился ориентированным на прикладной уровень и на решение конкретной задачи. Но, как мы и упомянали, сеть этим не ограничивается. Если вас заинтересовала тема, то... ✍️

Предлагаю обратить внимание на следующие материалы

- Сети для самых маленьких (СДСМ) — один из самых известных сборников статей от сетевых инженеров. Ребята очень креативные, с помощью картонных моделек в самых первых статьях покажут путь пакета по сети, а дальше всё завертится. Является отличным началом для того, чтобы въехать в контекст сетевых инженеров и начать слушать более сложные вещи

- Разбираем HTTP/2 по байтам — Автор ещё глубже заглянул в HTTP/2, подходит, если вам захотелось узнать больше о том, почему вместо запроса и ответа мы получали какие-то фреймы и зачем это всё нужно. Ещё в статье упомянут механизм, про который мы не говорили - согласование клиента и сервера о том какую версию HTTP использовать для общения

- Разбираем TLS по байтам. Кто такой этот HTTPS? — статья от того же автора. Как только мы говорим про HTTPS сразу же стоит вспомнить, что у нас будет использоваться TLS. А кто такой TLS подробно и с иллюстрациями можно узнать в статье

- linkmeup — внутренняя кухня сетевых инженеров, советую сюда заходить после прочтения СДСМ, иначе можно утонуть в непонятных терминах + обратите внимание на их подкасты

Настало время трудночитаемых вещей - спецификаций. Помните, я говорил про некие RFC, так вот. Это стандарты, которые описывают как что должно работать в интернете. Их читать довольно тяжело, но именно в них содержится наиболее подробная информация, в том числе и о различиях в версиях HTTP

- RFC 2616 HTTP/1.1 — можно прочитать не только сам стандарт, но и увидеть его развитие - какой стандарт заменил, или наоборот, какие стандарты его заменили. RFC 2616 считается уже устаревшим, его разделили на несколько частей, ссылочки в Obsoleted by секции, вот по ним можно и перейти в том числе

- RFC 9113 HTTP/2 — аналогично пункту выше, только речь про вторую версию протокола. Также можно посмотреть всю историю и проверить что же там в актуальной версии

- RFC 9114 HTTP/3 — к сожалению, не успели посмотреть третью версию протокола, а ведь очень хотелось! Можно почитать тут, но помните, что стандарт - это не реализация. Если в стандарте написаны классные сложные вещи, не факт, что какие-то фичи где-то можно увидеть в проде

Во время доклада мы успели посмотреть много примеров сетевого трафика (HTTP/1.1 vs HTTP/2 vs HTTPS etc) 🌐

А что за взаимодействие на скрине мы пропустили (и никто даже не вспомнил про него 🫠)?

Пишите в комменты ваши версии! 👇или попытайтесь угадать сначала самостоятельно)

Вопрос оказался не таким простым, поэтому поясню отдельным постом 👨‍💻

Основная подсказка заключается в HTTP-ответе 101 Switching Protocols. Сначала можно предположить, что мы переходим на другую версию HTTP, к примеру, с HTTP/1.1 на HTTP/2 Cleartext. Но тогда мы бы увидели HTTP/2 фреймы, значит дело в другом 🤔

А дело в том, что Switching Protocols может быть не только про смену версии HTTP, но и про смену протокола. В нашем случае мы перешли на WebSocket! И потом мы видим обмен WebSocket-фреймами, лакмусовой бумажкой для которых является [MASKED] маркер

⬆️ Всем привет! Буду выступать 4 июня на infra.conf с докладом "Как мы незаметно перемещаем десятки петабайт данных внутри S3". Конфа классная, треков много, приходите)

Всем привет! Спасибо тем, кто пришёл вчера на доклад "Как мы незаметно перемещаем десятки петабайт данных внутри S3" infra.conf 2026

Как и обещал, делюсь дополнительными материалами, которые могут быть полезны

Про наше хранилище:

- Свой S3-server: что делать, если ваши десятки петабайт уже не лезут в коробочные объектные хранилища — лонгрид на Хабре с подробным описанием нашего объектного хранилища Lusca

- «Собственная реализация S3 поверх Ceph» — доклад Виктора Корейши про наше объектное хранилище на infra.conf 2024

Про миграции:

- Как мигрировать данные в NoSQL на примере ScyllaDB — хороший учебный курс по миграциям в ScyllaDB University. Нужно будет выбрать раздел "Migrating to ScyllaDB", где рассказывают, какие есть подходы к миграции данных. Как я и говорил, многие подходы к миграции могут быть переиспользованы в разных системах

Академические материалы:

- Windows Azure Storage: A Highly Available Cloud Storage Service with Strong Consistency — академическая статья, где Microsoft рассказал, как устроено их хранилище Azure (не совсем S3, но похоже). Один из немногих материалов, где большие облака поделились деталями архитектуры своего хранилища. Материал старенький, но многие концепции остались актуальны

Мои предыдущие доклады:

- Сети для Golang-разработчика — доклад совсем не про хранилища, рассказал, чем же отличаются версии HTTP друг от друга и какие фичи мы можем использовать для решения прикладных задач. К примеру, как скачать огромный файл с нестабильной сетью и что делать, если наполовину скачанный файл обновился на сервере