Делаем с Вовой Невзоровым трейлер разбора 8 главы книги Мартина Клеппмана «Высоконагруженные Приложения» - «Проблемы распределённых систем» и немного кринжуем 😁

Я регулярно выступаю на канале https://t.me/system_design_world со стримами, где разбираю Клеппмана aka «кабанчика» 🐗

Половина глав пройдена, так что скоро мы приступим к новой крутой книге по System Design!

🎥 Записи стримов можно посмотреть на YouTube.

С уважением,
Масягин Михаил

А вот и... вторая лекция!

https://www.youtube.com/watch?v=Zyy_nhsrMuA

На лекции поговорим о:
- процессах & потоках;
- атомарных операциях:
- race condition & data race;
- spinlock;
- блокирующей синхронизации:
- mutex, condvar, semaphore;
- futex syscall;
- о... языке Go!
- кэшах в многопоточных программых: MESI

GitHub курса: https://github.com/masyagin1998/hp-systems-course
В коде всё ещё много ошибок 😁

ТПМС - отличный курс от Романа Липовского из МФТИ по Concurrency. Глубже ещё ничего не встречал. Нам будут актуальны лекции:
- ТПМС / Лекция 2 / Взаимное исключение
- ТПМС / Семинар 3 / Futex, Memory Orders

Как устроен PAUSE в процессоре:
https://c9x.me/x86/html/file_module_x86_id_232.html

man7: mutex, condvar, semaphore
https://man7.org/linux/man-pages/man3/pthread_mutex_lock.3.html
https://man7.org/linux/man-pages/man3/pthread_cond_wait.3.html
https://man7.org/linux/man-pages/man3/sem_init.3.html
https://man7.org/linux/man-pages/man2/futex.2.html

futex:
https://github.com/torvalds/linux/blob/master/kernel/futex/waitwake.c

Гуляем по коду Go (не пугайтесь, знать наизусть не надо, я тоже не знаю):
https://github.com/golang/go/blob/master/src/sync/mutex.go
https://github.com/golang/go/blob/master/src/internal/sync/mutex.go
https://github.com/golang/go/tree/master/src/internal/race
https://github.com/golang/go/blob/d37624881f60f79dfba4ef81661024bee9dfc2d3/src/runtime/lock_futex.go

MESI:
https://lwn.net/Articles/252125/
https://www.youtube.com/watch?v=3NmyqUmvlbQ&list=PL4_hYwCyhAva37lNnoMuBcKRELso5nvBm&index=7
https://www.scss.tcd.ie/jeremy.jones/vivio/caches/MESIHelp.htm

P.S. Даже если Вы не системный программист, эти материалы могут быть для Вас очень полезны. Не так давно я собесился в пару известных HFT/MFT (успешно), и на скринингах/первых собесах помимо вопросов о памяти (1 лекция) было много вопросов и по многопоточной синхронизации.

С уважением,
Михаил Масягин

Патент получен, ура! 🎉🎉🎉

В комментариях приложены документы, которые включает в себя патент.

https://fips.ru/EGD/4da00ebe-8279-4753-90f8-c1e973cfb094

С уважением,
Михаил Масягин

«Экспертные заключения и котики»

Мне регулярно приходится получать экспертные заключения на статьи, которые мы публикуем с научным руководителем (Владимир Борисович, здравствуйте! 👋)

Обычно на факультете это занимает 2–3 недели. Причём обязательно нужно соединять парные листы канцелярской скрепкой и приклеивать на каждый титульный лист стикер с пояснением, для чего нужен документ.

В этот раз у меня были только стикеры с котиками 😺 — и… всё подписали меньше чем за неделю! Похоже, на факультете тоже любят котиков 🐈😻🐈‍⬛️

Своего рода лайф-хак 😁

С уважением,
Михаил Масягин

P.S. А ведь можно провести A/B-тест, подавая статьи с котиками и без, и сравнивать время их подписания. А потом написать об этом статью и... подать её тоже С КОТИКАМИ! 😺

«FPGA & HFT»

Я ни разу не специалист в сфере FPGA, но за последние пару недель несколько подписчиков одновременно спрашивали меня о том, как FPGA используется в трейдинге. Делюсь с вами тем, что знал и что узнал 😅

FPGA (Field Programmable Gate Array) - это микросхема, в которой вы сами программируете логику на уровне логических блоков и соединений между ними. Если ядро CPU выполняет инструкции последовательно (опуская детали ILP и SIMD), то FPGA сразу раскладывает их в виде аппаратного конвейера, где множество операций идут параллельно, и с минимальными задержками.

Безусловно, передача данных между FPGA и CPU вносит дополнительную задержку, но грамотная архитектура с буферизацией, минимизацией пересылаемого объёма данных и zero-copy позволяет сделать оверхед пренебрежимо малым.

В HFT (High-Frequency Trading) FPGA чаще применяют для работы с классическими биржами, которые предоставляют коллокацию - размещение ваших торговых серверов в дата-центрах биржи, компактные бинарные протоколы и т.д., нежели с криптобиржами. На них можно эффективно реализовать:

- кодирование и декодирование маркет-даты (ITCH, OUCH и прочие бинарные данные);
- построение книги заявок;
- быстрые проверки лимитов и позиций до отправки заявки;
- генерацию несложных торговых сигналов и фильтрацию биржевых шумов;
- в отдельных случаях значительную часть торговой логики!

И всё это до того, как данные попадут на CPU!

К сожалению, есть у такого подхода и ряд существенных недостатков. Ключевые из них:
- сложность разработки и отладки, и, как следствие, значительное повышение time-to-market;
- проблемы с поиском FPGA-разработчиков - их рынок очень маленький, особенно по сравнению с нами - питонистами 😅;
- чрезвычайно (!!!) высокая стоимость FPGA-решений.

В комментариях приложены ссылки на статьи по теме и даже... пара русскоязычных вакансий на стыке FPGA и HFT, которые я нашёл ☺️

С уважением,
Михаил Масягин

«Курсы & Мерч»

Как и положено любому уважающему себя айтишнику, добрую половину моего гардероба составляет «мерч» - худи, футболки, кепки, значки. Удобно и практично 😅

Пару дней назад пришли особенно ценные для меня экземпляры - футболка и стикеры курса по System Design от System Design World, где я выступал в роли соавтора: читал лекции по базам данных, делился опытом прохождения System Design Interview и, конечно, отвечал на вопросы. До этого я преподавал только в вузах, а тут - интенсивный практический курс для разработчиков с опытом. Было волнительно, но ни разу не пожалел! 💪

Курс получился живой и интересный: обсуждали как строить RAG'и и DWH, ругали CAP и PACELC, пытались чинить конфликты в multi-master'ах и холиварили на тему того, можно ли всё запихать в Neo4j 😂

Огромное спасибо @vova_dev за доверие и возможность поучаствовать в таком крутом проекте, а участникам - за вопросы и жаркие обсуждения!

P.S. Инсайд: второй поток на подходе 👀

С уважением,
Михаил Масягин

Заглянул на огонёк к @vova_dev на канале System Design World!

Поговорили о траназакциях, выкинули букву I из ACID и узнали, что REPEATABLE READ в PostgreSQL вовсе и не REPEATABLE READ... 😅
Буду рад вашим просмотрам и комментариям под роликом на YouTube! ❤️

P.S. Дел было ооочень много, но скоро продолжу радовать вас новыми лекциями по системному программированию на своём канале 💪

С уважением,
Масягин Михаил

«Если ваши ночные релизы не похожи на это, не зовите меня 😁»

«Ну что, работяги, волки вернулись с охоты!» 🐺

#профсоюзная
https://unionconf.ru/

Профсоюзная финишировала - огонь 🔥.
Маска волка, купленная в последний момент, отработала на все 100% (ладно, лисы… но какая разница 😅).

- Понетворкались с крутыми разработчиками, тимлидами, продактами и архитекторами.
- Подебатировали про менторство в IT - раскатали команду противников этого подхода 💪. Правда я сам не фанат этой темы, но уж что попалось на жеребьёвке, то и отстояли 😂
- А дальше - алкокодинг: решали LeetCode на скорость и на количество выпитого 🍺.

Антон - топовый спикер и организатор: всё по-взрослому, но при этом весело и драйвово.

P.S. На фото - 10 самых огненных людей конфы 🔥.

С уважением,
Михаил Масягин

Что-то мой канал об IT стал превращаться в лайф-стайл... Пора это исправить! Третья лекция!

https://www.youtube.com/watch?v=IsdbGojdeK0

Хочу заметить, что на всех известных мне курсах по системному программированию довольно много времени уделяют многопоточной синхронизации, а вот многопроцессную никто не затрагивает. Исправим и это 🤓

На лекции обсудим:
- запуск процессов: fork, vfork, spawn;
- синхронизацию процессов:
- sockets & UNIX-sockets;
- pipes & named pipes;
- message queues;
- shared memory & mmaped-files;
- semaphores;
- устройство и работу shared memory:
- mutex, semaphore, condvar в shared memory;
- lock-free & address-free data structures...
- поговорим про замечательный фильм «Умница Уилл Хантинг» 😁

GitHub курса: https://github.com/masyagin1998/hp-systems-course

Полезные ссылки к лекции:

Хорошая история System V & POSIX:
https://www.opennet.ru/docs/RUS/os_unix/

man7:
https://man7.org/linux/man-pages/man2/mmap.2.html
https://man7.org/linux/man-pages/man2/pipe.2.html
https://man7.org/linux/man-pages/man3/mkfifo.3.html
https://man7.org/linux/man-pages/man3/mq_open.3.html
https://man7.org/linux/man-pages/man3/shm_open.3.html
https://man7.org/linux/man-pages/man2/futex.2.html
https://man7.org/linux/man-pages/man3/sem_open.3.html

futex (снова):
https://man7.org/linux/man-pages/man2/futex.2.html

Как shared memory используют большие дяди:
https://www.youtube.com/watch?v=8uAW5FQtcvE

P.S. Даже если Вы не системный программист, эти материалы могут быть для Вас очень полезны. Вы узнаете как реально работают под капотом системы, о которых мы так любим говорить на System Design Interview 👍

С уважением,
Михаил Масягин

«На чилле, на расслабоне 😁»

Автор канала временно скрылся в отпуске, но уже с середины сентября (15-20 числа) будет шквал апдейтов: преподавание, диссертация, гранты и не только 🎉

Курение и употребление алкоголя вредит вашему здоровью! (поэтому оставьте это мне 😉)

С уважением,
Михаил Масягин