#indexing #postgres #sql

A good and short video about indexing:

https://www.youtube.com/watch?v=-qNSXK7s7_w

#go #goroutines

Go uses goroutines while a language like Java uses threads.

The creation of a goroutine does not require much memory - only 2kB of stack space. They grow by allocating and freeing heap storage as required. Threads on the other hand start out at 1Mb (500 times more), along with a region of memory called a guard page that acts as a guard between one thread’s memory and another.

A server handling incoming requests can therefore create one goroutine per request without a problem, but one thread per request will eventually lead to the dreaded OutOfMemoryError. This isn’t limited to Java - any language that uses OS threads as the primary means of concurrency will face this issue.

Threads have significant setup and teardown costs because it has to request resources from the OS and return it once its done. The workaround to this problem is to maintain a pool of threads. In contrast, goroutines are created and destroyed by the runtime and those operations are pretty cheap. The language doesn’t support manual management of goroutines.

https://blog.nindalf.com/posts/how-goroutines-work/

#go #architecture #microservice #banking

Brilliant talk about Go used in Banking (Monzo)

https://www.youtube.com/watch?v=y2j_TB3NsRc

#DB #ACID #Video

So far the best explanation of ACID transactions. Highly recommend you to watch it if you have not worked with DBs before and do not know what this is.

This might also be useful if you prepare for an interview

https://www.youtube.com/watch?v=pomxJOFVcQs&list=PLQnljOFTspQXjD0HOzN7P2tgzu7scWpl2

#DB #Sharding
I am currently reading a lot about systems design for distributed systems. Data management is one of the most complex parts (at least for me, a person, who did not work with it much).

I looked through different "non-distributed" terms like indexing, views, materialised views. The other part is about partitilning/sharding,data replication, leader election algorithms, and how all that correlates with CAP theorem. One should carefully choose between relational and non-relational DBs.

In this article, it is written very well about scaling and sharding for relational DBs.

I highly recommend this, if you also struggle with the concept of Sharding for Relational DBs


Sharding with Amazon Relational Database Service | AWS Database Blog
https://aws.amazon.com/blogs/database/sharding-with-amazon-relational-database-service/

#LoadBalancer #L4 #L7

“L4 vs L7 Load Balancing” by Mohak Puri https://link.medium.com/k7BQvsUHMab

#gRPC

Крутой доклад по gRPC

- High Speed
- Language agnostic API and Definitions
- Two-ways communication
- Deadlines
- Cancellation Propagation
- Flow Control

https://www.youtube.com/watch?v=zPbaKUIcFx0

“System Design — Storage” by Peng Yang https://link.medium.com/zhoN5AJI1ab

“GraphQL Search Indexing” by Netflix Technology Blog https://link.medium.com/ASN0y7e14ab

На прошлой неделе весь день провёл на интервью. 5 часов интервью, с 5 людьми. Половину времени знакомились и общались по ценностям, оставшееся время по технической части: решение задачек, алгоритмы, ООП, системный дизайн

В итоге залетаю в одну крутую команду Амазона!

Системный дизайном никогда не занимался и интервью не проходил. Но имея прошлый опыт подготовок к разным конкурсам, я нашел свою модель подготовки.

Моя формула успеха - систмность, от общего к частному, и калибровка с последующей работой над ошибками.

В итоге, полторы-две недели и успешное прохождение! Чуть позже постараюсь раскрыть в больших деталях

Youtube - главный учитель нашего времени! По крайней мере в моем случае.

У всех разные подходы к развитию, в моем же случае это через видео. Иногда конечно читаю статьи, но в целом это не самая первая стадия. Я читаю что для статей мне нужно дорасти, а для этого сперва мне нужно понять общий контекст и услышать ряд точек зрения. Фильтруя по количеству лайков/дизлайков я могу предоложить, какой контент стоит смотреть, а какой можно скипнуть.

Дополнительный бустр - я практически всегда смотрю все на скорости 1.5-2х

Очень крутая статья на тему Scrum. В целом, в нашей команде мне очень нравится наша динамика, но даже в ней, неокторые участники заметили изъяны и попросили прокачать! Больше всего мне понравилась пока эта статья. Делюсь с вами

https://stackoverflow.blog/2020/06/29/does-scrum-ruin-great-engineers-or-are-you-doing-it-wrong/

Я обещал рассказать чуть в больших деталях о моей подгтовке к к собеседованию в FANG.

Мой фреймворк для прохождения интервью по системному дизайну, с которым я готовился к интервью на позицию SDE в Amazon:

- начинать со сбора информации, и только потом предлагать
- слушать собеседника и отвечать только на те вопросы, что он просит, т.е. не накручитьва сверху, если не просят. Иное, если переспрсить, нужно ли погрузиться в те или иные детали, особено если чувствуешь себя там уверенным. Но если не просят, то не нужно.

Собираю данные я по след. группам:
- functional requirements (request/response),
- non-functional requirements (tps (transaction per second), latency targets, consistency, etc.),
- what's out of scope,
- rough numbers to estimate load (network, storage, compute), notes

Если подкрепить все это подготовкой в виде репетиций или mock interview, то шансы на успех очень высоки.

Если кому интересные какие то спецефические детали, то спрашивайте. Буду рад поделиться опытом.

Чуть позже по-пишу на тему очень полезных ЮТуб каналов

Один из моих пет-проектов: https://t.me/gmat_bashers

Мой личный тренажер, где я ставлю мозги на свое место. Давно хотел поднять его, да все ходил вокруг да около. Но порядка месяца назад все же реализовал. Как ни странно, самый действенный способ оказался пойти от Customer'а - те самые навыки, что остались у меня от времени, когда я развивал свой прошлый стартап.

Сегодня особенный день - день когда весь процесс публикации вопросов от начала до конца был без моего вмешательства.

з.ы. если качаешь английский язык, навыки критического мышления (умения аргументировать), или просто к GMAT 😂, то добро пожаловать! Будем вместе решать задачки
https://t.me/gmat_bashers

#systems_design #youtube_channel

Systems Design #2

Как и обещал, начинаю делиться ресурсами, которые помогли мне при подготовке к Systems Design Interview

Imho, топовый канал по подготовке - https://www.youtube.com/channel/UC9vLsnF6QPYuH51njmIooCQ

Там не очень много видео, но по содержанию очень богатые. Впервые я наткнулся на этот канал около года назад. Тогда, посмотрев его минут 15, я начал замечать, что информации новой для меня очень много. Приходилось ставить паузу и обдумывать все в деталях. Далее конечно, как и, наверное, делают многие, я просто забросил просмотр, так как просто на голом интересе так страдать мой организм судя по всему не захотел (я тогда никуда не готовился).

Около месяца назад, при подготовке к интервью, я решил взяться за этот канал еще раз и, честно говоря, ожидал, что пойдет намного легче. Но увы все началось ровно также - трудно и много.

Но разбавляя прсомотр видео на этом канале теми, что с других, я смог осилить первое видео, а потом второе, а потом и все остальные.

Уже через неделю подготовки (по 2-3 часа в день), я смотрел на эти видео как на родные и они уже не казались мне такими сложными.

Из плюсов, автор очень круто структурировал все свои видео и дает контент постепенно. К концу просмотра всех видео, при желании, каждый сможет сформировать свой фреймворк прохождения Systems Design Interview. У меня получилось на ура! Рекомендую смотреть по порядку, так как какие то темы он расскрывает в первых видео, и в следующих уже не повторяется.

Опять же, из моего опыта, это топ!

Из стэка использовал: Telegram API, DynamoDB, AWS Lambda. Мало того что все три сервсиа очень user-friendly, так еще и практически бесплатно.

Хотелось бы отдельно отметить AWS Lambda, это реально вещь! С ней каждый "сам-себе-режиссер" и может писать кучу различных скриптов для персональных нужд.

Учитывая, что там до 1 млн запросов в месяц бесплатно, то при интеграции с кучей различных апишек, можно писать реально крутые фичи для повышения собственной продуктивности.

Чего уж говорить о потенциале для стартаперов

Не знаю как про Фб и Гугл, но про Амазон тру! Машина по выстраиванию бизнеса!