Another pub sub technology - Apache Pulsar
has some advantages over Kafka
https://www.youtube.com/watch?v=7h7hA7APa5Y

Here is a good advantage of Pulsar over Apache:
https://kafkaesque.io/7-reasons-we-choose-apache-pulsar-over-apache-kafka/

1. Streaming and queuing Come together
2. Partitions, but not necessarily partitions
3. Logs are good, distributed ledgers are better
4. Stateless Brokers, What?
5. Geo-replication for dummies
6. Consistently Faster
7. It’s All Apache Open Source

Та метрика, которую мы называем «загрузкой процессора» на самом деле многими людьми понимается не совсем верно.

«Работа вхолостую» означает, что процессор способен выполнить некоторые инструкции, но не делает этого, поскольку ожидает чего-то — например, ввода-вывода данных из оперативной памяти. Процентное соотношение реальной и «холостой» работы на рисунке выше — это то, что я вижу изо дня в день в работе реальных приложений на реальных серверах. Есть существенная вероятность, что и ваша программа проводит своё время примерно так же, а вы об этом и не знаете.

Что это означает для вас? Понимание того, какое количество времени процессор действительно выполняет некоторые операции, а какое — лишь ожидает данные, иногда даёт возможность изменить ваш код, уменьшив обмен данных с оперативной памятью

https://habr.com/ru/company/infopulse/blog/329206/

на самом деле есть преимущества у poetry по сравнению с простом пипом, даже внутри докера:

1) dependency resolution. это в принципе ради чего существуют все pip tools, pipenv, poetry и все такое. загугли python dependency resolution и увидишь кучу тредов, включая гитхаб обсуждения самого пипа.

смысл: твои зависимости могут требовать разные версии библиотек. очень условно говоря кто-то требует requests > 2.1, а кто-то requests < 3.0 и поетри высчитает тебе что 2.2 удовлетворяет всех. плюс когда ты делаешь апгрейд каких-то зависимостей тебе это может сильно помочь.

2) разделение дев и прод зависимостей. когда собираешь под прод контейнер там даже не будут установлены дев зависимости типа pytest, djangodebugtoolbar, etc

3) удаление пакетов. допустим ты поставил requests, он с собой много чего подтянул. пипом удалишь requests, всего его зависимости остались. poetry подчистит этот мусор

4) там вроде еще удобно билдить свои библиотеки и пушить их в PYPI, но это ни разу не пробовал

#linux #memory
Very short video that helps to understand that Mem Free is not the right indicator to track memory outages:

https://www.youtube.com/watch?v=1xfzRsGAP5c

#lniux #memory #cache #buffers

Самое главное что я искал: "The cache is not reclaimed at the time when process get stop/exit, however when the other processes requires more memory then the free available memory, kernel will run heuristics to reclaim the memory by storing the cache data and allocating that memory to new process." 😋

Cache Pages:

A cache is the part of the memory which transparently stores data so that future requests for that data can be served faster. This memory is utilized by the kernel to cache disk data and improve i/o performance.

The Linux kernel is built in such a way that it will use as much RAM as it can to cache information from your local and remote filesystems and disks. As the time passes over various reads and writes are performed on the system, kernel tries to keep data stored in the memory for the various processes which are running on the system or the data that of relevant processes which would be used in the near future. The cache is not reclaimed at the time when process get stop/exit, however when the other processes requires more memory then the free available memory, kernel will run heuristics to reclaim the memory by storing the cache data and allocating that memory to new process.

When any kind of file/data is requested then the kernel will look for a copy of the part of the file the user is acting on, and, if no such copy exists, it will allocate one new page of cache memory and fill it with the appropriate contents read out from the disk.

The data that is stored within a cache might be values that have been computed earlier or duplicates of original values that are stored elsewhere in the disk. When some data is requested, the cache is first checked to see whether it contains that data. The data can be retrieved more quickly from the cache than from its source origin.

SysV shared memory segments are also accounted as a cache, though they do not represent any data on the disks. One can check the size of the shared memory segments using ipcs -m command and checking the bytes column.

Buffers :

Buffers are the disk block representation of the data that is stored under the page caches. Buffers contains the metadata of the files/data which resides under the page cache. Example: When there is a request of any data which is present in the page cache, first the kernel checks the data in the buffers which contain the metadata which points to the actual files/data contained in the page caches. Once from the metadata the actual block address of the file is known, it is picked up by the kernel for processing.

https://serverfault.com/questions/23433/in-linux-what-is-the-difference-between-buffers-and-cache-reported-by-the-f

#book #site-reliability

Отличный сборник всего нужного для разработчика, архитектора, и DevOps инжинера.

Раскрываются темы Сетей, Операционных Систем, Основы языков программирования, Bash, and a bunch of other useful tools

https://s905060.gitbooks.io/site-reliability-engineer-handbook/content/

#linux #zombie #defunct #notOrphans

Zombies process occurs for child processes, where the entry is still needed to allow the parent process to read its child's exit status: once the exit status is read via the wait system call, the zombie's entry is removed from the process table and it is said to be "reaped". A child process always first becomes a zombie before being removed from the resource table.

Zombie processes should not be confused with orphan processes: an orphan process is a process that is still executing, but whose parent has died. These do not remain as zombie processes; instead, (like all orphaned processes) they are adopted by init (process ID 1), which waits on its children. The result is that a process that is both a zombie and an orphan will be reaped automatically.

#kafka #architecture

A good and perhaps an opinionated video about Kafka and why it is better than traditional coupling technologies such as MQs, ETLs, etc.

https://www.youtube.com/watch?v=6yG2myKcMQE

#lambda #aws #benchmarking

Benchmarking of AWS Lambda performance using different languages. Who wins: Java or Python? what's your guess?

https://medium.com/the-theam-journey/benchmarking-aws-lambda-runtimes-in-2019-part-i-b1ee459a293d

Яндекс выложила Testsuite в открытый доступ

Это такой фреймворк для тестирования HTTP-сервисов. Применяется, например, в Яндекс.Такси, где бэк состоит из сотен микросервисов.

Testsuite основан на pytest и работает на Linux и macOS. Фреймворк удобен для интеграционных тестов преимущественно по принципу чёрного ящика. Но, конечно, и один сервис тоже можно проверить.

Ключевые фишки: вызов HTTP API тестируемого сервиса, перехват запросов во внешние сервисы, проверка внешних обращений к другим сервисам и порядка их вызова, взаимодействие с БД сервиса (начальное наполнение, проверка результата).

В статье на Хабре подробно описан пример использования: http://bit.ly/2wLcrcW

Там же найдёте ссылки на репо, доки и дополнительные примеры.

Это #партнёрский пост

#parquet #etl #data

Simple words about parquet format
https://blog.twitter.com/engineering/en_us/a/2013/dremel-made-simple-with-parquet.html

#systemDesign #interviews #distributedSystems

Are you preparing for a system design interview?

Or are you a junior software developer who wants to see a bigger picture?

Or are you just an architect of distributed systems or microservices who wants to refresh your knowledge and approaches?

If you answered to any of this questions "yes", then this video and the whole channel is definitely for you!

https://www.youtube.com/watch?v=bUHFg8CZFws

Дешёвая (бесплатная) база данных на AWS для собственных проектов (обучения/попробовать)

#начинающим #интересующимся

Допустим, у вас есть какой-то проектик, например, на условной Django для собственных нужд — как хобби, для обучения и т.п. Он где-то хостится бесплатно или за несколько долларов в месяц.

Вы почитали, что здесь пишут про AWS и загорелись попробовать на него переехать или сразу поднять тут свой, чтобы познакомиться поближе и получить опыт. Расценки на хранение файлов (S3) совершенно комфортны, но вот проблема — у вас есть (реляционная) база данных. Вы смотрите прайс на RDS, а там самая простая начинается от 12 долларов в месяц и желание пробовать AWS резко пропадает.

Разберём варианты, что можно сделать с БД, чтобы она была дешёвой, а лучше бесплатной.

RDS

Обязательно прочтите про бесплатный AWS — открыв себе новый аккаунт, вы получите возможность целый год крутить базу на виртуалке db.t2.micro.

EC2

Можно поднять БД на дешёвой виртуалке, например, на t3a.nano это выйдет 3.4$/мес (плюс стоимость диска и некоторые другие расходы). Примитивный и самый очевидный способ. БД нужно будет поднимать и поддерживать самому, потому вряд ли рекомендуемый.

DynamoDB

Отличная и даже близкая к идеальной БД, по сути бесплатная (и постоянно/бессрочно/всегда) для собственных проектов, т.к. имеет суперовскую ценовую модель. Но есть одно но — не реляционная.

Очень выгодно, если ваш проект/фреймворк умеет с ней работать. Или если можете допилить его до работы с DynamoDB. На выходе получаете крутизну serverless подхода при минимальной цене (обычно совсем бесплатно).

Гляньте видео с последнего реинвента, возможно оно подскажет, как можно переделать свой проектик под DynamoDB:

https://www.youtube.com/watch?v=DIQVJqiSUkE

Aurora Serverless

Вдруг вы пропустили и не знаете, что есть реляционная база данных с ценовой моделью а-ля DynamoDB, где вы платите лишь за реально используемые ресурсы.

https://aws.amazon.com/rds/aurora/serverless/

Её использование подпадает под Free Tier, так что также можно попробовать годик бесплатно.

Задеплоить Django на Aurora Serverless можно так:

https://www.agiliq.com/blog/2019/01/complete-serverless-django/

Cassandra

Не реляционная, но с аналогичной DynamoDB ценовой моделью.

https://aws.amazon.com/ru/mcs/

S3

Речь про файловую БД. Если прикрутить прослойку в виде условной Лямбды, что будет хранить данные не в БД, а на S3, то можно вообще избавиться от БД. Однако, понятно, это обычно требует серьёзной переделки проекта.

Athena

Не БД, но можно делать SQL запросы к S3. Под Django есть djathena.


Итого. Есть разные недорогие варианты прикрутить БД в свой проект на AWS. Реляционные и нет, с переделкой и без. Выбирайте, что подходит сейчас и что будет круто в дальнейшем. Главное — пробуйте!

Этот пост для Medium давно лежал у меня черновиках, но его пришлось заморозить, пока я не закончу работой над книгой.

Теперь, когда у меня появилось в разы больше свободного времени, я смог его закончить.

Этот опус для тех, кто не теряет связи с реальностью и понимает, что одними авсами и куберами сыт не будешь - в погоне за благосостоянием придется начать все больше и больше работать с людьми. В публикации вы найдете мой опыт и советы, которые, я надеюсь, помогут вам принять верное решение.

JWT - супер важная штука для аутентификации в распределенных системах и микросервисных архитекрутах.

В этой статье очень просто описывается что это такое:
https://blog.angular-university.io/angular-jwt/

#async #python
Рекомендую! В каждом языке программирования concurrency реализовано по разному.

В этом видео автор круто и просто рассказывает об ассинхронном Python.

https://www.youtube.com/watch?v=Mj-Pyg4gsPs

#рекомендос #python #pydantic #validation

Pydantic - это способ валидации данных в Питоне. В этом видео докладчик делает доброе дело: простым языком и наглядно показывает и плюсах работы с этой либой, для улучшения своего API

https://www.youtube.com/watch?v=_5kCjRj6bng

#interview #amazon #bloomberg

There are plenty of resources that one can use to prepare for technical interviews at large tech giants. I would even say, that there are tons of information that it becomes even more crucial to spend time on the helpful resources only and do not waste time doing/watching/reading bad info.

I have structured the knowledge and skills by topics that one needs to learn and hone before applying to the interviews. I also added some links that helped me to learn the skills to be able to get two offers to Software Developer Engineering positions— one from Bloomberg and another from Amazon. Grasping the key concepts about CS Fundamentals, data structures and algorithms was sufficient to pass the interviews.

If those topis are normally taught in universities for people studying for Computer science or alike degrees. I am come from financial background and therefore, I am eager to spend my time effectively on the relevant resources only.

These topics are mostly useful for those people who want to start a career as an SDE in large companies and have not studied formally CS.

Of course, I had to demonstrate that I had been eager to learn more and honestly that’s just the beginning or so called top of the iceberg. Since then I’ve learned way more of knowledge and concepts to dig and fix problems of any kind (still did not master it).

If you struggle with making sense of where to start from and have a short question, feel free to drop a comment down below or PM me. I will be glad to guide you where I can.

http://balgabekov.com.s3-website.eu-central-1.amazonaws.com/

#cv #resume #google

In short, keep it simple, X-Y-Z

For details feel free to read a good short article:

https://www.inc.com/bill-murphy-jr/google-recruiters-say-these-5-resume-tips-including-x-y-z-formula-will-improve-your-odds-of-getting-hired-at-google.html?cid=sf01002

#interview #amazon

Дара рассказываето своем опыте прохождения в Амазон

https://youtu.be/ridWXjoPGCY

#video #quantum #computing #blockchain #VR #neuroscience
This night my attention was drawn by this brilliant series of short talks tought concepts like Quantum Computing, Neuroscience, VR, and so on.

What makes these talks unique is that each theme is explained in 5 levels of difficulty. They start from kids and increase the complexity of a topic to an expert level.

https://www.youtube.com/watch?v=opqIa5Jiwuw&list=PLibNZv5Zd0dyCoQ6f4pdXUFnpAIlKgm3N