#system #design #lambda_architecture #big #data

Lambda Architecture (LA) - способ обработки больших данных используя распределенные системы, когда вам нужно, скажем, проиндексировать ваши данные тем или иным способом. Например, посчитать какой из документов у вас более просматриваемый.

На огромном датасете в несколько терабайт ежедневно обычный алгоритм вам точно не подойет. Используя Ламбда Архитектуру можно удовлетворить необходимость запрашивать у системы самые просматриваемые документы (скажем видео на ютуб) в разрезе последних 5 минут или нескольких дней/месяцев.

У каждого способа есть свои плюсы и минусы в точности и скорости, но мы всегда можем их объеденить.

Для этого мы отправляем данные для обработки двумя параллельными процессам: быстрый/speed layer (неточный) и комплексный/batch layer (точнее).

Speed layer работает с данными за короткий период (скажем минута, 5 минут), в то время как, Batch Layer обрабатывает большее количество данных сагрегированных за более длительный период (скажем за час).

Когда клиент дергает данные, то сервис (serving layer) объединяет результат работы обоих процессов.

Почитать можно, например, тут:
https://jameskinley.tumblr.com/post/37398560534/the-lambda-architecture-principles-for
с указанием возможных технологий для релизации

В этом видео автор блестяще раскрывает как, используя эту архитектуру, можно решить поставленную задачу:
https://www.youtube.com/watch?v=kx-XDoPjoHw

#software #architecture

A brilliant talk about when designing a system, to approach every case separately and uniquely. Learning what other companies or teams has applied in their case is helpful and useful, yet it does not mean it must be simply replicated. he makes fun of everyone trying to copy Netflix 😅

It is very important to learn the rationale of patterns applied in this or that case. As none of them is a silver bullet and solves only a sub set of problems that is most crucial for a case.

https://www.youtube.com/watch?v=PzEox3szeRc

На протяжении последних 10 лет я не раз бывал в Америке, открывал и закрывал там компании, участвовал в конференциях, встречах, проектах. Когда-то рассматривал и возможность переезда в Кремниевую долину, но в итоге отказался от этой идеи в пользу других вариантов.

Ниже я описал причины, по которым считаю, что Америка – не лучшее место эмиграции для IT-предпринимателей. Спасибо @yurydud, фильм которого вдохновил меня на этот текст.

#tutorial #makefile
A very simple explanation of how to work with Makefile on the example of a pie recipe

https://github.com/kyclark/make-tutorial

#interview #culture #values #amazon

В крупных компаниях, как правило, набор идёт в соответствии со внутренними ценностями (помимо функциональных навыков)

В этой статье автор делится своей позицией на лидерские принципы Амазона. Если у вас мечта устроиться в Амазон, то это must read

https://www.linkedin.com/pulse/how-interview-amazon-leadership-david-anderson

#deep #learning #youtube

Two brilliant talks about ways to profile and improve performance of your nets

https://www.youtube.com/watch?v=n8tN6pRZBdE

#interview #system #design

Are you preparing for system design interviews? This list can help you master this skills

https://github.com/binhnguyennus/awesome-scalability

#course #free #golang
Бесплатный курс на GoLang

Обзор базы, отличия от других языков разработки

Blueprints, специфика для тех, кто пришел из объектно-ориентированного программирования

Packages & dependency management. Goroutines, synchronisation

Редакторы: анализ, топ-эффективных Profiling, Tracing, Debugging & performance profiling. Как писать высоконагруженные приложения

Линтеры и анализаторы, golangci-lint



https://ozon.dev/goschool

​​Камера смартфона OnePlus 8 Pro может снимать через пластик

Один из режимов камеры смартфона OnePlus 8 Pro позволяет делать фотографии и снимать видео через тонкий пластик.

На это обратили внимание пользователи социальной сети Reddit. Затем информацию проверил техноблогер из Латвии Бен Гескин.

Оказалось, что фотохромный фильтр в OnePlus 8 Pro может фиксировать инфракрасное излучение и таким образом «видеть» сквозь пластик.

Гескин опробовал камеру не только на приставке Apple TV, но и на контроллерах для VR-шлема Oculus Quest. И у него снова получилось.

Журналисты издания AndroidPolice написали, что камера не должна работать с одеждой. Но журналисты другого технологического издания AndroidPIT смогли увидеть спрятанную под темной футболкой записку с помощью этого же фотохромного фильтра.

Журналисты Androidpolice также отметили, что технология, которую используют в смартфонах OnePlus не является чем-то особенным. По такому же принципу работают камеры для биометрической аутентификации.

Practical python от David Beazley
Лет 5 назад смотрел его лекцию, после чего сильно зауважал его

Table of Contents

0. Course Setup (READ FIRST!)

1. Introduction to Python

2. Working with Data

3. Program Organization

4. Classes and Objects

5. The Inner Workings of Python Objects

6. Generators

7. A Few Advanced Topics

8. Testing, Logging, and Debugging

9. Packages



https://dabeaz-course.github.io/practical-python/

#missing #semester #MIT #computer #science

⚡⚡⚡

The class is being run during MIT’s “Independent Activities Period” in January 2020 — a one-month semester that features shorter student-run classes.

"Mastering these tools not only enables you to spend less time on figuring out how to bend your tools to your will, but it also lets you solve problems that would previously seem impossibly complex."

I wish to have this when I just started my programming journey.

https://missing.csail.mit.edu/

#docker #containers #deepDive #devops

Управление окружением - это супер важный процесс в жизни разработчиков. Docker - это возможно самый популярный действенный способ делать это элегантно.

Решил написать серию статей на тему Docker и выложить статьи на Medium.

Планирую написать немного о том как работает Docker Engine, о том как работать с сетями и хранилищами. Как управлять кластером через Swarms и немного о Security.

Пока же написал об Architecture и о том, что такое Image, Container, Swarm and Service.

https://medium.com/@yeldos/docker-deep-dive-689631ac2c97

#docker #architecture #underTheHood

Всем полезно знать как выглядит жизненный цикл запроса начиная с команды docker container run до его (контейнера) создания.

В этой статье я описал компоненты используемые Docker'ом

Если интересна тема Docker контейнеров или как выглядит архитектура Docker, то читай:

https://medium.com/@yeldos/docker-engine-architecture-under-the-hood-741512b340d5

#bash #ps1 #generator

⚡ Простой тулец, где в режиме онлайн можно генерить скрипт для кастомизации баша 😅

http://bashrcgenerator.com/

#python #web #crawling
Тот случай, когда важно знать больше чем просто синтаксис языка

“A Single Line of Python Code Scraping Dataset from Webpages” by Christopher Tao https://link.medium.com/cL1r8eYU36

#docker #dive

If you use Docker in your stack, you are gonna love Dive. Dive is a terminal tool to explore your and optimize image layers

https://github.com/wagoodman/dive

Here's I found a short video about Dive: https://www.youtube.com/watch?v=uBd7QPvhLMU

#python #scraping #legal
Do you want to get started with web scraping using Python? Are you concerned about the potential legal implications? What are the tools required and what are some of the best practices? This week on the show we have Kimberly Fessel to discuss her excellent tutorial created for PyCon 2020 online titled “It’s Officially Legal so Let’s Scrape the Web.”

https://realpython.com/podcasts/rpp/12/

#interview #technical

“Algorithms: How to approach a technical interview about solving Algorithms” by Yeldos Balgabekov https://link.medium.com/eMTk4Hk7f7