Публичное System Design Interview на конференции C++ Russia 2023

В мае на конференции C++ Russia 2023 я проводил публичное собеседование по system design, запись доступна здесь.
Я уже проводил такой тип интервью на
- C++ Russia 2022 - мы проектировали ленту в сервисе видео
- ArchDays 2022 - мы проектировали букинг номеров в отелях
а в этот раз мы с Пашей Филоновым проектировали умные парковки с возможностью бронирования и оплаты места в мобильном приложении

Если вам интересна тема system design, то можно почитать и другие мои материалы
- в общем про system design в Tinkoff
- больше про то, как мы оцениваем прохождение собеседования
- как подготовиться к собеседованию

#SystemDesign #SoftwareArchitecture #Software #Interview #SystemDesignInterview #Conference #ExternalReview #Video

Книжный клуб CoA — обсуждение "Zanzibar: Google’s Consistent, Global Authorization System"

В рамках изучения книги "Distributed Systems" в книжном клубе "Code of Architecture" мы говорили про вопросы безопасности и кратко обсудили тему авторизации. Тогда нам показалось, что авторы книги, Таненбаум и ван Стин, пропустили достаточно важную модель называемую ReBAC (Relationship-Based Access Control). Популярность к этой модели пришла после того, как Google в 2019 году опубликовал white paper "Zanzibar: Google’s Consistent, Global Authorization System". В итоге, мы провели отдельный выпуск Code of Architecture с обсуждением этого документа, а саммари о выпуске я написал только сейчас в своем блоге. Видео-версия этого выпуска доступна в Youtube.

#CoA #SystemDesign #DistributedSystems #Authz #WhitePaper

Разговоры СТО про структуру, деливери-менеджмент и метрики здоровья команд

Пару дней назад я скидывал ссылку на подкаст 503, в котором мы обсуждали надежность с точки зрения проектирования.
А сегодня я решил вспомнить про подкаст Павла Притчина "Разговоры CTO", в котором мы пару лет назад обсуждали темы delivery management, изменений структуры команд, а также процессов разработки. С тех пор моя команда выросла в несколько раз, а часть упоминаемых мной вещей стала уже стандартом де-факто на уровне компании.
Интересно, что этот выпуск был первым в этом подкасте:)

#Podcast #Software #SoftwareArchitecture #Processes #Management #SoftwareDevelopment #Engineering

ИТ Пикник

2 сентября в Коломенском парке будет музыкальный ИТ-фестиваль, который организовали Tinkoff, Codefest и Мельница.
В рамках фестивая будет лекторий "Архитектура, надежность и качество", в программном комитете которого я состою, помогая подбирать доклады. Всего будет 6 интересных докладов из топовых компаний на заявленные темы. Регистрируйтесь на фестиваль и приходите в наш лекторий, где я часть времени буду еще и ведущим этого лектория:)

#Conference #Software #SoftwareArchitecture #SRE

Фестиваль Chess & Jazz

Сегодня и завтра в саду "Эрмитаж" будет проходить музыкально-шахматный фестиваль Chess & Jazz. В этом году он будет проводиться уже в четвертый раз, но я его посещу в первый раз. В рамках фестиваля будут выступать разные музыкальные группы, но меня конечно привлекает возможность посмотреть на шахматные активности:
- Chess Village, в рамках которого будет решение шахматных задачек и сеанс одновременной игры
- Chess Cup - турнир для всех желающих из числа посетителей фестиваля
Я на это мероприятие отправлюсь вместе со своим старшим сыном, который как и я немного умеет играть в шахматы:)

P.S.
Для понимания того, как устроен фестиваль интересно прочитать статью в Forbes Ника Бабин, продюсера фестиваля.

#Chess #Thinking #Conference

What Is ChatGPT Doing ... and Why Does It Work?

Дочитал вчера книгу Стивена Вольфрама, которая посвящена обзору того, как работает ChatGPT. Книга вышла в марте этого года и помимо нее у Стивена есть 3-часовой стрим, в котором вы можете все то же самое послушать и посмотреть в виде истории от автора книги. Кстати, мне было интересно мнение Стивена насчет LLM (large language model), потому что он является разработчиком системы компьютерной алгебры Mathematica и системы извлечения знаний WolframAlpha, принцип работы которых сильно отличается от ChatGPT. Кстати, про это Стивен рассказывает подробно в последней части книги, где показывает слабые стороны ChatGPT и помогает их усилить объединяя его с Wolfram Alpha:)

В общем, подробности про книгу можно прочесть в моем блоге.

#DataScience #ML #AI #Data #PopularScience #Math

A typology of organisational cultures

Ron Westrum в 2004 году написал интересную статью про типологию организационных культур в медицинском журнале "Qual Saf Health Care". На эту статью ссылаются авторы книги Accelerate, когда говорят про "Westrum organizational culture". Поэтому я решил прочитать оригинальную статью и составить свое мнение.
В начале статьи автор говорит, что его типология организационных культур основана на на стиле обработке информации в медицинских подразделениях. Дальше он определяет культуру как организационный паттерн реакции на проблемы и возможности и выделяет три типа культур
- Патологическую (pathological) - это тип культуры, что ориентирован на влияние
- Бюрократическую (bureaucratic) - это тип культуры, что ориентирован на правила
- Производительную (generative) - это тип культуры, что ориентирован на performance
Дальше он говорит, что эти типу культур обусловлены отношением лидеров подразделений, на которое реагируют их сотрудники. В приложенном изображении есть краткий перечень характеристик каждой из культур, но мне особенно нравится цитата:
When things go wrong, pathological climates encourage finding a scapegoat, bureaucratic organisations seek justice, and the generative organisation tries to discover the basic problems with the system.
Отдельно стоит отметить, что автор отмечает, что его схема захватывает только часть организационной культуры, но ничего не говорит про тренинги, структуру, стиль решения проблем и так далее. Плюс он отмечает, что его выводы про связь типа культур и performance являются статистическими (корреляция), а не детерменированными (causation).
Та часть статьи, что про case study затрагивает глубже тему реакции на аномалии и отмечается 6 вариантов реакций на нее
- Supression - harming or stopping the person bringing the anomaly to light; "shooting the messenger"
- Encapsulation - isolating the messenger, so that the message is not heard
- Public relations - putting the message "in context" to minimise its impact
- Local fix - responding to the presenting case, but ignoring the possibility of others elsewhere
- Global fix - an attempt to respond to the problem wherever it exists. Common in aviation, when a single problem will direct attention to similar ones elsewhere
- Inquiry - attempting to get at the "root causes" of the problem
Кстати, последний вариант реакции принят в хороших IT компаниях в формате культуру постмортемов, про которую я уже как-то рассказывал.

В завершении статьи авторы показывают почему информация так важна для медицинских команд
Because most medical work involves teams, information will provide the glue that keeps the team focused and coordinated. If the glue is weak, so will the team be. The culture, then, represents those habits of thought and action by changing the culture, virtually everything can change—trust, openness, confidence, and even competence
Ну и дальше приводятся выводы для клинической практики и ключевые выводы статьи (их можно почитать на изображениях из следующего поста).

#Culture #Management #Leadership #SRE #Software #Processes #Engineering #Thinking

Изображения из статьи Рона Веструма "A typology of organizational cultures", про которые я рассказывал в прошлом посте.

#Culture #Management #Leadership #SRE #Software #Processes #Engineering #Thinking

Inside Google’s big AI shuffle — and how it plans to stay competitive, with Google DeepMind CEO Demis Hassabis

Интересное интервью Демиса Хассабиса, CEO Google DeepMind, с Nilay Patel в рамках подкаста Decoder от Verge, которое было дано 3 недели назад в начале июля.

В рамках интервью обсуждались вопросы:
- про объединения Deepmind и Google Brain в одну компанию Google Deepmind, которая внутри Google будет заниматься больше продуктовыми историями, чем абстрактными штуками типа Alpha Go (игра в го) или Alpha Fold, которыми был знаменит Deepmind (вот интересная документалка насчет Alpha Go)
- про причину объединения - гипотеза интервьюера была в том, что OpenAI совершила прорыв с LLM и что Google теперь надо сфокусироваться и ускориться будучи в роли догоняющего
- про причину хайпа около LLM - гипотеза в том, что LLM решают задачи, понятные большинству обывателей и решают их неплохо, а предыдущие вещи от Deepmind слишком сложны для понимания обывателей и понятны только специалистам в узких сферах
- про культурные коллизии между двумя подразделениями (Brain и Deepmind), что стали теперь одним целым
- про подход к решению задач, который использует сам Демис - здесь Демис рассказывает про шахматы, которыми он долго занимается, про визуализацию итогового результата и backcasting от целевого решения назад к текущемуу (аля working backwards от Amazon)
- про микс глубоких новых исследований (условно, что придет на смену LLM) и масштабирования текущих решений (больше параметров, больше примеров для обучения, больше мощности)
- про продукты Google в формате Bard и SGE (Search Generative Experience) - эта история про текущие продуктовые вещи с использованием LLM в Google и опыт их использования
- про знаменитую заметку "Google 'We Have No Moat, And Neither Does OpenAI'" - Демис сказал, что думает, что заметка была реальной, но с выводами в этой заметке он не согласен
- про сроки наступления AGI - оценка Демиса ~ 10 лет
- про дообучение моделей при помощи людей, которые рейтингуют ответы LLM как правильные или нет и так далее
- про риски и регуляцию AI, так как Демис подписал письмо от Center for AI Safety
- про комбинацию моделей аля LLM + специфичные модели для решения задач из предметной области - приблизительно об этом же рассказывал Стивен Вольфрам в книге "What Is ChatGPT Doing ... and Why Does It Work?" (подробнее здесь)
- про исследование "Stochastic Parrots" внутри Google, что привело к замедлению LLM в Google и дальнейшему увольнению авторов после буста ChatGPT от OpenAI
- про то, как не попасть в цикл обучения нейросетей на материале, сгенерированным нейросетями, что может привести к ухудшению моделей - тут предлагается создать специальные watermarks, что встроены в сгенерированные материалы, что позволит их распознать при обучении новых моделей

#AI #ML #Engineering #Software #DataScience #SoftwareDevelopment