Google "We Have No Moat, And Neither Does OpenAI" (from semianalysis.com)

Интересный документ про будущее AI от одного из исследователей в Google, который решил остаться неизвестным (так как заявлено, что это утечка).
Его интересно прочитать целиком, но основные мысли там в том, что
1) Open-source LLM модели развиваются стремительными темпами, обгоняя по скорости развития closed-source модели (например, от OpenAI и Google) и приближаясь по качеству. Суть в том, что коммьюнити может провести больше разнообразных экспериментов и, достигая результатов в одном из направлений, следующие экспериментаторы могут использовать эти достижения (пример с LoRA и "part of what makes LoRA so effective is that - like other forms of fine-tuning - it’s stackable")
2) Качество данных может быть важнее количества параметров в модели, а если модель меньше, то длина итерации в экспериментах меньше и стоимость fine-tuning меньше. Автор говорит про использование "small, highly curated datasets", которые к тому же часто в open source
3) Конкурировать напрямую с open-source движением не стоит, а если не можешь предотвратить, то возглавь. Автор вспоминает про платформы и говорит, что можно поступить как с Chrome или Android, где проекты в open-source и Google выступает как "a thought leader and direction-setter, earning the ability to shape the narrative on ideas that are larger than itself"

P.S.
Отдельно интересно еще почитать статью про сравнение качества моделей, к которой апеллирует автор.

#ML #DataScience #Software

Scaling up the Prime Video audio/video monitoring service and reducing costs by 90%

Простая статья от ребят из Amazon Prime Video про то, что Step functions, Lambda functions и S3 хранилище не всегда оптимальны:)
Иногда проще сгруппировать работу внутри одного процесса (исполняемого внутри ECS), чтобы внутри была простая оркестрация и еще не нужно было сохранять фреймы для промежуточного хранения в S3, а потом скачивать их же для выполнения следующего шага обработки:)
В принципе, статья не несет какой-то новой информации, но является интересным примером, что даже ярые адепты микросервисов иногда выбирают монолиты.

#Software #DistributedSystems #Architecture #SoftwareArchitecture

Написал недавно для SouthHub мнение про доклад с goto конференции про cognitive biases в разработке софта.

Мысли выходного дня об ограниченности рациональности. Интригует?

Александр Поломодов — руководитель управления разработки цифровых экосистем в Tinkoff и спикер площадки F*** Up Night на South Hub’23 — выразил интересное #мнение и расставил акценты на важных при проектировании программного обеспечения моментах.

Building Evolutionary Architectures (2nd Edition) • Rebecca Parsons, Neal Ford & James Lewis • GOTO 2023

Это интервью авторов книги в рамках книжного клуба goto появилось вовремя - судя по нашему опросу в книжном клубе Code of Architecture, именно эту книгу мы начнем читать через неделю.
Первое издание книги было в далеком 2017 году и было интересным с концептуальной точки зрения, но сыровато по контенту и что хуже - почти полностью отсутствовал тулинг для создания fitness functions. А в конце 2022 года вышло второе издание книги, в которой ребята обновили ее, дали определение основным терминам, подружили evolutionary architecture и architectural governance и много чего еще, что можно узнать из этого интервью:)

P.S.
Анонс первого выпуска по Code of Architecture напишу на этой неделе, но уже могу сказать, что он будет как обычно в понедельник в 18.00 по Москве.

#Architecture #SoftwareArchitecture #SystemDesign #DistributedSystems

Hacking the System Design Interview: Real Big Tech Interview Questions and In-depth Solutions

Наконец-то у меня дошли руки до очередной книги про интервью по системному дизайну. На этот раз это книга Stanley Chiang, который работает сейчас в Google. По изложенной в книге легенде когда-то давно он делал заметки при подготовке к этому типу интервью и потом превратил их в книгу, которая неплохо продается, судя по Amazon. Сама книга состоит из нескольких частей:
- The system design interview - краткое интро про этот тип интервью и про то, как использовать книгу для подготовки к нему
- Essential concepts - базовая терминология, основные принципы для дизайна сервисов, концепции из баз даннх, основы сетей, вопросы интеграции сервисов между собой, концепции из мира распределенных систем и принципы тестирования
- Core components - базовые компоненты, такие как: веб сервера, кеши, объектные хранилища, CDN, подход с read/write API, fan-out services, генерация уникальных id и основы big data и map reduce
- System design questions - здесь автор рассказывает про свой 7-шаговый подход к решению system design задач, как производить приблизительную оценку, рисовать диаграммы и ориентироваться в вопросах к задачам, а дальше приводит 16 интересных задач, которые неплохо бы отрешать для того, чтобы набить руку

В общем, эта книга мне показалась интереснее чем "System Design Interview" от Alex Xu, про которую я рассказывал в статьях на Medium: 1 и 2

P.S.
Эту книгу я прочитал на фоне проведения в этот четверг очередного публичного System Design Interview, про которое я рассказывал несколько недель назад.

#SystemDesign #DistributedSystems #SoftwareArchitecture #SoftwareDevelopment #Architecture #Architect

Migrations - The Hardest Actual Problem in Computer Science • Matt Ranney • YOW! 2022

Крутое выступление про миграции Matt Ranney, Principal Engineer из DoorDash. Последние пару лет он занимается большой миграцией в DoorDash и готов поделиться своими мыслями.
Мэт поднимает вопрос того, что миграции - это сложно и никто не хочет этим заниматься. Все предпочитают работать в greenfield.
Дальше он пробегается по следующим вопросам
- Что такое миграции?
- Почему они сложны?
- Рассказывает про миграцию в DoorDash (объясняя почему она важна)
- Делиться "секретом" как делать изменения на системе, что должна работать все время (always-on) - здесь он рассказывает про подход dual write
- Какие проблемы возможны при этом подходе (auto-increment keys, что делать если системы при dual-write выдают разные ответы, что делать при транзакциях)
- Как люди приходят к использованию шаренной базы данных для нового и старого сервиса (и как это потом бывает больно распутывать)
- Дальше он делится советами о том, как сделать миграции проще
- Продолжает рассказом о том, как хорошие абстракции помогают в этом

А завершается рассказ следующими выводами о том, почему миграции так сложны
- Все создают свой тулинг для миграций
- Сложно обосновать инвестиции в хорошие абстракции по сравнению с продуктовыми фичами
- Существует культурное предубеждение против преждевременной оптимизации (что приводит часто к тактическому программированию)
- Выученная беспомощность в отношении сложных миграций
- Крутые инженеры не вдохновлены идеей миграций - они считают, что это может плохо повлиять на их карьеру или просто не так интересно
- Часто людей, занимающихся миграциями, не вознаграждают за их достижения

P.S.
Как-то десять лет назад у меня был похожий проект про миграцию старой системы на новые рельсы, куда я пришел в качестве лида. Этот проект длился больше года до переключения на новое решение, а потом мы новое решение еще полгода допиливали напильником и только потом вышли на стабильное создание новых фичей. Поэтому я очень хорошо понимаю тезисы автора, а про свой опыт потом тоже напишу статейку:)

#SoftwareDevelopment #SoftwareArchitecture #Conference #SystemDesign

Code of Arch — Recap of Distributed Systems, 4th Edition (Рубрика #Architecture)

В самом начале года в книжном клубе Code of Architecture мы разобрали четвертое издание книги, которое вышло 8 января.
У нас получилось девять насыщенных выпусков по полтора часа каждый. И тут я решил написать статью, в которой собрал все материалы в одном месте.
А для любителей изучать оригиналы отдельно отмечу, что скачать электронную книгу можно на сайте авторов.

#DistributedSystems #SoftwareArchitecture #Software #Architecture #CoA

Improving Software Flow • Randy Shoup • YOW! 2022 (Рубрика #Management)

Классное выступление Randy про создание программного обеспечения. Сам Randy является VP Engineering and Chief Architect в eBay, поэтому ему отлично удался микс архитектурных и процессных рекомендаций. Свое выступление он построил на 5 идеалах из книги The Unicorn Project (я рассказывал про нее раньше), которая является сиквелом популярной книги The Phoenix Project (про нее я тоже рассказывал раньше). Вот эти пять идеалов

- Locality and Simplicity - здесь идет речь про архитектуру и предлагаются следующие подходы (modular services, orthogonal domain logic, event-driven architecture, immutable logs, embracing aynchrony). Интересно, что тут приводится разбор кейса от Walmart про их сценарий проверки доступности товара для отгрузки, где синхронная цепочка из 20+ сервисов была переведена на асинхронную архитектуру и синхронную цепочку из всего трех сервисов (остальные отрабатывали асинхронно). Отдельно про этот кейс Walmart можно посмотреть выступление с devops конференции DOES19 Las Vegas
- Focus, Flow, and Joy - здесь речь про процессы разработки, про kanban и WIP, а также про состояние потока, про отличие расписаний индивидуальных контрибьюторов и менеджеров. Кстати, тут есть отсылка к книге “Визуализируйте работу” (“Making Work Visible”), про которую я писал на Medium.
- Improvement of Daily Work - здесь идет речь про стратегическое программирование (технические инвестиции вместо технического долга), про continuous testing, test-driven development, continuous delivery, а еще про использование общепринятой валюты (время, люди, деньги) при оценке и аргументации технических инвестиций (ведь им придется конкурировать с продуктовыми задачами, которые оцениваются в этой же валюте) и это будет формировать бюджет улучшений
- Psychological Safety - здесь идет речь про проект "Project Aristotle", который был запущен в Google для ответа на вопрос “What makes a team effective at Google?”. И ответ как вы понимаете был в psychological safety. Подробнее рекомендую изучить на странице самого проекта. Плюс тут автор рассказывает про культуру blameless postmortems, про которую я тоже как-то рассказывал несколько лет назад в докладе "Культура postmortems или как мы учимся на ̶с̶в̶о̶и̶х̶ факапах"
- Customer Focus - здесь речь идет про то, что нам надо ориентировать на outcome для клиентов, а не на output в виде результатов наших активностей. Для анализа business outcomes нужны ясные бизнес-метрики и ясные клиентские метрики, а со стороны инженеров нужна инженерная дисциплина и умение решать проблемы бизнеса.

В общем, мне выступление понравилось и я рекомендую его к просмотру техническим лидерам, которые хотят улучшить свои процессы разработки и архитектуру своих систем.

#Software #SoftwareArchitecture #Architecture #Processes #Management #Leadership #Culture #Devops

Call for Paper на ArchDays

27-го октября пройдет уже пятая конференция ArchDays, на которой мы обсуждаем темы связанные с архитектурой и проектированием программного обеспечения.
Мы открыли прием заявок, вы можете оставлять свои заявки на сайте https://archdays.ru, а можете написать кратко тезисы в комментариях к этому посту.
С учетом того, что я тружусь в программном комитете с самой первой конференции и до сегодняшнего момента, то я с удовольствием обсужу с вами вашу идею заявки и если она укладывается в темы, то порекомендую закинуть полноценную зяявку на сайте конфы.
Основные темы конференции следующие:
- Процессы проектирования
- Практики проектирования
- Инструменты проектирования
- Обучение архитектуре
- Собственная разработка

Мы решили сделать упор на практику и провести побольше активностей на решение архитектурных кейсов, проведение архитектурных ката, поговорить про новые архитектурные концепции. Я на этой волне закинул заявку на проведение еще одного публичного system design interview:)

В общем, не стейсняйтесь формулировать заявки:)

#Architecture #SoftwareArchitecture #Conference