Machine Learning System Design (Рубрика #ML)

Пока я отдыхал на плато Путорана без интернета, то читал книгу "ML System Design" от Валерия Бабушкина и Арсения Кравченко. Она была интересна для меня по двум причинам: мне близка тема классического system design и я интересуюсь machine learning:) Мне близка идея авторов о том, что проектирование систем (ML систем в том числе) - это многоэтапный процесс, где пригодятся навыки из различных областей, которые стоит использовать в рамках системного подхода. Причем для ML этот многоэтапный процесс содержит гораздо больше шагов, чем просто выбор правильной модели/алгоритма.

Если сравнивать обычный и ML дизайн, то есть такие моменты, что их отличают друг от друга
1. Детерминизм vs вероятность
Обычные системы мы стараемся проектировать с определенной долей детерменизма, причем для проверки предсказуемости покрываем их тестами. ML системы носят by design вероятностный характер. В обычных системах у нас обычно есть четкий алгоритм, превращающий входные данные в выходные, а всю недетерминированная часть обычно находится на стороне эксплуатации (работа под нагрузкой, надежность и работа с отказами). В ML системах сама модель исполнения недетерминирована, что добавляет сложности оценке качестве ее работы
2. Одно и двух-фазная архитектуры
В ML системах обычно есть две сильно отличные фазы работы: training и inference. В обычных приложениях у нас нет фазы тренировки - оно руками инженеров уже обучено выполнять нужную работу (ака работать в режиме inference).
3. Зависимость от данных
В традиционной разработке у нас обычно есть структурированные данные, с которыми работают приложения - при дизайне мы проектируем модели данных и моделируем их взаимосвязи, часто это OLTP системы. В ML системах у нас степень контроля над данными сильно меньше - нам приходится городить пайплайны и зачастую при обучении работать с OLAP конструкциями, одновременно на inference работать в формате более близком к традиционным системам, чтобы успевать делать Inference с приемлемым временем отклика

В своей книге авторы уделяют много времени и места обсуждению архитектурных соображений
- Конвейеры данных
Построение надежных data pipeline становится фундаментальным компонентом архитектуры, поддерживающим поглощение данных, обработку в реальном времени и масштабируемые решения для хранения.
- Модульный дизайн
Необходимость отделения ML-компонентов от основной логики приложения, что позволяет независимо обновлять модели без нарушения работы основной системы.
- Мониторинг и наблюдаемость
Традиционные системы логирования должны эволюционировать для включения специфических метрик ML, таких как drift данных и производительность модели.

Отдельно отмечу интересный формат историй у костра (campfire stories), где авторы делятся своими историями из прошлого, рассказывая о решении реальных задач из своего опыта. Это выглядит интересно и похоже на то, когда мы рассказываем байки у костра за кружечкой горячего напитка. В общем, мне книга показалась интересной и полезной - ее полезно почитать как ML инженерам, так и классическим software engineers, которым все больше приходится проектировать Gen AI приложения.

P.S.
У авторов есть свои tg каналы, где они пишут про ml и не только
- У Валеры - @cryptovalerii
- У Арсения - @partially_unsupervised

#ML #AI #Engineering

Распродажа в издательстве «Питер» в последний викенд лета (Рубрика #Sales)

В издательстве Питер очередная распродажа со скидками в 35% на бумажные книги и 50% на электронные. Для получения этой скидки надо использовать промокод "Бумажная" (или "Электронная", если покупаете элетронную версию) при оформлении заказа. На прошлых распродажах я уже купил себе пачку книг, а в этот раз обратил внимание на следующие книги, последние три из которых докупил себе в коллекцию

- Технический директор. Эффективное техническое лидерство - в оригинале эта книга называется "The Engineering Executive's Primer" и я бы перевел ее как букварь технического директора:) Я прочитал ее с большим удовольствием год назад и могу порекомендовать ее любому техническому руководителю
- Разработчик ПО: Путеводитель по карьерной лестнице для будущих сеньоров, техлидов и стаффов - я уже рассказывал, что у меня появилась эта книга и я ее потихоньку пока читаю. Впечатления от нее отличные.
- Масштабируемые данные. Высоконагруженные архитектуры, Data Mesh и Data Fabric. 2-е изд. - в наш век GenAI приложений меня очень интересуют подходы к созданию платформ данных. Примерно про это мы говорили с моим коллегой, Сергеем Михалевым, в выпуске моего подкаста Code of Leadership
- Causal Inference на Python. Причинно-следственные связи в IT-разработке - я глубоко погружен в разработку нашей a/b платформы, а также в дизайн некоторых опросов (в стиле DORA), поэтому в последнее время я много читаю про статистику. Еще одна книга на эту тему будет не лишней.
- Дизайн и поведение пользователей. Применение психологии и поведенческой экономики в разработке и UX - эта тема продолжает планирование исследований и экспериментов, но уже внутри продукта.

#Sales

Силиконовые дали. Будущее, в котором мы живем сегодня (Рубрика #Startup)

Иногда вечером уходя с работы, я уже не способен читать сложные книги и тогда я снимаю с полки что-то попроще из серии попкорна для уставшей головы. На прошлой неделе я так начал читать книгу "Силиконовые дали" за авторством Владимира Смеркиса. Книга была издана в уже далеком 2022 году издательством "Альпина ПРО". Она представляет собой компиляцию идей Владимира, подкрепленных цитатами из 250+ интервью с успешными предпринимателями и топ-менеджерами. Книга напоминает о прошлом, когда
- Еще не случились события, приведшие к изоляции России
- Все еще не разочаровались в Web3 и NFT (автор как раз активно за эту тему топит)
- Все еще не наступила новая волна хайпа с Gen AI
- Все еще было модно говорить про digital transformation

В общем, автор привел в своей книге
- Практические рекомендации по построению цифрового будущего, щедро досыпав цитат от успешных предпринимателей
- Истории успеха и опыт российского интернет-бизнеса - в начале были истории про ранний Яндекс, Рамблер и даже Ozon
- Блокчейн-технологии и построение бизнеса на их основе - NFT должен был всех спасти на пару с блокчейном:)
- Экономику данных и ее перспективы - здесь тезисы в стиле "данные - это новая нефть"
- Цифровые стартапы: от поиска идей и инвесторов до типичных ошибок

В общем, я прочитал книгу быстро и скорее вспомнил

... как все начиналось
Все было впервые и вновь
Как строились лодки и лодки звались

чем получил какие-то практические инсайты про будущее.

#Economics #Startup #Management #Leadership