You Keep Using That Word • Sam Newman • GOTO 2023 (Рубрика #Architecture)

Это доклад Сэма Ньюмана, известного популяризатора термина микросервисы, по которым он написал известные книги "Building Microservices" в 2015 году, "Monolith to Microservices" в 2019 году, которые поспособствовали буму микросервисов. В этом докладе автор решил разобраться не с самими сервисами, а со связами между ними. Эти связи часто классифицируют как синхронные или асинхронные, но что же такое асинхронность и как она соотносится с синхронностью? Автор рассказывает про свой тред в сети X (ex-Twitter) трехлетней давности, где он устраивал дискуссию на эту тему и получил примерно следующие мнения о том, что входит в концепцию асинхронности:
- Immediacy (незамедлительность) - пример звонка по телефону по сравнению с отправкой email
- Temporal coupling (временная связанность) - связь действий во времени
- Non-blocking (не блокируемость) - возможность делать неблокирующие выщовы (аля promises или async конструкций в языках)
- Intermediary (посредник) - наличие промежуточного посредника навроде Rabbit MQ, Active MQ, Apache Kafka
Также автор вспоминает про предыдущий подход к снаряду с асинхронностью от создателей Reactive Manifesto, который был создан пока написание манифестов еще не превратилось в булшит бинго. Конкрентно автор сомневается в полезности определения Asynchronous из этого манифеста

Asynchronous
The Oxford Dictionary defines asynchronous as “not existing or occurring at the same time”. In the context of this manifesto we mean that the processing of a request occurs at an arbitrary point in time, sometime after it has been transmitted from client to service. The client cannot directly observe, or synchronize with, the execution that occurs within the service. This is the antonym of synchronous processing which implies that the client only resumes its own execution once the service has processed the request.

Конкретно у Сэма есть претензия к словам обработки запроса "after it has been transmitted", как будто обработка запроса возможна до этого. Тут сразу вспоминается Герберт Уэллс и его Машина Времени:) Но дальше Сэм сам не предлагает точного определения для асинхронности и говорит о том, что все зависит от контекста. В итоге, в социотехнической системе присутствуют люди, которые вкладывают смысл в слова языка и этот смысл может отличаться для одного и того же слова в разном контексте. На эту тему я рекомендую почитать книгу Александра Пиперски "Конструирование языков. От эсперанто до дотракийского", про которую я рассказывал раньше. В книге речь идет не о лингвистике в общем, а скорее про искусственные языки: краткую историю их исследований и принципы классификации. А при обсуждении искусственных языков мы можем наблюдать весь процесс дизайна языка, начиная с целей, проходя через принципы и приходя к имплементации. Это сильно интереснее обсуждения естественных языков, где многое объясняется тем, что "так исторически сложилось":))

#Architecture #Software #Engineering #SoftwareArchitecture #SystemDesign #DistributedSystems #Design

Гибкие технологии: Экстремальное программирование и унифицированный процесс разработки (Agile Modeling: Effective practices for XP) (Рубрика #Management)

Достал с полки раритетную книгу Скотта Амблера (Scott Ambler), которую я читал еще в 2005 году в самом начале своей карьеры как инженера. В то время еще все не молились на Agile Manifesto, каскадная разработка была еще в полном порядке, а по миру шагал унифицированный процесс разработки вида RUP (Rational Unified Process). А в этой книге автор пытался поделиться своим опытом моделирования программного обеспечения. В итоге, в книге было 400 страниц, 30 глав и пять частей, про которые стоит рассказать подробнее
1. Введение в гибкое моделирование - здесь автор рассказывает про agile manifesto и на базе него формулирует свои принципы agile modeling навроде того, что надо ожидать изменения, изменения надо делать небольшими, нам нужно множество моделей, быстрая обратная связь, что содержание важнее формы и так далее. Дальше автор рассказывает про разные методики моделирования: инкрементальные, работа в группе, важность тестирования модели и проверки ее в коде, используйте стандарты моделирования и не увлекайесь паттернами. В общем, мне эта часть была очень полезна почти 20 лет назад
2. Гибкое моделирование на практике - все начинается с важности общения для моделирования софта, дальше развенчиваются мифы вида "заморозки требований" или "высеченного в камне дизайна", дальше упоминается моделирование интерфейса, требований, написание документации, а также использование нотаций - тогда UML была впереди планеты всей, но уже в этой книге была глава с название "По ту сторону UML":)
3. Гибкое моделирование и экстремальное программирование - здесь автор рассматривает XP (extreme programming) и показывает как agile modeling укладывается в этот подход. Из этой книги видно, что XP тогда был на коне и важно было дать отсылку к нему, а не к Scrum, Kanban или еще чему-то
4. Гибкое моделирование и унифицированный процесс - а здесь автор говорит про унифицированный процесс, который потом превратится в RUP (rational unified process). Это другая часть спектра, где мы смотрим на бюрократический процесс, что пришел на смену каскадному. Автор показывает, что и здесь agile моделирование может пригодится
5. Глядя в будущее - в этой части автор говорит про то, как внедрить в свои процессы моделирование софта

Итого, книга для своего времени была очень хороша - качественный разговор про моделирование и дизайн софта, обсуждение того, как это встраивается в тогдашние процессы разработки. Обсуждение практических подходов, инструментов, нотаций и так далее. Я из книги в то время узнал и почерпнул многое. Но сейчас эта книга скорее динозавр из прошлого и читать ее стоит только археологам процессов разработки или ностальгирующим вроде меня:)

P.S.
Интересно, что дальше автор книги, Скотт Амблер, продолжил копать тему Agile подходов и вылепил Disciplined Agile (DA) в 2012 году, который потом был куплен с потрохами PMI (Project Management Institute) в 2019. PMI дальше постаралась с помощью этого тулкита закрыть свое отставание в гибких подходах. Историю про Disciplined Agile я уже рассказывал раньше.

#Processes #Management #Agile #Leadership #Software

Artificial Intelligence Index Report 2024 (Рубрика #AI)

Недавно почитал этот отчет от Stanford University for Human-Centered AI, который в виде pdf занимает солидные 500+ страниц:) Отчет является достаточно значимым в индустрии и затрагивает большое количество тем (он разбит на 9 отдельных глав вида: RnD, tech performance, responsible AI, economy, science & medicine, education, policy & governance, diversity, public opinion). Каждая глава содержит большое количество отсылок к исследованиям, различные визуализации и нетривиальные выводы, которые выливаются в следюущие top-level находки

1. AI beats humans on some tasks, but not on all - железные друзья уже превосходят людей в ряде задач, пока не во всех, но еще не вечер
2. Industry continues to dominate frontier AI research - создание foundational моделей - дело дорогое, поэтому крупные компании его могут себе позволить, а вот академическим исследователям не хватает бюджетов для конкуренции. Поэтому многие прорывные результаты рождаются в корпорациях
3. Frontier models get way more expensive - интересно наблюдать экспоненциальный рост стоимости моделек, который дает стабильный рост результатов
4. The United States leads China, the EU, and the U.K. as the leading source of top AI models - USA пока впереди Китая в рамках AI (а если посмотреть на другие новости про запрет экспорта части технологий в Китай, то кажется, что USA хочет продолать быть лидером)
5. Robust and standardized evaluations for LLM responsibility are seriously lacking - вопрос оценки моделей достаточно сложен (во второй части про tech performance авторы рассказывают про разные варианты бенчмарков)
6. Generative AI investment skyrockets - видно, что тема инвестиций в AI горячая и все стартапы теперь пытаются добавить себе в описание рассказы про искусственный интеллект, чтобы повысить оценку бизнеса у инвесторов:)
7. The data is in: AI makes workers more productive and leads to higher quality work - есть исследования, что показывают повышение продуктивности и качества работы с использованием искусственного интеллекта
8. Scientific progress accelerates even further, thanks to AI - искусственный интеллект теперь помогает естественному двигать науку вперед. Интересно посмотреть что будет в отчете следующего года - по-факту, это позитивная спираль обратной связи и если AI сможет ускорять научные исследования, то лучше ему начать с области исследований AI:)
9. The number of AI regulations in the United States sharply increases - как обычно с большими возможностями приходит и большая ответственность, которую накладывают регуляторы. По-идее, это фиксирует границы и правила игры, но одновременно замедляет исследование нового. Но AI теперь слишком большой слон, чтобы регуляторы им не заинтересовались:)
10. People across the globe are more cognizant of AI’s potential impact—and more nervous - люди нервничают, так как появляется ощущение, что мы живем в эпоху перемен и технологическая сингулярность не за горами. Одновременно, не ясно когда и чью работу отдадут нашим железным друзьям и как потеря работы отразится на нашей жизни. Правда, пока AI скорее идет в сторону ассистентов людей, но при такой скорости развития моделей и получения данных для обучения ассистент скоро сможет превзойти учителя и ...

В общем, рекомендую отчет к ознакомлению всем интересующимся в современных технологических трендах.

#AI #ML #Software #Engineering #DataScience

Introducing GPT-4o (Рубрика #AI)

Вчера был интересный анонс новой модели от OpenAI и живое демо ее возможностей.
Видео длится 26 минут и его интересно посмотреть в оригинале, так как там было несколько интересных новостей:
- Появление настольной версии ChatGPT (для Mac)
- Запуск новой флагманской модели GPT-4o, которая действительно мультимодальна и с ней можно разговаривать, показывать видео и картинки и задавать по ним вопросы.
- Latency на ответы у модели такое, что с ней вполне можно приятно разговаривать без задержек в несколько секунд на генерацию ответа - это мне напомнило фильм "Она", который был про взаимоотношения AI как персонального ассистента и главного героя, кстати фильм вышел в 2013 году
- GPT-4o в 2 раза быстрее, на 50% дешевле и рейт-лимиты в 5 раз выше, чем в GPT4-Turbo
- GPT-4o будет доступен для всех пользователей (даже бесплатных)
- В демо был интересный кейс помощи в решении линейного уравнения - похоже GPT-4o теперь еще больше импакта способен принести в Edtech
- Дальше был пример работы с python кодом, код конечно простой был, но ChatGPT хорошо рассказал что это за код, зачем он нужен, а потом еще проанализировала график, который этот код и рисовал
- Другой пример с переводом в режиме реального времени тоже выглядел вдохновляюще
- Ну и последний пример - это анализ эмоций по выражению лица, которое транслируется при помощи селфи-камеры

В общем, очень интересная демка после которой вспоминается третий закон Артура Кларка

Любая достаточно развитая технология неотличима от магии.

И кажется технологии от OpenAI приближаются к этому достаточно развитому уровню:)

#AI #DataScience #ML

Google I/O 2024: Everything Revealed in 12 Minutes (Рубрика #AI)

Прошел один день с анонса GPT-4o от OpenAI и состоялся Google I/O, который пропустившим можно посмотреть в виде 12-минутной нарезки ключевых моментов от CNET. Забавно, что само мероприятие Google I/O можно заменой одной буквы переименовать в Google AI, о котором в основном и говорили со сцены:)

- Project Astra - как Gemini умеет работать с видео с камеры телефона и воспринимать окружающее пространство
- Veo Generative AI Video Model - модель для генерации видео навроде Sora
- Trillium TPU - шестое поколение процессоров для обработки тензоров (в 4.7 раза эффективнее, чем раньше)
- Axion Processor - custom ARM процессор
- Gemini AI Google Search - как AI встраивается в Google Search: AI Overviews в качестве дополнительного блока сверху поисковой выдачи, дальше пример с поиском ресторанов под определенную задачу
- Gemini AI Video Search - поиск по видео, когда ты снимаешь камерой смартфона что-то и задаешь вопрос, выглядит интересно
- Gemini AI 'Live' Voice Chat - голосовой ассистент, с которым можно естественно разговаривать в real-time
- Gemini AI Gems - персонализированные ассистенты, которым можно задать инструкции и дальше они будут вести себя в соответствии с ними
- Android 15 AI Powered Search - AI полным ходом заезжает в Android (сначала на Pixel, а потом и на другие телефоны), где были показаны три изменения: доработки поиска, gemini становится ассистентом на Android, новая AI gemini модель будет работать на устройстве
- Circle To Search - поиск по кружочку:)
- Gemini AI Context Aware - обсуждение с учетом контекста (в демо пример с общение насчет pickleball и теннисом - вопросы, генерация картинок, вопросы по видео)
- Android 15 with Gemini Nano with Multimodality - подробнее про модель, работающую на устройстве (Geini Nano с мультимодельностью, on-device foundational model)
- How many times AI was mentioned at Google I/O - шутка на тему частого упоминания AI

P.S.
На Google I/O было много примеров использования AI во всех продуктах компании. Кажется, что это отличный способ сделать AI вездесущим со стороны Google и найти где он действительно причиняет добро пользователям, а дальше это монетизировать:)

P.P.S.
Но даже в день Google I/O у OpenAI была интересная новость про уход из компании Ilya Sutskever, chief scientist, а также со-основателя компании. Если вспомнить мелодраму с уходом Сэма Альтмана и его возвращением в OpenAI, то эта новость не кажется особенно неожиданной, так как Илья поучаствовал в этой истории как один из зачинщиков, большая часть из которых уже давно покинула компанию. Но Илья сначала потерял место в совете директоров после возвращения Сэма, а теперь вообще пошел заниматься чем-то, про что он написал в своем твитте так

I am excited for what comes next — a project that is very personally meaningful to me about which I will share details in due time.

#AI #DataScience #ML #Bigtech