Large Language Models: Friend, Foe, or Otherwise • Alex Castrounis • GOTO 2023

Интересное keynote выступление про LLM от Alex Castrounis на goto конференции в Чикаго, основвателя и CEO "Why of AI" и автор книги "AI for People and Business".
В самом выступлении автор обсуждает следующие момент

- AI today - как выглядит искусственный интеллект сегодня, как он пересекается с machine learning, нейронными сетями и deep learning. Здесь же он показывает статистику из Google Trends поиска artificial intelligence, machine learning и chatgpt, причем последний термин в 10 раз популярнее, чем два предыдущих. Кто-то боится появления AGI, кто-то боится исчезнования рабочичх мест, а кто-то спешит интегрировать LLM себе в продукты и оптимизировать работу
- What does a positive AI future look like? - про важность понимания того, как AI работает для того, чтобы не бояться неизвестного:)
- Capabilities - пример того, что LLM умеет сейчас. Здесь автор рассказывает про Hhugging Face и их библиотеку того, что умеет ML сейчас
- What about coding? - обсуждение написания кода,
- Evolution - тут автор обсуждает ключевые статьи и результаты
-- 2017 - Attention is All You Need (Ключевая статья про трансформеры)
-- 2019 - Language Models are Unsupervised Multitask Learners (OpenAI paper, gpt2 whitepaper)
-- 2020 - Language Models are Few-Shot Learners (OpenAI paper, gpt3 whitepaper)
-- 2022 - Training language models to follow instructions with human feedback (OpenAI использовали этот подход для создания chatGPT)
-- TBD
- Overview - общий обзор NLP (natural language programming), семантику слов, контекст, и так далее. Тут автор говорит про word embeddings, архитектуру трансформеров (encode и decode части), про RNN (recurrent neural network) и возвращается к GPT-3/4, BERT, BART, T5.
- Tools - дальше автор говорит о том, как LLM применяются для написания кода на примере Copilot (все-таки goto - это конференция по программированию:) )
- Pitfalls & concerns - здесь автор говорит про common sense, reasoning, причинность, планирование и так далее
- Why are LLMs beneficial? - они помогают нам делать те вещи, в которых мы не так хороши или которые требуют много времени
- The future of work - размышления на тему того, а отнимут ли LLM работу у людей или нет:)
- AI won't take your job, someone using AI will - финальная мысль ращмышления про работу
- Focus on & master what AI can't do - совет что стоит прокачивать сейчас

#ML #DataScience #Software #SoftwareDevelopment #Conference #AI

Технологии (Get Technology. Be in the Know. Upgrade Your Future)

Дочитал в пятницу эту книгу из серии "Build + Become", а на русский название серии перевели "Думай иначе". В книге описывались современные и будущие технологии, причем на английском в 2018 году, а с тех пор многие технологии стали ближе к реальности, чем в момент написания, а относительно некоторых (Hyperloop) хайп немного поутих.
В общем, как и в других книгах серии тут 5 частей по 4 главы, которые посвящены отдельным темам:

1) Технологии рядом
1. Вирутальная реальность - на фоне проблем с раскруткой метаверса от почти одноименной компании эта тема не такая горячая
2. Дополненная реальность - тут наоборот всех интересует какой будет в реальной эксплуатации гарнитура от Apple
3. Искусственный интеллект - тема на хайпе с учетом LLM моделей (подробнее в выступлении Alex Castronius)
4. "Умный" дом - эта тема плавно развивается

2) Исследование
5. Беспилотные автомобили - кто тут только ими не занимается, но громче всего звучат новости про Tesla Илона Маска
6. Hyperloop - проект Илона насчет этакого подземного поезда, громких новостей давно не было слышно
7. Экзоскелет - до потребительского рынка они пока особо не доехали, но исследования идут
8. Новая космическая раса - мечты о космосе и для начала о полете на Марс. Все мы помним как Илон отправил Tesla на орбиту, чтобы продемонстировать то, что его ракета Falcon Heavy может запускать полезную нагрузку до орбиты Марса (хотя родстер Маска до Марса не доедет, не долетит)

3) Выживание
9. Нанороботы - как этих роботов можно будет использовать для лечения людей
10. Человек измеренный - как влияет отгрузка телеметрии о человеке на его поведение (шаги, пульс, данные о сне)
11. Термоядерный синтез - все также по прогнозам будет готов через несколько десятилетий (оценка не сильно меняется с 1950х годов:) )
12. Зашита от астероидов - обсуждение как мы земляне сможем защитить наш дом (Землю) от астероидов (с греческого "подобных звезде"), которые иногда пролетают рядом

4) Безопасность
13. Кибербезопасность - базовая история про безопасность в интернете
14. Биометрия - как идентифицировать людей по их биологическим характеристикам (отпечаток пальца, сетчатка, анализ мочи)
15. Технология блокчейн - базовый рассказ про блокчейн. Если эта тема интересна, то рекомендую почитать книгу "Blockchain Basics", на которую я как-то написал обзор и в которой не рассказывается про криптоскам и всю остальную лабуду вокруг. Там скорее идет речь про основные концепции распределенного реестра
16. Автономная армия - история про автономных дронов и автоматизацию ведения войны.

5) Выход за пределы
17. Квантовые вычисления - рассказ про квантовые компьютеры, в котором немного перебирают с пафосом. На самом деле уже есть квантово-устойчивое шифрование, так что секреты будут сохранены даже при появлении мощных квантовых компьютеров. Но действительно, они могут помочь решать определенный класс задач гораздо эффективнее
18. Терраформирование - даже если мы доберемся до Марса, то как мы будем там жить. Эта глава отвечает на такой вопрос
19. Бионические импланты - как технологии помогают людям расширять свои возможности и двигаться в сторону киборгов
20. Трансгуманизм - вечные мечты о вечной жизни или хотя бы невозможности умереть от старости.

В общем, в книге хороший обзор актуальных околотехнологичных вопросов, про которые полезно знать:)

Кстати, про другие книги серии я писал раньше
- Креативность (Being Creative: Be Inspired. Unlock Your Originality)
- Коммуникации (Read People. Understand Behaviour. Expertly Communicate)
- Принятие решений (Think Differently. Open your mind. Philosophy for modern life)

#Engineering #PopularScience

Обзор white paper "AWS Fault Isolation Boundaries"

Для проектирования сервисов, которые хорошо масштабируются надо хорошо понимать все уровни абстракции, поверх которых мы проектируем системы. Также классно понимать как нам рассматривать зависимости от этих нижележащих слоев с точки зрения отказоустойчивости (resilience). Для того, чтобы использовать такой подход, можно посмотреть на документацию от AWS . Этот документ достаточно свежий (обновление от 16 ноября 2022 ) и он содержит многие конструкции, что полезно было бы использовать при проектировании:
- инфраструктурные абстракции (зоны доступности, регионы, ...)
- разделение control и data plane сервисов - так как у них вероятность отказа разная
- концепция static stability - когда системы работают в статическом режиме и продолжают работать в нормальном режиме без необходимости внесения изменений во время сбоев или недоступности зависимостей

Дальше авторы показывают как эти штуки работают на их сервисов, которых бывает 3 вида
- зональные
- региональные
- глобальные

В общем, документ интересный в контексте принципеов проектирования, даже если вы не пользуетесь активно AWS:)
Вот тут можно почитать более подробный разбор в моем блоге.

#SystemDesign #DistributedSystems #SoftwareArchitecture #Architecture #Cloud #SRE #Engineering