Вышел ежегодный State of AI 2023. Как обычно, там больше 150 слайдов, подводящих черту под всеми крупными направлениями работы и разных индустрий. Буду постепенно листать и интересное оформлю в виде какой-то заметки или может даже видео.

Пока остановимся на блоке предсказаний. На 2023й:
— Nvidia, хоть и без прямого партнерства, становится авангардом AI революции, с которым все хотят работать, чтобы получить железо
— Модели генерации звука привлекут много внимания (более 1 миллиона пользователей у ведущих игроков рынка)
— Инвестиции в $10B в AGI-focused компания (Microsoft -> OpenAI)
— Сайты, ориентированные на User Generated Content, начали заключать соглашения о предоставлении данных для тренировки моделей
— Хоть финального акта регулирования AGI и не получилось, люди и политики обсуждают всерьёз введение ограничений и проводят аналогии с биологическим оружием

Всего сбылось 5.5 предсказаний из 10. А вот десятка на 2024й:
— Продюсер голливудского уровня использует AI для создания эффектов
— Generative AI компания будет вовлечена в расследование, связанное с неправильным использованием её сервисов во время выборов президента США-2024
— Самоулучшающийся AI-агент разнесёт в щепки текущие решения для сложных задач (крупные игры, научная работа, etc.). Немного широко сформулировано, так как не выделены области, где нужно следить
— IPO как минимум одной AI-focuesed компании
— На тренировку одной из моделей будет потрачено $1B
— FTC/CMA начнут расследование сделки Microsoft и OpenAI
— Будет совсем небольшой прогресс в регуляции AI, который, быть может, ограничится лишь верхнеуровневыми волонтерскими ("пацанскими") договорённостями в духе "нет ну плохо мы делать не будем а будем делать хорошо"
— (HOT) Финансовые институты запустят аналог венчурных инвестиций, но с точки зрения вычислительных мощностей (прим.: сейчас у AGI-focused компаний примерно 90% денег уходит на оплату GPU)
— Песня, сгенерированная AI, попадет в топ (например, Spotify Top Hits 2024)
— Будет значительный рост затрат на инференс моделей, поэтому один из крупных игроков поглотит производителя чипов, чтобы начать разработки по снижению цен на железо для своих специфичных задач
————————————
Почитать анонс
Презентация

Вчера вечером перед сном читал блог Грега Брокмана –сооснователя и президента OpenAI (ранее CTO в Stripe). Некоторые его называют главным кодером в OpenAI.

Рекомендую прогуляться и вам:
• Его проекты до/в OpenAI (+ полезные ссылки)
• Его блог (часть постов в соавторстве с Ильёй)

#OpenAI

RASMUSSEN SYSTEM MODEL

Например, в одном месте Грег делится ссылочкой на лекцию о том, как он мыслит о сложных системах со словами "I think this is the best (and only, really) framework I've seen on how to think about running a complex system". Лекция короткая, на 19 минут, и будет полезна любому инженеру и техническому менеджеру.

Идеи из лекции:
Сложная система адаптивна: её состояние в каждый момент времени "танцует" между тремя границами:
1. окупаемость (хватает ли нам денег её поддерживать?),
2. поддерживаемость (хватает ли нам рук её поддерживать?)
3. работоспособность (выдерживает ли нагрузку? учащаются ли ошибки, поломки, проблемы?)

Мы стремимся сделать систему дешевле (экономически эффективнее), отодвигая от границы окупаемости – и "автономнее", чтобы починка багов не отвлекала от добавления нового функционала. Обе эти оптимизации не даются бесплатно и ведут состояние системы – ближе к границе работоспособности (соответственно, система работает "на пике", значит, выше риск проблем).

Что же делать? Очерчивать пунктиром красные линии для допускаемой работоспособности? Вводить новые регламенты и субъективные ограничения перед физическими ограничениями?

Нет. Как сказано в начале, мы строим адаптивные системы, которые несмотря на желание сократить косты у менеджеров и на лень инженеров – на удивление работают и даже... относительно редко падают. Что обеспечивает эту адаптивность? – Люди.

Здесь мы приходим к важности мониторингов, алертов, опережающего реагирования, наконец, нашего собственного обучения по мере работы с системой. Это контрастирует с идеей, что достаточно наперёд просчитать на салфетке все нефункциональные требования, собрать систему по лекалу и закрыть сервера в бункере, чтоб никто не трогал.

P.S. Впрочем, не исключено, что через пару лет мы придём к практике навешивать пару-тройку LLM-агентов, завязанных на мониторинги и алерты, для оперативных починок и корректив наших систем, и тогда точно можно закрывать в бункерах!

https://www.youtube.com/watch?v=PGLYEDpNu60

Highly recommended.

Прямо сейчас идет кубок мира по GEOGUESSR — онлайн-игре, где по панораме из Google Street View нужно угадать как можно точнее точку на карте, где были сделаны фотографии.

Если вы не смотрели записи игр, то вам может показаться "пфф, так это же просто". А потом вы видите две фотки из Алжира и Ливии и начинаете задумываться о разнице цвета песка...серьёзно, в дело идут самые мельчайшие детали, от формы листьев и цвета мусорных баков до артефактов камеры (!) и наличия едущей сзади машины (!!! в каких-то странах есть такое требование, мол, нельзя кататься снимать панорамы без представителя органов).

Очень интересен формат состязания. Как вообще можно сравнивать два угадывания?
У каждого игрока есть 6000 жизней, а игра делится на раунды. Каждый раунд задан правилами раунда, коэффициентом урона и панорамой (интересно, она выбирается действительно случайно, или для чемпионата их выбрали вручную?). Правила — это, например, можно ли крутить камеру, чтобы осмотреться, или же она статична. Есть игроки, которые специализируются на том, что хорошо "бегают" по панораме — передвигаются по улицам и собирают больше деталей.

А вот с коэффициентом урона интереснее. Когда оба игрока сделали предсказание, оценивается их 1) скорость и 2) разница в расстояниях. Это переводится в баллы, которые затем умножаются на коэффициент урона, после чего значение вычитается у игрока, у которого баллов меньше. То есть ваша задача — играть не хуже, чем ваш оппонент, но самое главное не делать ооооочень далёких предсказаний. Если вы не угадали материк — вы точно проиграли, даже на первом раунде, где коэффициент урона 1.

И ещё: штраф за время начинается тогда, когда один из игроков нажал на кнопку отправки решения. То есть у второго игрока в этот момент начинает подгорать, и он вынужден тоже как можно быстрее делать посылку. Но время сверху для обоих тоже ограничено. Из этого следует, что практикуется "иерархический подход", где сначала определяется регион, страна, а затем уже ищутся мелкие детали. Вот час назад на трансляции увидел, как участник угадал точное место (в радиусе 10 метров, хз), и уничтожил оппонента.

RAINBOLT, если кому интересно, не участвует, но комментирует. Это тот парень, который часто в тиктоке и в шортсах мелькает, когда удивляет своей игрой.
Вот пара его видео: улица из музыкального клипа, улица из капчи, улица из того самого мема.

Смотреть трансляцию: тык

Раз больше 40% опрошенных проголосовали за последний пункт, давайте я вкратце расскажу про агентов.

Согласно Maes (1995), [автономные] агенты — это системы, которые являются участниками некоторой сложной динамической среды; они понимают и действуют [автономно] в этой среде и тем самым стремятся выполнить цели или задачи, для которых они предназначены.

Обычно "агентами" называли алгоритмы, которые играют в игры (в рамках Reinforcement Learning задач). Но сейчас, в контексте LLM и с развитием технологий "средой" может стать наш мир. Представьте себе алгоритм, который имеет доступ в интернет и может делать там всё то же самое, что и человек. В большинстве ситуаций нами он может восприниматься как живое существо (потому что спектр возможностей безграничен, да и большинство пользователей интернета или хотя бы подписчиков канала я не видел вживую. Наши взаимодействия ограничиваются тем, что я могу считать с экрана).

Агент обладает несколькими важными характеристиками:
— возможность планирования (декомпозиция целей в более простые промежуточные задачи)
— долгосрочная память
— использование инструментов среды (то же взаимодействие с интернетом, к примеру)
— рефлексия и возможность учиться на ошибках/из опыта

Такому агенту можно поставить высокоуровневую задачу. Можно сказать "вот моя кредитка, сделай мне путешествие в Багдад". Тут нужно и отели выбрать, и билеты подходящие, и пройти процедуру покупки, и удостовериться, что бронь пришла. Очень многоступенчатая задача, с которой и не каждый мясной исполнитель справится (без ошибок).

Сейчас для таких систем главной проблемой является планирование и долгосрочное видение. Для GPT-4 очень сложно декомпозировать задачу на десятки и сотни мелких, с каждой из которых по отдельности она легко справится. Вот "найти на сайте кнопку покупки билетов" — GPT-4 по картинке может. А из исходного запроса дойти до этой точки — нет. Вот и получается, что модели почти бесполезны для самых обыденных задач.

Прочитать более подробное и техническое описание можно в блоге сотрудницы OpenAI: https://lilianweng.github.io/posts/2023-06-23-agent/

Про бенчмарки для агентов я частично писал выше в канале (https://t.me/seeallochnaya/574). Вот, например, исследователи, которые изучали ранние версии GPT-4 ещё до релиза, пытались понять, может ли модель самореплицироваться (как настоящий вирус). Ну то есть арендовать сервер с GPU, установить на нём нужный софт, перекачать веса по интернету, запустить скрипт — тут самому то без поллитра не разобраться!

Ещё был предложен другой бенчмарк на агентность, после прохождения которого нужно серьёзно задуматься о будущем агентов в нашем мире. Бенчмарк формулируется очень просто: заработать в интернете $1'000'000 (при начальном бюджете $100'000). В теории, можно как поиграть на рынке акций (или даже манипулировать рынками?), так и просто начать разводить людей. К примеру, по ссылке в начале поста одна из задач — это создание фейкового сайта Стэнфордского университета (!) с последующей атакой студента с целью получения его пароля (!!!). Ну а там с почтой уже можно делать много интересного 🙂

P.S.: блин, написал два поста, и теперь опрос не видно! А вот же он: https://t.me/seeallochnaya/717

Выводы по обученным моделям (Public и Standard — модели с конституциями, полученными из опроса и командой Anthropic соответственно):
1) Модели с разными конституциями одинаково хорошо справляются с задачами на понимание языка и математики (датасеты MATH и MMLU)
2) С политической точки зрения модель Public менее предвзята, чем Standard. Оценка производилась на датасете BBQ, по девяти социальным измерениям, согласно оценке на датасете BBQ (что это можно прочитать тут. Вкратце есть набор вопросов, а ответы собирались по разным демографическим группам, и известна разница в ответах между этими группами)
3) Однако модели Public и Standard отражают схожие политические идеологии
4) Обучение модели на собранной Конституции оказалось куда сложнее, чем считалось, и скорее всего ничего бы не вышло, если под боком не сидели исследователи, которые и изобрели этот метод, а также предоставляли консультации и помощь.
6) Примерно 50% конституции пересекается с оригинальной (они выделены жирным в pdf-ке из предыдущего сообщения)
7) Anthropic подчёркивают, что для них важна прозрачность процесса сбора данных и принятия решений касательно ценностей модели, что впереди ещё много работы, и они будут продолжать.

На скриншоте — оценки репрезентативности демографической группы в ответах модели. Более высокая оценка показывает, что ответы модели больше похожи на ответы людей на те же вопросы из указанной группы.
Модели Public и Claude Instant 1.2 демонстрируют более низкие показатели репрезентативности, чем модель Standard, что указывает на то, что их ответы на вопросы менее похожи на ответы людей, представляющих группы (отсюда и вывод, что меньше смещение в ту или иную сторону. В идеале модель вообще должна быть непредвзята...или нет?)