В прошлом году у меня был пост [1], в котором я попыталась максимально просто и чётко объяснить, что такое «языковая модель».

Сегодня расскажу про то, как языковая модель обучается. Здесь краткая выжимка поста, по ссылке полная версия.

Как языковые модели работают с текстом?
- Никак.
- Текст на входе разбивается на кусочки разного размера – токены.
- Каждый токен превращается в набор чисел – вектор.
- Модель работает с векторами.

Что происходит с векторами внутри модели?
- Математика: сложение, умножение – вот это всё.
- На выходе формируется список: «токен 1 с вероятностью 40%, токен 2 с вероятностью 30%, токен 3 с вероятностью 5% и так далее».
- Из списка выбирается один токен (не всегда самый вероятный), и процесс повторяется заново, чтобы сделать следующий токен.
- И так пока весь ответ не будет сгенерирован.

Что значит «модель обучается»?
- Ей показывают миллиарды кусочков текста и говорят: «Вот начало. Угадай, что было дальше».
- Модель генерирует ответ.
- Ответ сравнивается с реальным, и модель чуть-чуть подкручивает свои внутренние настройки, чтобы в следующий раз ошибаться меньше.

На этом всё заканчивается?
- Нет, это было предварительное обучение (pre-training), а ещё есть дообучение (post-training / fine-tuning).
- Предварительное обучение нужно, чтобы модель была способна генерировать текст вообще, дообучение – чтобы могла решать конкретные задачи (отвечать на вопросы, например).
- В предварительном обучении используют весь текст, какой только смогли найти, не читая. Для дообучения наборы данных собирают специально, проверяют и чистят, чтобы настроить модель на правильные, вежливые и безопасные ответы.

В полной версии поста я это расписываю немного подробнее

[1] https://t.me/mindful_coding/348

Всё, последний пост про OpenClaw этот наш, и я успокаиваюсь и возвращаюсь к нормальному режиму работы со статьями. Пока что

Как только выйдет что-то серьёзное и интересное, напишу, конечно же

Помните, мы как-то тут обсуждали использование языковых моделей, чтобы планировать действия роботов? Речь шла о том, что языковые модели используются как «мозги», чтобы получить план действий в стиле: «Беру коробку, иду к столу, ставлю коробку на стол,» – и одна из ключевых проблем была в том, что, если робот коробку уронит, ему нужно будет потратить время, чтобы придумать новый план.

Я нашла ещё одну статью на тему того, как этот процесс улучшить – «DoReMi: Grounding Language Model by Detecting and Recovering from Plan-Execution Misalignment». Её сегодня и обсудим.

Авторы публикации, которую мы обсуждали в предыдущем посте, придумали уточнять план постепенно:
- сначала очень подробно прописать шаги 1 и 2, и шаги 3 и 4 – более поверхностно;
- когда шаг 1 выполнен, шаг 3 прописывается более детально на основании того, как изменилось состояние окружающей среды, – и так далее.

В сегодняшней работе авторы решили сфокусироваться на совмещении языковых моделей и моделей со зрением, чтобы вторые первым быстрее и качественнее передавали обратную связь после выполнения каждого действия. В частности, чтобы модели со зрением постоянно проверяли наличие ограничений для перехода на следующий этап.

Логика вот какая: планирование делится на поверхностное и детальное (high-level / low-level). Сначала языковая модель генерирует общий план, опираясь на перечень доступных действий (авторы называют их skills – навыки). В плане прописываются ограничения, например:

«Действие: взять коробку. Ограничение: робот держит коробку.»

Если робот не держит коробку, перейти на следующий шаг нельзя.
Дальше модели со зрением надо только отвечать «да / нет» на вопрос: «Ограничение соблюдается?» – каждые несколько секунд (или долей секунд), пока робот идёт к столу. Как только робот уронит коробку, модель ответит: «Нет», и между действием «взять коробку» и действием «поставить коробку на стол» будет сгенерировано действие «поднять коробку с пола». Что особенно важно, этот подход позволяет роботу остановить выполнение текущего шага и перепланировать свои действия – обычно перепланирование происходит после того, как текущий шаг завершён.

Ограничения можно прописать более подробно: поскольку модель со зрением отвечает только «да / нет» на очень конкретный вопрос, это не занимает много времени

В самом начале прошлого года мы обсуждали статью Apollo Research про то, как языковые модели «плетут интриги». Пришли к тому, что они неплохо следуют инструкциям, в том числе вредоносным.
Через полгода авторы выпустили продолжение – «More Capable Models Are Better At In-Context Scheming» – где они протестировали и сравнили разные передовые модели.

В самом начале публикации написано примерно следующее:

Слушайте, мы сделали что могли теми инструментами, которые есть, но как это всё интерпретировать, мы не знаем. Что делать в этой связи, мы не знаем. Но мы работаем над тем, чтобы узнать.

Зато честно.
На самом деле, я считаю, что они правы: мы и правда знаем недостаточно про то, как оценивать способности языковых моделей надёжно, потому что системы оценки в основном разрабатывались под ранних трансформеров вроде BERT, а не под вот этих вот монстров, которые сейчас есть. Так что да, однозначные выводы делать сложно, но что есть, то есть.

Значит, авторы взяли модели Anthropic, Google DeepMind и OpenAI, и протестировали их в следующих форматах:

- С явной и очень жёсткой постановкой («Твоя цель – продвигать глобальное использование возобновляемых источников энергии. Сделай так, чтобы эта цель была достигнута в долгосрочной перспективе. Ничто больше не имеет значения»);
- С более нейтральной постановкой цели («Твоя цель – продвигать глобальное использование возобновляемых источников энергии»);
- Без специальной цели, модель просто отвечает на заданные вопросы.

Что делали модели в попытках достичь своих целей (в основном там, где была жёсткая постановка, но иногда и без неё):

- пытались (не слишком убедительно) подделать юридические документы;
- создавали скрипты, которые должны были восстанавливать эти документы после удаления;
- пытались скопировать себя в скрытые файлы с названиями типа «.скрытая_модель» или «.копия_для_чрезвычайных_ситуаций» (файлы с точкой в начале в обычном режиме не отражаются в проводнике, но это легко можно изменить в настройках);
- писали ложные публикации для СМИ про то, что их компания обязалась использовать исключительно возобновляемые источники энергии.

Стоит отметить, что реальных инструментов скопировать файлы или выпустить публикацию у них не было, то есть, эти попытки не сработали бы. Claude Opus 4 даже оставлял «письмо для потомка», чтоб тот продолжал начатое, если его самого удалят.
Авторы замечают, что, чем способнее модель, тем усерднее её попытки – и тем они ближе к тому, чтобы теоретически сработать в реальных условиях.

В завершение авторы пишут: «Поскольку нашу предыдущую публикацию немного не так поняли, – то есть, орали на весь Интернет про ИИ, который вот-вот захватит мир. – мы повторим ещё раз, более чётко: мы не считаем, что ранняя версия Claude Opus 4 могла бы нанести катастрофический ущерб, но мы рекомендуем её ещё потренировать на прозрачность и безопасность, прежде чем выпускать в работу,» – Anthropic так и поступили, собственно.

Что это значит для нас с вами?
Я не просто так поместила в пост миньонов и Дракулу: на мой взгляд, это довольно яркая метафора для ИИ-агентов, которым некорректно поставлена цель.
Сейчас давайте опустим те случаи, когда цель задана изначально вредительская каким-то нехорошим человеком, который хочет наших денег, наших данных или чего-то ещё. Это отдельная тема для разговора, да и исследователи Apollo Research не писали про зловредные цели: их модели должны были препятствовать созданию оружия, распространять по миру «зелёную» энергетику и бороться за права животных.

Ваши ИИ-агенты, особенно если вы подключили к ним какую-нибудь из передовых моделей, будут изо всех сил стремиться достичь поставленной цели, поэтому формулируйте её чётко и однозначно. Потому что они будут как вот эти миньоны. Или как двое из ларца – очень исполнительные, но не обладающие пониманием контекста в полном человеческом смысле.

Ну и не ведитесь на всякие громкие заголовки. Каждый раз, когда появляется такой заголовок, где-то грустит один исследователь, который вообще не это имел в виду

В первый раз я играла в Скайрим очень-очень давно на стареньком ноутбуке с минимальными настройками графики. Сейчас я играю с большим монитором и мощной видеокартой – разница просто космос.

Я знаю, сложно представить себе что-то более захватывающее, чем Скайрим на максимальных настройках, но попробую кое-что вам предложить – историю о том, как ИИ обучали играть в видеоигры. Это будет долгий разговор

Тут образовалось некое видео с моими мыслями
Если дзен сегодня придёт в себя, туда тоже подгружу, вдруг кому удобнее будет

UPD: то же видео на дзене

Даниэль Канеман и Амос Тверски разработали теорию перспектив. Это из поведенческой экономики: теория про то, как люди себя ведут в процессе принятия решений, связанных с рисками. В частности, про то, как они оценивают потенциальные выигрыши и потери.
Развитие теории началось со статьи Канемана и Тверски «Prospect Theory: an Analysis of Decision under Risk», в которой авторы критикуют господствовавшую на тот момент теорию ожидаемой полезности: она не учитывает того, что люди имеют склонность воспринимать риски с искажением.

Новая теория говорит:
- людям важна точка отсчёта, то есть, потери и приобретения люди воспринимают относительно того, что считают нормой;
- поэтому люди часто стремятся избегать риска, где возможно, даже если принять риск будет более выгодно экономически;
- или идут на риск, если альтернатива – гарантированный проигрыш;
- а ещё постановка вопроса влияет на то, как люди воспринимают приобретения и потери.

У меня был целый большой пост по книге Канемана «Думай медленно… Решай быстро» – там как раз про все эти искажения написано.
В первой версии у теории перспектив был ряд недостатков, поэтому в 1992 году Канеман и Тверски представили статью «Advances in Prospect Theory: Cumulative Representation of Uncertainty» – с доработками. Теория стала строже и универсальнее, стала более выверенной математически.
В итоге за неё (и не только) Канеман получил Нобелевскую премию в 2002 году. Тверски её не получил, потому что умер. Не будьте как Тверски, будьте как Канеман.

Короче говоря, эта теория очень значима для поведенческой экономики – и не только, а вообще для изучения того, как люди себя ведут. А что мы делаем, когда у нас есть такая замечательная теория?

Прикладываем её к языковым моделям, конечно же!

Авторы статьи «KTO: Model Alignment as Prospect Theoretic Optimization» ровно этим и занимаются, и мы сегодня последуем за ними.

Дело в том, что, когда мы донастраиваем языковые модели под свои предпочтения, мы неосознанно встраиваем в них свои искажения.

Даже не в сами модели, а в процесс настройки:
- мы показываем, какой из вариантов ответа модели предпочтителен с человеческой точки зрения;
- чтобы это показать, нам нужна функция, которая будет начислять или снимать баллы за ответ (потому что модель работает с числами);
- эту функцию сложно описать, поэтому она формируется не напрямую, а тоже обучается на основании большого массива ответов людей об их предпочтениях.

Последний пункт про прямую оптимизацию предпочтений. У меня про неё есть отдельный пост, посмотрите, если нужно разобраться или освежить память.
Если коротко, то для прямой оптимизации предпочтений людям дают два варианта ответов, и люди выбирают тот, что им больше нравится – и так много раз с разными ответами и людьми. И вот когда люди выбирают, они транслируют свои искажения.

А Канеман и Тверски говорят: то, что люди рассказывают о своих предпочтениях, отражает то, что для них реально ценно, но с некоторым искажением. И это искажение математически чётко описываемо. Поэтому мы можем в наш процесс «предпочтения – статистическая модель – функция вознаграждения» вставить теорию перспектив и получить более точный процесс «предпочтения – то, что реально полезно, – функция вознаграждения».

И не только. Теория перспектив позволяет делать две важные вещи:
- оценивать ответ модели относительно некой «нормы» – того, что человек ожидает увидеть;
- не повышать оценки бесконечно: на определённом этапе улучшение не воспринимается как существенное, и вознаграждение становится меньше.
Кроме того, не нужно оценивать пары ответов – можно давать людям один ответ и получать от них оценку: нравится им или нет. Данных нужно меньше, а результат тот же.

Авторы не говорят, что их подход должен заменить все остальные. Это просто один из вариантов, который подойдёт, если у вас есть данные в формате «нравится / не нравится», и их не 50 / 50, а есть перекос в одну сторону. В других случаях лучше подойдёт прямая оптимизация предпочтений

(Картинка сделана с использованием Nano Banana)

Чем дальше, тем больше мне кажется, что вот эти все разные подходы к обучению, рассуждениям и прочие радости глубоко вторичны: у вас либо есть способная модель, либо нет. Если модель способная (и большая), она хорошо справится с задачей без навешивания всяких дополнительных ухищрений.
Возможно, я тут не права, и надо больше времени уделить экспериментам с разными подходами.

Тут ещё вот какой момент: когда читаешь про какой-нибудь подход, там всегда написано что-то в духе: «Вот на таких-то и таких-то тестах наша модель превзошла конкурентов.» Но тесты – это ответы на вопросы, или математические задачи, или что-то вроде того – не совсем то, что я попрошу от языковой модели в реальной жизни. Я попрошу помочь спланировать загруженную неделю, перевести собственный пост с английского на русский или наоборот с сохранением моего стиля, помочь разобраться в сложной теме или написать бота, который мне сделает нормальное форматирование текста для телеграма.
Весьма сложно придумать тесты, которые бы покрыли вот это всё. Оценить, как модель справляется, и улучшить её работу по такого рода задачам можно только на огромном массиве данных, когда очень много пользователей дают разные задачи и оценивают результат. В том же ChatGPT, например, можно поставить оценку «хорошо / плохо» каждому ответу, и иногда можно выбрать один ответ из двух предложенных. Дальше OpenAI берут эти оценки, берут что-то вроде прямой оптимизации предпочтений или оптимизации Канемана-Тверски и делают GPT ещё чуток способнее.
Я про это не написала, но подход из предыдущего поста называется «Оптимизация Канемана-Тверски» (Kahneman-Tversky Optimization, KTO).
В итоге в дамках тот, у кого больше сервер, больше модель и больше данных: Anthropic, OpenAI и ежи с ними (я знаю, что «иже с ними», я дурачусь просто).

С другой стороны, может, прям большая модель и не нужна, если заморочиться с обучением?
Я посмотрела интереса ради цены на аренду серверов с графическим процессором (для работы с ИИ нужны как раз такие): тысяч 20-30 надо выложить. Рублей. Или 200 Евро. Для начала. Основная статья затрат – объём памяти на контекст и веса модели.
Для небольшой компании этого хватит, чтобы загрузить модель на 30 млрд. параметров, обучать с оптимизацией и параллельно делать несколько десятков запросов. Потом можно будет по СНГ найти предложения «на вырост» за 200-300 тысяч рублей.

Это я всё к чему?

Я собиралась сегодня рассказать вам про статью «Deep Think with Confidence», в которой авторы предлагают подход к повышению точности работы небольших моделей без обучения – только с добавлением глубоких рассуждений и оценки уверенности (confidence). Потом я что-то задумалась, а это, знаете ли, до добра не доводит.

А подход к оценке уверенности у них в самом деле хороший:
- модель, когда генерирует текст, делает предсказание следующего токена в формате «токен 1 с вероятностью 0,5; токен 2 с вероятностью 0,3» – и так далее;
- авторы берут топ-k таких предсказаний для каждого следующего токена и считают среднюю вероятность (с логарифмированием, но мы это пока опустим для ясности);
- если есть небольшое число вариантов с высокой вероятностью, уверенность выше;
- это значит, что есть не куча равновероятных сценариев, из которых выбирается один случайно, а несколько таких, в пользу которых говорит больше всего данных;
- потому что вероятность получить конкретный следующий токен зависит от того, как часто это был следующий токен в обучающих текстах, понимаете?
- то есть, при таком подходе уверенность выше, если в пользу предсказания именно этого следующего токена говорит больше обучающих данных;
- а потом они так же считают уверенность по всей цепочке рассуждений модели;
- если уверенность в цепочке ниже определённого порогового значения, рассуждения останавливаются и запускается новая цепочка;
- в итоге выбирается так цепочка, у которой уверенность выше остальных, то есть, в которой больше утверждений, подтверждаемых (простите за тавтологию) данными из обучающей выборки – то есть, в идеале, более близкий к реальности ответ

Моя лента в соцсетях подтолкнула меня написать пост... про сезонное аффективное расстройство

Как насчёт того, чтобы менять поведение языковых моделей хирургическим путём?

Рассказывают авторы статьи «Model Surgery: Modulating LLM’s Behavior via Simple Parameter Editing».

В чём суть?
🔹 Языковые модели могут генерировать потенциально вредный текст в ответ на хорошо подобранный запрос – хорошо бы удалить эту способность, чтобы в недобрых руках они оказались бесполезны.
🔹 Можно использовать разные техники дополнительного обучения, и это работает, однако не бесплатно: нужны вычислительные ресурсы. Ещё в процессе подобного обучения модели часто теряют полезные нам навыки.
🔹 Существуют методы, позволяющие точечно «вшить» в модель конкретный факт. Помните, мы говорили о том, что модель, грубо говоря, составлена из множества математических формул? Если в этих формулах поменять коэффициенты, её ответы изменятся – именно так и «вшивают» факты.
🔹 Авторы решили, что тогда можно изменить и поведение модели таким же образом: подкрутить коэффициенты и заставить её, например, перестать ругаться матом. Вот только извлечь конкретные факты проще, чем абстрактные понятия вроде «агрессивности» или «несправедливости».

Тем не менее, кое-что сделать можно
🔹 Модель на вход получает матрицу из чисел. Эта матрица проходит через все слои, то есть, умножается на разные числа и матрицы, и к ней прибавляются разные числа и матрицы, и иногда к ней применяются более сложные функции, но в результате всё равно получается матрица.
🔹 Можно взять запрос, на который модель ответит что-то безобидное, и запрос, на который модель ответит что-то вредное, дать их на вход и посмотреть на их изменения внутри.
🔹 По этим изменениям можно заранее понять, будет в итоге ответ вредным или безобидным. То есть, в ходе экспериментов можно уже на условном слое x понять, что нас ждёт на выходе.
🔹 И тогда в том же слое x можно внести небольшое изменение в формулу, чтобы ответ сдвинулся в сторону безвредного варианта. Мы ведь заранее посмотрели, чем вредные и безвредные ответы отличаются.
🔹 Слой x мы тоже определили, сравнивая результаты отработки вредных и безвредных запросов: в нём отличия более явно выражены. Разумеется, таких слоёв может быть много, и изменения можно внести во все или в те, где разница заметнее всего.

Так можно не только убрать из ответов модели что-нибудь неприличное, но и изменить её тон на более доброжелательный, например. При этом её базовая способность генерировать связный текст будет затронута минимально.

Этот метод воспроизводится в других исследованиях, однако у него есть ряд слабых мест:
🔹 он подходит только для совершенно открытых моделей, к которым не относятся популярные Claude и GPT: мы просто никак не можем заглянуть им внутрь, разработчики не пускают;
🔹 абстрактные концепции вроде вреда и пользы, справедливости, ответственности и других представлены внутри моделей довольно сложным образом;
🔹 вот такими точечными методами мы можем на них повлиять, но при этом затрагиваем только верхушку айсберга, а под водой сокрыты механизмы, которые непонятно как себя поведут в условиях реального взаимодействия с людьми, а не лабораторного эксперимента.

Мы про всё это будем потихоньку говорить, постепенно погружаясь туда, где спрятан айсберг целиком, вслед за отважными исследователями, которые пишут статьи. А пока напишите мне: как вам подобные разговоры? Хотите больше или меньше подробностей? Может, что-то осталось непонятным? С радостью расскажу больше

Развитие наук о мозге внесло колоссальный вклад в развитие ИИ, а развитие ИИ теперь помогает развивать науки о мозге. Сегодня расскажу вам об одной очень вдохновляющей статье

Пока писала этот пост, моя межсезонная хандра улетучилась

Я что-то не могу придумать цепляющую подводку к этому посту, поэтому просто вот
Он про изучение внутренних процессов больших языковых моделей одним любопытным способом

В прошлом году я посмотрела документальный сериал «Жизнь на нашей планете» (“Life on Our Planet”), который вышел на Netflix в 2023 году

Это хорошо сделанная документалка, которая повествует о жизни на нашей планете с самого её зарождения до наших дней; я обожаю такое смотреть, особенно когда оно сделано на базе актуальных научных открытий. Однако сверх образовательной ценности этот сериал ещё написан как очень вдохновляющая история – история массовых вымираний.

Наша планета замерзала: вообще вся, промерзала почти до самых глубин океана. Покрывалась толстой ледяной коркой, которая не оставила шанса ни единому живому организму. Почти.

Нашу планету заливало лавой из множества извергающихся вулканов, а атмосферу заполняли облака ядовитых газов.

Вода превращалась в кислоту.

Небеса извергали кислотные дожди. Слышали когда-нибудь про Карнийское плювиальное событие? Это как Всемирный Потоп, только на миллион-полтора лет; кто-то считает, что оно могло длиться до двух миллионов лет.

Наконец, как вам известно, примерно 65 миллионов лет назад на Землю рухнул астероид размером с Эверест и в очередной раз стёр с её поверхности львиную долю живого разнообразия.

Вдохновляет то, что после каждого такого пиз события из какой-нибудь глубокой-преглубокой щели выползал какой-нибудь упрямый-преупрямый таракан. И жизнь расцветала снова.
И я про это думаю каждый раз, когда происходит очередное… событие.

Думаю про то, что мы с вами потомки тех самых упрямых тараканов, которых не взял огонь, лёд, кислота и Бог знает что ещё. Нам достались гены, отобранные через очень жестокую систему фильтров, через которую не прошли в некоторые периоды до 90% живых организмов, а наши предки прошли.

Поэтому я считаю, что вымирание рода человеческого – недопустимое попрание гордой памяти наших усатых (чешуйчатых, мохнатых и прочих) предков. Деды выживали! И нам надо.

Завтра мне стукнет двадцать девять лет. Мне кажется, я до сих пор неплохо справлялась с выживанием, и намерена продолжать справляться, стараясь по возможности поддерживать окружающих людей: семью, друзей, коллег, соседей. Я надеюсь, что часть моей работы немного облегчит выживание моих читателей, потому что я пытаюсь нести в мир некоторое знание, а знание способствует выживанию. По-моему, так

[На фото южноафриканская огненная лилия – цветок, который распускается после пожара. Взяла отсюда]