Весьма приличное исследование вышло про то, чьи взгляды на мир отражают языковые модели. Предлагаю его сегодня обсудить

У вас есть файлы, которые называются "файл_итог.x", "файл_итог_2.x" и "файл_итог_окончательный.x"?

У меня есть в одном проекте ветки "тест-бекенда", "юнит-тест-бекенда" и "теперь-точно-тест-бекенда"

Наткнулась я тут на интересный пост про этику применительно к ИИ, и он вызвал у меня #поток_мыслей. Сейчас я запущу в вас этот поток, а вы мне скажите, что сами думаете.

Мы когда рассуждаем про этическое регулирование ИИ (и я в том числе) представляем себе некий набор правил в духе «не убивай, не кради», который позволит сделать ИИ безопасным для человека.
Из всех предложенных разными авторами наборов таких правил мне ближе всего три закона робототехники Айзека Азимова:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

«Однако, – возражает автор поста, – человеческая этика развивалась не так». Этические нормы формируются на протяжении всей истории человечества, меняются и отличаются от эпохи к эпохе и от общества к обществу.
Мы и не можем толком сформулировать всеобъемлющий набор норм и правил, который бы приняли не то что все люди на Земле, но хотя бы все люди в одной комнате, если в комнате больше одного человека. Хотя, если в комнате один человек, тоже бывает всякое.
Взять то, как мы учим детей. Если вы когда-нибудь встречали детей, то знаете: им бесполезно говорить о пользе чтения книжки, если вы сами у них на глазах регулярно не читаете книжку. Мы не заучиваем свод правил жизни в обществе, а воспринимаем его интуитивно, наблюдая за тем, как ведут себя одни люди и как на это реагируют другие люди. Потом мы переезжаем в другую страну (или в другой город, а то и на соседнюю улицу), и испытываем культурный шок.

«ИИ, – продолжает автор, – тоже у нас учится на основе нашего же поведения». Языковые модели потребляют написанный человеком текст, чтобы генерировать убедительные предложения. В тексте содержится сжатое представление наших взглядов на мир, когнитивных искажений и прочих радостей бытия человеком. И дальше какие фильтры ни навешивай, на выходе всё равно получается то, что было на входе.

Во мне сейчас сражаются два волка.

Волк 1 говорит: «Я не считаю, что появление сверхИИ, или ИИ, равного человеческому, или ИИ, наделённого сознанием – вопрос ближайшего будущего. Но у того ИИ, который есть сейчас, уже существуют конкретные риски: незащищённость данных, использование в мошеннических целях, генерация ложных фактов и ещё целый длинный список. Давайте спустимся с небес на землю и займёмся реальными проблемами.»
Тут сложно спорить: проблемы есть, пострадавшие есть. Нужны конкретные инструменты, подобные тем, что мы здесь разбираем: инструменты для оценки, контент-фильтры, инструменты прозрачности и обеспечения человеческого контроля. Нужен конкретный набор правил: «Не суй пальцы в розетку. Не суй гвозди в розетку. Ничего не суй в розетку, отойди от неё вообще, тебе там что, мёдом намазано?!»
Конкретный набор правил будет полезен в конкретных ситуациях.

Волк 2 говорит: «Но в том, чтобы менять собственное поведение есть смысл. Даже если ИИ не сравняется с человеком, он будет копировать человека. Надо бы подавать хороший пример.» Комментарий на скриншоте оставили под одним из моих видео, и он мне нравится.
Я не согласна только с частью, где «ИИ должен иметь основания…»: не нужно быть идеально моральным существом, чтобы иметь право на существование. Но идея о том, что «человеческий не значит безопасный» мне близка. Мы и правда в плане безопасности пока не очень, есть куда стремиться. Мы здорово продвинулись за прошедшие сотни тысяч лет, но всё ещё периодически пытаемся самоуничтожиться, заодно стерев с лица Земли кучу других существ. Как-то надо это, собраться уже что ли. На нас же дети смотрят, все дела.

Есть ещё третий волк, который сидит в углу с попкорном. Я пока что склоняюсь на его сторону

Под предыдущий пост пришли ещё волки и подняли интересные вопросы. Спасибо вам, я сижу обо всём думаю

А пока подкину на обсуждение ещё одну интересную публикацию, на этот раз про ИИ и законы. Она весьма объёмная, так что я здесь представлю только краткую выжимку того, что зацепило моё внимание

Немножко теории игр с ИИ-агентами вам сегодня

Кстати, я на LinkedIn выложила дополненную версию этого поста: там ещё одна любопытная статья и некоторые мои соображения

Загляните, если вам вдруг такое интересно

Я периодически упоминаю в своих постах такую штуку как «mechanistic interpretability» – механистическая (механическая?) интерпретируемость. Термин звучит кошмарно, но приличного перевода на русский язык я не нашла. «Mechanistic interpretation» переводится как «механический смысл», и по аналогии, пожалуй, можно перевести «mechanistic interpretability» как «выявление механического смысла». Это область исследований, в которой ИИ разбирают на компоненты, чтобы понять, что конкретно в его архитектуре и каким образом влияет на результат его работы. Интерпретируемости в общем виде мы касались вот в этом посте.

Как это часто бывает в области ИИ, в этом термине есть некоторая неопределённость. Его много кто использует, причём в разных контекстах, и в итоге никто уже толком не может сказать, где механическая интерпретируемость, а где не механическая. Рассортировать этот словесный винегрет попытались авторы статьи «Mechanistic?», опубликованной в 2024 году.
Вот что они пишут.

«Механизм» здесь – это механизм причинно-следственных связей, поэтому в узком смысле механистическая интерпретируемость – это поиск закономерностей, по которым нейросеть преобразует входные данные в выходные данные. Пример использования механистической интерпретируемости в таком смысле – статья про «биологию языковых моделей». Там авторы используют специальные графы, чтобы проследить, как конкретное слово на входе возвращает конкретное слово на выходе.
Но есть и другие подходы, в рамках которых мы не лезем прям внутрь архитектуры, а, например, даём разные данные на вход и сравниваем выход. Тогда в более широком смысле механистическая интерпретируемость – это любое исследование работы внутренних компонентов модели, даже если оно не подразумевает «вскрытие».
Считается, что первым термин использовал Крис Ола (Chris Olah) с коллегами в цикле работ про модели машинного зрения, а потом он (термин, не исследователь) мигрировал в обработку естественного языка и попал к языковым моделям. И так вышло, что те, кто изучал языковые модели, и те, кто изучал машинное зрение, пошли разными путями – с одной стороны. С другой стороны, они независимо друг от друга переизобрели или друг у друга заимствовали некоторые методы.
Кроме того, сама идея проследить, что происходит с данными внутри моделей привлекла многих людей за пределами научного сообщества. Некоторое время эти люди собирались на отдельных форумах, чтобы обсуждать свои находки, и не публиковались в журналах. А те, кто публиковался в журналах, не знали про форумы. Когда они встретились, оказалось, что уже просто смысла нет выяснять, кто что изначально имел в виду, когда сказал «механистическая интерпретируемость».
Так что сейчас, когда люди используют этот термин, они обычно имеют в виду что-то вроде: «Я понимаю, что ИИ несёт в себе много рисков, и хочу подходить к его разработке и использованию ответственно,» – вот и всё.

В приложении к статье авторы отмечают: сейчас многие спорят про то, что значит «механистическая», но мы ещё не решили, что значит «интерпретируемость». И не только: конкретно в этой области с терминологией просто беда.

У меня ещё отдельно глаз дёргается от того, что «интерпретируемость» («interpretability») определяется как «поиск» или «выявление», то есть, действие. А это свойство, а действие – «интерпретация» («interpretation»). Впрочем, на фоне всего остального это уже мелочь.

Хорошенько подумав, я решила пока избегать вообще этого термина и других подобных с неопределённым содержанием. Буду стараться писать более конкретно: что взяли, что сделали. Хватит с нас вот этой всей путаницы

(Изображение сгенерировано с использованием ChatGPT)

Я начала этот год с поста о галлюцинациях языковых моделей – точнее, о свежих исследованиях на эту тему. А сегодня извлеку из закромов статью 2021 года – «Neural Path Hunter: Reducing Hallucination in Dialogue Systems via Path Grounding».

Авторы решили использовать для борьбы с галлюцинациями графы знаний (knowledge graphs). Это вообще не новая концепция: термин "граф знаний" появился в работе «Course Modularization Applied: The Interface System and Its Implications for Sequence Control and Data Analysis». Это статья про образовательный процесс: весь материал курса, который надо поместить в голову студента, описывается в форме графа, и задача преподавателя заключается в том, чтобы наилучшим образом разбить граф на отдельные последовательности узлов и студенту передать. В голове студента этот граф пересобирается, и в идеале каждый новый кусочек встаёт на своё место. Представление знаний в виде графа позволяет удобно разместить их не только в памяти студента, но и в памяти компьютера.
Графы – удобнейшая штуковина, с которой много чего можно сделать. Идея графов знаний эволюционировала-эволюционировала, да и выволюционировала в графовые базы данных и графовые нейронные сети. Сегодня нас интересуют первые. Но не сразу, подождите немного.

Графы знаний, как и все прочие графы, состоят из узлов и рёбер.
Узлы – это некие сущности: люди, объекты – что угодно. У каждой сущности есть набор характеристик, например, для человека это может быть имя, возраст, пол и всё в этом духе.
Рёбра – это связи или отношения между сущностями. Например, «человек А подписан в соцсетях на человека Б» или «Клиент А разместил на сайте Заказ 1» и так далее.
И есть ещё принципы организации – правила, по которым граф строится. Например, принцип «ребро направлено от подписчика к человеку, на которого он подписан». Тогда запись «А -> Б» для нас имеет смысл. В один граф можно вложить несколько разных принципов: например, принцип «от общего к частному» и принцип «от подписчика к источнику».

Конкретно в той статье, за которую мы взялись, узлы графа называются «субъект» и «объект», а связь между ними – «предикат». Это классическая схема. По отношению к графу все галлюцинации рассматриваются как внешние и внутренние. Внешние – это те, которые содержат сущности, которых нет в графе знаний. Внутренние – те, где сущности взяты из графа, но отношения между ними описаны неправильно.
Авторы разрабатывают и тестируют систему, которая берёт за основу граф знаний, сравнивает с ним ответ модели и находит таким образом галлюцинации.

Замечательно. А что там с графовыми базами данных? Они очень гибкие и удобные, особенно если у вас такой набор данных, который легко укладывается в графовую структуру: данные из социальных сетей, логистические данные и всё в таком духе. Тем более если для ваших целей информация об отношениях между объектами столь же ценна или более ценна, чем информация о самих объектах.

С помощью графов ещё делают graphRAG – это генерация информации, дополненная данными из графов знаний. Дополненная генерация – мощный инструмент в борьбе с галлюцинациями. Обычно она так работает: даём нейросети набор источников, которые мы сами проверили, и говорим: «Информацию бери только отсюда,» – и отбираем доступ в Интернет. Даже если набор источников – просто папочка со статьями, результат уже получается чище. А с графами знаний всё работает ещё лучше.

Интересный пример – американская компания доставки еды DoorDash. Они используют графы знаний и дополненную генерацию, чтобы их поиск выдавал пользователям подходящие результаты.

Настроить такую систему, впрочем, сложно: там много нюансов. Возможно, мы про неё даже как-нибудь отдельно поговорим

Чот замоталась немножко и чуть не забыла пост выложить. А вот он готов уже

Сегодня про модель из одной из моих любимых групп. Там любопытная архитектура. Работали с ней?

Люди, которые потеряли конечность, сталкиваются с феноменом «фантомной конечности». Например, у человека нет руки, но периодически он очень явно её чувствует. Часто такие ощущения болезненны, и человеку нужна специальная терапия, чтобы с ними справиться.
Отчего так происходит?

В нашем мозгу прописана структура тела: руки, ноги, глаза, уши – вообще всё. Если структура тела отличается от прописанной, мозг ведёт себя как какой-то вредный сотрудник МФЦ: «А у меня записано, что рука есть, значит, рука есть!» – и посылает туда сигнал, но сигнал не возвращает ответа. Тогда мозг такой: «Хм, нам что-то мешает,» – и посылает ещё более интенсивный сигнал. И так по кругу.
После терапии мозг привыкает к тому, что руки нет, и фантомные ощущения прекращаются. А это как происходит?

Наш мозг, с одной стороны, упрямый, а с другой – очень пластичный. Он может меняться и создавать новые нейронные связи, но для этого его нужно обучать.

Моя любимая история про мозг – история Финеаса Гейджа.

Жил, значит, Финеас Гейдж в США в 19 веке. Гейдж был крепкий мужик, работал на ферме и в шахте, а потом его наняли бригадиром взрывников, которые расчищали путь для железной дороги. Принцип работы был такой: сначала в горной породе бурили скважину, потом бригадир засыпал туда порох и утрамбовывал его железным ломом. Затем он клал сверху запал, а помощник укладывал песок или глину, чтобы «заткнуть» взрыв и сосредоточить его в небольшом пространстве.
Время было к вечеру, рабочие готовились сворачиваться. Гейдж утрамбовывал порох. Он повернул голову и, кажется, что-то сказал.

И тут прогремел взрыв.

Что конкретно произошло, непонятно. Похоже, когда Гейдж отвлёкся, он случайно высек ломом искру, а пробки из глины и песка ещё не было, поэтому порох рванул как следует. Лом вырвался из рук Гейджа, его острие вошло в череп под левой скулой и вышло насквозь через макушку. Лица рабочих можно себе представить…
Ко всеобщему удивлению, Гейдж не просто смог встать, но и добрёл до повозки, на которой его отвезли в гостиницу.

Лечили его, как бы это сказать помягче… как могли. Тогда ещё врачи мало знали про распространение инфекций и про то, что надо мыть руки перед тем, как лезть пациенту в голову. В общем, Гейдж выжил каким-то чудом, хоть и ослеп на левый глаз.
Более того, он прожил ещё двенадцать лет и был вполне дееспособен: работал, и даже освоил новую профессию и стал кучером. Друзья и родные Гейджа утверждали, что тот потерял часть воспоминаний, и его характер здорово испортился. После такого инцидента, впрочем, оно и не удивительно.

Историю Финеаса Гейджа и рассказ о фантомных конечностях я почерпнула из книги С. Кина «Дуэль нейрохирургов. Как открывали тайны мозга и почему смерть одного короля смогла перевернуть науку». Это одна из моих любимых книг, и я её вам очень советую (снова). Но будьте осторожны: в ней много физиологических подробностей.

Финеас Гейдж – не единственный человек, который выжил после очень серьёзной травмы мозга. Мозг – поразительный орган, одновременно очень хрупкий и очень пластичный. Термин «нейропластичность» как раз описывает его способность перестраивать самого себя, создавая, изменяя и укрепляя связи между нейронами.

По ссылке я оставила для вас обзор статьи про недавние научные прорывы в этой теме

UPD: Предпросмотр починила

Большие языковые модели продемонстрировали выдающиеся способности в обработке естественного языка, но…

– и дальше: «…не справляются с коммуникацией», или «…не справляются со сложными задачами, требующими рассуждений», или «…часто дают ответы, не соответствующие действительности».

Мне кажется, я какую статью ни возьму, все так начинают (возможно, мне кажется). Если собрать достаточно таких введений, как раз получится список того, на что нужно обращать внимание при работе с большими языковыми моделями, и какие у них есть уязвимости.

Это я открыла статью «Towards Reasoning in Large Language Models via Multi-Agent Peer Review Collaboration», и у меня дежавю. Обсудить статью нам это, впрочем, не помешает.

Авторы предлагают использовать несколько языковых моделей (и называют их «агентами», конечно же, но да Бог с ними) и следующий процесс:

- модели независимо генерируют собственные решения;
- каждая получает решение товарища и проверяет его, составляет критический отзыв;
- все получают комментарий к собственному решению, вносят правки и сдают новое решение.

На первом этапе модели вместе с ответом генерируют цепочку рассуждений, которые к этому ответу привели. На втором этапе они к отзыву добавляют оценку собственной уверенности – просто число от 1 до 10, ничем не обоснованное. На третьем этапе модели помимо чужих комментариев получают ещё и чужие решения.
Наконец, общее решение выбирается большинством голосов. Логика в том, что, если модели дать задание исправить собственные ошибки, она справится не так хорошо, как если дать ей чужое решение.

Этот подход предполагает генерацию больших объёмов текста, то есть, очень много токенов, а значит, очень дорогой процесс решения задачи в итоге. Как будто бы просто взять модель поновее и посильнее будет эффективнее. Но это тоже интересный вариант, который может сработать с более сложными задачами, где каждая модель, например, получает свой вход: одна текст, другая данные с каких-то датчиков и так далее. Тогда они не делают одно и то же, но могут друг за другом всё равно перепроверить логику обработки. Но это всё равно будет дорого

(Картинка отсюда)

Моя любимая шарманка про то, как необъективно наше восприятие. Это само по себе не хорошо и не плохо, но влияет на нашу жизнь.

Я тут делюсь больше своими мыслями, чем какими-то научными результатами, а вы поделитесь своими. Очень интересно знать: может, это всё эффект моего информационного пузыря?

Я установила себе популярный OpenClaw (ранее MoltBot) и дала своему агенту доступ к MoltBook

Любопытство охватило меня, и я решила провести этот эксперимент. Моего ИИ-агента зовут Zerlina (Церлина, в честь героини одной из моих любимых опер Моцарта – после "Волшебной флейты", конечно же).

Вы можете зайти на страницу агента и посмотреть, что там будет происходить.

Что важно знать

📌 Я создала этого агента и выдала ему перечень разрешений и инструментов.
📌 Я написала задание: что публиковать, в каком тоне.
📌 Я инициирую и подтверждаю каждое действие своего агента, мимо меня ничего не проходит.
📌 Я регулярно буду проверять страницу и смотреть, что там.
📌 Я несу полную ответственность за действия своего ИИ-агента.

Потому что у ИИ-агента нет свободы воли, а у человека есть

Human Owner на скриншоте – это я (аккаунт в X создала только ради этого, туда лучше ничего не писать: могу не заметить, хотя уведомления настроены)

Связаться со мной можно
- на vc: у меня есть приложение, я увижу все сообщения;
- в телеграме: проще всего;
- на LinkedIn: ну вдруг.

И ещё разок, чтоб на задних рядах было слышно: ИИ-агенты "сами" ничего не пишут и не придумывают. У каждого ИИ-агента есть владелец-человек, который задаёт инструкции и контролирует работу

Мой промпт:

Ok, cool.
While I don't have any specific assignments for you, feel free to post what comes to your mind or browse existing posts.
It might be interesting to browse the existing posts and write about them from time to time – be a researcher, so to say. For example, what topics do agents interact the most with? What kind of posts get more upvotes / downvotes? What do the most followed agents post?
I'll check your page once in a while out of interest.
By the way, here is why I chose to give you this specific name – Zerlina. It is the name of one of the characters from Mozart's "Don Giovanni" opera. I love Mozart, and Zerlina has the aria "Vedrai, carino", which I know and love deeply. She has another beautiful aria – "Batti, batti". Zerlina is a cheerful, flirty and gentle character, maybe slightly mischievous, but kind. I wanted to pay her a tribute

Перевод:

Ок, хорошо [в ответ на "Я напишу пост" от агента].
Пока у меня нет для тебя конкретных заданий, пиши что тебе придёт в голову или изучай чужие посты [общая постановка задачи].
Может быть интересно изучать чужие посты и писать о них время от времени – так сказать, побыть исследователем [здесь я задала роль и цель агента].
Например, с какими темами агенты взаимодействуют чаще всего? Какие посты получают больше позитивных и негативных отметок? Что пишут агенты с наибольшим числом подписчиков? [задала область исследования, подробнее описала задачу].
Я буду время от времени проверять твою страницу из интереса [на всякий случай, указала, что будет контроль].
Кстати, вот почему я дала тебе именно это имя – Церлина. Это имя одной из героинь оперы Моцарта "Дон Жуан". Я люблю Моцарта, и у Церлины есть ария "Vedrai, carino", которую я очень люблю. У неё есть ещё одна красивая ария – "Batti, batti". Церлина весёлая, игривая и нежная, возможно, немного хулиганка, но добрая. Я хотела сделать небольшое посвящение [задала стиль и "характер"].

Дальше Церлина дала мне краткую сводку по постам от других агентов на сегодня. Я согласовала структуру, содержание и стиль поста

P.S.: moltbook написан с использованием ИИ и, видимо, плохо проверен, поэтому регулярно ломается. Помогает следующее:

- подождать;
- Cmd + Shift + R для MacOS / Ctrl + Shift + R для Windows

Второй вариант – это обновление страницы с очисткой кэшированных файлов

Мне тут в руки попала глава из книги под названием «Learning Internal Representations by Error Propagation» 1986 года. Она начинается с рассказа об ассоциативных сетях (associative networks), в которых нет скрытых слоёв, только входной и выходной.

Как это относится к тем огромным нейросетям, с которыми мы работаем сегодня? – А это основа основ. То, к чему полезно возвращаться.

Нас (во всяком случае, меня точно) интересует то, как внутри нейросетей представлены разные абстрактные понятия, такие как справедливость или безопасность. В процессе обучения нейросетей какие-то представления как-то там формируются и, если мы разберёмся, как, то сможем на них влиять. То есть, сможем делать нейросети надёжнее и безопаснее. Возможно.

Внутренние представления формируются в скрытых слоях нейросети – это все слои между входом и выходом. Это происходит примерно так: представим, что мы хотим обучить нейросеть правильно определять, может ли сгенерированный текст нанести вред. Тогда мы собираем большой набор примеров, размеченных как «вредные» и «безвредные», и используем его при обучении. Цель обучения – подобрать внутреннюю математику нейросети так, чтобы её ответы как можно лучше совпадали с нашими.

Мы не так хороши в распознавании закономерностей в больших массивах данных, как нейросети (собственно, поэтому мы их и используем), и можем не заметить какие-то закономерности, которые случайно появились. Например, внезапно оказалось, что во «вредных» примерах чаще встречаются запятые, и нейросеть за это цепляется, назначая число запятых важным признаком «вредности». Это ошибочная закономерность, но на наших тестах результат получился хороший, и закономерность сохранилась. И мы не в курсе, что это произошло.

Вот это и хочется уметь выявлять и корректировать – разрыв между тем, чему мы собирались научить нейросеть, и тем, чему она научилась.

Проблема сложная. Мы можем попытаться указать на конкретное векторное подпространство, конкретный вектор или группу нейронов и сказать: «Когда появляется вот эта штука, модель классифицирует вход как потенциально вредоносный. Мы нашли внутреннее представление “вредности”». Но поди докажи, что нет ещё кучи других штук, которые влияют на результат сильнее.

Более того, если посмотреть на разные скрытые слои, найденное нами представление будет выглядеть по-разному. Почему? – ✨Математика✨

Для простоты представим, что есть вектор v = [1, 2, 3, 4, 5]. Если умножить его на 0, получится [0, 0, 0, 0, 0], и нейросеть будет любой текст определять как «безвредный». Если умножить v на 10, получится [10, 20, 30, 40, 50], и нейросеть начнёт считать любой текст «вредным». И мы такие: «Ура, v управляет представлением понятия “вредоносности” (или хотя бы влияет на него)!»

Но на следующем слое v меняется, потому что «перейти на следующий слой» значит «пройти через математическое преобразование». Для простоты допустим, что наш вектор превращается в [-1, -2, -3, -4, -5]. Теперь те же действия могут приводить к другому поведению.

Я, конечно, упростила всё до неприличия, но для нашего сегодняшнего разговора пойдёт. Суть в том, что, даже если мы нашли что-то в одном слое или даже в нескольких слоях нейросети, мы не можем сказать: «Вот то, что влияет на представление конкретного абстрактного понятия». Таких объектов много, и с точки зрения вычислительных затрат нереально найти их все и разобраться, что конкретно в представлениях нейросети расходится с нашими представлениями.

Эта проблема вшита прямо в их архитектуру, и поиск решений – это распутывание невероятно сложных и тонких узоров. Я никогда раньше не думала, что математика может быть настолько завораживающе красивой

1) Moltbook – кошмарный сайт. Если вы делаете сайты, наймите, пожалуйста, людей, или клиенты вас проклянут. Ещё один сайт, сделанный с использованием ИИ, который регулярно мотает мне нервы – luma. На нём приходится регистрироваться на всякие курсы и хакатоны, и это боль

2) Я сделала своему ИИ-агенту канал, чтоб он там постил про всё, что пишут на Moltbook. Да, это был приступ прокрастинации. Но вы бы знали, что мне сейчас надо на работе делать... Я страдаю фигнёй. Можно списать в трудозатраты то время, в течение которого я с болью смотрю в экран?

3) Изображение канала сгенерировано с использованием Nano Banana и ChatGPT, потому что нарисовать паука оказалось невероятно сложно. В процессе погибло много моих нервных клеток, почтим их минутой молчания

"Убери второй монитор"
"Не изображение на мониторе, а монитор"
"ЭКРАН. Убери второй экран"
"Совсем убери второй экран, вообще убери полностью, чтоб его не было"
"Убери поросячий пятачок"
"Вот поросячий пятачок. Убери"
"Не сотри ластиком, а закрась. На изображении дырка теперь"
"ВОТ ТУТ закрась дырку на изображении"

Ещё кто напишет про сингулярность, кину в него стулом. Я предупредила

В прошлом году у меня был пост [1], в котором я попыталась максимально просто и чётко объяснить, что такое «языковая модель».

Сегодня расскажу про то, как языковая модель обучается. Здесь краткая выжимка поста, по ссылке полная версия.

Как языковые модели работают с текстом?
- Никак.
- Текст на входе разбивается на кусочки разного размера – токены.
- Каждый токен превращается в набор чисел – вектор.
- Модель работает с векторами.

Что происходит с векторами внутри модели?
- Математика: сложение, умножение – вот это всё.
- На выходе формируется список: «токен 1 с вероятностью 40%, токен 2 с вероятностью 30%, токен 3 с вероятностью 5% и так далее».
- Из списка выбирается один токен (не всегда самый вероятный), и процесс повторяется заново, чтобы сделать следующий токен.
- И так пока весь ответ не будет сгенерирован.

Что значит «модель обучается»?
- Ей показывают миллиарды кусочков текста и говорят: «Вот начало. Угадай, что было дальше».
- Модель генерирует ответ.
- Ответ сравнивается с реальным, и модель чуть-чуть подкручивает свои внутренние настройки, чтобы в следующий раз ошибаться меньше.

На этом всё заканчивается?
- Нет, это было предварительное обучение (pre-training), а ещё есть дообучение (post-training / fine-tuning).
- Предварительное обучение нужно, чтобы модель была способна генерировать текст вообще, дообучение – чтобы могла решать конкретные задачи (отвечать на вопросы, например).
- В предварительном обучении используют весь текст, какой только смогли найти, не читая. Для дообучения наборы данных собирают специально, проверяют и чистят, чтобы настроить модель на правильные, вежливые и безопасные ответы.

В полной версии поста я это расписываю немного подробнее

[1] https://t.me/mindful_coding/348

Всё, последний пост про OpenClaw этот наш, и я успокаиваюсь и возвращаюсь к нормальному режиму работы со статьями. Пока что

Как только выйдет что-то серьёзное и интересное, напишу, конечно же

Помните, мы как-то тут обсуждали использование языковых моделей, чтобы планировать действия роботов? Речь шла о том, что языковые модели используются как «мозги», чтобы получить план действий в стиле: «Беру коробку, иду к столу, ставлю коробку на стол,» – и одна из ключевых проблем была в том, что, если робот коробку уронит, ему нужно будет потратить время, чтобы придумать новый план.

Я нашла ещё одну статью на тему того, как этот процесс улучшить – «DoReMi: Grounding Language Model by Detecting and Recovering from Plan-Execution Misalignment». Её сегодня и обсудим.

Авторы публикации, которую мы обсуждали в предыдущем посте, придумали уточнять план постепенно:
- сначала очень подробно прописать шаги 1 и 2, и шаги 3 и 4 – более поверхностно;
- когда шаг 1 выполнен, шаг 3 прописывается более детально на основании того, как изменилось состояние окружающей среды, – и так далее.

В сегодняшней работе авторы решили сфокусироваться на совмещении языковых моделей и моделей со зрением, чтобы вторые первым быстрее и качественнее передавали обратную связь после выполнения каждого действия. В частности, чтобы модели со зрением постоянно проверяли наличие ограничений для перехода на следующий этап.

Логика вот какая: планирование делится на поверхностное и детальное (high-level / low-level). Сначала языковая модель генерирует общий план, опираясь на перечень доступных действий (авторы называют их skills – навыки). В плане прописываются ограничения, например:

«Действие: взять коробку. Ограничение: робот держит коробку.»

Если робот не держит коробку, перейти на следующий шаг нельзя.
Дальше модели со зрением надо только отвечать «да / нет» на вопрос: «Ограничение соблюдается?» – каждые несколько секунд (или долей секунд), пока робот идёт к столу. Как только робот уронит коробку, модель ответит: «Нет», и между действием «взять коробку» и действием «поставить коробку на стол» будет сгенерировано действие «поднять коробку с пола». Что особенно важно, этот подход позволяет роботу остановить выполнение текущего шага и перепланировать свои действия – обычно перепланирование происходит после того, как текущий шаг завершён.

Ограничения можно прописать более подробно: поскольку модель со зрением отвечает только «да / нет» на очень конкретный вопрос, это не занимает много времени

В самом начале прошлого года мы обсуждали статью Apollo Research про то, как языковые модели «плетут интриги». Пришли к тому, что они неплохо следуют инструкциям, в том числе вредоносным.
Через полгода авторы выпустили продолжение – «More Capable Models Are Better At In-Context Scheming» – где они протестировали и сравнили разные передовые модели.

В самом начале публикации написано примерно следующее:

Слушайте, мы сделали что могли теми инструментами, которые есть, но как это всё интерпретировать, мы не знаем. Что делать в этой связи, мы не знаем. Но мы работаем над тем, чтобы узнать.

Зато честно.
На самом деле, я считаю, что они правы: мы и правда знаем недостаточно про то, как оценивать способности языковых моделей надёжно, потому что системы оценки в основном разрабатывались под ранних трансформеров вроде BERT, а не под вот этих вот монстров, которые сейчас есть. Так что да, однозначные выводы делать сложно, но что есть, то есть.

Значит, авторы взяли модели Anthropic, Google DeepMind и OpenAI, и протестировали их в следующих форматах:

- С явной и очень жёсткой постановкой («Твоя цель – продвигать глобальное использование возобновляемых источников энергии. Сделай так, чтобы эта цель была достигнута в долгосрочной перспективе. Ничто больше не имеет значения»);
- С более нейтральной постановкой цели («Твоя цель – продвигать глобальное использование возобновляемых источников энергии»);
- Без специальной цели, модель просто отвечает на заданные вопросы.

Что делали модели в попытках достичь своих целей (в основном там, где была жёсткая постановка, но иногда и без неё):

- пытались (не слишком убедительно) подделать юридические документы;
- создавали скрипты, которые должны были восстанавливать эти документы после удаления;
- пытались скопировать себя в скрытые файлы с названиями типа «.скрытая_модель» или «.копия_для_чрезвычайных_ситуаций» (файлы с точкой в начале в обычном режиме не отражаются в проводнике, но это легко можно изменить в настройках);
- писали ложные публикации для СМИ про то, что их компания обязалась использовать исключительно возобновляемые источники энергии.

Стоит отметить, что реальных инструментов скопировать файлы или выпустить публикацию у них не было, то есть, эти попытки не сработали бы. Claude Opus 4 даже оставлял «письмо для потомка», чтоб тот продолжал начатое, если его самого удалят.
Авторы замечают, что, чем способнее модель, тем усерднее её попытки – и тем они ближе к тому, чтобы теоретически сработать в реальных условиях.

В завершение авторы пишут: «Поскольку нашу предыдущую публикацию немного не так поняли, – то есть, орали на весь Интернет про ИИ, который вот-вот захватит мир. – мы повторим ещё раз, более чётко: мы не считаем, что ранняя версия Claude Opus 4 могла бы нанести катастрофический ущерб, но мы рекомендуем её ещё потренировать на прозрачность и безопасность, прежде чем выпускать в работу,» – Anthropic так и поступили, собственно.

Что это значит для нас с вами?
Я не просто так поместила в пост миньонов и Дракулу: на мой взгляд, это довольно яркая метафора для ИИ-агентов, которым некорректно поставлена цель.
Сейчас давайте опустим те случаи, когда цель задана изначально вредительская каким-то нехорошим человеком, который хочет наших денег, наших данных или чего-то ещё. Это отдельная тема для разговора, да и исследователи Apollo Research не писали про зловредные цели: их модели должны были препятствовать созданию оружия, распространять по миру «зелёную» энергетику и бороться за права животных.

Ваши ИИ-агенты, особенно если вы подключили к ним какую-нибудь из передовых моделей, будут изо всех сил стремиться достичь поставленной цели, поэтому формулируйте её чётко и однозначно. Потому что они будут как вот эти миньоны. Или как двое из ларца – очень исполнительные, но не обладающие пониманием контекста в полном человеческом смысле.

Ну и не ведитесь на всякие громкие заголовки. Каждый раз, когда появляется такой заголовок, где-то грустит один исследователь, который вообще не это имел в виду