Сижу в раздумьях, хочу вашей помощи

Планировала 31 декабря выложить пост с итогами года, но в этом году настолько все сделали итоги года, что меня уже раздражает этот формат. Не хочу его писать теперь. Но не могу определиться, что сделать вместо него.

Мне пришло в голову несколько вариантов, так что я сейчас сделаю опрос: что вам бы хотелось прочитать больше всего?
Если у вас есть идея, которой нет в опросе, напишите её, пожалуйста, в комментариях, будем вместе решать

Так, ну в опросе лидирует пост про личное. Понято-принято

А пока вот держите пост про три очень интересные статьи о свежих исследованиях в области галлюцинаций языковых моделей. Они выглядят убедительно и, что важно, вполне себе применимо

Этот год стал для меня годом людей. И, несмотря на все сложности, я действительно очень рада тому, как он прошёл. Он потребовал от меня очень много работы: и работы в смысле «сижу который час за компьютером, смотрю в код, не помню, когда в последний раз спала», и работы над собой в смысле «а зачем мне всё это надо, где я просчиталась и как со всем этим быть».
Местами было тяжко: я вставала в тупик и никак не могла сдвинуться с места. Но в итоге получилось хорошо:

- я укрепила отношения с важными для меня людьми;
- обрела друзей, с которыми мне искренне хорошо, которых я люблю и наслаждаюсь этим чувством;
- встретила интересных людей (я целый час общалась один-на-один с настоящим живым специалистом по кибербезопасности в области ИИ, представляете?!);
- переоформила свой подход к этому блогу, и пишу теперь от своего лица и под своим именем;
- получила много тепла и поддержки как от близких людей, так и от совсем незнакомых.

Я в очередной раз убедилась, что все вот эти вот бессонные ночи и вызовы на грани моих физических возможностей – это моё и я без этого не могу. А ещё это про людей и для людей.

Потому что я охренеть как сильно люблю людей. И у меня это прям горит.
Я люблю заниматься ИИ – вообще люблю свою работу, – но моя главная мотивация – делать ИИ для людей.

Безопасным для людей.
Надёжным для людей.
Полезным для людей.
Чтобы он строился вокруг людей и всегда в своём ядре имел в виду благополучие людей.

Это очень амбициозная цель, и мне пока до неё как до луны, но я всегда была упрямой. У меня никогда ни в чём не было талантов, я не родилась с серебряной ложкой во рту – ничего такого. Но я умею пахать как та самая лошадь, которая символ наступающего года.
И даже если временами у меня снижается мотивация и накатывает усталость, ваша поддержка – ваши реакции, комментарии и просмотры на моих постах – придаёт мне сил. Так что в праздники я отдохну как следует, отосплюсь, а потом продолжу пахать и буду это делать столько, сколько понадобится.

Что касается самого важного на мой взгляд события в области ИИ в этом году, я выбирала между ростом всеобщего внимания к пространственному ИИ и тем, что OpenAI настучали по шапке.
Эксперты к пространственному ИИ уже давно внимательны: мы с вами обсуждали стартап Фей-Фей Ли, например. А потом Ян Лекун высказался про то, что с языковыми моделями всё понятно, несите пространственные. И тогда все остальные тоже дружно посмотрели в их сторону. Это важное событие с точки зрения дальнейшего развития ИИ в целом.
Второе событие важно с точки зрения безопасности людей: OpenAI в лице своего руководителя признали, что ИИ несёт в себе риски (да что вы говорите!) и ищут себе нового руководителя отдела кибербезопасности. Люди в Интернете настроены скептически: OpenAI хотят не ответственности, а не получать штрафы и судебные иски. Согласна. Но знаете, что? – Это тоже хорошо. Это значит, что пользователи и эксперты, которые много месяцев твердили: «Ребята, это небезопасно, вы что творите вообще?» – Наконец достучались то ли до судов и контролирующих органов, то ли до того органа, которым принимаются решения в компании (до кошелька).
В новом году за этими двумя направлениями будем продолжать наблюдать.

✨Если вы добрались до конца этого года живыми, плюс-минус целыми и относительно вменяемыми, вы молодцы и заслуживаете почёта и уважения. Теперь желаю вам от души хорошенько набраться сил, провести время с любимыми людьми, беречь себя и быть в безопасности. ✨
С наступающим! 🎄🎀

(Изображение сгенерировано с использованием ChatGPT)

Первый пост в наступившем году – #эссе.
Эссе я пишу используя только собственный мозг, не пользуюсь никакими внешними источниками и не проверяю факты. Структура следующая:
- постановка вопроса;
- два аргумента против моей позиции;
- два аргумента в пользу моей позиции;
- вывод.
Для меня это способ размять мозг, для вас – приглашение вступить в дискуссию. Я не ограничиваю себя во времени, но стараюсь писать короче.

Сегодня порассуждаем о том, должен ли эксперт быть односторонним экономистом. Фразу про одностороннего экономиста приписывают вроде бы Черчиллю. Мол, он спрашивал у экономистов совета, а они ему такие: «С одной стороны…, с другой стороны…» – И он в конце концов воскликнул: «Да приведите мне, наконец, экономиста, у которого одна сторона!» (В оригинале «однорукого экономиста», потому что в английском языке говорят: «On one hand…, on the other hand…»).

С одной стороны, можно легко понять возмущение условного Черчилля: мы экспертам задаём вопрос, чтобы положиться на их опыт и знания, а не разбираться во всём самостоятельно, иначе зачем они нужны-то вообще? Когда человек просит совета, он просит чего-то конкретного: последовательности шагов или выбора наилучшего из всех вариантов, а не ушат дополнительной информации, в которой чёрт ногу сломит.

Кроме того, хочется видеть больше силы в позиции людей, которые опираются на науку и данные. Кругом полно шарлатанов разного калибра, которые с уверенным видом несут беспросветную чушь – и очень многие в эту чушь начинают верить. Не потому что люди дураки, а потому что никто в мире не может знать всего, и каждый из нас так или иначе в целом ряде вопросов вынужден полагаться на ближнего своего. И в борьбе с мракобесием хочется видеть учёных, которые уверенно и строго разложат всё по полочкам, а не запутают ещё больше и спровоцируют приступ тревоги, потому что «Да я никогда в этом не разберусь».

С другой же стороны, часто по-настоящему ответственным и правдивым ответом оказывается: «Я не знаю. Но вот есть такие и такие факторы». И дальше (в идеальном) сценарии мы садимся с экспертом рядышком, берём каждый фактор и его анализируем: «Это на нас влияет? Нет, в сторону. А это влияет? А насколько? А что мы можем с этим сделать?» – И только так можно добраться до оптимального конкретно для нас конкретно сейчас результата. Это долго и муторно, зато надёжно.

Наконец, у экспертов есть репутация, которой они дорожат, и хорошо, если так. Эксперт будет переживать, что скажет чушь или поведёт вас не по той дорожке и осторожничать, потому что от репутации зависит его профессиональное будущее. Шарлатану никакая репутация не нужна: он питается людьми, которые оказались уязвимы, а таких всегда будет достаточно. Если эксперт не даёт вам «пять простых шагов, чтобы…» – это хороший знак.

Недавно мы с кем-то из коллег обсуждали этот вопрос. Вот эта вся неуверенность раздражает, особенно в себе. Вопрос задали на три строчки, а ты битый час сидишь и выгребаешь из всей доступной литературы все доступные нюансы, потому что «А вдруг я чего-то не понимаю?» Прям бесит. С другой стороны, мы сошлись на том, что не готовы доверять эксперту без синдрома самозванца. Потому что подозрительно как-то: он наверняка чего-то не учитывает

Помните Пиролли, Карда и их теорию охоты на информацию?

Так вот, они много чего написали интересного, так что сегодня вернёмся к ним и их работе о поиске смысла жизни в данных

Давайте-ка я вам сегодня поведаю историю того, как люди взяли ИИ, и применили его как положено, и получили хороший результат. Мне кажется, отличная история на Рождество (с праздником вас, кстати!)

Статья, о которой пойдёт речь – препринт, то есть, она ещё не прошла всех кругов научного рецензирования, и относиться к ней нужно осторожно. У неё, впрочем, хорошие рецензии на OpenRerview.

Статья называется «Discovering Symbolic Cognitive Models from Human and Animal Behavior» и повествует об использовании больших языковых моделей для открытия символьных когнитивных моделей. Сейчас поясню.

Когнитивная модель – это абстрактное представление одного или нескольких процессов познания. Это может быть диаграмма со стрелочками, набор уравнений, код – вариантов представления великое множество.
Примеры процессов познания – восприятие, память, поиск причинно-следственных связей.

Символьная когнитивная модель – когнитивная модель, написанная с использованием символов, обычно это уравнения или программный код.

Исторически процесс создания таких моделей происходил следующим образом:

▪️ учёные выдвигают гипотезу о том, как работает, например, внимание;
▪️ описывают её формально в уравнениях или в коде – это и есть модель;
▪️ наблюдают реальное поведение объекта исследования (человека или животного) и уточняют свои уравнения.

Сложность в том, что, даже сильно постаравшись, не получится учесть все варианты поведения. В какой-то момент будет ясно, что полученная модель пригодна только для ограниченного набора случаев.
Альтернатива – пойти от данных, получить модель и описать её человеческим языком.

Авторы взяли наборы данных по людям, крысам и плодовым мушкам и сгенерировали на них когнитивные модели в виде компьютерных программ. Все наборы данных были собраны в ходе наблюдений за тем, как люди, крысы и мушки выполняют определённые задания. Там была информация о задаче, вариантах выбора для испытуемых и доступных вознаграждениях.

Например, плодовые мушки ползали по лабиринту с тремя коридорами, в конце каждого из которых был источник запаха. Мушка ползла по одному из коридоров, добиралась до конца, и её облучали светом, который воздействовал на её рецепторы и создавал у мушки такое ощущение, как будто она поела сахар.

Это чтобы изучать, как мушки ищут сахар, но не превращать их в очень довольные шарики с крылышками, которые уже не могут двигаться по лабиринту.

Так вот.

В наборах данных есть записи о том, какие выборы сделали подопытные и какие получили вознаграждения. Авторы взяли существующий инструмент FunSearch и доработали его под свои задачи. Оригинальный FunSearch использует эволюционное программирование, его логика следующая:

▪️ берём много программ;
▪️ используем каждую из них для решения задачи и измеряем эффективность;
▪️ отбираем лучшие и вносим в них случайные изменения;
▪️ в некоторых случаях комбинируем наиболее успешные программы;
▪️ повторяем цикл, пока не получим небольшой набор очень эффективных программ.

FunSearch использует языковые модели: они генерируют программы и потом меняют лучшие. Авторы статьи доработали систему оценки так, чтобы отбирать наиболее точные когнитивные модели.

Красота этой работы в том, что и ИИ, и люди выполняли свою работу: люди использовали творческий подход к решению задачи, ИИ перебрал множество вариантов и выявил закономерности в огромных массивах данных. Подобная гармония была в работе по теории узлов 2021 года. ✨Вот так и должно быть✨

Продолжая тему галлюцинаций: а могут ли языковые модели лгать? То есть, иметь знание о правильном ответе, но сгенерировать неправильный.

На мой скромный взгляд, сама постановка вопроса – пример очеловечивающего языка, потому что ложь – это сознательный выбор. Его не может сделать то, что не наделено сознанием.

Но мы всё-таки изучим сегодня не мой скромный взгляд, а статью «Can LLMs Lie? Investigation beyond Hallucination». Тем более, там механистические методы интерпретации – всё как мы любим.

У меня есть мысли по поводу прочитанного.

Во-первых, идея воздействовать на механизмы внимания интересная и может пригодиться для разных исследований.

Во-вторых, всё остальное в этой статье очень узко ограничено рамками конкретных экспериментов. Неясно, воспроизведётся ли результат на других моделях, на другом языке или даже с другими формулировками запросов. Это не камень в огород авторов: они честно провели свой эксперимент и описали результаты. Но из-за существенных ограничений я бы относилась к ней скептически (во всяком случае, пока).

Зачем нам было это всё читать? Мне кажется, такая статья могла бы стать громким заголовком, а нам важно помнить, что иногда за громкими заголовками стоят не очень надёжные или незавершённые работы

Весьма приличное исследование вышло про то, чьи взгляды на мир отражают языковые модели. Предлагаю его сегодня обсудить

У вас есть файлы, которые называются "файл_итог.x", "файл_итог_2.x" и "файл_итог_окончательный.x"?

У меня есть в одном проекте ветки "тест-бекенда", "юнит-тест-бекенда" и "теперь-точно-тест-бекенда"

Наткнулась я тут на интересный пост про этику применительно к ИИ, и он вызвал у меня #поток_мыслей. Сейчас я запущу в вас этот поток, а вы мне скажите, что сами думаете.

Мы когда рассуждаем про этическое регулирование ИИ (и я в том числе) представляем себе некий набор правил в духе «не убивай, не кради», который позволит сделать ИИ безопасным для человека.
Из всех предложенных разными авторами наборов таких правил мне ближе всего три закона робототехники Айзека Азимова:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

«Однако, – возражает автор поста, – человеческая этика развивалась не так». Этические нормы формируются на протяжении всей истории человечества, меняются и отличаются от эпохи к эпохе и от общества к обществу.
Мы и не можем толком сформулировать всеобъемлющий набор норм и правил, который бы приняли не то что все люди на Земле, но хотя бы все люди в одной комнате, если в комнате больше одного человека. Хотя, если в комнате один человек, тоже бывает всякое.
Взять то, как мы учим детей. Если вы когда-нибудь встречали детей, то знаете: им бесполезно говорить о пользе чтения книжки, если вы сами у них на глазах регулярно не читаете книжку. Мы не заучиваем свод правил жизни в обществе, а воспринимаем его интуитивно, наблюдая за тем, как ведут себя одни люди и как на это реагируют другие люди. Потом мы переезжаем в другую страну (или в другой город, а то и на соседнюю улицу), и испытываем культурный шок.

«ИИ, – продолжает автор, – тоже у нас учится на основе нашего же поведения». Языковые модели потребляют написанный человеком текст, чтобы генерировать убедительные предложения. В тексте содержится сжатое представление наших взглядов на мир, когнитивных искажений и прочих радостей бытия человеком. И дальше какие фильтры ни навешивай, на выходе всё равно получается то, что было на входе.

Во мне сейчас сражаются два волка.

Волк 1 говорит: «Я не считаю, что появление сверхИИ, или ИИ, равного человеческому, или ИИ, наделённого сознанием – вопрос ближайшего будущего. Но у того ИИ, который есть сейчас, уже существуют конкретные риски: незащищённость данных, использование в мошеннических целях, генерация ложных фактов и ещё целый длинный список. Давайте спустимся с небес на землю и займёмся реальными проблемами.»
Тут сложно спорить: проблемы есть, пострадавшие есть. Нужны конкретные инструменты, подобные тем, что мы здесь разбираем: инструменты для оценки, контент-фильтры, инструменты прозрачности и обеспечения человеческого контроля. Нужен конкретный набор правил: «Не суй пальцы в розетку. Не суй гвозди в розетку. Ничего не суй в розетку, отойди от неё вообще, тебе там что, мёдом намазано?!»
Конкретный набор правил будет полезен в конкретных ситуациях.

Волк 2 говорит: «Но в том, чтобы менять собственное поведение есть смысл. Даже если ИИ не сравняется с человеком, он будет копировать человека. Надо бы подавать хороший пример.» Комментарий на скриншоте оставили под одним из моих видео, и он мне нравится.
Я не согласна только с частью, где «ИИ должен иметь основания…»: не нужно быть идеально моральным существом, чтобы иметь право на существование. Но идея о том, что «человеческий не значит безопасный» мне близка. Мы и правда в плане безопасности пока не очень, есть куда стремиться. Мы здорово продвинулись за прошедшие сотни тысяч лет, но всё ещё периодически пытаемся самоуничтожиться, заодно стерев с лица Земли кучу других существ. Как-то надо это, собраться уже что ли. На нас же дети смотрят, все дела.

Есть ещё третий волк, который сидит в углу с попкорном. Я пока что склоняюсь на его сторону

Под предыдущий пост пришли ещё волки и подняли интересные вопросы. Спасибо вам, я сижу обо всём думаю

А пока подкину на обсуждение ещё одну интересную публикацию, на этот раз про ИИ и законы. Она весьма объёмная, так что я здесь представлю только краткую выжимку того, что зацепило моё внимание

Немножко теории игр с ИИ-агентами вам сегодня

Кстати, я на LinkedIn выложила дополненную версию этого поста: там ещё одна любопытная статья и некоторые мои соображения

Загляните, если вам вдруг такое интересно

Я периодически упоминаю в своих постах такую штуку как «mechanistic interpretability» – механистическая (механическая?) интерпретируемость. Термин звучит кошмарно, но приличного перевода на русский язык я не нашла. «Mechanistic interpretation» переводится как «механический смысл», и по аналогии, пожалуй, можно перевести «mechanistic interpretability» как «выявление механического смысла». Это область исследований, в которой ИИ разбирают на компоненты, чтобы понять, что конкретно в его архитектуре и каким образом влияет на результат его работы. Интерпретируемости в общем виде мы касались вот в этом посте.

Как это часто бывает в области ИИ, в этом термине есть некоторая неопределённость. Его много кто использует, причём в разных контекстах, и в итоге никто уже толком не может сказать, где механическая интерпретируемость, а где не механическая. Рассортировать этот словесный винегрет попытались авторы статьи «Mechanistic?», опубликованной в 2024 году.
Вот что они пишут.

«Механизм» здесь – это механизм причинно-следственных связей, поэтому в узком смысле механистическая интерпретируемость – это поиск закономерностей, по которым нейросеть преобразует входные данные в выходные данные. Пример использования механистической интерпретируемости в таком смысле – статья про «биологию языковых моделей». Там авторы используют специальные графы, чтобы проследить, как конкретное слово на входе возвращает конкретное слово на выходе.
Но есть и другие подходы, в рамках которых мы не лезем прям внутрь архитектуры, а, например, даём разные данные на вход и сравниваем выход. Тогда в более широком смысле механистическая интерпретируемость – это любое исследование работы внутренних компонентов модели, даже если оно не подразумевает «вскрытие».
Считается, что первым термин использовал Крис Ола (Chris Olah) с коллегами в цикле работ про модели машинного зрения, а потом он (термин, не исследователь) мигрировал в обработку естественного языка и попал к языковым моделям. И так вышло, что те, кто изучал языковые модели, и те, кто изучал машинное зрение, пошли разными путями – с одной стороны. С другой стороны, они независимо друг от друга переизобрели или друг у друга заимствовали некоторые методы.
Кроме того, сама идея проследить, что происходит с данными внутри моделей привлекла многих людей за пределами научного сообщества. Некоторое время эти люди собирались на отдельных форумах, чтобы обсуждать свои находки, и не публиковались в журналах. А те, кто публиковался в журналах, не знали про форумы. Когда они встретились, оказалось, что уже просто смысла нет выяснять, кто что изначально имел в виду, когда сказал «механистическая интерпретируемость».
Так что сейчас, когда люди используют этот термин, они обычно имеют в виду что-то вроде: «Я понимаю, что ИИ несёт в себе много рисков, и хочу подходить к его разработке и использованию ответственно,» – вот и всё.

В приложении к статье авторы отмечают: сейчас многие спорят про то, что значит «механистическая», но мы ещё не решили, что значит «интерпретируемость». И не только: конкретно в этой области с терминологией просто беда.

У меня ещё отдельно глаз дёргается от того, что «интерпретируемость» («interpretability») определяется как «поиск» или «выявление», то есть, действие. А это свойство, а действие – «интерпретация» («interpretation»). Впрочем, на фоне всего остального это уже мелочь.

Хорошенько подумав, я решила пока избегать вообще этого термина и других подобных с неопределённым содержанием. Буду стараться писать более конкретно: что взяли, что сделали. Хватит с нас вот этой всей путаницы

(Изображение сгенерировано с использованием ChatGPT)

Я начала этот год с поста о галлюцинациях языковых моделей – точнее, о свежих исследованиях на эту тему. А сегодня извлеку из закромов статью 2021 года – «Neural Path Hunter: Reducing Hallucination in Dialogue Systems via Path Grounding».

Авторы решили использовать для борьбы с галлюцинациями графы знаний (knowledge graphs). Это вообще не новая концепция: термин "граф знаний" появился в работе «Course Modularization Applied: The Interface System and Its Implications for Sequence Control and Data Analysis». Это статья про образовательный процесс: весь материал курса, который надо поместить в голову студента, описывается в форме графа, и задача преподавателя заключается в том, чтобы наилучшим образом разбить граф на отдельные последовательности узлов и студенту передать. В голове студента этот граф пересобирается, и в идеале каждый новый кусочек встаёт на своё место. Представление знаний в виде графа позволяет удобно разместить их не только в памяти студента, но и в памяти компьютера.
Графы – удобнейшая штуковина, с которой много чего можно сделать. Идея графов знаний эволюционировала-эволюционировала, да и выволюционировала в графовые базы данных и графовые нейронные сети. Сегодня нас интересуют первые. Но не сразу, подождите немного.

Графы знаний, как и все прочие графы, состоят из узлов и рёбер.
Узлы – это некие сущности: люди, объекты – что угодно. У каждой сущности есть набор характеристик, например, для человека это может быть имя, возраст, пол и всё в этом духе.
Рёбра – это связи или отношения между сущностями. Например, «человек А подписан в соцсетях на человека Б» или «Клиент А разместил на сайте Заказ 1» и так далее.
И есть ещё принципы организации – правила, по которым граф строится. Например, принцип «ребро направлено от подписчика к человеку, на которого он подписан». Тогда запись «А -> Б» для нас имеет смысл. В один граф можно вложить несколько разных принципов: например, принцип «от общего к частному» и принцип «от подписчика к источнику».

Конкретно в той статье, за которую мы взялись, узлы графа называются «субъект» и «объект», а связь между ними – «предикат». Это классическая схема. По отношению к графу все галлюцинации рассматриваются как внешние и внутренние. Внешние – это те, которые содержат сущности, которых нет в графе знаний. Внутренние – те, где сущности взяты из графа, но отношения между ними описаны неправильно.
Авторы разрабатывают и тестируют систему, которая берёт за основу граф знаний, сравнивает с ним ответ модели и находит таким образом галлюцинации.

Замечательно. А что там с графовыми базами данных? Они очень гибкие и удобные, особенно если у вас такой набор данных, который легко укладывается в графовую структуру: данные из социальных сетей, логистические данные и всё в таком духе. Тем более если для ваших целей информация об отношениях между объектами столь же ценна или более ценна, чем информация о самих объектах.

С помощью графов ещё делают graphRAG – это генерация информации, дополненная данными из графов знаний. Дополненная генерация – мощный инструмент в борьбе с галлюцинациями. Обычно она так работает: даём нейросети набор источников, которые мы сами проверили, и говорим: «Информацию бери только отсюда,» – и отбираем доступ в Интернет. Даже если набор источников – просто папочка со статьями, результат уже получается чище. А с графами знаний всё работает ещё лучше.

Интересный пример – американская компания доставки еды DoorDash. Они используют графы знаний и дополненную генерацию, чтобы их поиск выдавал пользователям подходящие результаты.

Настроить такую систему, впрочем, сложно: там много нюансов. Возможно, мы про неё даже как-нибудь отдельно поговорим

Чот замоталась немножко и чуть не забыла пост выложить. А вот он готов уже

Сегодня про модель из одной из моих любимых групп. Там любопытная архитектура. Работали с ней?

Люди, которые потеряли конечность, сталкиваются с феноменом «фантомной конечности». Например, у человека нет руки, но периодически он очень явно её чувствует. Часто такие ощущения болезненны, и человеку нужна специальная терапия, чтобы с ними справиться.
Отчего так происходит?

В нашем мозгу прописана структура тела: руки, ноги, глаза, уши – вообще всё. Если структура тела отличается от прописанной, мозг ведёт себя как какой-то вредный сотрудник МФЦ: «А у меня записано, что рука есть, значит, рука есть!» – и посылает туда сигнал, но сигнал не возвращает ответа. Тогда мозг такой: «Хм, нам что-то мешает,» – и посылает ещё более интенсивный сигнал. И так по кругу.
После терапии мозг привыкает к тому, что руки нет, и фантомные ощущения прекращаются. А это как происходит?

Наш мозг, с одной стороны, упрямый, а с другой – очень пластичный. Он может меняться и создавать новые нейронные связи, но для этого его нужно обучать.

Моя любимая история про мозг – история Финеаса Гейджа.

Жил, значит, Финеас Гейдж в США в 19 веке. Гейдж был крепкий мужик, работал на ферме и в шахте, а потом его наняли бригадиром взрывников, которые расчищали путь для железной дороги. Принцип работы был такой: сначала в горной породе бурили скважину, потом бригадир засыпал туда порох и утрамбовывал его железным ломом. Затем он клал сверху запал, а помощник укладывал песок или глину, чтобы «заткнуть» взрыв и сосредоточить его в небольшом пространстве.
Время было к вечеру, рабочие готовились сворачиваться. Гейдж утрамбовывал порох. Он повернул голову и, кажется, что-то сказал.

И тут прогремел взрыв.

Что конкретно произошло, непонятно. Похоже, когда Гейдж отвлёкся, он случайно высек ломом искру, а пробки из глины и песка ещё не было, поэтому порох рванул как следует. Лом вырвался из рук Гейджа, его острие вошло в череп под левой скулой и вышло насквозь через макушку. Лица рабочих можно себе представить…
Ко всеобщему удивлению, Гейдж не просто смог встать, но и добрёл до повозки, на которой его отвезли в гостиницу.

Лечили его, как бы это сказать помягче… как могли. Тогда ещё врачи мало знали про распространение инфекций и про то, что надо мыть руки перед тем, как лезть пациенту в голову. В общем, Гейдж выжил каким-то чудом, хоть и ослеп на левый глаз.
Более того, он прожил ещё двенадцать лет и был вполне дееспособен: работал, и даже освоил новую профессию и стал кучером. Друзья и родные Гейджа утверждали, что тот потерял часть воспоминаний, и его характер здорово испортился. После такого инцидента, впрочем, оно и не удивительно.

Историю Финеаса Гейджа и рассказ о фантомных конечностях я почерпнула из книги С. Кина «Дуэль нейрохирургов. Как открывали тайны мозга и почему смерть одного короля смогла перевернуть науку». Это одна из моих любимых книг, и я её вам очень советую (снова). Но будьте осторожны: в ней много физиологических подробностей.

Финеас Гейдж – не единственный человек, который выжил после очень серьёзной травмы мозга. Мозг – поразительный орган, одновременно очень хрупкий и очень пластичный. Термин «нейропластичность» как раз описывает его способность перестраивать самого себя, создавая, изменяя и укрепляя связи между нейронами.

По ссылке я оставила для вас обзор статьи про недавние научные прорывы в этой теме

UPD: Предпросмотр починила

Большие языковые модели продемонстрировали выдающиеся способности в обработке естественного языка, но…

– и дальше: «…не справляются с коммуникацией», или «…не справляются со сложными задачами, требующими рассуждений», или «…часто дают ответы, не соответствующие действительности».

Мне кажется, я какую статью ни возьму, все так начинают (возможно, мне кажется). Если собрать достаточно таких введений, как раз получится список того, на что нужно обращать внимание при работе с большими языковыми моделями, и какие у них есть уязвимости.

Это я открыла статью «Towards Reasoning in Large Language Models via Multi-Agent Peer Review Collaboration», и у меня дежавю. Обсудить статью нам это, впрочем, не помешает.

Авторы предлагают использовать несколько языковых моделей (и называют их «агентами», конечно же, но да Бог с ними) и следующий процесс:

- модели независимо генерируют собственные решения;
- каждая получает решение товарища и проверяет его, составляет критический отзыв;
- все получают комментарий к собственному решению, вносят правки и сдают новое решение.

На первом этапе модели вместе с ответом генерируют цепочку рассуждений, которые к этому ответу привели. На втором этапе они к отзыву добавляют оценку собственной уверенности – просто число от 1 до 10, ничем не обоснованное. На третьем этапе модели помимо чужих комментариев получают ещё и чужие решения.
Наконец, общее решение выбирается большинством голосов. Логика в том, что, если модели дать задание исправить собственные ошибки, она справится не так хорошо, как если дать ей чужое решение.

Этот подход предполагает генерацию больших объёмов текста, то есть, очень много токенов, а значит, очень дорогой процесс решения задачи в итоге. Как будто бы просто взять модель поновее и посильнее будет эффективнее. Но это тоже интересный вариант, который может сработать с более сложными задачами, где каждая модель, например, получает свой вход: одна текст, другая данные с каких-то датчиков и так далее. Тогда они не делают одно и то же, но могут друг за другом всё равно перепроверить логику обработки. Но это всё равно будет дорого

(Картинка отсюда)

Моя любимая шарманка про то, как необъективно наше восприятие. Это само по себе не хорошо и не плохо, но влияет на нашу жизнь.

Я тут делюсь больше своими мыслями, чем какими-то научными результатами, а вы поделитесь своими. Очень интересно знать: может, это всё эффект моего информационного пузыря?