Сегодня обсуждаем снова мозг и попутно развенчиваем теорию шести рукопожатий. Вот случайно как-то так получилось

Немного спойлеров

Смонтировала вчера видос. Это рассказ про основы и развитие ИИ — получилось длинно, но интересно
На YouTube оно уже доступно, на Дзен пока грузится. Как загрузится, прикреплю сюда же ещё одну ссылку

UPD: ссылка на Дзен

Сегодня ещё немного мозга, а потом снова будет ИИ

Тема интересная: свойства мозга, которые определяют развитый интеллект. Читать будем статью «Neuronal factors determining high intelligence» (2016).
Во-первых, что есть интеллект? Авторы статьи определяют его как

«… ментальную или поведенческую гибкость или способность организма решать задачи, возникающие в его естественной или социальной среде обитания. Кульминация интеллектуального развития – создание новых решений, которые не входят в обычный репертуар данного организма».
(«… mental or behavioural flexibility or the ability of an organism to solve problems occurring in its natural and social environment, culminating in the appearance of novel solutions that are not part of the animal’s normal repertoire.»)

Интеллект включает в себя
• Ассоциативное обучение;
• Формирование памяти;
• Поведенческую гибкость;
• Инновационность;
• Абстрактное мышление и формирование абстрактных понятий;
• Способность к глубокому пониманию объектов или явлений (insight).
Авторы собрали множество исследований по разным параметрам мозга и прошлись по ним последовательно, оценивая на предмет связи каждого из параметров с уровнем развития интеллекта.
Размер: мозг лошади больше, чем мозг попугая, но попугай лучше справляется с тестами на интеллект и демонстрирует более сложное поведение.
Размер относительно массы тела? Если посмотреть на всех животных, для которых есть такие измерения, получается, что размер мозга тем больше, чем больше тело, но относительный размер мозга больше у мелких животных. Мозг землеройки составляет 10% от массы её тела, а мозг человека – 2%.
Даже если посмотреть, насколько мозг животного отличается от среднего в его группе (группа здесь – это, например, «приматы» или «грызуны»), выходит, что дельфины и капуцины должны быть умнее горилл, а это не так.
Вот число нейронов, особенно в тех зонах мозга, которые отвечают за контроль, планирование и прочие когнитивные функции – у людей это лобные доли, – выглядит весомым фактором. Только их сложно посчитать: разные исследовательские группы используют разные методы, и разброс оценок для человека составляет от 10 млрд. до 22 млрд. клеток. Более устойчивые оценки, которые удаётся воспроизвести, – примерно 15 млрд.
Количество нейронов, которые умещаются в мозгу и отдельных её областях зависит от толщины коры больших полушарий и строения самих клеток и тканей, окружающих эти клетки. У слонов и лошадей, например, кора тоненькая, а у шимпанзе она очень толстая, и плотность упаковки нейронов там выше, чем у людей. Поэтому размер мозга у человека примерно в три раза больше, чем у шимпанзе, а нейронов в коре больших полушарий в два раза больше. Наступают на пятки, можно сказать.
Число связей между нейронами тоже важно, но здесь с оценками совсем беда. Для человека насчитывают от 1 000 до 30 000 связей в среднем у одного нейрона – учёные пока не договорились. Почему это важно? Нейроны ближе и связей больше – меньше расстояние, которое проходит информация от одного нейрона к другому. Соответственно, мозг «лучше соображает».
На скорость передачи информации влияет кое-что ещё, а именно миелиновая оболочка. Это такой изоляционный слой, который окутывает аксоны – отростки нейрона, передающие информацию соседям. Толще оболочка – выше скорость передачи информации. У обезьян, включая людей, эта оболочка самая плотная среди млекопитающих, а вот у китообразных и слонов она намного тоньше.

Такие дела

*Картинка сгенерирована с использованием ChatGPT

Много раз мы с вами здесь говорили о том, что настройка ИИ на человеческие предпочтения – дело сложное: у всех свои предпочтения, и заранее не угадаешь.

Авторы статьи «Goal Inference from Open-Ended Dialog» предлагают обучать ИИ на предпочтениях пользователя в процессе взаимодействия.

Это не принципиально новый подход: ИИ уже обучается в процессе работы, но, как правило, в рамках одной узко поставленной задачи, и его навыки плохо распространяются на новые задачи. На более широкий спектр задач ИИ обучают перед запуском в работу, и это надёжный подход, но очень затратный.

Авторы нацелились избавиться от ограничений: сделать так, чтобы ИИ обучался «на лету» и при этом приобретал навыки, полезные для решения разнообразных задач.

Рассмотрим их подход и к слову поговорим об особенностях диагностики редких заболеваний

Накопала статью аж 2016 года, которая называется «Social Learning and Distributed Hypothesis Testing» («Социальное обучение и распределённое тестирование гипотез»). На первый взгляд, это что-то из социологии, но на деле работа существенно шире – и это очень интересно. Пошли разбираться

Зайдёшь на пару минут глянуть новости – минус вера в человечество. Мы что, правда такие дикие? Или это в Интернете обитают исключительные троглодиты, которые ненавидят всё живое?

Или это особенности распространения информации?

Если вы не сегодня начали читать мой канал, то уже что-то заподозрили. Если сегодня, то сейчас тоже всё поймёте.

На тему передачи информации написано много работ, но я сегодня выбрала статью 2022 года «From Storytelling to Facebook. Content Biases When Retelling or Sharing a Story». Там изложено два больших эксперимента, каждый более чем на тысячу человек, и мы кратко их обсудим.

Вообще множество исследований говорит о том, что информация, которая вызывает страх или негативные эмоции в целом, распространяется эффективнее. Когда люди передают устно или письменно большие объёмы информации, именно негативная информация и информация о потенциальных угрозах сохраняется в памяти лучше и передаётся дальше. Некоторые исследователи полагают, что это было важно для нашего выживания: если ты забыл, где нашёл вкусный корнеплод, ты просто не получишь вкусный корнеплод. Но если ты забыл, где видел тигра, то всё. Никакой передачи генов следующему поколению. Кто забыл про тигра, вымер, и теперь все мы немного нервные.

На мой взгляд, здесь два практических вывода:
1) Стоит помнить, что информация в соцсетях и новостных сводках искажена. Даже если никто не хочет вами напрямую злостно манипулировать, у негативной информации больше шансов до вас добраться.
2) На людях, которые передают информацию, лежит ответственность за форму подачи. Да, мы все люди и у нас у всех мозг слегка перекошен в сторону «о Боже, всё пропало», но мы всегда можем остановиться, свериться с первоисточником и спросить себя: «Я пересказываю то, что случилось, или то, что сочла важным моя параноидально настроенная внутренняя обезьяна?»

Меня тут принакрыло осенью

Плохо отскребаюсь от кровати, с трудом принимаю человекообразное состояние. Когда моргаю, каждый раз рискую заснуть. Полчаса ходила по квартире с носком в руке, не могла вспомнить где я, кто я и что собиралась делать

Если кто ждёт от меня интеллектуальной деятельности, простите

В связи с блокировками (или попытками блокировок) всего и вся у нас в России я часто наблюдаю сравнения нашего Интернета с китайским. И здесь есть разные мнения: одни говорят, что скоро будет как в Китае со списком разрешённых приложений и полной блокировкой от внешнего мира, другие – что в России всё развивалось по-другому с самого начала, поэтому как в Китае не получится.

Тем временем, я учу китайский язык и моя преподавательница китаянка. Несколько занятий мы проводили в период, когда она уехала в Китай, а я сидела в Москве – и ничего, провели. Для этого понадобилось скачать приложение VooV, которое до степени смешения напоминает приложение Zoom, но тем не менее.

Так что мне стало интересно узнать, что же это за великий и ужасный такой Китайский Интернет, каковы наши шансы угодить во что-то подобное и что по этому поводу делать. Потому что китайские товарищи там много чего придумали, грех не поучиться.

Оговорюсь, что я не спец по Китаю, Интернету и блокировкам. Но я своего рода спец по информации, и я хочу к ней доступ. Я буквально питаюсь информацией и не могу выживать в условиях, когда её становится мало.

Чтобы собрать побольше информации, я изучила следующие типы источников:
- Инструкции для туристов;
- Публикации научных изданий;
- Форумы, на которых люди спрашивают друг у друга, что работает и как это настроить.

Я здесь намеренно не привожу публикации Human Rights Watch и других организаций, занимающих выраженную позицию против любой цензуры. Во-первых, стараюсь избегать ЗАПОДного взгляда на не-ЗАПОДную страну и ситуацию в ней. Во-вторых, я сама придерживаюсь мнения о том, что цензура вредит развитию общества, поэтому линза, через которую я воспринимаю информацию, искажена. И я стараюсь с этим бороться.

Свои мысли по поводу ограничений в Интернете я напишу отдельно в формате эссе.

Сегодня хочу представить вам точку зрения человека, который говорит: "С сегодняшними технологиями мы не получим искусственный сврхинтеллект".
На мой взгляд, у него много сильных аргументов. Ну и мимоходом посмотрим ещё один интересный инструмент для генерации картинок, видео и музыки, давно не было таких постов

#инструменты

Странненькую статью хотите?
Статья странненькая, но пост получился интересный в итоге

Когда ИИ превзойдёт человека и превзойдёт ли, никто не знает. Кто говорит к 2040 году, кто говорит, что вот прям щас, в следующем году. А кто считает, что никакого превосходства ИИ не будет ни в каком обозримом будущем. Мы с вами совсем недавно вот обсуждали статью про то, что у современных языковых моделей есть непреодолимые ограничения, которые не позволят с ними достичь искусственноинтеллектуального превосходства.

Короче говоря, никто ничего не знает про сверхумный ИИ: нет ни определения, ни критериев достижения, ни консенсуса. Но сегодня нас беспокоит не это. Сегодня я хочу завести любимую шарманку и пообсуждать сопровождающие развитие ИИ этические соображения.

Может или не может ИИ превзойти человека, увидим мы это или нет, обсуждение вопросов этики в любом случае важно. Крупные компании говорят про этот превосходящий ИИ и готовы вкладывать в него деньги, и уже сам этот факт влияет на кучу вещей от рынка труда до загрязнения воздуха.

Естественно, в области этики тоже нет никакого консенсуса. Но мы порассуждаем. Позадаём вопросы.

Очень удачно я вписалась на эти выходные в хакатон технико-юридической направленности. Мы там будем обсуждать такие вопросы как «Кто несёт ответственность за ошибки ИИ?», «Как судиться с большими компаниями, которые прикрывают свои ошибки дисклеймерами в стиле “Наш ИИ может ошибаться, мы вас предупредили”?» и «Как быть, если модель сделала что-то вредное, но это сложно доказать, потому что результат плохо воспроизводится?». В некотором роде вот готовлюсь.
После этого хакатона у меня будут ещё мысли. Как только они настоятся положенное время и кристаллизуются в связный текст, я поделюсь ими в формате #эссе

Современные языковые модели могут неплохо решать задачи, если им сначала дать пару примеров. Интересно, какая там внутри математика?
Разбираемся в сегодняшнем посте

✨Я тут расписала себе план постов аж по начало февраля, и ещё куча тем осталась в загашниках. Много нас ждёт, скажу я вам: и мозг, и погружение во внутренности генеративных нейросетей, и философские рассуждения — мне не терпится поделиться с вами всем тем, что у меня напланировано.

Ещё мой марафон хакатонов подходит к концу. Если я во что-нибудь ещё не влезу (а тут без гарантий, сами понимаете), даже на ютуб вернусь. Там тоже ой как есть что обсудить✨

Обожаю хакатоны, потому что это всегда возможность узнать много нового в очень сжатые сроки. Потом, конечно, хорошо бы отоспаться, но это попозже. А пока давайте вернёмся к ИИ-агентам и посмотрим, что в этой области есть интересного.

Мы ранее обсуждали ансамблевые алгоритмы[1] в целом и архитектуру «ансамбль экспертов»[2]. Если коротко, ансамбль – это такая конфигурация, в которой все компоненты (например, языковые модели) работают независимо, а потом результаты их работы как-то комбинируются (например, усредняются), чтобы получился конечный результат.
Ну и очень логично попробовать применить этот подход к ИИ-агентам, не правда ли? Так поступили авторы статьи «Mixture-of-Agents Enhances Large Language Model Capabilities»[3], которую мы сегодня разберём

[1] Пост про ансамблевые алгоритмы
[2] Пост про ансамбль экспертов
[3] Ссылка на сегодняшнюю статью

Раз уж мы коснулись механизмов внимания в трансформерах, давайте теперь поговорим о механизмах внимания у нас с вами, как раз интересную статью нашла, даже две

Воскресное #эссе

А завтра будет видео про классный инструмент для изучения связанных с ИИ рисков 😏

Полезные #инструменты для анализа рисков ИИ: актуальные исследования, существующая судебная практика.
Видео доступно на youtube и дзене

Как-то обсуждали мы тут, что математика – сложная штука. Для языковых моделей. Даже простая совсем арифметика простая для нас, а для них – вовсе нет. Но мы не говорили, как языковые модели можно всё-таки математике обучить.

Можно, например, научить их использовать инструменты, и они будут вызывать калькулятор каждый раз, когда нужно будет что-то посчитать. А можно провести специальный раунд обучения, и как раз этот вариант нам сегодня предстоит разобрать применительно к маленьким трансформерам. Маленькими конкретно сегодня будем считать модели от 10.6 до 124 млн. параметров. Для сравнения, у больших трансформеров может быть от 1 трлн. параметров.

Статья называется «Teaching Arithmetic to Small Transformers». Она весьма объёмная, и здесь я изложу только то, что мне самой покажется интересным. За подробностями ныряйте в первоисточник.
Авторы не используют никаких дополнительных инструментов, только текст, только хардкор. Для обучения используется четыре формата (примеры на скриншоте):

• Простой формат (plain): A1A2A3 + B1B2B3 = C1C2C3;
• Обратный порядок (reverse): ответ написан задом наперёд, в начале и в конце добавлены дополнительные символы, которые говорят: «Вот это – арифметическая операция». Да, ответ неверный, но здесь смысл в том, чтобы считать в правильном порядке – с единиц;
• С дополнительной информацией в простом варианте (simplified scratchpad): есть слагаемые и ответ плюс кратко описанный процесс вычислений. Начинается вычисление с последней цифры, C на скриншоте – это число следующего порядка. То есть, строка «A -> 5, C-> 1» означает «сложили 8 и 7, пишем 5, 1 в уме». Как при сложении столбиком;
• С дополнительной информацией в расширенном варианте (detailed scratchpad): весь тот же процесс расписан максимально подробно.

Мне понравилось, что авторы пишут в разделе 4 (стр.7): «Как мы вскоре выясним, обучение сложению может быть не таким уж простым процессом, как можно было бы подумать».
Сложно поспорить: обучить модель считать, не представляя ей цифр – задача со звёздочкой. А здесь мы не представляем цифр, все входы-выходы – текст. Это как мысленный эксперимент «Китайская комната». Мы его обсуждали в посте про определение «сильного ИИ»: вы не знаете китайского, вам дают набор иероглифов и инструкции к ним (что с чем складывать). Потом вам пишут на китайском вопросы, а вы составляете ответы, опираясь на инструкции, которые не дают вам никакого представления о смысле иероглифов и не переводят их.
Этот эксперимент никому не понравился.
Простой формат ожидаемо не сработал. Обратный порядок неожиданно сработал, когда модели дали очень большое число таких примеров. Помните статью Anthropic про биологию больших языковых моделей? Там описано, что языковые модели считают через матрицы приближенных значений так, как человеку не пришло бы в голову вообще. Авторы той статьи и нашей сегодняшней смотрят на процесс с разных точек зрения и в разных разрезах. Однако и те, и другие говорят, что модели запоминают результаты сложения цифр и дальше просто подставляют нужные значения. Так что, теоретически, примеры в обратном порядке как раз полезны, потому что показывают, начиная с какой позиции подставлять.
Пояснения помогают моделям учиться лучше: чем больше информации, тем меньше нужно примеров для достижения стопроцентной точности. Очень полезно давать детальное описание процесса.
Если обучить модель сначала складывать двузначные числа, а потом трёхзначные, она с высокой вероятностью разучится работать с первыми. Это тоже лечится добавлением подробных инструкций.
Сложение, вычитание и умножение можно удобно представить в формате пошаговых инструкций, а вот с такими функциями, как извлечение квадратного корня будут сложности; авторы статьи попытались.

В общем, эта работа интересна с точки зрения того, чтобы на простых для человека примерах посмотреть, как происходит обучение, и лучше понять встроенные ограничения языковых моделей. Но для реальной жизни лучше просто научить модели пользоваться калькулятором: это и надёжнее, и дешевле

Если одна модель плохо решает вашу задачу, вам просто нужно больше моделей.
Так, во всяком случае, решили авторы статьи «More Agents Is All You Need». Давайте посмотрим, какие у них аргументы.
Подход классический для ансамблевых алгоритмов: есть много моделей, каждая из которых на одни и те же входные данные генерирует свой результат. Затем выбирается тот из них, который был предложен наибольшим числом моделей.

На скриншоте схема из статьи, перевод мой.
Авторы ссылаются на более ранние работы, которые предлагают более сложные подходы к повышению качества работы языковых моделей. Они утверждают, что сравнимого качества можно достичь проще – увеличивая число моделей, – а потом доработать за счёт более сложных подходов вроде дробления большой задачи на более мелкие и рассуждений шаг за шагом.
В качестве аргументов авторы далее приводят серию экспериментов на разных наборах данных, где их ансамблевый подход улучшает качество ответов. К их чести, они приводят как значимые результаты, так и совсем небольшие. И приводят пределы, по достижении которых их подход перестаёт работать: по мере повышения сложности задач моделям нужно всё больше рассуждений, чтобы получить ответ, и всё доступное контекстное окно (то есть, максимум текста, который они могут выдать) заполняется, не доходя до ответа.
В целом, ансамблевый подход правда не лишён смысла и много где показал свою эффективность: мы обсуждали и «традиционные» алгоритмы, такие как случайный лес, и ансамбли экспертов, и другие, более сложно устроенные ансамбли языковых моделей. Так что идея годная.
Но я бы не сказала, что «больше агентов – всё, что вам нужно». Во-первых, это дорого. Во-вторых, как авторы сами и показали, у такого масштабирования есть пределы.
На мой взгляд, увеличивать число моделей полезно до тех пор, пока каждая выполняет конкретную задачу, у которой есть результат. А дальше – усложнять архитектуру, добавлять дополнительные проверки и прочие вещи.
Особенно этот вопрос актуален при работе с небольшими трансформерами до 20–30 млрд параметров. Они существенно дешевле за счёт того, что их можно запускать локально на компьютере и не платить за использование арендованного сервера. Но они существенно хуже справляются со сложными задачами, чем трансформеры большего размера.
Я тут как раз работаю над сложной задачей, и разрыв в качестве между «большими» (условная GPT-5) и «маленькими» (gpt-oss:20b) меня глубоко печалит. Так что ищу способы прокачивать эффективность маленьких трансформеров. Ансамбли – один из вариантов. Он увеличивает мои счета за электроэнергию, но в итоге выходит всё равно дешевле, чем платить за большие модели.
Тут у меня несколько неструктурированное рассуждение получается, потому что я сама пока в раздумьях и экспериментах. Но, глядишь, и выйдет что из этой всей истории.

Свой код авторы выложили в открытый доступ, но он выглядит заброшенным: там с прошлого года нет никаких обновлений