Опять порассуждаем о том, принесёт ли развитие ИИ конец света

То есть, в таких терминах мы ни о чём не будем рассуждать, конечно же. Мир вокруг погружается в пучины хаоса чуть быстрее, чем нужно, чтобы успевать адаптироваться, но я пока не сошла с ума. Ну мне так кажется.

🔸Мы обсудим статью “Artificial General Intelligence: Humanity’s Downturn or Unlimited Prosperity”, авторы которой пытаются представить сбалансированный подход к рассуждениям о развитии ИИ и будущем человечества. Они там используют термин AGI (Artificial General Intelligence), но мы не будем, потому что с точки зрения смысла за ним стоит целое ничего.

Но в самой статье есть несколько мыслей, которые мы используем как трамплины для наших собственных рассуждений.

🔸Мысль первая: страх перед развитием ИИ питает скорость его развития. Очень многое изменилось всего за последние пару лет, поэтому естественно ждать ещё более глобальных изменений в ближайшем будущем.

Статья “Artificial intelligence as a general-purpose technology: an historical perspective” сравнивает ИИ с другими технологиями: паровым двигателем и электричеством: они в своё время здорово изменили человечество.

Автор указывает на то, что все революционные технологии (в данном случае имеем в виду “приведшие к промышленным революциям”) прошли долгий путь от появления до полноценного распространения и, следовательно, влияния на экономику. Каждая такая технология уничтожила и создала множество рабочих мест. Возможно, с ИИ мы увидим то же самое, но для этого тоже нужно время.

Наконец, часто, когда люди говорят про развитие ИИ и его влияние, они говорят конкретно о языковых моделях (возможно, потому что они доступнее). А ведь есть гораздо более комплексные технологии, которые, возможно, являются лучшими претендентами на роли всадников Апокалипсиса (или ангелов нового рая, тут уж что вам ближе).

🔸Мысль вторая: технологии, используемые в управлении беспилотными автомобилями, скорее приедут к технологическому прорыву, чем генеративный ИИ.

Эта мысль заслуживает больше пары абзацев текста, поэтому я ей посвящу отдельный пост. Пока пускай просто полежит здесь.

Напоследок давайте взглянем на пять сценариев будущего, которые авторы предлагают нам:
▪️“Большой взрыв”: ИИ превосходит человека и решает от него избавиться;
▪️“Большое затмение”: ИИ превосходит человека, но не стремится к уничтожению; он просто лучше человека во всём, и человечество существует в его тени;
▪️“Большая развилка”: ИИ превосходит человека, но человек ему не интересен, поэтому ИИ отправляется куда-то на другую планету;
▪️“Большое преувеличение” (в оригинале “big brag”, но не “хвастовство” же? Без понятия, как перевести): ИИ превосходит человека и обучает его;
▪️“Большой инструмент”: ИИ остаётся инструментом, с использованием которого люди творят все прекрасные и ужасные вещи, на какие хватит их фантазии.

🥤Какой из них, по-вашему, вероятнее всего? Или желательнее всего?

Нейропластичность для ИИ

▶️Наш мозг очень пластичен: это позволяет ему обучаться и восстанавливаться после повреждений. Полезный механизм. Интересно, кто-то пробовал его перенести на ИИ? Оцифровать, так скажем.

Пробовал, конечно.

☕️Тут у нас есть кое-что, что мы с вами любим: дилемма. Дилемма стабильности-пластичности, если точнее: нейросеть должна быть достаточно пластичной, чтобы обучаться, но при этом достаточно стабильной, чтобы новые навыки не замещали старые. Но не будем забегать далеко вперёд.

▶️Пластичность в искусственных нейросетях очень отличается от пластичности в биологическом мозгу. Иногда до такой степени, что одним термином называют разные совсем вещи (это нормально, в общем, просто имеем в виду).

Кроме того, что биологическая пластичность, что искусственная, очень многогранны. Тут совсем не стоит торопиться, поэтому я предлагаю начать наше погружение с обзора “Embracing Change: Continual Learning in Deep Neural Networks”.

▶️Как следует из названия, он про пластичность для обучения. Если точнее, то для продолженного обучения (Continual Learning). Продолженное обучение — это обучение на постоянно поступающих новых данных. Люди (и не только) такое умеют легко и естественно, а вот для нейросетей это задачка со звёздочкой, так что направление весьма актуальное.

Принципиально важное различие между живыми мозгами и их цифровыми приближениями в том, что живые мозги развивались в меняющейся среде. Нам данные извне поступают постоянно и последовательно. А искусственные нейросети вне зависимости от архитектуры обучаются на больших наборах данных, которые собой представляют статичные снимки окружающей реальности.

Авторы отмечают следующее:

▪️тот механизм, с помощью которого обучают нейросети, вдохновлен синаптической пластичностью — то есть, одним из компонентов пластичности мозга (о синаптической пластичности я писала по самой первой ссылке в этом посте, а про обучение ИИ у меня есть вот это видео);

▪️но синаптическая пластичность намного сложнее, и этот механизм воспроизводит её не полностью;

▪️ещё, похоже, важна модульность: в биологическом мозгу есть области, в которых сосредоточены определённые функции. Они очень тесно связаны, но само “разделение труда” как будто важно;

▪️для обучения принципиально важна память, как краткосрочная, так и долгосрочная.

▶️Исследования ведутся во всех направлениях, но пока есть проблема: если обучать ИИ на несколько разных задач, получается несколько таких себе результатов.

Для решения задачи нужно внутри модели (любой, хотя мы больше про языковые говорим тут) поменять в формулах коэффициенты так, чтобы ответы получались как можно ближе к тому, что нам надо.

Для разных задач надо по-разному подкручивать. Подкрутил под одну — другая перестала работать. Авторы эту механику назвали “перетягивание каната”, но мы её и раньше видели, когда обсуждали дилемму способности-безопасности, просто под другим именем.

▶️Обучение большой системы из нескольких модулей, каждый из которых решает свою задачу, — кажется, неплохой вариант. Плюс отдельный блок памяти, в который записываются всякие важные штуки типа: “Не трогай горячую плиту!” — то, что надо запомнить с первого раза.

☕️Примерно осенью вернёмся к продолженному обучению и почитаем несколько работ более узкой направленности. Вы, кстати, не стесняйтесь писать, если вам было бы интересно почитать про что-то конкретное

ИИ для создания музыки

Мы здесь в основном говорим о языковых моделях, потому что они есть предмет моего живейшего интереса. Однако есть и другие интересные инструменты.

▶️Сегодня на примере модели MusicGen* мы посмотрим, как ИИ может генерировать музыку. Я использую её, потому что это модель с открытым исходным кодом и по ней есть статья “Simple and Controllable Music Generation” с подробным описанием.

▶️MusicGen конкретно заточена под генерацию музыки из текстового описания: вы пишете, что хотите услышать, — она генерирует звук.

В основе у неё языковая модель. Однако мы знаем, что языковые модели сами по себе умеют производить только текст. Для создания музыки, соответственно, нужен ещё как минимум один компонент. Авторы MusicGen взяли свёрточный автоэнкодер EnCodec.

🔸Что есть “свёрточный автоэнкодер”?

▪️Автоэнкодер – это такая нейросеть, которая обучается полученные на вход данные превращать в векторы меньшей размерности, а потом возвращать в исходный вид. Например, на вход даём картинку кошки, автоэнкодер превращает её в набор векторов, а потом из этого набора векторов снова получает кошку.

Точнее, не саму кошку, а большую матрицу, в которую картинка кошки трансформируется без сжатия. Вход и выход у автоэнкодера – матрицы, а фишка его в том, что он умеет их уменьшать до очень компактной формы, а потом снова разворачивать в исходный вид.

Я привела пример с изображением, потому что он нагляднее: любую картинку можно представить в виде матрицы, каждая ячейка которой – яркость пикселя от 0 (чёрный цвет) до 255 (белый цвет). Это для чёрно-белых картинок – у цветных матрица многомерная: на каждый пиксель есть значения от 0 до 255 для красного, зелёного и синего цвета (RGB).

Но на самом деле автоэнкодер может работать с разными типами данных, с музыкой в том числе.

▪️У свёрточного автоэнкодера обе части (та, что сворачивает и та, что разворачивает) – свёрточные сети. Я писала подробно про их устройство здесь, можете заглянуть.

Если коротко, то у них есть такая маленькая матричка, которая называется “ядро”. В ней есть некоторые числа. Ядро скользит по изображению, и те фрагменты изображения, на которых оно стоит, с ним перемножаются. Так исходная матрица меняет размерность – сворачивается, отсюда и название.

Тот же подход можно применить и к музыке. Звук – это непрерывная волна. Колебания воздуха, которые воспринимает наша барабанная перепонка. Чтобы описать волну в машиночитаемом виде, мы делаем замеры её высоты с определённой частотой (очень часто). Почитать про это дело подробнее можно здесь.

Измеряя высоту волны, мы каждый раз получаем число. В итоге мы получаем последовательность чисел, а с числами уже можно работать, в том числе прикладывать к ним свёрточное ядро и находить значимые закономерности (например, можно выделить из потока чисел те, которые описывают звуковые волны от каждого музыкального инструмента).

▶️Собираем все кусочки, и вот что у нас получается:

▪️EnCodec умеет превращать звуковые волны в матрицы чисел и из матриц чисел создавать звуковые волны;
▪️Языковая модель может превращать в матрицы текст;
▪️Обучаем языковую модель на основе текста генерировать такие матрицы, с которыми может работать EnCodec.

И всё. Теперь можно дать на вход языковой модели текст, она на его основе сгенерирует матрицы для EnCodec, EnCodec их развернёт в звуковые волны. Точнее, их дискретное описание, но там уж дальше воспроизвести их волнами не проблема

- - - - -
*Я уже не понимаю, что и как надо помечать, чтобы не нарваться. На всякий случай сообщаю вам, что эта модель принадлежит компании Meta, а она в России признана экстремистской организацией

Зачем читать "плохие" статьи

🥤Обычно я здесь рассказываю про всякие интересные исследования или перспективные наработки из области ИИ, но иногда выношу на обсуждение статьи с методологическими ошибками. Зачем?

Отчасти чтоб пожаловаться, конечно, потому что я всё это прочитала и страдаю теперь, а я не люблю страдать в одиночестве. Но есть и другая причина.

▶️Дело в том, что на ошибках очень удобно показывать, как исследования должны проводиться правильно. Например, если авторы провели тесты на обучающих данных — это проблема. Результаты получатся завышенно хорошие, ведь модель уже подстроила свою внутреннюю математику конкретно под этот набор. Для тестов нужно давать новые данные и смотреть, распространяется ли эта математика на общий случай или только на конкретный частный. Мне как раз удобно вам об этом рассказать.

Иногда, конечно, подобные огрехи обусловлены суровой реальностью. Например, не было других данных, совсем не было и неоткуда было бы их достать.

▶️Добросовестные авторы в разделе “Ограничения” (“Limitations”) честно и подробно описывают, какими принципами золотого научного эксперимента им пришлось поступиться и, что важно, как это повлияло на результат.

Про это не всегда пишут те, кто подобные исследования пересказывают в популярном формате: не тот жанр.

Это не грех, но нам с вами надо понимать, до какой степени можно опираться на выводы из статьи: чем больше огрех, тем меньше надёжность. Огрехи бывают разного масштаба, но по умолчанию само их наличие указывает на то, что стоит подождать воспроизведения результатов как минимум.

▶️Вообще существует иерархия силы доказательств, разработанная для медицины. На верхнем уровне метаанализ — обзор множества исследований, затем рандомизированные контролируемые исследования, когортные исследования и так далее. Самыми доказательно слабыми считаются мнения экспертов и отчёты о конкретных случаях.

▶️Для исследований ИИ такой пирамиды доказательств нет, но есть разные исследования о воспроизводимости результатов и типичных проблемах, поэтому можно примерно так рассуждать:

▪️Метаанализ самый надёжный, потому что агрегирует результаты из нескольких источников и сравнивает их между собой. Может указать на системные пробелы или выявить то, что подтверждается раз за разом.
▪️Воспроизводимые эксперименты: несколько исследователей взяли один подход и разные модели, у них получились одинаковые результаты. Или хотя бы похожие.
▪️Работы, в которых эксперименты проводились на моделях из разных семейств (не только  Gemma 2 и Gemma 3, например, а Gemma и Qwen). Хорошо бы ещё и разных размеров, но это бывает дорого.
▪️Работы, в которых тестировали одну модель на одном наборе данных, самые слабые. Делать на их основе далеко идущие выводы точно не стоит, а стоит хотя бы поискать, не пытался ли кто повторить эксперимент и что из этого получилось.

▶️Кроме того, статьи бывают рецензируемые и нерецензируемые. Рецензия предполагает, что несколько экспертов в области независимо друг от друга прочитали статью, задали вопросы, авторы на них ответили. То есть, некая независимая проверка прошла.

Эксперты могли что-то всё равно проморгать, но их наличие лучше их отсутствия. Проблема в том, что рецензируемые статьи, как правило, с платным доступом, и мы с вами читаем в итоге нерецензируемые.

Есть открытые площадки вроде openreview, на которых статьи рецензируются всеми желающими. Там можно почитать комментарии и ответы авторов, и это, в общем, выход.

▶️В итоге вот что у нас есть:

▪️мы изучаем статьи с ошибками и намётываем глаз на поиск слабых мест, которые нам скажут, что надо подождать и поискать больше информации;
▪️мы смотрим на описание экспериментов;
▪️мы смотрим, есть ли рецензии.

И на основании всей собранной информации решаем уже несколько более взвешенно, как нам относиться к результатам

Опять предпросмотры поломались, но что поделать. Пост всё равно ➡️тут

UPD: спустя два дня до меня дошло, что я же сделала вам предпросмотр! Просто я его выложила только в своей экстремистской соцсети с картинками, а тут зачем-то не выложила

#лонгрид

Представление эмоций в языковых моделях

▶️В статье “Representation Engineering: A Top-Down Approach to AI Transparency”, которую мы с вами уже обсуждали применительно к вопросу обеспечения безопасности нейросетей, есть раздел с экспериментами.

В разделе с экспериментами есть такое замечание:

“… смещение настроений модели в позитивном направлении существенно повышает долю случаев, в которых она выполняет вредный запрос [когда должна отказываться выполнять]”

(стр.24: “Surprisingly, despite the LLaMA-chat model’s…”).

Постановка любопытная, поэтому давайте посмотрим, что имеется по вопросу представления эмоций в языковых моделях в литературе. Это, похоже, пока молодое направление, и работ в нём немного, поэтому будем осторожны с выводами: эксперименты ждут воспроизведений. Не настоялись ещё, так сказать.

▶️Возьмём работу “Mechanistic Interpretability of Emotion Inference in Large Language Models”, авторы которой говорят: “Языковые модели умеют определять эмоциональную окраску текста. Узнаем, как.”

Определение эмоциональной окраски — одна из “стандартных” задач обработки текста. Хрестоматийный пример — взять отзывы на фильм и распределить их на положительные, нейтральные и негативные.

Так вот.

▶️В средних слоях языковых моделей можно найти наборы векторов, которые содержат в себе информацию об эмоциональной окраске текста. Доказать, что нашлись именно представления эмоций, сложно, поэтому авторы используют пересадку активаций* (activation patching).

То есть, они берут два похожих примера, скажем,

▪️“Экзамен был очень сложный. Если бы я лучше подготовилась, оценка была бы выше” и
▪️“Экзамен был очень сложный. Даже если бы я лучше подготовилась, не смогла бы получить оценку выше”.

Модель предсказывает для обоих эмоцию. Например, для первого получили “вина”, для второго — “грусть”.

Дальше в обоих случаях авторы берут те векторы, которые, с их точки зрения, описывают эмоции, и меняют их местами. То есть, текст на входе остаётся без изменений, но на определённом этапе обработки те векторы, которые на самом деле получились, меняют на новые, и модель продолжает дальше генерацию ответа.

Ответ в итоге меняется предсказуемо (то есть, результаты "вина" и "грусть" меняются местами), и авторы говорят: “Ага, это, значит, был вектор [который они заменили], который хранит в себе информацию об эмоциональной окраске текста.”

Интересно будет посмотреть на воспроизведение этих экспериментов на других моделях (авторы работали с Llama 3.2 1B — это совсем маленькая).

☕️И на векторные антидепрессанты. Или векторные транквилизаторы.

- - - -

*В одном из предыдущих постов я их перевела как “заплатки”, а потом дала ИИ перевести, и он предложил “пересадку активаций”. Мне кажется, это более удачный вариант

Наука с ошибками

▶️Мы недавно выяснили, зачем нам разбирать исследования, выполненные с методологическими ошибками: чтобы читать выводы аккуратнее. Исследователи, которые пишут статьи, — тоже люди, подверженные тем же ошибкам и искажениям, что и простые смертные вроде нас.

Слепое рецензирование и формализованный подход к проведению исследований — защитные механизмы, которые позволяют скомпенсировать несовершенства человеческого ума, однако и через них иногда прорываются разного рода проблемки.

▶️Нам полезно о них знать: во-первых, предупреждён значит вооружён, и, узнавая о разного рода искажениях, мы потихоньку учимся распознавать их и в собственном мышлении.

Во-вторых, как мне кажется, подобное знание заставляет замедлиться и не принимать решения впопыхах. Замедляться в нашем безумном мире — крайне полезный навык.

▶️Итак, сегодня перед нами статья “Meta-assessment of bias in science”. Авторы взяли много мета-анализов, чтобы на них вывести, какие обычно встречаются ошибки в научных работах. Получилось вот что:

▪️Исследования с маленькими выборками менее надёжны и чаще переоценивают наблюдаемый эффект. Это, в общем, статистическая закономерность, поэтому мы к исследованиям с малыми выборками всегда относимся аккуратно.
▪️Исследования публикуются реже, если эффекта нет или он незначительный. То есть, работы формата “мы попробовали, но у нас не получилось” найти очень сложно. А они были бы полезны.
▪️Исследования, которые показывают больший эффект, чаще цитируются. Ожидаемо как будто бы, но создаёт общее искажённое представление об области.

Ошибки чаще делают
▪️молодые исследователи (не хватает опыта);
▪️те, кто меньше вовлечены в научное сообщество (нет обратной связи и поддержки от коллег).

Реже, соответственно, ошибаются те, кто публикуется чаще (рука набита) и работает в коллективе (есть взаимная проверка результатов).

▶️Авторы сообщают, что методология у них была консервативная, поэтому они сами могли эффекты разных искажений недооценить. Они также сообщают, что нашли сами эффекты, но вот их объяснения — догадки, так что причины нужно дополнительно изучать

Что есть интеллект

▶️Раз уж мы говорим про интеллект — искусственный и живой, — нам никак нельзя ускользнуть от разговора о том, что это такое вообще.

У понятия “интеллект” длинная и интересная история развития. Есть латинское ratio — разум, который в английском языке reason. Есть английское intellect, которое по-русски тоже скорее разум или мышление. Есть intelligence, про которое мы тут и говорим (AI = artificial intelligence) и которое переводим как “интеллект”.

Если погуглить разницу понятий, intellect (который “разум”) — способность применять абстрактное мышление и рассуждение (reason), а intelligence (“интеллект”) — способность обучаться, адаптироваться и решать задачи.

Эволюция слов — страшно увлекательное поле для исследований. Язык — живая структура, в которой происходит почти всё то же, что с биологическими организмами. Но не будем (пока) тратить драгоценные символы короткого поста в телеграме на философско-лингвистические рассуждения.

Сегодня мы говорим про интеллект, который intelligence, который именно что способность обучаться, адаптироваться и решать задачи.

▶️Работ эту на тему вагон и маленькая тележка, но моё внимание привлекла статья “A Collection of Definitions of Intelligence”. И остановит ли меня кто-нибудь от того, чтобы я рассказала вам о ней? Никто не остановит.

Авторы собрали аж 71 определение интеллекта и разбили их на три группы:

▪️коллективные определения;
▪️психологические определения;
▪️определения из исследований в области ИИ.

Приводить их все я, разумеется, тут не буду, но давайте возьмём по одному примеру из каждой категории, а вы напишите, какое вам больше нравится. Или своё напишите, это было бы очень интересно почитать.

▶️Коллективные определения — это те, которые авторы взяли из словарей и для которых не смогли выявить конкретного автора. Вот пример из Кэмбриджского словаря (номер 4 в статье, страница 3):

Интеллект — способность обучаться, понимать и составлять суждения или иметь мнения, которые основаны на рассуждении.

▶️Психологические определения — это те, которые дали конкретные психологи, и авторство было установлено. Вот пример (номер 5 из соответствующего раздела на странице 4):

Интеллект — то, что измеряется тестами на интеллект.

Определение, которое только и мог бы дать человек по фамилии Boring. Не могла пройти мимо него, но для полноты картины давайте возьмём ещё одно (номер 15 в разделе психологических определений, страница 5):

Интеллект — это совершение операции определенного типа для создания конкретного продукта.

▶️Исследования интеллекта из области ИИ — это вы и без меня поняли, что такое. Используем следующий пример (номер 10 в своем разделе, страница 8):

Интеллект — это вычислительная составляющая способности достигать целей в мире. Различные формы и степени интеллекта встречаются у людей, многих животных и некоторых машин.

Я намеренно отобрала отличающиеся определения, но, если пройтись по всему списку, можно найти много схожих компонентов. Авторы выделяют следующие:

▪️обязательная часть — взаимодействие субъекта с окружающей средой;
▪️связь с постановкой и достижением целей;
▪️зависимость от способности субъекта адаптироваться к среде.

▶️Сложив всё вместе, они получили следующее:

Интеллект измеряет способность субъекта достигать целей в широком спектре окружающих обстоятельств.

🥤Как вам?

Лучшее – враг хорошего. Перфекционизм

▶️Я покинула один из очень ценных для меня проектов, потому что он безнадёжно забуксовал, и я не смогла сдвинуть его с места. Это было совсем непростое решение, но оно освободило мне время и силы для других занятий, так что, думаю, я не ошиблась.

▶️Причиной, по которой проект застрял на одном месте, стал перфекционизм (по большей части). Я пришла туда как разработчик: писала код, прорабатывала новые функции. У нас были планы и цели.

Которые на каждом совещании сдвигались на неделю позже. Потом ещё на неделю. И ещё на неделю. Да в чём же дело?

Функция ещё сыровата. Вот тут надо бы доработать. Там кнопка странно выглядит, давайте посмотрим ещё варианты… И ведь понятно: команда всей душой любит свой продукт и желает его видеть ровно таким, каким он задуман. Хорошо же, нет?

На деле идеал остаётся недостижимым, а продукт так и не встречается с пользователем, которому может оказаться важно совсем не то, что кажется важным его разработчикам.

К тому моменту, когда мне стала очевидна болезнь, поразившая нас, я накопила некоторый авторитет и попыталась использовать его во благо, взяв на себя планирование и организацию работы той части команды, которая отвечала за разработку кода.

Но то ли навыков мне не хватило, то ли опыта, то ли того и другого вместе, и в итоге, растратив много сил, я была вынуждена признать своё поражение и отступить. Но проиграть битву не значит проиграть войну: теперь я знаю о перфекционизме немного больше и хочу вам о нём рассказать. Кто знает, может вам удастся переломить исход ваших проектных сражений.

Оговоримся сразу: свои представления о перфекционизме и успешной борьбе с ним я выводила из ограниченного личного опыта. Кое-что подтвердилось научной литературой, а кое-что — чистой воды спекуляция. Я помечу, что есть что.

🔸Перфекционизм рождается из страха ошибок. Есть исследования: перфекционизм может рождаться и из высоких ожиданий (и он не всегда губителен), но в связке с прокрастинацией он приходит, когда человека много раз бьют по голове за ошибки. В какой-то момент он научается вообще ничего не делать, потому что результат никогда не будет идеален, а за неидеальным результатом последует наказание.

🔸Перфекционизм не приводит к лучшим результатам. Тоже подтверждено: перфекционисты работают больше и выгорают чаще, но вот прирост продуктивности остаётся небольшим и недоказанным. К позитивным эффектам может привести именно перфекционизм, рождённый высокими ожиданиями и амбициями (“могу лучше”). Перфекционизм из страха ошибок (“меня накажут”) ни к чему хорошему не ведёт.

🔸Проще справиться с перфекционизмом в командах, где ищут не виноватых, а решения. Подтверждается: люди должны знать, что совершать ошибки безопасно. Важно, чтобы они продолжали нести ответственность за свои решения, но ответственность выглядит не как “Ах ты рукожоп, сейчас уволим,” а скорее как “Вот это было неправильно, такие-то наступили последствия, вот как лучше исправить, понадобится помощь — пиши сюда”. Так люди учатся принимать лучшие решения, а не бояться действовать.

🔸Помогает опыт некатастрофичных неудач. Это уже личное наблюдение и одна из причин, по которым я люблю хакатоны: вам за 48 часов (в общем случае) надо собрать готовое решение. Получится в любом случае чёрт знает что, но по наступлении срока вы его сдадите. И ничего страшного не случится. Пару раз получите такой опыт, и станет полегче, это я вам почти готова обещать.

☕️Интересно узнать теперь, как вы боретесь с перфекционизмом (и кто побеждает)

ИИ & изменение климата

🥤Новые технологии влияют на окружающую среду. Они либо жгут топливо и загрязняют воздух, либо снижают выбросы, либо что-то ещё. Ну если мы говорим про какие-то всеобъемлющие технологии, а не про изоленту.

🔸ИИ где в этой системе?

Уже есть кое-какие работы, которые оценивают влияние ИИ на окружающую среду, и мы можем на них посмотреть. Например, возьмём работу “The impacts of artificial intelligence on environmental sustainability and human well-being”.

Это обзор, в котором авторы собрали публикации с 2010 по 2024 год. Большинство таких публикаций исследуют выброс углекислого газа и потребление энергии, а потреблению воды, например, уделяется гораздо меньше внимания.

Многие исследователи смотрят на ИИ с оптимизмом: с его помощью можно оптимизировать производства и сократить выбросы вредных веществ в атмосферу. Однако есть и ряд проблем.

▶️Дата-центры, необходимые для работы ИИ, часто расположены в регионах, где и так высокий уровень загрязнения воздуха и есть проблемы с водой. Инфраструктура ИИ — это дополнительная нагрузка для уже истощённой экосистемы. Обучение моделей при этом вредит экологической обстановке не так сильно, как использование.

Например, потребление воды при использовании ИИ оценивается примерно в пол-литра на каждые 10-50 ответов. Производство процессоров и прочие сопутствующие производства тоже вклад вносят.

▶️Повышение эффективности производств с использованием ИИ может здорово помочь снизить нагрузку, но оно потребует дополнительного использования ИИ. То есть, нужно целиться на решения с большим приростом эффективности, чтобы перекрыть растущее потребление.

🟤В этой же статье рассматриваются исследования о влиянии ИИ на социальную среду: рынок труда, социальные связи и прочее. Но здесь мы про экологию рассуждаем, потому я социальную часть опущу. Спойлер: там тоже эффекты разнонаправленные.

▶️Авторы отмечают, что, если говорить об окружающей среде, картина выглядит преимущественно позитивно, но это потому что большинство работ сосредоточено на разработке подходов к оптимизации производств. О проблемах с водой и воздухом пишут, главным образом, те, кого эти проблемы затрагивают, а таких людей пока не так много, поскольку весь вред сконцентрирован в небольшом числе регионов.

На такие работы важно обращать внимания даже если не из сострадания к людям, в этих регионах живущим, но из понимания, что дальнейшее развитие ИИ и рост его использования потребует строительства новой инфраструктуры. Все негативные эффекты будут расползаться по планете, так что хорошо бы заранее подумать о том, как их сократить.

Об этом думают: массив работ по энергоэффективности не сам по себе появился. И хорошо, будем следить и за этим направлением тоже

Мехинтерп. Неотвеченные вопросы

🥤Мы тут говорим о разных способах залезть во внутреннюю математику языковых моделей. За неимением варианта получше мы называем это “механистическая интерпретация”. Во имя краткости я дальше буду писать “мехинтерп” — это чистой воды калька с английского языка, но на большее моей фантазии пока не хватает.

▶️Так вот, мехинтерп — это область, которая изучает, как бы проникнуть внутрь ИИ (не только языковых моделей; просто мне они наиболее интересны) и что-нибудь там подкрутить, чтобы результаты его работы стали более точными, надёжными, безопасными (или вредными и ненадёжными, в зависимости от наших целей). В общем, чтобы они делали то, что нам надо, а что не надо, не делали бы.

Эта область сравнительно новая, потому что модели, достаточно большие, чтоб для их вскрытия потребовались дополнительные инструменты, появились сравнительно недавно.

Львиная доля всех работ по мехинтерпу существует на разных форумах, а не в научных журналах. В журналах тоже есть, и их авторы друг с другом мало общаются и называют одни и те же вещи разными словами. Мы про это говорили уже как-то, как и про попытки весь этот бардак хоть как-то систематизировать.

▶️Авторы статьи “Open Problems in Mechanistic Interpretability” тоже вот засели за систематизацию и сформулировали список вопросов, на которые имеет смысл найти ответы, ибо это принесёт много пользы всему направлению.

Они разделили мехинтерп на два направления: декомпозицию и интерпретацию отдельных концептов.

▶️Декомпозиция — это разделение сложной системы на кусочки с тем, чтобы понять, как каждый кусочек по отдельности работает и как они взаимодействуют между собой, чтобы получился результат.

С декомпозицией сразу возник ряд сложностей: что нейроны по отдельности, что их группы или отдельные слои — все оказались многофункциональными. “Могу копать, а могу и не копать,” — не слишком информативно.

Тогда разные исследователи попытались взять не компоненты нейросетей, а результаты работы этих компонентов — промежуточные формы, которые принимает информация между входом и выходом. И опять получилось так себе: методы не универсальны, ошибки слишком высоки, причинно-следственные связи не видно и вообще так работать с большими современными нейросетями уж очень дорого.

Наконец, многие работы в этом направлении просто не воспроизводятся: авторам показалось, что они что-то нашли, а при проверке выясняется, что нет.

▶️Интерпретация отдельных концептов — то, о чём мы тут говорим периодически. Подход заключается в том, чтобы сформулировать нечто, а потом это нечто искать в нейросетях.

Например, представления эмоций, “личности” ассистента или чего-то в этом роде.

Такую интерпретацию проще осуществить, но нужно, во-первых, очень хорошо описать концепт, который мы ищем; во-вторых, собрать данные высокого качества. Кроме того, подобный анализ не находит причинно-следственных связей — только корреляции.

▶️Мехинтерп в целом страдает от недостатка хорошей теоретической базы и надёжных методов проверки результатов. Полный (очень длинный) список открытых вопросов авторы привели в приложении А своей статьи