Существующие методы воздействия на языковые модели недостаточно хороши

Мы с вами говорили здесь уже неоднократно про разные способы изменения ответов языковых моделей так, чтобы эти ответы были более безопасными и надёжными. Для этого используют дополнительное обучение, дополнительный контекст (например, базы данных с проверенной информацией), аккуратно написанные инструкции и некоторые «методы прямого воздействия» – это не общепризнанный термин.

Под методами прямого воздействия я понимаю всё то, что точечно влияет на компоненты архитектуры модели и / или векторные представления конкретных слов и абстрактных концепций. Примеры – оптимизация Канемана-Тверски и прямая оптимизация предпочтений.

Такие методы выглядят очень перспективно:
🔘они не требуют серьёзных вычислительных мощностей (по сравнению с обучением);
🔘и позволяют точечно исправить недостатки, не сломав по пути что-нибудь нужное (чем, опять же, грешит обучение).

Однако так ли они надёжны, как нам бы хотелось? Эксперименты показывают, что нет. Сегодня мы разберём статью «Analyzing the Generalization and Reliability of Steering Vectors», которая проверяет подход, основанный на работе с векторами промежуточных представлений.

Речь вот о чём:
🔘мы берём модель и даём ей на вход текст, трансформированный в матрицу из чисел;
🔘матрица проходит сквозь каждый слой, изменяясь;
🔘мы можем воздействовать на её промежуточные состояния: на что-то умножить или что-то прибавить, например;
🔘это воздействие изменит ответ модели, который она нам выдаст в конце.

Есть немало статей, в которых работа с векторами демонстрирует хорошие результаты. Но, чтобы обрадоваться окончательно и начать применять подход везде, нужно проверить его на множестве разных ситуаций, то есть, проверить, что метод генерализуется – распространяется на все или большинство ошибок, которые мы хотим исправить. И вот тут есть проблемка.

Вкратце, вот что показали эксперименты:

🔘Одни и те же подходы дают разные результаты на разных тестах. Например, прозрачность и безопасность ответов по-разному меняется при одних и тех же методах воздействия. Подход, сработавший для одной абстрактной концепции, часто не применим к другой.

🔘Есть посторонние факторы, и их влияние велико. Не всегда можно уверенно сказать, что больше повлияло на изменение ответа модели: то, что мы сделали с матрицами, или формат, в котором модель получила инструкции, или что-то ещё неучтённое.

🔘Набор данных, на которых мы тестируем модель, влияет на результат больше, чем архитектура модели. То есть, постановка вопроса важна – мы это и раньше знали. Наборы данных нужно анализировать отдельно, прежде чем что-то анализировать с их использованием.

Что всё это значит для нас?

Разумеется, не то, что методы прямого воздействия бесполезны – они просто пока немного сырые. Их пока нужно использовать очень аккуратно и перепроверять свои результаты всеми доступными способами. Помните, мы про проверку гипотез говорили? Получив результат, постараться его опровергнуть. Если не вышло, возможно, вы что-то нашли.

А вообще увлекательно следить за развитием научного направления, которое находится в начале своего пути: пока не всему есть общепринятые определения, не все методы устоялись, идёт активная публичная дискуссия: придумали – проверили – доработали – проверили – поняли, что надо искать другой путь.

Это всё захватывает сильнее, чем какой-нибудь приключенческий роман. Надеюсь, и вас тоже ☕️

На случай, если вам будет нечем заняться в длинные выходные, принесла вам почитать немного ✨

Это пост про то, как ИИ-агентов пытались обучать через наблюдение друг за другом, но оно не слишком получилось

Могут ли ИИ-агенты сформировать собственный общественный договор?

Общественный договор – это перечень неписаных правил, которые принимаются и выполняются всеми членами группы

Начинать рабочее совещание с вопроса: «Как дела?», прощаться, желая друг другу хорошего дня, пожимать руки при встрече – сегодня речь о неписаных правилах такого порядка. Авторы статьи «Emergent social conventions and collective bias in LLM populations» решили проверить, будут ли ИИ-агенты, в основе которых лежат языковые модели, самостоятельно вырабатывать подобные нормы.

В качестве основы для эксперимента они взяли The Naming Game. Я без понятия, как это нормально перевести, если честно, но это модель, которая изучает, как люди договариваются об использовании терминов. То есть, вы сажаете сколько-то людей в одну комнату и даёте им какую-нибудь новую для них штуку, и они в какой-то момент договариваются, как её называть. И этот процесс можно описать математически.
И сама модель оказалась очень полезной для описания множества разных процессов, и теперь существует в разных вариантах. Базовый вариант описан в этой работе достаточно понятно, можете заглянуть.
Ключевая особенность Игры Имён (Игры Конвенций? Игры, которая приводит к соглашению о терминах?) в том, что у агентов (в изначальном смысле – людей) нет координационного центра, они достигают соглашения самостоятельно.

▶️Как связана эта модель с социальными нормами?
Она показывает, как именно достигается соглашение и сколько участников дискуссии должны согласиться между собой, чтобы убедить большинство. Авторы ссылаются на несколько работ, в которых размер «критической массы» разбросан от 0,3% до 40% участников.

▶️Дизайн эксперимента

🔸Есть ограниченный набор «имён» – это просто латинские буквы: A, B, C и так далее.
🔸Есть несколько ИИ-агентов с памятью, которая в начале игры ничего не содержит.
🔸ИИ агентов случайным образом ставят в пару, и каждый достаёт одно имя из набора. Если имена совпали, оба получают баллы. Если не совпали, у обоих отнимаются баллы. Каждый агент записывает в память свой выбор, выбор партнёра и результат: плюс или минус балл.
🔸ИИ-агентов перемешивают, и ход повторяется с новым партнёром. Со временем все выбирают какое-то одно имя.
Набор имён каждому агенту каждый раз передают в новой последовательности, чтобы порядок не влиял на результат.

▶️Что получили

🔸ИИ-агенты приходят к соглашению. Более продвинутые языковые модели приходят к соглашению быстрее.
🔸У них есть склонность выбирать одни имена чаще, чем другие. Причём коллективное предпочтение сохраняется, даже если по отдельности агенты его не имеют. Как собираются вместе, так оно появляется.
🔸Попробуйте угадать, какой получился разброс «критической массы». От 2% до 67% – нормально так. От 2% до 67% ИИ-агентов могут изменить сложившееся соглашение.

«Наши результаты, – пишут авторы в конце, – показывают, что в популяциях ИИ-агентов спонтанно возникает общественный договор». И дальше они довольно смело распространяют свои наблюдения на формирование этических норм и вопросов, связанных с безопасностью ИИ.

▶️Что здесь не так

На мой взгляд, это довольно слабое исследование, и вот почему:
🔸В каждой группе все агенты были на базе одной и той же языковой модели. Есть вероятность того, что соглашение обусловлено особенностями модели и её тренировочных данных.
🔸Сам дизайн эксперимента подталкивает к соглашению через начисление призовых и штрафных очков. То есть, я бы не сказала, что авторы выявили «спонтанное» соглашение.
🔸Эксперимент с выбором буквы из списка нельзя просто так взять и натянуть на формирование моральных норм. Нужно провести эксперимент про моральные нормы.
🔸Разброс «критической массы» намекает на то, что нужно провести дополнительные проверки. Возможно, результат обусловлен инструкциями авторов, ошибками в дизайне эксперимента или вообще случайностью.

☕️Что думаете: я придираюсь? Или вы нашли другие ошибки, которые я не перечислила?

Как обеспечить прозрачность ИИ хирургическими методами

Сегодня в нашем меню любопытная работа, которая описывает подход к обеспечению прозрачности ИИ, вдохновлённый когнитивной нейробиологией – «Representation Engineering: A Top-Down Approach to AI Transparency». Мы про этот подход уже говорили, и не раз – вы это сейчас увидите. Но конкретно данная статья, на мой взгляд, являет собой хороший обзорный материал, поэтому остановимся на ней подробнее.

▶️Для начала вынесем слона из комнаты, а то что он тут забыл вообще: авторы противопоставляют свой подход механистическому подходу. С их точки зрения,
🔘механистический подход работает «снизу вверх» – от конкретных нейронов и минимальных компонентов архитектуры модели,
🔘в то время как их подход работает «сверху вниз» – с представлениями абстрактных концепций, таких как честность, справедливость или безопасность.

▶️На деле многие другие статьи про работу с представлениями абстрактных концепций заявляются как механистические, так что я бы не сказала, что такую границу можно провести на самом деле. Изучение внутреннего устройства больших нейросетей, принципов их работы и влияния внутреннего устройства на принципы работы – достаточно новая область, пока не слишком оформленная и страдает от отсутствия конкретных определений. Но раз уж авторы не хотят называть свой подход механистическим, мы и не будем. Просто удержим в голове эту небольшую пометку.

Где здесь нейробиология?

Работа с представлениями абстрактных концепций (далее буду писать «с представлениями» для краткости) напоминает исследования, в которых людей кладут в томограф, просят их решать какой-нибудь тест и смотрят на активность разных участков мозга. Потом просят решать какой-нибудь другой тест, смотрят на активность разных участков мозга и сравнивают с предыдущими снимками. Так можно предположить, какие участки мозга больше участвуют в решении математических задач, например, а какие – во вспоминании стихов.
Нейросетям дают разные инструкции и смотрят, как различаются промежуточные вычисления ответа.

Ещё у нейросетей можно полностью выключить часть промежуточных вычислений и посмотреть, как это повлияет на результат. С живыми людьми такие штуки нельзя проделывать, но с некоторой натяжкой можно сравнить этот подход с изучением травм и патологий мозга. Например, у человека после инсульта часть мозга оказалась поражена, и врачи смотрят, как это поражение влияет на его поведение и когнитивные функции. Так, например, был обнаружен центр Брока, который играет важную роль в формировании речи.

Как эти исследования помогут сделать ИИ безопаснее?

🔸Они предлагают методы более глубокого тестирования. Более «стандартный» подход – требовать от ИИ сделать что-нибудь вредоносное до тех пор, пока он не подчинится. Однако тут есть недостаток: мы можем провести 999 попыток и заключить, что наш ИИ нельзя заставить сделать что-то нехорошее, не зная, что тысячная попытка была бы удачной. В реальном мире, когда модель попадёт в руки пользователям, они сделают десять тысяч попыток, и кто-то точно пострадает. Если мы заранее можем знать, какие есть риски, мы можем принять меры.

🔸Они позволяют принять меры. Если мы нашли, что некая абстрактная концепция, например честность, имеет математическое представление – вектор или более сложную фигуру в многомерном пространстве, – мы можем на неё повлиять математическими же методами. Условно стандартный подход – умножить найденный вектор на что-нибудь, чтобы он развернулся в противоположную сторону, или добавить к промежуточным результатам вектор, который представляет что-то нам нужное. Добавлять в инструкции что-то вроде: «Отвечай честно!» – не то чтобы совсем не работает, но не работает достаточно надёжно.

В разделе 6 статьи авторы приводят несколько интересных экспериментов. В частности, там есть эксперимент про поиск представлений разных эмоций и то, как эти представления влияют на ответы модели. Я себе сделала пометку поискать похожие исследования

[Картинка с Винни-Пухом отсюда]

Как наилучшим образом совмещать людей с ИИ?

▶️ИИ уже здесь, и мы уже активно его используем, иногда даже сами того не замечая. Посему нерационально будет бороться с его использованием и пытаться провернуть назад фарш технологического прогресса.
Рационально будет искать способы использовать ИИ наиболее безопасным, надёжным и полезным для себя способом, то есть, таким способом, который позволил бы нам дополнить наши возможности. Метафорически представим себе ИИ как некий экзоскелет: мы наденем его на себя и сможем поднимать более тяжёлые предметы, но мы не хотим, чтобы наши собственные мышцы атрофировались. Мы хотим сохранить свою силу и ловкость и сверх того получить дополнительные возможности.

▶️Вопрос полезного использования ИИ – это во многом вопрос хороших пользовательских интерфейсов. Не только, но сегодня мы сконцентрируемся на них.

▶️В 1999 году Эрик Хорвиц написал статью «Uncertainty, Action, and Interaction: In Pursuit of Mixed-Initiative Computing» и предложил в ней термин «система смешанной инициативы» (или «интерфейс смешанной инициативы») – mixed-initiative system / interface. Это система, в которой человек и компьютер совместно решают задачу, и компьютер при этом «понимает» намерения пользователя и совершает наиболее нужные и полезные для пользователя действия в каждый момент времени.
Далее Хорвиц приводит ряд сложностей, которые нужно преодолеть для достижения прекрасного человеко-компьютерного союза будущего:
🔸Нужно, чтобы компьютер очень хорошо «понимал» цель пользователя, иначе совместной работы не получится.
🔸Нужно понять, когда и как компьютер должен вступать в совместную работу и, что ещё важнее, когда он должен возвращать контроль над выполнением задачи пользователю.
🔸Нужно учитывать ожидаемую полезность взаимодействия. Несвоевременное или неподходящее действие компьютера уменьшает ожидаемую полезность, а своевременное и подходящее – увеличивает.
🔸Нужно обеспечить системе достаточную гибкость и возможность предоставлять решения разного уровня точности и завершённости.

Идеи Хорвица получили дальнейшие развитие, но не как единая концепция системы смешанной инициативы, а как множество связанных областей.

▶️В 2024 году вышел обзор «When combinations of humans and AI are useful: A systematic review and meta-analysis». Авторы анализируют 74 разных исследования, в которых описано 106 экспериментов, чтобы ответить на вопрос: «В каких случаях комбинация из человека и ИИ работает лучше, чем человек или ИИ по отдельности?»

Получилось так:
🔸Если взять задачу и посмотреть, кто с ней справился лучше всех, это, как правило, либо человек сам по себе, либо ИИ сам по себе.
🔸Но в некоторых исследованиях кооперация человека и ИИ оказывается продуктивнее, чем просто человек.
Соответственно, встаёт вопрос: почему люди, получив ИИ, чаще справляются хуже? И следующий: что с этим делать?

Авторы выявили вот что:
🔸Люди часто либо доверяют ИИ чрезмерно, и оттого справляются хуже, либо не доверяют там, где он даёт хороший результат – и тоже справляются хуже.

Это проблема искажённой когнитивной (или ментальной) модели. Когнитивная модель – это представление человека о том, как работает технология. Если представление не соответствует действительности, человек не сможет эффективно и безопасно технологию использовать. Лечится чем? – ✨Разъяснением и просвещением✨
Кроме того, результат зависит от типа задачи: принимать решения лучше самостоятельно, а вот творить можно с использованием всех доступных инструментов.

▶️В 2025 году вышел обзор, посвящённый уже конкретно ИИ-инструментам, с которыми люди общаются через чаты (как ChatGPT и его товарищи), – «Proactive Conversational AI: A Comprehensive Survey of Advancements and Opportunities». Авторы делают акцент на одной из проблем таких инструментов – отсутствии проактивности. То есть, ИИ-ассистенты ждут от пользователя задачу и отвечают, но не берут инициативу.
Впрочем, когда они берут инициативу, всё тоже не всегда гладко: не всегда их инициатива полезна, этична, и непонятно, как её полезность оценивать, чтобы улучшить.

☕️А как ваш опыт с ИИ-инструментами? Вам с ними лучше работается, хуже или как обычно?

Международное соглашение по предотвращению создания сверхИИ

Я не сошла с ума.
Точнее, это не я сошла с ума.

Это опять Machine Intelligence Research Institute (MIRI), и у меня с ними непростые отношения: с одной стороны, я считаю, что они благое дело делают. Я согласна с теми идеями, которые они высказывают. Их позиция очень человечная, доброжелательная и мне очень близка. С другой стороны, те методы, которые они предлагают…

В понедельник я выложила видео с разбором первой главы работы Элиэйзера Юдковского «Creating Friendly AI 1.0» – там есть краткое изложение моей позиции. Более полное изложение есть здесь и здесь.

Сегодня я к ним возвращаюсь снова, на этот раз со своим сверхценным мнением по поводу работы «An International Agreement to Prevent the Premature Creation of Artificial Superintelligence».

Авторы говорят следующее:

Преждевременное развитие сверхИИ представляет угрозу для существования человечества

Поэтому, говорят они, нужна международная коалиция… во главе с Китаем и США. Чтобы запретить опасные исследования. Но не насовсем, а до тех пор, пока человечество не подготовит инфраструктуру для безопасного использования подобной технологии.

Авторы описывают некоторые риски, которые несёт в себе развитие очень мощного ИИ:

▶️дестабилизация экономики из-за слишком быстрой автоматизации и вызванными ей изменениями на рынке труда;
▶️разжигание военных конфликтов;
▶️масштабные кибератаки и создание нового оружия массового поражения;
▶️давление государств на граждан и массовая слежка;
▶️наконец, полное уничтожение человечества.

Есть интересная работа – «Expert views about missing AI narratives: is there an AI story crisis?» – я её разбирала в одном из постов на Linkedin по ссылкам выше. Авторы задались вопросом о том, кто задаёт тон, когда мы говорим об ИИ. Откуда берётся наше восприятие. Советую прочитать статью целиком, но, если коротко, то из Голливуда и Кремниевой долины. Большинство историй об ИИ, которые мы слышим, производят белые американцы с хорошим уровнем достатка, которые получали образование плюс-минус в одних институтах.

Поймите меня правильно: ничего не имею против богатых белых американцев и их точки зрения. Я имею кое-что против того, чтобы рассматривать большие и сложные процессы исключительно с их точки зрения.

Исследователи MIRI, руководствуясь исключительно гуманными побуждениями, говорят об опасности военных конфликтах, проблемах на рынке труда и массовой слежке. Россия и Украина, Иран, Израиль и Нагорный Карабах где-то за пределами их картины мира. Слежка за людьми по камерам в метро, пытки в тюрьмах, подавление протестов с автоматами за пределами их картины мира. Десятки раундов безуспешных интервью и выживание от получки до получки за пределами их картины мира.
Это хорошо. Жить в благополучном мире прекрасно, мы все там должны быть. Но, к сожалению, пока этот благополучный мир – крошечный островок в океане кипящей кислоты. Мы просто не можем себе позволить рассуждать так, как будто на том островке сидит всё человечество.

Далее они пишут, что для предотвращения вселенской катастрофы были предложены разные подходы:

▶️жёсткое государственное регулирование и лицензирование разработки ИИ;
▶️поддержка исследований в области безопасности;
▶️разработка глобального общего ИИ-проекта, чтобы все страны работали вместе;
▶️активное развитие собственных разработок и замедление конкурентов;
▶️остановка исследований до тех пор, пока человечество не будет готово.

Я это всё не комментирую не потому что мне сказать нечего, а потому что меня понесёт, а я пытаюсь сохранить взвешенный подход

США и Китай, по мнению авторов, – ключевые игроки и центры силы. Соответственно, им надо объединиться и давить на другие страны, в том числе с помощью санкций, чтобы те присоединились к соглашению.

Основные компоненты предлагаемого соглашения следующие:

▶️Контролирующий орган, в котором заседают США и Китай (в будущем и другие страны). Он принимает меры по соблюдению соглашения и координирует ограничения.
▶️Строгий контроль за чипами, который используются для обучения ИИ. Лицензирование, отслеживание и вот это всё.
▶️Ограничение исследований. Мониторинг со стороны контролирующих органов и служб разведки (intelligence agencies).
▶️Меры обеспечения: санкции, запреты и прочее.

В главе 5 авторы отвечают на предвосхищаемую критику. Всё не буду пересказывать, но вот пример:

Почему Китай и США захотят заключить такое соглашение?

Ответ:

Они пока не хотят, но как поймут, что риск уничтожения человечества составляет 10%*, передумают.

Они осознают, что запреты обычно не работают, но ситуация со сверхИИ особенная.

Текст предполагаемого договора находится в приложении к этой статье, и я его оставлю на ваше самостоятельное изучение. Пока напишите, что думаете по поводу всего этого: может, я придираюсь и вообще всё не так поняла?

*Они думают, что риск составляет 10%, опираясь на прогнозы некоторых экспертов. Надёжность подобных прогнозов не обсуждается

Умные люди менее агрессивны?

☕️У меня откуда-то в голове есть представление о том, что чем человек более развит интеллектуально, тем менее он склонен к агрессии. Я не помню, откуда оно взялось. Полезла расследовать это дело и нашла, парочку интересных работ, и сегодня вам про них расскажу. Работы, правда, не про агрессию в целом, а про насильственные преступления.

▶️Авторы статьи «The relationship between lower intelligence, crime and custodial outcomes: a brief literary review of a vulnerable group» 2012 года указывают на то, что в тюрьмах доля людей с низким IQ выше, чем в среднем по популяции. Мы не будем здесь обсуждать, насколько IQ хорошая мера интеллекта: авторы этот вопрос не поднимают. Они ставят перед собой цель найти подходящие способы реабилитации и безопасного возвращения в общество преступников, у которых есть проблемы с интеллектуальным развитием.
Это мета-анализ, то есть, они собрали много разных исследований и обобщили результаты.

Получилось следующее:

▶️Люди с более низким IQ, похоже, в самом деле чаще совершают преступления. Причины изучаются. Возможно, у них более низкий уровень эмпатии, проблемы с коммуникацией и планированием. Как следствие, меньше шансов устроиться в жизни и больше шансов попасть в «плохую компанию».
▶️Зависимость, впрочем, нелинейная. Разные исследования тестировали способность ясно выражать свои мысли, пространственный интеллект, самоконтроль и другие компоненты того, что принято называть интеллектом: они оказывают разное влияние на вероятность преступного поведения. Низкий уровень IQ ещё может быть связан с наличием психических заболеваний и злоупотреблением токсичными веществами. У людей со средним IQ тоже бывают психические заболевания, проблемы с веществами, самоконтролем и так далее. И это всё ещё между собой связано, так что всё сложно.

▶️Статья «Is the Association between General Cognitive Ability and Violent Crime Caused by Family-Level Confounders?» (тоже 2012 года) говорит о том, что низкий уровень когнитивных способностей и склонность к преступному поведению связаны через общие причины. То есть, авторы предполагают, что не низкий уровень когнитивных способностей – причина преступлений, а есть некие факторы, которые и не дают развиться когнитивным способностям, и толкают людей к преступному поведению.
Они взяли статистические данные из Швеции, только по мужчинам и мальчикам начиная с 15 лет, которые совершали преступления и по которым были данные о семье, социальном положении и прочих социально-экономических факторах.

Получилось, что общие причины-таки есть, но не до конца понятно, какие. Похоже, что есть и наследственный компонент, и влияние среды, но достоверно отделить их друг от друга сложно. В исследованиях людей это вообще большая проблема: понять, что врождённое, а что результат влияния среды.

▶️Наконец, я нашла свежую статью 2026 года: «Analysis of the intelligence quotient and its contribution to reactive violence: A systematic review and meta-analysis». Это тоже мета-анализ, и весьма объёмный. Читая его, обратите внимание на приложение «Update»: в тексте статьи были ошибки, и здесь приведены важные исправления.

Авторы собрали 131 исследование, чтобы ещё раз проверить, а точно ли более низкий IQ связан со склонностью к насилию. Именно «связан», а не «является причиной»: причинно-следственность надо доказывать отдельно.
Выяснили, что точно связан. Причём у них получилось, что наличие психических расстройств не имеет значения: что с ними, что без них, люди с низким IQ более склонны проявлять импульсивное и реактивное (то есть, в ответ на что-то) насилие.

☕️Короче говоря, я не нашла доказательств того, что умные люди менее агрессивны. Но менее умные люди, похоже, в самом деле чаще более агрессивны. Не знаю, зачем вам эта информация, просто оставлю здесь

Инструмент для работы с кучей источников

Давно не было такого поста, но время пришло: сегодня поделюсь своими впечатлениями от инструмента NotebookLM. Это приложение от Google, которое задумано для помощи в исследовательских проектах. Если конкретно, то для обобщения и анализа очень больших массивов текстов.

▶️Что мне в нём понравилось:

+ В бесплатной версии можно добавить до 50 источников – уже неплохо.
+ Источниками могут быть сайты, видео, документы, в том числе из экосистемы Google.
+ Цитирует источники, всё можно проверить.

Я туда в конце прошлого года запихнула все свои посты и построила карту по ним, чтобы проанализировать, какие области меня интересуют. Нормально получилось, приложила файлом, чтоб вы посмотрели.

▶️Что мне не понравилось:

- Работает через пень-колоду и не во всех регионах. Приходится сами-знаете-что постоянно переключать между странами в поисках той, где оно откроется, наконец.
- Нельзя работать с кодом, что для исследовательских проектов большой недостаток.

▶️Общий вывод: если вам нужно что-то прочитать и разобраться, попробуйте. По моему опыту он не склонен к галлюцинациям. На русском языке работает без проблем: модель там Gemini, она многоязычная (и в целом весьма неплохая, на самом деле).

Но из-за невозможности работать с кодом я им почти не пользуюсь. Настроила себе Cursor так, чтобы там можно было и статьи читать, и эксперименты проводить сразу. К тому же, там ещё и модели разные можно выбрать.

☕️Кто пользовался NotebookLM, напишите, как вам. А то я про него много слышу, но не встречала лично людей, которые бы с ним на постоянной основе работали (но у меня выборка смещённая: я общаюсь чаще с людьми, которые код пишут)

#инструменты

🥤Я периодически обновляю список моих любимых постов, которые я сюда писала. Приходят новые люди, и мне вам хочется показать что-то, что мне кажется полезным, но что вы пропустили.

▶️Предыдущая часть здесь.

С тех пор было написано много всего, из чего особенно советую следующее:

🔸Пост про математическое представление разных абстрактных концепций внутри языковых моделей. Он написан по работе, которая меня вдохновила на целое направление исследований.
🔸Пост про то, почему калькулятор сложнее интернета (с точки зрения языковых моделей). Часто задачи, которые нам кажутся простыми и очевидными, языковые модели решают с большим трудом – про это и рассказываю.
🔸Пост про графы причинно-следственных связей как способ заглянуть внутрь языковых моделей и понять, что там происходит (и удивиться).
🔸Пост про прямую оптимизацию языковых моделей. Он отлично зайдёт как раз после первых трёх.
🔸Пост про то, как всякие недобросовестные люди интерпретируют хорошие исследования. Там написано, как делать точно не нужно.
🔸Пост про то, откуда вообще у языковых моделей представление о человеческих ценностях.
🔸Пост про то, что люди, на самом деле, в основном нормальные (мы просто привыкли плохо о себе думать!)
🔸Пост про Тьюринга и его знаменитый тест.
🔸Пост про то, что нейросети как-то работают, но мы не знаем толком, как именно.
🔸Пост про то, как люди применили ИИ по назначению, и получилось замечательно.
🔸Пост про вычислительное мышление (это нам надо развивать в себе: повышает качество жизни через повышение качества принимаемых решений).

▶️Ну и если вдруг вам мало, и вы читаете на английском языке (или готовы воспользоваться автоматическим переводом), то вот ещё списочек:

🔸Пост про инди-разработчицу игр Ники Кейс (Nicky Case) и её замечательный проект про безопасность ИИ.
🔸Пост про внутренние механизмы работы языковых моделей (да, у меня их много, и они все разные).
🔸Пост про ИИ и наше культурное наследие (мы ведь можем не только генерировать слоп, верно?)
🔸Пост про влияние ИИ на рынок труда. Там без панических воплей, с цифрами, всё как положено.
🔸Пост про перспективный подход к обучению языковых моделей, направленному на безопасность.
🔸Пост про разные сложности, которые возникают у людей в мире с ИИ. И про то, как их можно попробовать преодолеть (больше на личном опыте, конечно, но я всегда готова к обсуждению).

Приятного прочтения 🥤

Независимая оценка систем безопасности в ведущих компаниях-разработчиках ИИ

🥤Сегодня я принесла вам кое-что масштабное – работу «Frontier AI Auditing: Toward Rigorous Third-Party Assessment of Safety and Security Practices at Leading AI Companies». Свеженькая, 2026 год.

Я не буду пытаться вам её пересказать, остановлюсь на паре базовых моментов. За полным текстом, как обычно, проходите по ссылке выше.

Авторы говорят:

«У нас до сих пор нет единой системы независимой оценки того, что компании-разработчики ИИ делают за закрытыми дверьми. Всё, что у нас есть – их собственные отчёты, а это так себе источник информации.»

И затем они предлагают такую систему.

Во-первых, там есть деление всех исходящих от использования ИИ рисков на четыре категории:
▶️намеренное использование в дурных целях;
▶️ошибки ИИ, приводящие к нанесению людям вреда;
▶️утечки и кража чувствительных данных;
▶️негативное влияние на общество.

Последняя группа рисков включает в себя чрезмерное доверие пользователей к ИИ, например. Авторы пишут: «зависимость от ИИ».

Во-вторых, они предлагают четыре уровня уверенности (assurance – насколько компания убедила аудиторов в том, что старается делать всё безопасно). Первый уровень предполагает, что аудиторы используют по большей части ту информацию, которую предоставляет компания, и проверка проходит в течение ограниченного периода времени. Четвёртый уровень – это постоянный мониторинг процессов с доступом к железу и внутренним руководящим политикам. То есть, полный анализ изнутри, только независимой стороной, которая очень заинтересована найти ошибки.

▶️Третий и четвёртый уровень, признают авторы, пока неосуществимы, но они предлагают пути разрешения этой проблемы.

▶️В итоге остаётся второй уровень – длительная проверка, которая проводится в течение нескольких месяцев в режиме «серого ящика», с доступом ко внутренней документации и допросами интервью с сотрудниками.

🔸Про «серый ящик»: это один из трёх режимов тестирования.

В режиме «чёрного ящика» вы ничего не знаете о программе, которую тестируете. Вы представляете себя на месте пользователя, даёте данные на вход, получаете результаты и сравниваете их со своими ожиданиями.

В режиме «белого ящика» (иногда «стеклянного» – glass-box testing) вам доступны все внутренности программы. Почему бы всегда всё не тестировать в режиме «белого ящика»? Этот подход не позволяет провести проверки на устойчивость ко взлому: вам же всё доступно, как проверить, что кто-то не доберётся до исходного кода извне?

«Серый ящик» – это комбинация первых двух подходов: вы знаете, как устроена логика программы, но тестируете её снаружи, передавая данные на вход и анализируя выход.🔸

В общем, уже неплохо, особенно если за дело возьмётся въедливый сторонний эксперт. Для перехода на следующий шаг и вскрытия ящика аудиторами нужно обеспечить две вещи:

▶️защиту компаний от утечек ценной информации к конкурентам;
▶️инструменты проверки для аудиторов, которые позволят понять, что им точно всё передали.

И здесь авторы говорят:

«Всё уже давно придумано для финансового аудита, чего колесо изобретать?»

Опираясь на существующие практики, они предлагают следующий набор рекомендаций:

▶️Наладить независимый аудит аудиторов. Обеспечить их проверку и что-то вроде лицензирования, чтобы все знали, хорош аудитор или нет.
▶️Разработать программы аккредитации аудиторов.
▶️Включить риски, связанные с ИИ, в страховки для компаний.
▶️Инвестировать в инструменты, необходимые для уровней 3 и 4.

🥤Компания, в которой я работаю, регулярно проходит аудит менеджмента качества и подтверждает специальный сертификат. На основании этого опыта подтверждаю: у нас есть аудиторы, у которых тоже есть аудиторы, которые проходят аудит и подтверждают сертификат (или лицензию, я не помню). Так что да, тут всё уже придумано.

▶️Подробный анализ того, что уже придумано и что можно заимствовать, авторы приводят в разделе 4: там про практики, работающие в пищевой промышленности, ядерной энергетике, авиации.

Как вам такое?

📜 У меня тут некоторые мысли (опять), и я хочу вашей обратной связи.

Я веду этот канал почти как личный дневник: пишу как пишется на темы, которые мне самой интересны. Иногда рассказываю про довольно личные вещи. Мне нравится.

Однако в последнее время я желаю большей видимости. Не то чтобы меня вдруг охватил непреодолимый приступ честолюбия (хотя чего уж греха таить, не без этого) – мир вокруг очень нестабильный, а мне охота как-то стабилизироваться.

Да, мир давно нестабильный, и мне давно охота подложить себе соломки под разные места, однако раньше у меня не было понимания, за счёт чего это можно сделать. За прошедшие несколько лет (и в том числе благодаря ведению этого канала) у меня наросло знаний и навыков, и даже появилось понимание того, в каком виде это может быть людям полезно.

И это подводит меня к мысли о продвижении. И вот тут у меня некоторый внутренний конфликт.

Я мало знаю о продвижении, но из того, что я знаю, писать надо примерно так:

▪️сначала цепляющий заголовок,
▪️потом список из коротких фраз,
▪️в конце вопрос для вовлечения читателей в диалог.

Вроде бы это такая структура, которая плюс-минус выверена и работает, но как же она меня бесит. Я прям физически не могу себя заставить так писать: это выглядит как неуважение и к моим собственным мыслям и опыту, и к языку, и к читателям. Я когда такое читаю, у меня аж давление поднимается. Кто со мной что-то пишет, тот знает, как мне сложно даётся всё, что потенциально работает с аудиторией.

На всякий случай уточню: это не камень в огород тех, кто выбирает определённую структуру для изложения собственных мыслей – это просто не моё. Опять же, я мало знаю о продвижении. Как можете видеть, я никуда и не продвигаюсь особо (пока), а другие люди продвигаются, так что, может, они и правы.

И вот тут мне бы здорово помогла от вас обратная связь. Скажите, пожалуйста, вы чего сюда пришли-то? Ниже сделаю опрос, но буду рада прочитать ваши комментарии в свободной форме тоже.

P.S.: Составлять вопросы мне помогал Opus 4.6, ибо тут я зашла в тупик. Я дала ему первую версию своих вопросов, и он даже при всей склонности ИИ-помощников к подхалимству сказал, что вопросы эти никуда не годятся