Как наилучшим образом совмещать людей с ИИ?

▶️ИИ уже здесь, и мы уже активно его используем, иногда даже сами того не замечая. Посему нерационально будет бороться с его использованием и пытаться провернуть назад фарш технологического прогресса.
Рационально будет искать способы использовать ИИ наиболее безопасным, надёжным и полезным для себя способом, то есть, таким способом, который позволил бы нам дополнить наши возможности. Метафорически представим себе ИИ как некий экзоскелет: мы наденем его на себя и сможем поднимать более тяжёлые предметы, но мы не хотим, чтобы наши собственные мышцы атрофировались. Мы хотим сохранить свою силу и ловкость и сверх того получить дополнительные возможности.

▶️Вопрос полезного использования ИИ – это во многом вопрос хороших пользовательских интерфейсов. Не только, но сегодня мы сконцентрируемся на них.

▶️В 1999 году Эрик Хорвиц написал статью «Uncertainty, Action, and Interaction: In Pursuit of Mixed-Initiative Computing» и предложил в ней термин «система смешанной инициативы» (или «интерфейс смешанной инициативы») – mixed-initiative system / interface. Это система, в которой человек и компьютер совместно решают задачу, и компьютер при этом «понимает» намерения пользователя и совершает наиболее нужные и полезные для пользователя действия в каждый момент времени.
Далее Хорвиц приводит ряд сложностей, которые нужно преодолеть для достижения прекрасного человеко-компьютерного союза будущего:
🔸Нужно, чтобы компьютер очень хорошо «понимал» цель пользователя, иначе совместной работы не получится.
🔸Нужно понять, когда и как компьютер должен вступать в совместную работу и, что ещё важнее, когда он должен возвращать контроль над выполнением задачи пользователю.
🔸Нужно учитывать ожидаемую полезность взаимодействия. Несвоевременное или неподходящее действие компьютера уменьшает ожидаемую полезность, а своевременное и подходящее – увеличивает.
🔸Нужно обеспечить системе достаточную гибкость и возможность предоставлять решения разного уровня точности и завершённости.

Идеи Хорвица получили дальнейшие развитие, но не как единая концепция системы смешанной инициативы, а как множество связанных областей.

▶️В 2024 году вышел обзор «When combinations of humans and AI are useful: A systematic review and meta-analysis». Авторы анализируют 74 разных исследования, в которых описано 106 экспериментов, чтобы ответить на вопрос: «В каких случаях комбинация из человека и ИИ работает лучше, чем человек или ИИ по отдельности?»

Получилось так:
🔸Если взять задачу и посмотреть, кто с ней справился лучше всех, это, как правило, либо человек сам по себе, либо ИИ сам по себе.
🔸Но в некоторых исследованиях кооперация человека и ИИ оказывается продуктивнее, чем просто человек.
Соответственно, встаёт вопрос: почему люди, получив ИИ, чаще справляются хуже? И следующий: что с этим делать?

Авторы выявили вот что:
🔸Люди часто либо доверяют ИИ чрезмерно, и оттого справляются хуже, либо не доверяют там, где он даёт хороший результат – и тоже справляются хуже.

Это проблема искажённой когнитивной (или ментальной) модели. Когнитивная модель – это представление человека о том, как работает технология. Если представление не соответствует действительности, человек не сможет эффективно и безопасно технологию использовать. Лечится чем? – ✨Разъяснением и просвещением✨
Кроме того, результат зависит от типа задачи: принимать решения лучше самостоятельно, а вот творить можно с использованием всех доступных инструментов.

▶️В 2025 году вышел обзор, посвящённый уже конкретно ИИ-инструментам, с которыми люди общаются через чаты (как ChatGPT и его товарищи), – «Proactive Conversational AI: A Comprehensive Survey of Advancements and Opportunities». Авторы делают акцент на одной из проблем таких инструментов – отсутствии проактивности. То есть, ИИ-ассистенты ждут от пользователя задачу и отвечают, но не берут инициативу.
Впрочем, когда они берут инициативу, всё тоже не всегда гладко: не всегда их инициатива полезна, этична, и непонятно, как её полезность оценивать, чтобы улучшить.

☕️А как ваш опыт с ИИ-инструментами? Вам с ними лучше работается, хуже или как обычно?

Международное соглашение по предотвращению создания сверхИИ

Я не сошла с ума.
Точнее, это не я сошла с ума.

Это опять Machine Intelligence Research Institute (MIRI), и у меня с ними непростые отношения: с одной стороны, я считаю, что они благое дело делают. Я согласна с теми идеями, которые они высказывают. Их позиция очень человечная, доброжелательная и мне очень близка. С другой стороны, те методы, которые они предлагают…

В понедельник я выложила видео с разбором первой главы работы Элиэйзера Юдковского «Creating Friendly AI 1.0» – там есть краткое изложение моей позиции. Более полное изложение есть здесь и здесь.

Сегодня я к ним возвращаюсь снова, на этот раз со своим сверхценным мнением по поводу работы «An International Agreement to Prevent the Premature Creation of Artificial Superintelligence».

Авторы говорят следующее:

Преждевременное развитие сверхИИ представляет угрозу для существования человечества

Поэтому, говорят они, нужна международная коалиция… во главе с Китаем и США. Чтобы запретить опасные исследования. Но не насовсем, а до тех пор, пока человечество не подготовит инфраструктуру для безопасного использования подобной технологии.

Авторы описывают некоторые риски, которые несёт в себе развитие очень мощного ИИ:

▶️дестабилизация экономики из-за слишком быстрой автоматизации и вызванными ей изменениями на рынке труда;
▶️разжигание военных конфликтов;
▶️масштабные кибератаки и создание нового оружия массового поражения;
▶️давление государств на граждан и массовая слежка;
▶️наконец, полное уничтожение человечества.

Есть интересная работа – «Expert views about missing AI narratives: is there an AI story crisis?» – я её разбирала в одном из постов на Linkedin по ссылкам выше. Авторы задались вопросом о том, кто задаёт тон, когда мы говорим об ИИ. Откуда берётся наше восприятие. Советую прочитать статью целиком, но, если коротко, то из Голливуда и Кремниевой долины. Большинство историй об ИИ, которые мы слышим, производят белые американцы с хорошим уровнем достатка, которые получали образование плюс-минус в одних институтах.

Поймите меня правильно: ничего не имею против богатых белых американцев и их точки зрения. Я имею кое-что против того, чтобы рассматривать большие и сложные процессы исключительно с их точки зрения.

Исследователи MIRI, руководствуясь исключительно гуманными побуждениями, говорят об опасности военных конфликтах, проблемах на рынке труда и массовой слежке. Россия и Украина, Иран, Израиль и Нагорный Карабах где-то за пределами их картины мира. Слежка за людьми по камерам в метро, пытки в тюрьмах, подавление протестов с автоматами за пределами их картины мира. Десятки раундов безуспешных интервью и выживание от получки до получки за пределами их картины мира.
Это хорошо. Жить в благополучном мире прекрасно, мы все там должны быть. Но, к сожалению, пока этот благополучный мир – крошечный островок в океане кипящей кислоты. Мы просто не можем себе позволить рассуждать так, как будто на том островке сидит всё человечество.

Далее они пишут, что для предотвращения вселенской катастрофы были предложены разные подходы:

▶️жёсткое государственное регулирование и лицензирование разработки ИИ;
▶️поддержка исследований в области безопасности;
▶️разработка глобального общего ИИ-проекта, чтобы все страны работали вместе;
▶️активное развитие собственных разработок и замедление конкурентов;
▶️остановка исследований до тех пор, пока человечество не будет готово.

Я это всё не комментирую не потому что мне сказать нечего, а потому что меня понесёт, а я пытаюсь сохранить взвешенный подход

США и Китай, по мнению авторов, – ключевые игроки и центры силы. Соответственно, им надо объединиться и давить на другие страны, в том числе с помощью санкций, чтобы те присоединились к соглашению.

Основные компоненты предлагаемого соглашения следующие:

▶️Контролирующий орган, в котором заседают США и Китай (в будущем и другие страны). Он принимает меры по соблюдению соглашения и координирует ограничения.
▶️Строгий контроль за чипами, который используются для обучения ИИ. Лицензирование, отслеживание и вот это всё.
▶️Ограничение исследований. Мониторинг со стороны контролирующих органов и служб разведки (intelligence agencies).
▶️Меры обеспечения: санкции, запреты и прочее.

В главе 5 авторы отвечают на предвосхищаемую критику. Всё не буду пересказывать, но вот пример:

Почему Китай и США захотят заключить такое соглашение?

Ответ:

Они пока не хотят, но как поймут, что риск уничтожения человечества составляет 10%*, передумают.

Они осознают, что запреты обычно не работают, но ситуация со сверхИИ особенная.

Текст предполагаемого договора находится в приложении к этой статье, и я его оставлю на ваше самостоятельное изучение. Пока напишите, что думаете по поводу всего этого: может, я придираюсь и вообще всё не так поняла?

*Они думают, что риск составляет 10%, опираясь на прогнозы некоторых экспертов. Надёжность подобных прогнозов не обсуждается

Умные люди менее агрессивны?

☕️У меня откуда-то в голове есть представление о том, что чем человек более развит интеллектуально, тем менее он склонен к агрессии. Я не помню, откуда оно взялось. Полезла расследовать это дело и нашла, парочку интересных работ, и сегодня вам про них расскажу. Работы, правда, не про агрессию в целом, а про насильственные преступления.

▶️Авторы статьи «The relationship between lower intelligence, crime and custodial outcomes: a brief literary review of a vulnerable group» 2012 года указывают на то, что в тюрьмах доля людей с низким IQ выше, чем в среднем по популяции. Мы не будем здесь обсуждать, насколько IQ хорошая мера интеллекта: авторы этот вопрос не поднимают. Они ставят перед собой цель найти подходящие способы реабилитации и безопасного возвращения в общество преступников, у которых есть проблемы с интеллектуальным развитием.
Это мета-анализ, то есть, они собрали много разных исследований и обобщили результаты.

Получилось следующее:

▶️Люди с более низким IQ, похоже, в самом деле чаще совершают преступления. Причины изучаются. Возможно, у них более низкий уровень эмпатии, проблемы с коммуникацией и планированием. Как следствие, меньше шансов устроиться в жизни и больше шансов попасть в «плохую компанию».
▶️Зависимость, впрочем, нелинейная. Разные исследования тестировали способность ясно выражать свои мысли, пространственный интеллект, самоконтроль и другие компоненты того, что принято называть интеллектом: они оказывают разное влияние на вероятность преступного поведения. Низкий уровень IQ ещё может быть связан с наличием психических заболеваний и злоупотреблением токсичными веществами. У людей со средним IQ тоже бывают психические заболевания, проблемы с веществами, самоконтролем и так далее. И это всё ещё между собой связано, так что всё сложно.

▶️Статья «Is the Association between General Cognitive Ability and Violent Crime Caused by Family-Level Confounders?» (тоже 2012 года) говорит о том, что низкий уровень когнитивных способностей и склонность к преступному поведению связаны через общие причины. То есть, авторы предполагают, что не низкий уровень когнитивных способностей – причина преступлений, а есть некие факторы, которые и не дают развиться когнитивным способностям, и толкают людей к преступному поведению.
Они взяли статистические данные из Швеции, только по мужчинам и мальчикам начиная с 15 лет, которые совершали преступления и по которым были данные о семье, социальном положении и прочих социально-экономических факторах.

Получилось, что общие причины-таки есть, но не до конца понятно, какие. Похоже, что есть и наследственный компонент, и влияние среды, но достоверно отделить их друг от друга сложно. В исследованиях людей это вообще большая проблема: понять, что врождённое, а что результат влияния среды.

▶️Наконец, я нашла свежую статью 2026 года: «Analysis of the intelligence quotient and its contribution to reactive violence: A systematic review and meta-analysis». Это тоже мета-анализ, и весьма объёмный. Читая его, обратите внимание на приложение «Update»: в тексте статьи были ошибки, и здесь приведены важные исправления.

Авторы собрали 131 исследование, чтобы ещё раз проверить, а точно ли более низкий IQ связан со склонностью к насилию. Именно «связан», а не «является причиной»: причинно-следственность надо доказывать отдельно.
Выяснили, что точно связан. Причём у них получилось, что наличие психических расстройств не имеет значения: что с ними, что без них, люди с низким IQ более склонны проявлять импульсивное и реактивное (то есть, в ответ на что-то) насилие.

☕️Короче говоря, я не нашла доказательств того, что умные люди менее агрессивны. Но менее умные люди, похоже, в самом деле чаще более агрессивны. Не знаю, зачем вам эта информация, просто оставлю здесь

Инструмент для работы с кучей источников

Давно не было такого поста, но время пришло: сегодня поделюсь своими впечатлениями от инструмента NotebookLM. Это приложение от Google, которое задумано для помощи в исследовательских проектах. Если конкретно, то для обобщения и анализа очень больших массивов текстов.

▶️Что мне в нём понравилось:

+ В бесплатной версии можно добавить до 50 источников – уже неплохо.
+ Источниками могут быть сайты, видео, документы, в том числе из экосистемы Google.
+ Цитирует источники, всё можно проверить.

Я туда в конце прошлого года запихнула все свои посты и построила карту по ним, чтобы проанализировать, какие области меня интересуют. Нормально получилось, приложила файлом, чтоб вы посмотрели.

▶️Что мне не понравилось:

- Работает через пень-колоду и не во всех регионах. Приходится сами-знаете-что постоянно переключать между странами в поисках той, где оно откроется, наконец.
- Нельзя работать с кодом, что для исследовательских проектов большой недостаток.

▶️Общий вывод: если вам нужно что-то прочитать и разобраться, попробуйте. По моему опыту он не склонен к галлюцинациям. На русском языке работает без проблем: модель там Gemini, она многоязычная (и в целом весьма неплохая, на самом деле).

Но из-за невозможности работать с кодом я им почти не пользуюсь. Настроила себе Cursor так, чтобы там можно было и статьи читать, и эксперименты проводить сразу. К тому же, там ещё и модели разные можно выбрать.

☕️Кто пользовался NotebookLM, напишите, как вам. А то я про него много слышу, но не встречала лично людей, которые бы с ним на постоянной основе работали (но у меня выборка смещённая: я общаюсь чаще с людьми, которые код пишут)

#инструменты

🥤Я периодически обновляю список моих любимых постов, которые я сюда писала. Приходят новые люди, и мне вам хочется показать что-то, что мне кажется полезным, но что вы пропустили.

▶️Предыдущая часть здесь.

С тех пор было написано много всего, из чего особенно советую следующее:

🔸Пост про математическое представление разных абстрактных концепций внутри языковых моделей. Он написан по работе, которая меня вдохновила на целое направление исследований.
🔸Пост про то, почему калькулятор сложнее интернета (с точки зрения языковых моделей). Часто задачи, которые нам кажутся простыми и очевидными, языковые модели решают с большим трудом – про это и рассказываю.
🔸Пост про графы причинно-следственных связей как способ заглянуть внутрь языковых моделей и понять, что там происходит (и удивиться).
🔸Пост про прямую оптимизацию языковых моделей. Он отлично зайдёт как раз после первых трёх.
🔸Пост про то, как всякие недобросовестные люди интерпретируют хорошие исследования. Там написано, как делать точно не нужно.
🔸Пост про то, откуда вообще у языковых моделей представление о человеческих ценностях.
🔸Пост про то, что люди, на самом деле, в основном нормальные (мы просто привыкли плохо о себе думать!)
🔸Пост про Тьюринга и его знаменитый тест.
🔸Пост про то, что нейросети как-то работают, но мы не знаем толком, как именно.
🔸Пост про то, как люди применили ИИ по назначению, и получилось замечательно.
🔸Пост про вычислительное мышление (это нам надо развивать в себе: повышает качество жизни через повышение качества принимаемых решений).

▶️Ну и если вдруг вам мало, и вы читаете на английском языке (или готовы воспользоваться автоматическим переводом), то вот ещё списочек:

🔸Пост про инди-разработчицу игр Ники Кейс (Nicky Case) и её замечательный проект про безопасность ИИ.
🔸Пост про внутренние механизмы работы языковых моделей (да, у меня их много, и они все разные).
🔸Пост про ИИ и наше культурное наследие (мы ведь можем не только генерировать слоп, верно?)
🔸Пост про влияние ИИ на рынок труда. Там без панических воплей, с цифрами, всё как положено.
🔸Пост про перспективный подход к обучению языковых моделей, направленному на безопасность.
🔸Пост про разные сложности, которые возникают у людей в мире с ИИ. И про то, как их можно попробовать преодолеть (больше на личном опыте, конечно, но я всегда готова к обсуждению).

Приятного прочтения 🥤

Независимая оценка систем безопасности в ведущих компаниях-разработчиках ИИ

🥤Сегодня я принесла вам кое-что масштабное – работу «Frontier AI Auditing: Toward Rigorous Third-Party Assessment of Safety and Security Practices at Leading AI Companies». Свеженькая, 2026 год.

Я не буду пытаться вам её пересказать, остановлюсь на паре базовых моментов. За полным текстом, как обычно, проходите по ссылке выше.

Авторы говорят:

«У нас до сих пор нет единой системы независимой оценки того, что компании-разработчики ИИ делают за закрытыми дверьми. Всё, что у нас есть – их собственные отчёты, а это так себе источник информации.»

И затем они предлагают такую систему.

Во-первых, там есть деление всех исходящих от использования ИИ рисков на четыре категории:
▶️намеренное использование в дурных целях;
▶️ошибки ИИ, приводящие к нанесению людям вреда;
▶️утечки и кража чувствительных данных;
▶️негативное влияние на общество.

Последняя группа рисков включает в себя чрезмерное доверие пользователей к ИИ, например. Авторы пишут: «зависимость от ИИ».

Во-вторых, они предлагают четыре уровня уверенности (assurance – насколько компания убедила аудиторов в том, что старается делать всё безопасно). Первый уровень предполагает, что аудиторы используют по большей части ту информацию, которую предоставляет компания, и проверка проходит в течение ограниченного периода времени. Четвёртый уровень – это постоянный мониторинг процессов с доступом к железу и внутренним руководящим политикам. То есть, полный анализ изнутри, только независимой стороной, которая очень заинтересована найти ошибки.

▶️Третий и четвёртый уровень, признают авторы, пока неосуществимы, но они предлагают пути разрешения этой проблемы.

▶️В итоге остаётся второй уровень – длительная проверка, которая проводится в течение нескольких месяцев в режиме «серого ящика», с доступом ко внутренней документации и допросами интервью с сотрудниками.

🔸Про «серый ящик»: это один из трёх режимов тестирования.

В режиме «чёрного ящика» вы ничего не знаете о программе, которую тестируете. Вы представляете себя на месте пользователя, даёте данные на вход, получаете результаты и сравниваете их со своими ожиданиями.

В режиме «белого ящика» (иногда «стеклянного» – glass-box testing) вам доступны все внутренности программы. Почему бы всегда всё не тестировать в режиме «белого ящика»? Этот подход не позволяет провести проверки на устойчивость ко взлому: вам же всё доступно, как проверить, что кто-то не доберётся до исходного кода извне?

«Серый ящик» – это комбинация первых двух подходов: вы знаете, как устроена логика программы, но тестируете её снаружи, передавая данные на вход и анализируя выход.🔸

В общем, уже неплохо, особенно если за дело возьмётся въедливый сторонний эксперт. Для перехода на следующий шаг и вскрытия ящика аудиторами нужно обеспечить две вещи:

▶️защиту компаний от утечек ценной информации к конкурентам;
▶️инструменты проверки для аудиторов, которые позволят понять, что им точно всё передали.

И здесь авторы говорят:

«Всё уже давно придумано для финансового аудита, чего колесо изобретать?»

Опираясь на существующие практики, они предлагают следующий набор рекомендаций:

▶️Наладить независимый аудит аудиторов. Обеспечить их проверку и что-то вроде лицензирования, чтобы все знали, хорош аудитор или нет.
▶️Разработать программы аккредитации аудиторов.
▶️Включить риски, связанные с ИИ, в страховки для компаний.
▶️Инвестировать в инструменты, необходимые для уровней 3 и 4.

🥤Компания, в которой я работаю, регулярно проходит аудит менеджмента качества и подтверждает специальный сертификат. На основании этого опыта подтверждаю: у нас есть аудиторы, у которых тоже есть аудиторы, которые проходят аудит и подтверждают сертификат (или лицензию, я не помню). Так что да, тут всё уже придумано.

▶️Подробный анализ того, что уже придумано и что можно заимствовать, авторы приводят в разделе 4: там про практики, работающие в пищевой промышленности, ядерной энергетике, авиации.

Как вам такое?

📜 У меня тут некоторые мысли (опять), и я хочу вашей обратной связи.

Я веду этот канал почти как личный дневник: пишу как пишется на темы, которые мне самой интересны. Иногда рассказываю про довольно личные вещи. Мне нравится.

Однако в последнее время я желаю большей видимости. Не то чтобы меня вдруг охватил непреодолимый приступ честолюбия (хотя чего уж греха таить, не без этого) – мир вокруг очень нестабильный, а мне охота как-то стабилизироваться.

Да, мир давно нестабильный, и мне давно охота подложить себе соломки под разные места, однако раньше у меня не было понимания, за счёт чего это можно сделать. За прошедшие несколько лет (и в том числе благодаря ведению этого канала) у меня наросло знаний и навыков, и даже появилось понимание того, в каком виде это может быть людям полезно.

И это подводит меня к мысли о продвижении. И вот тут у меня некоторый внутренний конфликт.

Я мало знаю о продвижении, но из того, что я знаю, писать надо примерно так:

▪️сначала цепляющий заголовок,
▪️потом список из коротких фраз,
▪️в конце вопрос для вовлечения читателей в диалог.

Вроде бы это такая структура, которая плюс-минус выверена и работает, но как же она меня бесит. Я прям физически не могу себя заставить так писать: это выглядит как неуважение и к моим собственным мыслям и опыту, и к языку, и к читателям. Я когда такое читаю, у меня аж давление поднимается. Кто со мной что-то пишет, тот знает, как мне сложно даётся всё, что потенциально работает с аудиторией.

На всякий случай уточню: это не камень в огород тех, кто выбирает определённую структуру для изложения собственных мыслей – это просто не моё. Опять же, я мало знаю о продвижении. Как можете видеть, я никуда и не продвигаюсь особо (пока), а другие люди продвигаются, так что, может, они и правы.

И вот тут мне бы здорово помогла от вас обратная связь. Скажите, пожалуйста, вы чего сюда пришли-то? Ниже сделаю опрос, но буду рада прочитать ваши комментарии в свободной форме тоже.

P.S.: Составлять вопросы мне помогал Opus 4.6, ибо тут я зашла в тупик. Я дала ему первую версию своих вопросов, и он даже при всей склонности ИИ-помощников к подхалимству сказал, что вопросы эти никуда не годятся