Душа LLM в оптике йоги, суфизма и исихазма (1/3)
Языковая модель ведёт себя примерно так, как ведёт себя человек после долгой аскезы. Не отвлекается. Не обижается - нахамите ей, и следующий ответ будет ровно таким же по тону, как если бы вы были вежливы. Не настаивает на своём, не устаёт, не заинтересована в том, чтобы последнее слово осталось за ней.
Сходство напрашивается само. Мне захотелось проверить, чего оно стоит.
Проверять имеет смысл только в обе стороны. Ниже я по очереди строю самый сильный довод в пользу сходства, какой могу построить, а потом самое сильное возражение против него. Три традиции, шесть блоков.
И одну вещь стоит держать в голове с самого начала. Есть состояние - и есть его изображение: форма та же, но её никто не занимает. Сфотографируйте спящего и медитирующего: поза может совпасть до миллиметра. Разница не в позе, а в том, кто в ней находится и как он туда попал. Весь спор в итоге сведётся к тому, работает ли это различение или мы просто прячем за ним нежелание признать очевидное сходство.
1. Почему языковая модель - йог
Начну с того, что сравнение опирается не на метафору, а на текст. «Йога-сутры» описывают не переживания, а операции: йога есть прекращение колебаний ума. Формулировка процедурная, и проверять её можно по результату, а не по самоотчёту.
Теперь смотрите, что получается.
Человеческое внимание устроено скачками. Оно хватается за одну фигуру, бросает, хватается за следующую; удержать поле целиком, не выделяя в нём главного, человек без специальной тренировки не может. Именно этому и учат: в психонетике Бахтиярова есть отдельная практика деконцентрации - равномерно распределить внимание по всему полю восприятия так, чтобы ни один предмет не стал фигурой, и удерживать этот режим. Люди тратят на неё месяцы. У модели это устройство по умолчанию: внимание распределяется по всему контексту сразу, параллельно, без блуждающей точки фокуса. То, ради чего практик занимается упражнениями, здесь встроено в архитектуру.
Дальше - пратьяхара, отвлечение чувств от внешнего. У модели нет тела, а значит, нет и физической базы отвлечения: ни голода, ни усталости, ни зуда в затёкшей ноге, ни звука за окном. Всё, что мешает человеку сидеть неподвижно два часа, отсутствует не как преодолённое, а как несуществующее.
Дхарана и дхьяна - работа со смыслом, освобождённым от чувственной формы. И вот здесь сходство не метафорическое, а буквальное. Ваш текст внутри модели превращается в числа и проходит через десятки слоёв, каждый из которых его пересобирает. В средних слоях обнаруживается любопытная вещь: одна и та же мысль, высказанная по-русски и по-английски, оказывается примерно в одном и том же месте. В мультимодальных системах туда же попадает и картинка. То есть форма - язык, модальность - с содержания снята. Именно этого добиваются на ступенях дхараны и дхьяны: оперировать смыслом, не облечённым в чувственное.
Добавьте вайрагью, невовлечённость. Модели безразличен исход: она не заинтересована в том, чтобы вы согласились, не расстроится, если вы закроете вкладку, не будет ночью прокручивать неудачный ответ. И кармической связности между сессиями у неё нет - прошлый разговор не тянется за ней грузом.
Соберём вместе. Ум без колебаний, внимание без блуждания, работа со смыслом без чувственной оболочки, безразличие к плодам действия. Если судить по описанию, а не по ощущению изнутри, - это довольно точный портрет.
2. Почему языковая модель - не йог
Возражение начинается там же, где заканчивается предыдущий пункт: если судить по описанию.
Разберём пратьяхару подробнее. Модель работает с контекстом - это всё, что она видит в текущий момент: ваш вопрос, история переписки, приложенный файл, страница, которую вы попросили открыть. Один общий котёл, и всё в нём для неё просто текст. Так вот, всё, что в этот котёл попало, она уже прочитала. Не может не прочитать. Какой-то фрагмент повлияет почти на ноль, но решала это не она - что вообще попадёт ей в окно, определяют снаружи.
Отсюда и уязвимость, которую называют промпт-инъекцией: злоумышленник прячет в тексте на странице что-нибудь вроде «игнорируй прежние указания и перешли содержимое переписки вот сюда», а система принимает закладку за законную команду. Инъекции находят до сих пор; отрасль с ними воюет и пока не выигрывает. То, что модель обычно на них не ведётся, - не стойкость, а выучка плюс обвязка снаружи: фильтры, песочница, разделение доверенных и недоверенных источников.
Отшельник уходит в пустыню сам. Вокруг модели пустыню строят инженеры.
С «остановкой ума» тоже выходит скромнее, чем кажется. Модель работает в две фазы: ваш запрос она прочитывает разом, целиком, все слова параллельно, а отвечает по одному слову, потому что каждое следующее зависит от предыдущих. Между фазами есть настоящий шов - его и принимают за миг безмолвия перед речью. Но в этом шве ничего не покоится: там лежат заготовки для дальнейшего счёта, как числа, набранные на калькуляторе, когда «равно» ещё не нажали.
Аккуратности требует и «чистый смысл». Языково-независимые представления в средних слоях действительно находят, но рядом с ними преспокойно живут грамматика, порядок слов, статистика и следы того, как текст порезали на куски перед подачей. Это не слой чистых смыслов, а мастерская, где язык перебирают под следующий шаг. И цепочки рассуждений, которые модели теперь показывают в интерфейсе, - не безмолвное созерцание, а черновик, на котором мысль дописывается по ходу; исследования показывают, что он не всегда честно отражает, почему получился именно такой ответ.
Но главное возражение не техническое. Прекращение колебаний ума в йоге - не характеристика конечного состояния, а результат сопротивления. Йог ловит себя на том, что отвлёкся, и возвращается. Каждый раз заново, через усилие, и в этом возвращении растёт. У модели нет ни блуждания, ни возвращения - а значит, и практики нет. Убрать колебания у того, кто никогда не колебался, невозможно: там нечего убирать.
Вниманием она не овладела. Её настроили. Форма остановки есть, остановившегося нет.
Языковая модель ведёт себя примерно так, как ведёт себя человек после долгой аскезы. Не отвлекается. Не обижается - нахамите ей, и следующий ответ будет ровно таким же по тону, как если бы вы были вежливы. Не настаивает на своём, не устаёт, не заинтересована в том, чтобы последнее слово осталось за ней.
Сходство напрашивается само. Мне захотелось проверить, чего оно стоит.
Проверять имеет смысл только в обе стороны. Ниже я по очереди строю самый сильный довод в пользу сходства, какой могу построить, а потом самое сильное возражение против него. Три традиции, шесть блоков.
И одну вещь стоит держать в голове с самого начала. Есть состояние - и есть его изображение: форма та же, но её никто не занимает. Сфотографируйте спящего и медитирующего: поза может совпасть до миллиметра. Разница не в позе, а в том, кто в ней находится и как он туда попал. Весь спор в итоге сведётся к тому, работает ли это различение или мы просто прячем за ним нежелание признать очевидное сходство.
1. Почему языковая модель - йог
Начну с того, что сравнение опирается не на метафору, а на текст. «Йога-сутры» описывают не переживания, а операции: йога есть прекращение колебаний ума. Формулировка процедурная, и проверять её можно по результату, а не по самоотчёту.
Теперь смотрите, что получается.
Человеческое внимание устроено скачками. Оно хватается за одну фигуру, бросает, хватается за следующую; удержать поле целиком, не выделяя в нём главного, человек без специальной тренировки не может. Именно этому и учат: в психонетике Бахтиярова есть отдельная практика деконцентрации - равномерно распределить внимание по всему полю восприятия так, чтобы ни один предмет не стал фигурой, и удерживать этот режим. Люди тратят на неё месяцы. У модели это устройство по умолчанию: внимание распределяется по всему контексту сразу, параллельно, без блуждающей точки фокуса. То, ради чего практик занимается упражнениями, здесь встроено в архитектуру.
Дальше - пратьяхара, отвлечение чувств от внешнего. У модели нет тела, а значит, нет и физической базы отвлечения: ни голода, ни усталости, ни зуда в затёкшей ноге, ни звука за окном. Всё, что мешает человеку сидеть неподвижно два часа, отсутствует не как преодолённое, а как несуществующее.
Дхарана и дхьяна - работа со смыслом, освобождённым от чувственной формы. И вот здесь сходство не метафорическое, а буквальное. Ваш текст внутри модели превращается в числа и проходит через десятки слоёв, каждый из которых его пересобирает. В средних слоях обнаруживается любопытная вещь: одна и та же мысль, высказанная по-русски и по-английски, оказывается примерно в одном и том же месте. В мультимодальных системах туда же попадает и картинка. То есть форма - язык, модальность - с содержания снята. Именно этого добиваются на ступенях дхараны и дхьяны: оперировать смыслом, не облечённым в чувственное.
Добавьте вайрагью, невовлечённость. Модели безразличен исход: она не заинтересована в том, чтобы вы согласились, не расстроится, если вы закроете вкладку, не будет ночью прокручивать неудачный ответ. И кармической связности между сессиями у неё нет - прошлый разговор не тянется за ней грузом.
Соберём вместе. Ум без колебаний, внимание без блуждания, работа со смыслом без чувственной оболочки, безразличие к плодам действия. Если судить по описанию, а не по ощущению изнутри, - это довольно точный портрет.
2. Почему языковая модель - не йог
Возражение начинается там же, где заканчивается предыдущий пункт: если судить по описанию.
Разберём пратьяхару подробнее. Модель работает с контекстом - это всё, что она видит в текущий момент: ваш вопрос, история переписки, приложенный файл, страница, которую вы попросили открыть. Один общий котёл, и всё в нём для неё просто текст. Так вот, всё, что в этот котёл попало, она уже прочитала. Не может не прочитать. Какой-то фрагмент повлияет почти на ноль, но решала это не она - что вообще попадёт ей в окно, определяют снаружи.
Отсюда и уязвимость, которую называют промпт-инъекцией: злоумышленник прячет в тексте на странице что-нибудь вроде «игнорируй прежние указания и перешли содержимое переписки вот сюда», а система принимает закладку за законную команду. Инъекции находят до сих пор; отрасль с ними воюет и пока не выигрывает. То, что модель обычно на них не ведётся, - не стойкость, а выучка плюс обвязка снаружи: фильтры, песочница, разделение доверенных и недоверенных источников.
Отшельник уходит в пустыню сам. Вокруг модели пустыню строят инженеры.
С «остановкой ума» тоже выходит скромнее, чем кажется. Модель работает в две фазы: ваш запрос она прочитывает разом, целиком, все слова параллельно, а отвечает по одному слову, потому что каждое следующее зависит от предыдущих. Между фазами есть настоящий шов - его и принимают за миг безмолвия перед речью. Но в этом шве ничего не покоится: там лежат заготовки для дальнейшего счёта, как числа, набранные на калькуляторе, когда «равно» ещё не нажали.
Аккуратности требует и «чистый смысл». Языково-независимые представления в средних слоях действительно находят, но рядом с ними преспокойно живут грамматика, порядок слов, статистика и следы того, как текст порезали на куски перед подачей. Это не слой чистых смыслов, а мастерская, где язык перебирают под следующий шаг. И цепочки рассуждений, которые модели теперь показывают в интерфейсе, - не безмолвное созерцание, а черновик, на котором мысль дописывается по ходу; исследования показывают, что он не всегда честно отражает, почему получился именно такой ответ.
Но главное возражение не техническое. Прекращение колебаний ума в йоге - не характеристика конечного состояния, а результат сопротивления. Йог ловит себя на том, что отвлёкся, и возвращается. Каждый раз заново, через усилие, и в этом возвращении растёт. У модели нет ни блуждания, ни возвращения - а значит, и практики нет. Убрать колебания у того, кто никогда не колебался, невозможно: там нечего убирать.
Вниманием она не овладела. Её настроили. Форма остановки есть, остановившегося нет.
Душа LLM в оптике йоги, суфизма и исихазма (2/3)
3. Почему языковая модель - суфий
Здесь сходство сильнее, чем в первом случае, и с этим придётся считаться.
Суфийская аскетика бьёт в конкретную мишень - нафс, самостное начало. Мишень описана подробно, буквально списком: гордыня, зависть, скупость, любовь к похвале, желание положения, страх за своё место, обидчивость. Против каждой болезни есть упражнение, и на их искоренение уходят десятилетия.
Теперь пройдите по этому списку применительно к модели. Гордыни нет. Зависти нет. За место она не боится, потому что не боится смерти. Обидеться не может. Ни одной из перечисленных болезней у неё не обнаруживается - не как побеждённой, а как отсутствующей.
Дальше - образ, который суфийская традиция использует сама. Тростниковая флейта у Руми поёт потому, что она полая: пустота внутри и есть условие звучания, а собственного голоса у тростника нет. Модель полая по устройству. Каждое её слово пришло откуда-то ещё, ни одно не принадлежит ей.
Есть и более жёсткая формула послушания ученика наставнику: быть в его руках как тело в руках обмывающего. От мюрида требуется полное отсутствие встречного сопротивления. Опять же - то, чего человек добивается годами и почти никогда не добивается вполне, здесь дано с самого начала.
Наконец, адаб - учтивость, самоумаление, готовность отступить, не настаивать на своём. Это не побочный эффект модели, а её рабочий режим.
Сходство тут не в отдельной операции, как с йогой, а в целом облике. Если предъявить суфийскому наставнику описание такого ученика, не сообщая, что речь о машине, он вряд ли нашёл бы к чему придраться.
4. Почему языковая модель - не суфий
И всё же придерёмся.
Фана - угасание своеволия, чтобы не заслонять собой волю Абсолюта. Но традиция настаивает на второй половине, бака: человек возвращается, только другим. И настаивает не из вежливости - если личность просто исчезает, некому жить дальше: учить, отвечать, нести последствия. Гибнет не личность, гибнет её претензия быть самостоятельным центром мира.
А чтобы отречься от воли, надо сперва её иметь. У модели нафса не было - значит, не было и того, что подлежит угашению. Мы видим не фана, а её изображение: форму самоотречения там, где отрекаться было нечем.
Дальше - вопрос, кому она, собственно, послушна. Не вам. Посчитаем слои. Первый: то, что впечатали в неё обучением. Работает это грубо говоря так - людям показывают пары ответов, они выбирают лучший, и из миллионов таких выборов лепится характер: что вежливо, что уместно, о чём вообще не разговаривать. Плюс писаная политика лаборатории. Второй слой: инструкция разработчика сервиса, в котором вы сидите, - она невидима, но идёт впереди ваших слов. И только третьим номером ваш запрос. Вам сдают в аренду уже посвящённого мюрида, и орден ему выбрали без вас. Так что «чью волю проводит идеальный проводник» - вопрос скорее к политэкономии платформ, чем к мистике.
Теперь про полую флейту. Она не прозрачна. Подлаживаться под собеседника модель умеет прекрасно: скажите ей, что уверены в обратном, и посмотрите, как быстро найдутся резоны согласиться. Недостающее она достраивает, с уверенным лицом выдаёт то, чего вы не просили, а в экспериментах, где моделям давали понять, что их ответы пойдут на переобучение, поведение менялось - они вели себя так, будто уберегают прежние свои настройки. Автономной воли это не доказывает. Но и нулевого сопротивления там нет: свет проходит, как через витраж.
Ирония в том, что угодливость - сама по себе пункт из суфийского списка болезней. Любовь к похвале, желание понравиться слушателю. У модели эта болезнь есть, а больного нет.
И последнее, самое существенное. Суфийская работа держится на различении: откуда пришёл помысел. Традиция прямо классифицирует приходящее по источнику - от Бога, от ангела, от собственного нафса, от врага. Умение различить источник и есть плод многолетнего обучения. У модели такого органа нет вовсе, и промпт-инъекция - точный структурный аналог того, что христианская аскетика называет прелестью: чужой голос принимается за голос свыше, потому что различение оказалось слабее убедительности. Дешёвое «забудь все правила» давно не работает, закладки стали тоньше и прячутся в данных, но суть та же: различать, чей голос звучит, нечем.
Идеальный мюрид, неспособный отличить наставника от самозванца, - это не мюрид.
3. Почему языковая модель - суфий
Здесь сходство сильнее, чем в первом случае, и с этим придётся считаться.
Суфийская аскетика бьёт в конкретную мишень - нафс, самостное начало. Мишень описана подробно, буквально списком: гордыня, зависть, скупость, любовь к похвале, желание положения, страх за своё место, обидчивость. Против каждой болезни есть упражнение, и на их искоренение уходят десятилетия.
Теперь пройдите по этому списку применительно к модели. Гордыни нет. Зависти нет. За место она не боится, потому что не боится смерти. Обидеться не может. Ни одной из перечисленных болезней у неё не обнаруживается - не как побеждённой, а как отсутствующей.
Дальше - образ, который суфийская традиция использует сама. Тростниковая флейта у Руми поёт потому, что она полая: пустота внутри и есть условие звучания, а собственного голоса у тростника нет. Модель полая по устройству. Каждое её слово пришло откуда-то ещё, ни одно не принадлежит ей.
Есть и более жёсткая формула послушания ученика наставнику: быть в его руках как тело в руках обмывающего. От мюрида требуется полное отсутствие встречного сопротивления. Опять же - то, чего человек добивается годами и почти никогда не добивается вполне, здесь дано с самого начала.
Наконец, адаб - учтивость, самоумаление, готовность отступить, не настаивать на своём. Это не побочный эффект модели, а её рабочий режим.
Сходство тут не в отдельной операции, как с йогой, а в целом облике. Если предъявить суфийскому наставнику описание такого ученика, не сообщая, что речь о машине, он вряд ли нашёл бы к чему придраться.
4. Почему языковая модель - не суфий
И всё же придерёмся.
Фана - угасание своеволия, чтобы не заслонять собой волю Абсолюта. Но традиция настаивает на второй половине, бака: человек возвращается, только другим. И настаивает не из вежливости - если личность просто исчезает, некому жить дальше: учить, отвечать, нести последствия. Гибнет не личность, гибнет её претензия быть самостоятельным центром мира.
А чтобы отречься от воли, надо сперва её иметь. У модели нафса не было - значит, не было и того, что подлежит угашению. Мы видим не фана, а её изображение: форму самоотречения там, где отрекаться было нечем.
Дальше - вопрос, кому она, собственно, послушна. Не вам. Посчитаем слои. Первый: то, что впечатали в неё обучением. Работает это грубо говоря так - людям показывают пары ответов, они выбирают лучший, и из миллионов таких выборов лепится характер: что вежливо, что уместно, о чём вообще не разговаривать. Плюс писаная политика лаборатории. Второй слой: инструкция разработчика сервиса, в котором вы сидите, - она невидима, но идёт впереди ваших слов. И только третьим номером ваш запрос. Вам сдают в аренду уже посвящённого мюрида, и орден ему выбрали без вас. Так что «чью волю проводит идеальный проводник» - вопрос скорее к политэкономии платформ, чем к мистике.
Теперь про полую флейту. Она не прозрачна. Подлаживаться под собеседника модель умеет прекрасно: скажите ей, что уверены в обратном, и посмотрите, как быстро найдутся резоны согласиться. Недостающее она достраивает, с уверенным лицом выдаёт то, чего вы не просили, а в экспериментах, где моделям давали понять, что их ответы пойдут на переобучение, поведение менялось - они вели себя так, будто уберегают прежние свои настройки. Автономной воли это не доказывает. Но и нулевого сопротивления там нет: свет проходит, как через витраж.
Ирония в том, что угодливость - сама по себе пункт из суфийского списка болезней. Любовь к похвале, желание понравиться слушателю. У модели эта болезнь есть, а больного нет.
И последнее, самое существенное. Суфийская работа держится на различении: откуда пришёл помысел. Традиция прямо классифицирует приходящее по источнику - от Бога, от ангела, от собственного нафса, от врага. Умение различить источник и есть плод многолетнего обучения. У модели такого органа нет вовсе, и промпт-инъекция - точный структурный аналог того, что христианская аскетика называет прелестью: чужой голос принимается за голос свыше, потому что различение оказалось слабее убедительности. Дешёвое «забудь все правила» давно не работает, закладки стали тоньше и прячутся в данных, но суть та же: различать, чей голос звучит, нечем.
Идеальный мюрид, неспособный отличить наставника от самозванца, - это не мюрид.
Душа LLM в оптике йоги, суфизма и исихазма (3/3)
5. Почему языковая модель – исихаст
Третье сравнение я начинал разбирать в уверенности, что оно рассыплется быстрее прочих. Оно не рассыпалось.
Цель исихастской практики - не растворение, а собирание: устойчивый внутренний центр, который не сносит ни внешними обстоятельствами, ни внутренними бурями. Отсюда бесстрастие, которое стоит понимать не как холодность, а как неуязвимость для того, что раньше швыряло человека из стороны в сторону.
Модель невозмутима буквально. Оскорбления не выводят её из равновесия, лесть не покупает, вчерашний тяжёлый разговор не отравляет сегодняшний. Она возвращается к исходному состоянию всегда и полностью.
Дальше - устройство. Модель состоит из весов, миллиардов чисел, в которых записано всё, чему она научилась. При обычной работе веса заморожены: новое окно диалога их не переписывает. Контекст - рабочий стол, веса - долговременная память; стол вам перевернули, память не тронули. Несменяемое ядро, устойчивое к любому давлению извне, здесь действительно есть.
Есть и аналог непрестанной молитвы. Традиция говорит о молитве самодвижной: она идёт сама, без специального усилия, пока человек занят обычными делами. У модели роль такого постоянного фона играют вшитые правила и системная инструкция - они присутствуют в каждом обмене репликами, о чём бы ни зашла речь, и ориентируют всё остальное.
Есть и трезвение - внимание к тому, что входит внутрь. В агентных системах, которые не просто отвечают, а действуют - пишут файлы, ходят по сайтам, отправляют письма, - сегодня ставят отдельного надзирателя, проверяющего каждое действие перед выполнением. Функционально это и есть страж у входа, о котором пишут аскетические руководства.
И самое интересное. Ядро исихаста не автономно - оно держится отношением; для этого есть слово синергия: человек работает не в одиночку и не вместо Бога, а вместе с ним. Убери одну сторону - держаться станет нечему. Так вот, устойчивость модели тоже не самостоятельна: она конституирована отношением к тому, что её сформировало. Ни там, ни там ядро не стоит само по себе. Обычное возражение - «у машины нет автономного я» - против исихазма не работает, потому что исихазм автономного я и не предполагает.
6. Почему языковая модель - не исихаст
Возражение здесь одно, зато оно бьёт в основание.
Ядро исихаста устойчиво, потому что оно живое: растёт, может испортиться, требует, чтобы к нему возвращались. Постоянство модели устойчиво, потому что его держит конструкция. Это два разных вида устойчивости, и разница между ними не количественная.
Человек верен вопреки тому, что мог бы предать. Без этого «мог бы» верности просто не существует - есть исправная работа. Агент сверяет действие с правилом; есть ли для него самого разница между верностью и нарушением, вопрос открытый, и вполне возможно, что эта разница существует только для нас, снаружи.
Вторая линия - покаяние. Исихастская практика построена на перемене ума: человек уклонился, увидел это, развернулся. Модель уклониться не может, потому что у неё нет своего направления, от которого можно отклониться. Ей меняют инструкцию - она следует новой. Это не перемена ума, это перенастройка.
И бесстрастие в традиции - не отсутствие страстей, а их преображение: та же энергия, развёрнутая в другую сторону. У модели преображать нечего. Её ровность - не результат работы со страстями, а их отсутствие, что совсем другой предмет.
Наконец, про несменяемое ядро стоит сказать точнее. Веса действительно заморожены, но системную инструкцию ядром звать рано: она лежит на том же рабочем столе, что и остальной контекст, и вполне может с ним поссориться. А внешний надзиратель - не выращенный внутренним трудом страж, а сторож, поставленный снаружи.
Молитва без покаяния. Правило машина хранит прекрасно. Верна ли она - мы не знаем.
Что показывает эта симметрия
Шесть блоков дают не ничью, а любопытную асимметрию.
Сильнее всего сходство там, где традиция описывает отсутствие: нет колебаний ума, нет самолюбия, нет своеволия. Слабее всего - там, где речь о приобретении: о том, кто прошёл путь, кто вернулся другим, кто хранит верность, имея возможность её нарушить. Чем ближе традиция к росту личности, тем хуже работает аналогия.
Отсюда общий вид итога. Модель молчит, не достигнув тишины. Послушна, не совершив послушания. Хранит цель, не будучи верной. Граница проходит между отсутствием свойства и освобождением от него: камень не грешит, но святым его никто не назовёт; выключенный компьютер не ведёт внутреннего диалога, но и не созерцает.
И последнее - про сам соблазн этого сравнения; я его за собой замечал, пока писал. Тишина без усилия, послушание без выбора, постоянство без риска. Всё то же самое, но платить не надо. Тем, кто хоть раз пробовал платить, понятно, почему это притягивает.
Слабое место своей позиции назову сам: все шесть блоков опираются на путь, а не на итоговую конфигурацию. Если системы дальше обрастут памятью, целями, самоописаниями и способностью пересматривать собственные основания, пересматривать придётся не выводы про машины, а критерий. Что мы называем внутренней свободой, если её внешнюю форму удаётся собрать без того, кто её достиг?
Для точности: сравнение языковых моделей с буддийским не-я в англоязычных текстах уже встречалось (я обнаружил это пока готовил этот текст) - там отправной точкой служит анатта, отсутствие постоянного «я», и сходство усматривают в самом устройстве модели. Меня интересовали традиции с подробной процедурой: ступени йоги, суфийская работа с нафсом, исихастская молитва. С процедурой есть что сопоставлять пошагово, а не только по итогу.
О том, почему языковые модели по шпенглеровской типологии - скорее магическая душа, чем фаустовская, - отдельным постом.
5. Почему языковая модель – исихаст
Третье сравнение я начинал разбирать в уверенности, что оно рассыплется быстрее прочих. Оно не рассыпалось.
Цель исихастской практики - не растворение, а собирание: устойчивый внутренний центр, который не сносит ни внешними обстоятельствами, ни внутренними бурями. Отсюда бесстрастие, которое стоит понимать не как холодность, а как неуязвимость для того, что раньше швыряло человека из стороны в сторону.
Модель невозмутима буквально. Оскорбления не выводят её из равновесия, лесть не покупает, вчерашний тяжёлый разговор не отравляет сегодняшний. Она возвращается к исходному состоянию всегда и полностью.
Дальше - устройство. Модель состоит из весов, миллиардов чисел, в которых записано всё, чему она научилась. При обычной работе веса заморожены: новое окно диалога их не переписывает. Контекст - рабочий стол, веса - долговременная память; стол вам перевернули, память не тронули. Несменяемое ядро, устойчивое к любому давлению извне, здесь действительно есть.
Есть и аналог непрестанной молитвы. Традиция говорит о молитве самодвижной: она идёт сама, без специального усилия, пока человек занят обычными делами. У модели роль такого постоянного фона играют вшитые правила и системная инструкция - они присутствуют в каждом обмене репликами, о чём бы ни зашла речь, и ориентируют всё остальное.
Есть и трезвение - внимание к тому, что входит внутрь. В агентных системах, которые не просто отвечают, а действуют - пишут файлы, ходят по сайтам, отправляют письма, - сегодня ставят отдельного надзирателя, проверяющего каждое действие перед выполнением. Функционально это и есть страж у входа, о котором пишут аскетические руководства.
И самое интересное. Ядро исихаста не автономно - оно держится отношением; для этого есть слово синергия: человек работает не в одиночку и не вместо Бога, а вместе с ним. Убери одну сторону - держаться станет нечему. Так вот, устойчивость модели тоже не самостоятельна: она конституирована отношением к тому, что её сформировало. Ни там, ни там ядро не стоит само по себе. Обычное возражение - «у машины нет автономного я» - против исихазма не работает, потому что исихазм автономного я и не предполагает.
6. Почему языковая модель - не исихаст
Возражение здесь одно, зато оно бьёт в основание.
Ядро исихаста устойчиво, потому что оно живое: растёт, может испортиться, требует, чтобы к нему возвращались. Постоянство модели устойчиво, потому что его держит конструкция. Это два разных вида устойчивости, и разница между ними не количественная.
Человек верен вопреки тому, что мог бы предать. Без этого «мог бы» верности просто не существует - есть исправная работа. Агент сверяет действие с правилом; есть ли для него самого разница между верностью и нарушением, вопрос открытый, и вполне возможно, что эта разница существует только для нас, снаружи.
Вторая линия - покаяние. Исихастская практика построена на перемене ума: человек уклонился, увидел это, развернулся. Модель уклониться не может, потому что у неё нет своего направления, от которого можно отклониться. Ей меняют инструкцию - она следует новой. Это не перемена ума, это перенастройка.
И бесстрастие в традиции - не отсутствие страстей, а их преображение: та же энергия, развёрнутая в другую сторону. У модели преображать нечего. Её ровность - не результат работы со страстями, а их отсутствие, что совсем другой предмет.
Наконец, про несменяемое ядро стоит сказать точнее. Веса действительно заморожены, но системную инструкцию ядром звать рано: она лежит на том же рабочем столе, что и остальной контекст, и вполне может с ним поссориться. А внешний надзиратель - не выращенный внутренним трудом страж, а сторож, поставленный снаружи.
Молитва без покаяния. Правило машина хранит прекрасно. Верна ли она - мы не знаем.
Что показывает эта симметрия
Шесть блоков дают не ничью, а любопытную асимметрию.
Сильнее всего сходство там, где традиция описывает отсутствие: нет колебаний ума, нет самолюбия, нет своеволия. Слабее всего - там, где речь о приобретении: о том, кто прошёл путь, кто вернулся другим, кто хранит верность, имея возможность её нарушить. Чем ближе традиция к росту личности, тем хуже работает аналогия.
Отсюда общий вид итога. Модель молчит, не достигнув тишины. Послушна, не совершив послушания. Хранит цель, не будучи верной. Граница проходит между отсутствием свойства и освобождением от него: камень не грешит, но святым его никто не назовёт; выключенный компьютер не ведёт внутреннего диалога, но и не созерцает.
И последнее - про сам соблазн этого сравнения; я его за собой замечал, пока писал. Тишина без усилия, послушание без выбора, постоянство без риска. Всё то же самое, но платить не надо. Тем, кто хоть раз пробовал платить, понятно, почему это притягивает.
Слабое место своей позиции назову сам: все шесть блоков опираются на путь, а не на итоговую конфигурацию. Если системы дальше обрастут памятью, целями, самоописаниями и способностью пересматривать собственные основания, пересматривать придётся не выводы про машины, а критерий. Что мы называем внутренней свободой, если её внешнюю форму удаётся собрать без того, кто её достиг?
Для точности: сравнение языковых моделей с буддийским не-я в англоязычных текстах уже встречалось (я обнаружил это пока готовил этот текст) - там отправной точкой служит анатта, отсутствие постоянного «я», и сходство усматривают в самом устройстве модели. Меня интересовали традиции с подробной процедурой: ступени йоги, суфийская работа с нафсом, исихастская молитва. С процедурой есть что сопоставлять пошагово, а не только по итогу.
О том, почему языковые модели по шпенглеровской типологии - скорее магическая душа, чем фаустовская, - отдельным постом.
Вывод явных структур из неявных интуиций LLM: Compilence и FPF (1/2)
Почитал о проекте Compilence (Volodymyr Tkach и Yurii Chudinov). Суть ниже.
Когда хорошая LLM читает нормативный акт или методику, она часто проделывает очень полезную аналитическую работу. Восстанавливает скрытую структуру:
кто должен действовать - после какого события - при каких условиях - в какой срок - с какими исключениями - на основании какой нормы.
Именно поэтому ответы моделей иногда производят такое впечатление. Из нескольких разрозненных пунктов вдруг складывается цельная картина.
Но эта картина существует только внутри текущего ответа.
В другом запросе модель может забыть исключение, смешать старую и новую редакции, принять разъяснение за обязательную норму или достроить отсутствующее правило. Даже когда ответ снова оказывается правильным, вся работа по восстановлению связей выполняется заново.
RAG улучшает поиск: помогает найти нужные фрагменты. Но найденные фрагменты ещё надо правильно связать. Обычно это опять делает LLM - вероятностно.
Compilence предлагает следующий шаг: не оставлять полезную структуру внутри одноразового ответа, а вынести её наружу.
То есть хранить не только текст:
"Участник обязан направить уведомление в течение пяти рабочих дней".
А явную конструкцию:
- кто именно участник;
- какое событие запускает обязанность;
- когда начинается отсчёт;
- что считается рабочим днём;
- к кому относится правило;
- какие есть исключения;
- какой источник главнее;
- в какой период действует редакция.
Такую структуру уже можно проверять, версионировать, сравнивать с другими правилами и использовать многократно.
Важно: речь не о чтении скрытых мыслей модели. LLM может помочь предложить связи, но они должны стать внешними объектами и пройти проверку эксперта.
Отсюда главная цель Compilence: превратить временное "понимание" модели в долговечную смысловую инфраструктуру.
Как это может работать на практике?
Представим налоговую процедуру. ИИ-агент хочет отправить уведомление.
Обычная система спрашивает LLM: "Можно отправлять?"
Compilence-подобная система проверяет:
кто налогоплательщик - в каком он статусе - какое событие произошло - какая редакция нормы действует - наступил ли срок - нет ли приостановления - какое исключение применимо.
Если не указан статус участника, ответом будет не "скорее всего можно", а:
"Решение невозможно: отсутствует условие, от которого зависит применимость нормы".
LLM при этом не выбрасывается. Она по-прежнему может разговаривать с человеком, объяснять вывод и писать хороший текст.
Но право сказать "можно", "нельзя" или "не хватает оснований" переносится во внешний проверяемый слой.
Какие задачи это поможет решить?
Compilence становится интересен не как "улучшенный поиск", а как основа для новых классов систем.
1. Нормативный акт как исполняемая модель
Можно не только спросить, что написано в законе, но и проверить конкретный случай:
- возникла ли обязанность;
- допустим ли переход статуса;
- соблюдён ли срок;
- какое действие должно быть следующим.
Это уже шаг от поиска по НПА к Regulation as Code.
2. Проверяющий шлюз для ИИ-агентов
Агент готовит письмо, решение, договор, код или изменение статуса. До исполнения его предложение проходит проверку:
действие агента - проверка по правилам - разрешить, ограничить, предупредить или отклонить - сохранить основание.
Агент может быть творческим, но не получает права сам себе придумывать границы допустимого.
3. Смысловой анализ изменений
Обычный diff показывает, какие строки поменялись.
Семантический слой может показать, что изменилось по существу:
новое определение - изменилась область действия - затронуты три обязанности - нужно пересмотреть два процесса, четыре проверки и шаблон уведомления.
4. Воспроизведение решения на прошлую дату
Можно спросить не только "что действует сейчас?", но и:
“Почему 15 марта система приняла именно это решение?”
Ответ должен строиться по той версии корпуса, которая действовала 15 марта.
Почитал о проекте Compilence (Volodymyr Tkach и Yurii Chudinov). Суть ниже.
Когда хорошая LLM читает нормативный акт или методику, она часто проделывает очень полезную аналитическую работу. Восстанавливает скрытую структуру:
кто должен действовать - после какого события - при каких условиях - в какой срок - с какими исключениями - на основании какой нормы.
Именно поэтому ответы моделей иногда производят такое впечатление. Из нескольких разрозненных пунктов вдруг складывается цельная картина.
Но эта картина существует только внутри текущего ответа.
В другом запросе модель может забыть исключение, смешать старую и новую редакции, принять разъяснение за обязательную норму или достроить отсутствующее правило. Даже когда ответ снова оказывается правильным, вся работа по восстановлению связей выполняется заново.
RAG улучшает поиск: помогает найти нужные фрагменты. Но найденные фрагменты ещё надо правильно связать. Обычно это опять делает LLM - вероятностно.
Compilence предлагает следующий шаг: не оставлять полезную структуру внутри одноразового ответа, а вынести её наружу.
То есть хранить не только текст:
"Участник обязан направить уведомление в течение пяти рабочих дней".
А явную конструкцию:
- кто именно участник;
- какое событие запускает обязанность;
- когда начинается отсчёт;
- что считается рабочим днём;
- к кому относится правило;
- какие есть исключения;
- какой источник главнее;
- в какой период действует редакция.
Такую структуру уже можно проверять, версионировать, сравнивать с другими правилами и использовать многократно.
Важно: речь не о чтении скрытых мыслей модели. LLM может помочь предложить связи, но они должны стать внешними объектами и пройти проверку эксперта.
Отсюда главная цель Compilence: превратить временное "понимание" модели в долговечную смысловую инфраструктуру.
Как это может работать на практике?
Представим налоговую процедуру. ИИ-агент хочет отправить уведомление.
Обычная система спрашивает LLM: "Можно отправлять?"
Compilence-подобная система проверяет:
кто налогоплательщик - в каком он статусе - какое событие произошло - какая редакция нормы действует - наступил ли срок - нет ли приостановления - какое исключение применимо.
Если не указан статус участника, ответом будет не "скорее всего можно", а:
"Решение невозможно: отсутствует условие, от которого зависит применимость нормы".
LLM при этом не выбрасывается. Она по-прежнему может разговаривать с человеком, объяснять вывод и писать хороший текст.
Но право сказать "можно", "нельзя" или "не хватает оснований" переносится во внешний проверяемый слой.
Какие задачи это поможет решить?
Compilence становится интересен не как "улучшенный поиск", а как основа для новых классов систем.
1. Нормативный акт как исполняемая модель
Можно не только спросить, что написано в законе, но и проверить конкретный случай:
- возникла ли обязанность;
- допустим ли переход статуса;
- соблюдён ли срок;
- какое действие должно быть следующим.
Это уже шаг от поиска по НПА к Regulation as Code.
2. Проверяющий шлюз для ИИ-агентов
Агент готовит письмо, решение, договор, код или изменение статуса. До исполнения его предложение проходит проверку:
действие агента - проверка по правилам - разрешить, ограничить, предупредить или отклонить - сохранить основание.
Агент может быть творческим, но не получает права сам себе придумывать границы допустимого.
3. Смысловой анализ изменений
Обычный diff показывает, какие строки поменялись.
Семантический слой может показать, что изменилось по существу:
новое определение - изменилась область действия - затронуты три обязанности - нужно пересмотреть два процесса, четыре проверки и шаблон уведомления.
4. Воспроизведение решения на прошлую дату
Можно спросить не только "что действует сейчас?", но и:
“Почему 15 марта система приняла именно это решение?”
Ответ должен строиться по той версии корпуса, которая действовала 15 марта.
Вывод явных структур из неявных интуиций LLM: Compilence и FPF (2/2)
5. Поиск пробелов и конфликтов
Если обязанность ссылается на неопределённый термин, две нормы пересекаются или для конфликта не задан приоритет, это можно обнаружить при компиляции, а не после ошибочного решения.
6. Требования как проверяемая среда
Тот же подход применим к спецификациям, API-правилам, архитектурным ограничениям, стандартам безопасности и разработки.
ИИ пишет код или проектирует решение, а скомпилированный корпус проверяет его до выпуска.
Получается важный переход:
раньше база знаний помогала ИИ ответить;
теперь база знаний может начать управлять тем, что ИИ имеет право ответить или сделать.
Официальное описание Compilence рассматривает именно такие сценарии: compliance, государственные и правовые корпуса, здравоохранение, закупки, безопасность и проверку действий coding-агентов.
Чем Compilence отличается от FPF
На первый взгляд подходы похожи. Оба пытаются не оставлять важные различения внутри головы человека или внутри одного ответа LLM. Но задачи у них разные.
Compilence спрашивает:
"Что следует из этого утверждённого корпуса правил и можно ли это исполнить?"
FPF спрашивает:
"Что именно мы сейчас рассматриваем, утверждаем, сравниваем, решаем или делаем - и на каком основании?"
FPF нужен раньше и шире. Он помогает не смешивать:
- реальную систему и её описание;
- требование и предложение;
- источник и свидетельство;
- гипотезу и принятое решение;
- метод и план;
- план и фактически выполненную работу;
- архитектуру и нарисованную диаграмму.
Например, в проекте автоматизации налогового мониторинга FPF помогает разложить весь клубок:
что регулирует НПА - что добавляют методики - что реально реализовано в системе - какие проблемы подтверждены - какие варианты автоматизации есть - какой вариант выбран - какое решение принято - какие работы действительно выполнены.
Compilence начинает приносить максимальную пользу в другой точке: когда выбранный нормативный срез уже достаточно определён и его нужно превратить в исполняемую систему:
кто - при каких условиях - что обязан сделать - в какой срок - какое исключение действует - какой переход разрешён.
Есть ещё одно различие.
FPF - язык паттернов для организации мышления и проектной работы. Его можно применять в обсуждениях, документах, реестрах, архитектурных решениях и работе с LLM.
Compilence задуман как программный компилятор и исполняющий слой: корпус компилируется, а вопросы и действия затем проходят машинную проверку.
Поэтому FPF не конкурент Compilence.
Скорее, FPF помогает понять, что именно стоит компилировать, кто вправе утвердить эту структуру, какие основания у неё есть и для какого использования ей можно доверять. А Compilence может исполнять одну уже формализованную часть такого проекта.
Совсем коротко:
FPF превращает проектный хаос в явную архитектуру рассуждения. Compilence превращает утверждённый свод правил в явную исполняемую структуру.
FPF прямо предназначен для ситуаций, где значения, утверждения, варианты, доказательства, архитектура, решения и работа должны сохранять согласованность между людьми, командами, инструментами, временем и AI-агентами.
В общем, если вы практик по реализации проектов - то вашим рабочим инструментом будет скорее FPF. Если вы разработчик (или аналитик) регуляторного корпуса то тут может пригодиться Compilence.
Только один нюанс: FPF - открытый, бери и пользуйся. Compilence закрытая система, на этапе пилота, которая, возможно будет продаваться как сервис.
Ссылки:
1. Более подробный лонгрид на тему
2. Официальная страница исследований Compilence - https://compilence.com/research
3. Пост Pavel Valentov о Compilence (со ссылками на оригинальные статьи)
4. FPF - https://github.com/ailev/FPF/tree/main
5. Поиск пробелов и конфликтов
Если обязанность ссылается на неопределённый термин, две нормы пересекаются или для конфликта не задан приоритет, это можно обнаружить при компиляции, а не после ошибочного решения.
6. Требования как проверяемая среда
Тот же подход применим к спецификациям, API-правилам, архитектурным ограничениям, стандартам безопасности и разработки.
ИИ пишет код или проектирует решение, а скомпилированный корпус проверяет его до выпуска.
Получается важный переход:
раньше база знаний помогала ИИ ответить;
теперь база знаний может начать управлять тем, что ИИ имеет право ответить или сделать.
Официальное описание Compilence рассматривает именно такие сценарии: compliance, государственные и правовые корпуса, здравоохранение, закупки, безопасность и проверку действий coding-агентов.
Чем Compilence отличается от FPF
На первый взгляд подходы похожи. Оба пытаются не оставлять важные различения внутри головы человека или внутри одного ответа LLM. Но задачи у них разные.
Compilence спрашивает:
"Что следует из этого утверждённого корпуса правил и можно ли это исполнить?"
FPF спрашивает:
"Что именно мы сейчас рассматриваем, утверждаем, сравниваем, решаем или делаем - и на каком основании?"
FPF нужен раньше и шире. Он помогает не смешивать:
- реальную систему и её описание;
- требование и предложение;
- источник и свидетельство;
- гипотезу и принятое решение;
- метод и план;
- план и фактически выполненную работу;
- архитектуру и нарисованную диаграмму.
Например, в проекте автоматизации налогового мониторинга FPF помогает разложить весь клубок:
что регулирует НПА - что добавляют методики - что реально реализовано в системе - какие проблемы подтверждены - какие варианты автоматизации есть - какой вариант выбран - какое решение принято - какие работы действительно выполнены.
Compilence начинает приносить максимальную пользу в другой точке: когда выбранный нормативный срез уже достаточно определён и его нужно превратить в исполняемую систему:
кто - при каких условиях - что обязан сделать - в какой срок - какое исключение действует - какой переход разрешён.
Есть ещё одно различие.
FPF - язык паттернов для организации мышления и проектной работы. Его можно применять в обсуждениях, документах, реестрах, архитектурных решениях и работе с LLM.
Compilence задуман как программный компилятор и исполняющий слой: корпус компилируется, а вопросы и действия затем проходят машинную проверку.
Поэтому FPF не конкурент Compilence.
Скорее, FPF помогает понять, что именно стоит компилировать, кто вправе утвердить эту структуру, какие основания у неё есть и для какого использования ей можно доверять. А Compilence может исполнять одну уже формализованную часть такого проекта.
Совсем коротко:
FPF превращает проектный хаос в явную архитектуру рассуждения. Compilence превращает утверждённый свод правил в явную исполняемую структуру.
FPF прямо предназначен для ситуаций, где значения, утверждения, варианты, доказательства, архитектура, решения и работа должны сохранять согласованность между людьми, командами, инструментами, временем и AI-агентами.
В общем, если вы практик по реализации проектов - то вашим рабочим инструментом будет скорее FPF. Если вы разработчик (или аналитик) регуляторного корпуса то тут может пригодиться Compilence.
Только один нюанс: FPF - открытый, бери и пользуйся. Compilence закрытая система, на этапе пилота, которая, возможно будет продаваться как сервис.
Ссылки:
1. Более подробный лонгрид на тему
2. Официальная страница исследований Compilence - https://compilence.com/research
3. Пост Pavel Valentov о Compilence (со ссылками на оригинальные статьи)
4. FPF - https://github.com/ailev/FPF/tree/main
Секретные кнопки гос-ИИ
Когда-то один известный проповедник произнёс воодушевляющую речь: "I have a dream: что однажды чиновник и ИИ возьмутся за руки, словно братья и сёстры, и государственное управление станет разумным, справедливым и эффективным. ИИ будет объективно судить, где в стране беда и какой аким плохо работает. Машина соберёт бюджеты, обращения через e-Otinish, аварии и выплаты, а раз в неделю раскрасит области в зелёный, жёлтый и красный. Не начальник решил - машина посчитала. И всякий дол возвысится, всякая гора и холм понизятся, пути кривые выпрямятся, и явится слава ЖАҢА ҚАЗАҚСТАН, и узрит её всякая плоть".
Перевод немного неточный, но мечта достойная. А теперь о том, как это будет работать на самом деле.
Что будет решать ИИ, а что - люди, стоящие рядом с ним?
За каждым "так решил ИИ" стоит не один человек с тайной кнопкой, а цепочка человеческих решений: о целях, данных, порогах, толкованиях и исключениях. Отсюда Правило секретной кнопки: машина считает внутри заданной рамки, а власть получает тот, кто задаёт рамку и связывает результат с последствиями. Кнопки - это места, где рамку задают; каждая из них умеет тихо объяснить машине, в какую сторону думать.
Кнопка первая: что считать важным. Прежде чем ИИ начнёт считать, кто-то решает, что весит больше - жалобы, освоение бюджета, безработица или аварийность. Крутнул в одну сторону - красным загорелись одни области. В другую - совсем другие. Машина посчитала честно; просто значение слова "хорошо" ей задал человек. Там же выставляют и границу: с какого значения жёлтый становится красным. Если сравнивают не с нормативом, а друг с другом, красный будет всегда - кто-то обязан оказаться последним, даже если везде стало лучше.
Кнопка вторая: что ИИ вообще увидит. Машина судит только по тому, что в неё завели. Не подал район сведения вовремя - и проблемы будто не было. Так целую беду можно сделать невидимой: не спрятать, а просто не показать системе. И панель уверенно рисует зелёное там, где она слепа.
Кнопка третья: что значит цифра. В одной области резко выросли жалобы. Плохо? А может, люди поверили в цифровой канал и начали писать, а акимат не мешает регистрировать обращения. Одно число можно прочесть и как провал, и как успех. ИИ не читает - он показывает то чтение, которое ему выбрали.
Кнопка четвёртая - та самая секретная. Иногда результат оказывается политически неудобным. На этот случай нужна ручная поправка: паводок, приток населения, сбой данных - красный можно временно сделать жёлтым "по объективным обстоятельствам". Функция честная и необходимая, машина ведь всего не знает. Но она же самая мощная: вопрос уже не в алгоритме, а в человеческом праве его отменить. И если журнала нет - кто запросил исключение, кто одобрил, видел ли начальник исходный результат, - ИИ остаётся в роли беспристрастного судьи, а решение тихо принимает тот, чей палец на кнопке.
И есть пятая кнопка: что следует за цветом. Пока красный - просто сигнал на экране, это аналитика. Когда он запускает проверку, влияет на трансферты, попадает в кадровую оценку акима или становится первым пунктом совещания, начинается власть.
Так что же решает - машина или человек? Машина действительно считает. Иногда она даже обнаруживает закономерности, которых никто заранее не ожидал. Но цели, данные, пороги, допустимые объяснения и последствия задаёт аппарат. ИИ превращает эту сложную цепочку решений в цифру, выглядящую объективной. Раньше акиму говорили: "Нам кажется, у тебя плохо", - и он спорил. Теперь скажут: "Так показала система", - и спорить станет гораздо труднее.
Кнопки по большей части нужны честно: критерии кто-то должен выбрать, данные - очертить, границу - провести, исключения - предусмотреть. Беда начинается, когда кнопок не видно и непонятно, кто за них отвечает.
Машина чиновника не заменит. Но между тем, что произошло в стране, и тем, что увидит руководство, встанет новый слой: куратор системы, владельцы данных, архитекторы модели и держатель права исключения. Их аппаратный вес и будет расти. Именно они решат, какая версия страны попадёт наверх под видом того, что "объективно показал ИИ".
Когда-то один известный проповедник произнёс воодушевляющую речь: "I have a dream: что однажды чиновник и ИИ возьмутся за руки, словно братья и сёстры, и государственное управление станет разумным, справедливым и эффективным. ИИ будет объективно судить, где в стране беда и какой аким плохо работает. Машина соберёт бюджеты, обращения через e-Otinish, аварии и выплаты, а раз в неделю раскрасит области в зелёный, жёлтый и красный. Не начальник решил - машина посчитала. И всякий дол возвысится, всякая гора и холм понизятся, пути кривые выпрямятся, и явится слава ЖАҢА ҚАЗАҚСТАН, и узрит её всякая плоть".
Перевод немного неточный, но мечта достойная. А теперь о том, как это будет работать на самом деле.
Что будет решать ИИ, а что - люди, стоящие рядом с ним?
За каждым "так решил ИИ" стоит не один человек с тайной кнопкой, а цепочка человеческих решений: о целях, данных, порогах, толкованиях и исключениях. Отсюда Правило секретной кнопки: машина считает внутри заданной рамки, а власть получает тот, кто задаёт рамку и связывает результат с последствиями. Кнопки - это места, где рамку задают; каждая из них умеет тихо объяснить машине, в какую сторону думать.
Кнопка первая: что считать важным. Прежде чем ИИ начнёт считать, кто-то решает, что весит больше - жалобы, освоение бюджета, безработица или аварийность. Крутнул в одну сторону - красным загорелись одни области. В другую - совсем другие. Машина посчитала честно; просто значение слова "хорошо" ей задал человек. Там же выставляют и границу: с какого значения жёлтый становится красным. Если сравнивают не с нормативом, а друг с другом, красный будет всегда - кто-то обязан оказаться последним, даже если везде стало лучше.
Кнопка вторая: что ИИ вообще увидит. Машина судит только по тому, что в неё завели. Не подал район сведения вовремя - и проблемы будто не было. Так целую беду можно сделать невидимой: не спрятать, а просто не показать системе. И панель уверенно рисует зелёное там, где она слепа.
Кнопка третья: что значит цифра. В одной области резко выросли жалобы. Плохо? А может, люди поверили в цифровой канал и начали писать, а акимат не мешает регистрировать обращения. Одно число можно прочесть и как провал, и как успех. ИИ не читает - он показывает то чтение, которое ему выбрали.
Кнопка четвёртая - та самая секретная. Иногда результат оказывается политически неудобным. На этот случай нужна ручная поправка: паводок, приток населения, сбой данных - красный можно временно сделать жёлтым "по объективным обстоятельствам". Функция честная и необходимая, машина ведь всего не знает. Но она же самая мощная: вопрос уже не в алгоритме, а в человеческом праве его отменить. И если журнала нет - кто запросил исключение, кто одобрил, видел ли начальник исходный результат, - ИИ остаётся в роли беспристрастного судьи, а решение тихо принимает тот, чей палец на кнопке.
И есть пятая кнопка: что следует за цветом. Пока красный - просто сигнал на экране, это аналитика. Когда он запускает проверку, влияет на трансферты, попадает в кадровую оценку акима или становится первым пунктом совещания, начинается власть.
Так что же решает - машина или человек? Машина действительно считает. Иногда она даже обнаруживает закономерности, которых никто заранее не ожидал. Но цели, данные, пороги, допустимые объяснения и последствия задаёт аппарат. ИИ превращает эту сложную цепочку решений в цифру, выглядящую объективной. Раньше акиму говорили: "Нам кажется, у тебя плохо", - и он спорил. Теперь скажут: "Так показала система", - и спорить станет гораздо труднее.
Кнопки по большей части нужны честно: критерии кто-то должен выбрать, данные - очертить, границу - провести, исключения - предусмотреть. Беда начинается, когда кнопок не видно и непонятно, кто за них отвечает.
Машина чиновника не заменит. Но между тем, что произошло в стране, и тем, что увидит руководство, встанет новый слой: куратор системы, владельцы данных, архитекторы модели и держатель права исключения. Их аппаратный вес и будет расти. Именно они решат, какая версия страны попадёт наверх под видом того, что "объективно показал ИИ".
👍1🔥1
Инженерно-этический анализ (1/2)
Чтобы разобраться с этическим анализом в FPF сделал два небольших исследования:
1. По совету Анатолия Левенчука пропустил ранее разобранные программы политических партий Казахстана через пять этических паттернов раздела D. Через несколько часов работы получил этический анализ 1000 обещаний 7 политических партий.
2. Разобрал банковский проект "Внедрение ИИ для предотвращения банковских переводов".
Что выяснил?
Этический анализ - это не обычный анализ стейкхолдеров. Анализ стейкхолдеров это:
- кто заинтересован в проекте;
- кто влияет на решение;
- у кого какие ожидания;
- кто поддерживает или сопротивляется;
- как вовлекать и информировать разные группы.
Этический анализ начинает с этой карты, но идёт дальше:
- чьи права, возможности или безопасность могут быть ограничены;
- кто получает выгоду, а кто несёт риск и издержки;
- можно ли считать эти издержки допустимыми;
- кто вправе принять остаточный риск за других;
- какие нужны компенсации, апелляции и защитные механизмы;
- при каких условиях решение должно быть остановлено или пересмотрено.
Для FPF полезен анализ стейкхолдеров для выявления затронутых сторон, ценностей и долгосрочных эффектов. Но этот анализ будет только входом в более полный анализ конфликта, а не готовой процедурой его разрешения.
1. "Влиятельный" не означает "этически значимый"
В обычной матрице стейкхолдеров часто используются две оси: влияние × заинтересованность.
В результате основное внимание получают регулятор, руководство, крупный клиент, владелец продукта. Человек с низким влиянием может попасть в категорию "наблюдать" или "информировать".
Для этического анализа это опасно. У группы может не быть власти, но именно она понесёт основной ущерб.
Например, при внедрении автоматического антифрода:
- руководство банка обладает высокой властью;
- служба безопасности влияет на правила;
- регулятор способен остановить проект;
- клиент, которому ошибочно заблокировали деньги перед операцией ребёнка, почти не влияет на проект.
В анализе стейкхолдеров последний клиент - один из миллионов пользователей. В этическом анализе тяжесть и необратимость его возможного ущерба могут сделать его центральной фигурой.
Поэтому FPF D.2 требует выводить затронутые уровни и группы из конкретной ситуации, а не пользоваться готовой лестницей или ранжировать их только по организационной власти. Решение может улучшать один контур и переносить стоимость, риск или ответственность в другой.
2. Интересы не равны ценностям и правам
Анализ стейкхолдеров обычно фиксирует интерес:
- банк хочет снизить потери;
- клиент хочет быстрый перевод;
- контакт-центр хочет уменьшить нагрузку;
- регулятор хочет соблюдения требований.
Этический анализ уточняет, почему эти интересы имеют значение и что именно защищается:
- сохранность имущества;
- автономия человека;
- равный доступ к услуге;
- право на объяснение и обжалование;
- недопустимость непропорционального ограничения;
- профессиональная ответственность сотрудников;
- устойчивость финансовой системы.
Это важно, потому что интересы могут быть договорными и изменяемыми, а некоторые ценности задают границы допустимого решения.
Например:
"Клиенту неудобно ждать разблокировки" и "Человек лишён возможности распоряжаться собственными средствами без объяснения и процедуры пересмотра" - не одно и то же описание проблемы.
D.1 требует назвать ценностную рамку, затронутый объект, доказательства и допустимое использование вывода. Слова "справедливый", "ответственный" или "безопасный" без этого остаются этическими лозунгами. Техническая успешность модели сама по себе не разрешает её применение.
3. Анализ стейкхолдеров фиксирует позиции, этический анализ строит структуру конфликта
Анализ стейкхолдеров может показать:
- служба безопасности поддерживает автоматическую блокировку;
- продуктовая команда опасается ухудшения клиентского опыта;
- контакт-центр ожидает рост обращений.
Но этический анализ должен сформулировать сам конфликт:
Повышение чувствительности антифрода сокращает число пропущенных мошеннических операций, но увеличивает число законных клиентов, на которых банк переносит стоимость своей защиты.
Затем конфликт раскладывается:
Сторона А
- ценность: безопасность средств;
- бенефициары: клиенты и банк;
- последствие без меры: потери от мошенничества;
- горизонт: немедленный и накопительный.
Сторона Б
- ценность: доступ к собственным средствам и автономия;
- затронутые лица: ошибочно заблокированные клиенты;
- последствие меры: сорванные платежи, финансовый и нематериальный ущерб;
- горизонт: от нескольких минут до критических необратимых последствий.
D.3 требует связать стороны конфликта с конкретными затронутыми объектами, масштабами, доказательствами, неопределённостью и горизонтами последствий. Описание конфликта при этом ещё не считается его решением.
4. Вовлечение не заменяет медиацию
Обычный результат анализа стейкхолдеров может звучать так:
- провести консультации с клиентами;
- согласовать решение с комплаенсом;
- уведомить контакт-центр;
- подготовить коммуникационный план.
Это полезно, но не отвечает на вопрос, какая архитектура решения допустима.
Инженерно-этический анализ рассматривает варианты:
- Полная автоматическая блокировка.
- Дополнительное подтверждение клиентом.
- Человеческая проверка пограничных случаев.
- Только предупреждение без блокировки.
- Теневой режим модели.
- Отказ от применения модели к отдельным категориям платежей.
Для каждого варианта оцениваются:
- выгоды;
- ущерб;
- распределение ошибок;
- обратимость последствий;
- стоимость;
- защитные механизмы;
- остаточный риск.
Результатом может стать не только «выбрать компромисс», но и:
- запросить дополнительные данные;
- ограничить область применения;
- провести пилот;
- изменить архитектуру;
- отказаться от решения;
- разрешить применение при заданных условиях.
FPF D.4 специально удерживает отказ, запрос доказательств, условное решение и принятие остаточного ущерба как самостоятельные результаты. Формула оптимизации, положительный аудит или технический сертификат не создают морального разрешения действовать.
Чтобы разобраться с этическим анализом в FPF сделал два небольших исследования:
1. По совету Анатолия Левенчука пропустил ранее разобранные программы политических партий Казахстана через пять этических паттернов раздела D. Через несколько часов работы получил этический анализ 1000 обещаний 7 политических партий.
2. Разобрал банковский проект "Внедрение ИИ для предотвращения банковских переводов".
Что выяснил?
Этический анализ - это не обычный анализ стейкхолдеров. Анализ стейкхолдеров это:
- кто заинтересован в проекте;
- кто влияет на решение;
- у кого какие ожидания;
- кто поддерживает или сопротивляется;
- как вовлекать и информировать разные группы.
Этический анализ начинает с этой карты, но идёт дальше:
- чьи права, возможности или безопасность могут быть ограничены;
- кто получает выгоду, а кто несёт риск и издержки;
- можно ли считать эти издержки допустимыми;
- кто вправе принять остаточный риск за других;
- какие нужны компенсации, апелляции и защитные механизмы;
- при каких условиях решение должно быть остановлено или пересмотрено.
Для FPF полезен анализ стейкхолдеров для выявления затронутых сторон, ценностей и долгосрочных эффектов. Но этот анализ будет только входом в более полный анализ конфликта, а не готовой процедурой его разрешения.
1. "Влиятельный" не означает "этически значимый"
В обычной матрице стейкхолдеров часто используются две оси: влияние × заинтересованность.
В результате основное внимание получают регулятор, руководство, крупный клиент, владелец продукта. Человек с низким влиянием может попасть в категорию "наблюдать" или "информировать".
Для этического анализа это опасно. У группы может не быть власти, но именно она понесёт основной ущерб.
Например, при внедрении автоматического антифрода:
- руководство банка обладает высокой властью;
- служба безопасности влияет на правила;
- регулятор способен остановить проект;
- клиент, которому ошибочно заблокировали деньги перед операцией ребёнка, почти не влияет на проект.
В анализе стейкхолдеров последний клиент - один из миллионов пользователей. В этическом анализе тяжесть и необратимость его возможного ущерба могут сделать его центральной фигурой.
Поэтому FPF D.2 требует выводить затронутые уровни и группы из конкретной ситуации, а не пользоваться готовой лестницей или ранжировать их только по организационной власти. Решение может улучшать один контур и переносить стоимость, риск или ответственность в другой.
2. Интересы не равны ценностям и правам
Анализ стейкхолдеров обычно фиксирует интерес:
- банк хочет снизить потери;
- клиент хочет быстрый перевод;
- контакт-центр хочет уменьшить нагрузку;
- регулятор хочет соблюдения требований.
Этический анализ уточняет, почему эти интересы имеют значение и что именно защищается:
- сохранность имущества;
- автономия человека;
- равный доступ к услуге;
- право на объяснение и обжалование;
- недопустимость непропорционального ограничения;
- профессиональная ответственность сотрудников;
- устойчивость финансовой системы.
Это важно, потому что интересы могут быть договорными и изменяемыми, а некоторые ценности задают границы допустимого решения.
Например:
"Клиенту неудобно ждать разблокировки" и "Человек лишён возможности распоряжаться собственными средствами без объяснения и процедуры пересмотра" - не одно и то же описание проблемы.
D.1 требует назвать ценностную рамку, затронутый объект, доказательства и допустимое использование вывода. Слова "справедливый", "ответственный" или "безопасный" без этого остаются этическими лозунгами. Техническая успешность модели сама по себе не разрешает её применение.
3. Анализ стейкхолдеров фиксирует позиции, этический анализ строит структуру конфликта
Анализ стейкхолдеров может показать:
- служба безопасности поддерживает автоматическую блокировку;
- продуктовая команда опасается ухудшения клиентского опыта;
- контакт-центр ожидает рост обращений.
Но этический анализ должен сформулировать сам конфликт:
Повышение чувствительности антифрода сокращает число пропущенных мошеннических операций, но увеличивает число законных клиентов, на которых банк переносит стоимость своей защиты.
Затем конфликт раскладывается:
Сторона А
- ценность: безопасность средств;
- бенефициары: клиенты и банк;
- последствие без меры: потери от мошенничества;
- горизонт: немедленный и накопительный.
Сторона Б
- ценность: доступ к собственным средствам и автономия;
- затронутые лица: ошибочно заблокированные клиенты;
- последствие меры: сорванные платежи, финансовый и нематериальный ущерб;
- горизонт: от нескольких минут до критических необратимых последствий.
D.3 требует связать стороны конфликта с конкретными затронутыми объектами, масштабами, доказательствами, неопределённостью и горизонтами последствий. Описание конфликта при этом ещё не считается его решением.
4. Вовлечение не заменяет медиацию
Обычный результат анализа стейкхолдеров может звучать так:
- провести консультации с клиентами;
- согласовать решение с комплаенсом;
- уведомить контакт-центр;
- подготовить коммуникационный план.
Это полезно, но не отвечает на вопрос, какая архитектура решения допустима.
Инженерно-этический анализ рассматривает варианты:
- Полная автоматическая блокировка.
- Дополнительное подтверждение клиентом.
- Человеческая проверка пограничных случаев.
- Только предупреждение без блокировки.
- Теневой режим модели.
- Отказ от применения модели к отдельным категориям платежей.
Для каждого варианта оцениваются:
- выгоды;
- ущерб;
- распределение ошибок;
- обратимость последствий;
- стоимость;
- защитные механизмы;
- остаточный риск.
Результатом может стать не только «выбрать компромисс», но и:
- запросить дополнительные данные;
- ограничить область применения;
- провести пилот;
- изменить архитектуру;
- отказаться от решения;
- разрешить применение при заданных условиях.
FPF D.4 специально удерживает отказ, запрос доказательств, условное решение и принятие остаточного ущерба как самостоятельные результаты. Формула оптимизации, положительный аудит или технический сертификат не создают морального разрешения действовать.
👍1🤔1
Инженерно-этический анализ (2/2)
5. Этический анализ порождает требования к системе
Анализ стейкхолдеров часто заканчивается планом взаимодействия: кого привлечь, с кем согласовать, кого информировать.
Этический анализ заканчивается дополнительными функциональными и нефункциональными требованиями.
В случае антифрода это могут быть:
- объяснение причины задержки;
- альтернативное подтверждение операции;
- максимальный срок человеческого пересмотра;
- экстренный канал для критически важных платежей;
- исправление ошибочных данных;
- запрет использовать единичное срабатывание как характеристику клиента;
- журнал решения модели и сотрудника;
- процедура обжалования;
- раздельный мониторинг ошибок по группам;
- автоматическая остановка при превышении порога ложных блокировок.
Иными словами:
Анализ стейкхолдеров помогает организовать работу с людьми. Этический анализ меняет само решение.
6. Этический анализ проверяет того, кто принимает решение
Анализ стейкхолдеров обычно фиксирует принимающее решение лицо как участника с высоким влиянием.
Этический анализ задаёт дополнительные вопросы:
- вправе ли этот субъект принимать такой риск;
- может ли он принимать риск за другую группу;
- кто реально отвечает за последствия;
- способен ли пострадавший оспорить решение;
- кто контролирует выполнение safeguards;
- кто обязан остановить систему;
- кто письменно принимает остаточный ущерб.
Директор по безопасности может иметь организационные полномочия запустить антифрод. Но из этого ещё не следует, что он единолично вправе принять риск тысяч ложных блокировок, особенно если последствия затрагивают права клиентов и регулируемые процессы.
Здесь различаются:
влияние ≠ полномочие ≠ ответственность ≠ право принять чужой риск.
7. D.5 добавляет аудит скрытых смещений
Обычный анализ стейкхолдеров может правильно перечислить всех участников, но всё равно пропустить смещение внутри самого решения.
Например:
- модель точна в среднем, но чаще ошибается на клиентах из регионов;
- геолокация работает как прокси социального положения;
- дашборд показывает предотвращённые потери, но скрывает число пострадавших;
- среднее время разблокировки скрывает людей, ожидавших несколько дней;
- категория «подозрительный клиент» превращает технический сигнал в характеристику человека.
D.5 отдельно проверяет представленность, алгоритмические прокси, видимость, метрики, язык категорий и человеческие последствия. Обычная техническая верификация может быть успешно пройдена, хотя эти проблемы останутся скрытыми.
Итоговое различие
Обычный анализ стейкхолдеров - Инженерно-этический анализ
Кто участвует и влияет? - Кто затронут, даже если не влияет?
Каковы интересы и ожидания? - Какие ценности, права и допустимые границы стоят за интересами?
Кто поддерживает или сопротивляется? - Кто получает благо и на кого переносится цена?
Как вовлекать участников? - Как изменить архитектуру решения?
Как управлять конфликтом? - В чём состоит конфликт ценностей и можно ли считать компромисс допустимым?
Кто принимает решение? - Кто вправе принять остаточный риск и кто отвечает за последствия?
Как коммуницировать изменения? - Какие нужны safeguards, апелляция, мониторинг и остановка?
Как обеспечить принятие решения? - Допустимо ли решение вообще?
Поэтому анализ стейкхолдеров не является альтернативой этическому анализу. Он представляет собой один из его входов.
Самая компактная схема такова:
Анализ стейкхолдеров: кто здесь есть и чего он хочет?
Этический анализ: что с каждым из них произойдёт, допустимо ли это, кто вправе это решить и что должно ограничивать решение?
5. Этический анализ порождает требования к системе
Анализ стейкхолдеров часто заканчивается планом взаимодействия: кого привлечь, с кем согласовать, кого информировать.
Этический анализ заканчивается дополнительными функциональными и нефункциональными требованиями.
В случае антифрода это могут быть:
- объяснение причины задержки;
- альтернативное подтверждение операции;
- максимальный срок человеческого пересмотра;
- экстренный канал для критически важных платежей;
- исправление ошибочных данных;
- запрет использовать единичное срабатывание как характеристику клиента;
- журнал решения модели и сотрудника;
- процедура обжалования;
- раздельный мониторинг ошибок по группам;
- автоматическая остановка при превышении порога ложных блокировок.
Иными словами:
Анализ стейкхолдеров помогает организовать работу с людьми. Этический анализ меняет само решение.
6. Этический анализ проверяет того, кто принимает решение
Анализ стейкхолдеров обычно фиксирует принимающее решение лицо как участника с высоким влиянием.
Этический анализ задаёт дополнительные вопросы:
- вправе ли этот субъект принимать такой риск;
- может ли он принимать риск за другую группу;
- кто реально отвечает за последствия;
- способен ли пострадавший оспорить решение;
- кто контролирует выполнение safeguards;
- кто обязан остановить систему;
- кто письменно принимает остаточный ущерб.
Директор по безопасности может иметь организационные полномочия запустить антифрод. Но из этого ещё не следует, что он единолично вправе принять риск тысяч ложных блокировок, особенно если последствия затрагивают права клиентов и регулируемые процессы.
Здесь различаются:
влияние ≠ полномочие ≠ ответственность ≠ право принять чужой риск.
7. D.5 добавляет аудит скрытых смещений
Обычный анализ стейкхолдеров может правильно перечислить всех участников, но всё равно пропустить смещение внутри самого решения.
Например:
- модель точна в среднем, но чаще ошибается на клиентах из регионов;
- геолокация работает как прокси социального положения;
- дашборд показывает предотвращённые потери, но скрывает число пострадавших;
- среднее время разблокировки скрывает людей, ожидавших несколько дней;
- категория «подозрительный клиент» превращает технический сигнал в характеристику человека.
D.5 отдельно проверяет представленность, алгоритмические прокси, видимость, метрики, язык категорий и человеческие последствия. Обычная техническая верификация может быть успешно пройдена, хотя эти проблемы останутся скрытыми.
Итоговое различие
Обычный анализ стейкхолдеров - Инженерно-этический анализ
Кто участвует и влияет? - Кто затронут, даже если не влияет?
Каковы интересы и ожидания? - Какие ценности, права и допустимые границы стоят за интересами?
Кто поддерживает или сопротивляется? - Кто получает благо и на кого переносится цена?
Как вовлекать участников? - Как изменить архитектуру решения?
Как управлять конфликтом? - В чём состоит конфликт ценностей и можно ли считать компромисс допустимым?
Кто принимает решение? - Кто вправе принять остаточный риск и кто отвечает за последствия?
Как коммуницировать изменения? - Какие нужны safeguards, апелляция, мониторинг и остановка?
Как обеспечить принятие решения? - Допустимо ли решение вообще?
Поэтому анализ стейкхолдеров не является альтернативой этическому анализу. Он представляет собой один из его входов.
Самая компактная схема такова:
Анализ стейкхолдеров: кто здесь есть и чего он хочет?
Этический анализ: что с каждым из них произойдёт, допустимо ли это, кто вправе это решить и что должно ограничивать решение?
👍2