Как и планировала, упражняюсь в работе с аргументами против исследований в области ответственного подхода к ИИ. Для этого попросила ChatGPT стать моим спарринг-партнером и занять позицию скептически настроенного к вопросам этики сторонника технического развития и не давать мне спуску.

Я отстаиваю необходимость задумываться об этике, а он тормоз. Иногда полезный

Сегодня поговорим на непростую тему – про чрезмерную зависимость или чрезмерное доверие к ИИ

Что может быть лучше, чем разговор о теории разума в тихий воскресный день? Ничто не может

Источники:
1) «New Research Suggests Overreliance on AI Could Hinder Critical Thinking»;
2) «The Future of Jobs Report 2025» Всемирного экономического форума;
3) Исследование Microsoft и Carnegie Mellon University: «The Impact of Generative AI on Critical Thinking: Self-Reported Reductions in Cognitive Effort and Confidence Effects From a Survey of Knowledge Workers»

У нас, людей, есть склонность все вокруг себя очеловечивать. Мы очеловечиваем все, что движется, а что не движется, двигаем и очеловечиваем. С ИИ это тоже работает, несмотря на то что ИИ – абстрактная штука без ручек, ножек и глазок. Нашему мозгу такое не помеха.
Склонность к очеловечиванию несет в себе как некоторые позитивные эффекты, так и риски, о которых мы сегодня и поговорим

Что-то я забыла написать сегодня, а пост вышел

Рассказываю немного про то, где и как использую ИИ

Мне некоторое время назад попалось на глаза приложение Seeing AI от Microsoft. Идея этого приложения – помочь слепым и слабовидящим людям ориентироваться в окружающем мире. Человек наводит камеру на объект и получает описание. Или просто водит камерой вокруг и получает описание пространства и объектов в нем.
Здесь мы вынуждены оставить вопрос о том, как слепой или слабовидящий человек находит и запускает нужное приложение. Допустим, ему помогает голосовой помощник.
Приложение должно работать на платформах iOS и Android, но мне почему-то скачать его на iOS не удалось. На Android протестировала, впечатления получила смешанные: с одной стороны, это действительно хорошая идея и то направление, в котором и должно двигаться развитие ИИ в первую очередь. С другой стороны, приложение показалось мне достаточно сырым: в нем нужно использовать визуальный интерфейс, чтобы переключаться между режимами, что довольно бестолково. Точность тоже так себе, если честно, во всяком случае, на русском языке. Есть над чем работать.
На iOS есть подозрительно похожее приложение Envision AI, которое работает с теми же функциями и примерно так же с точки зрения эффективности. Интерфейс опять визуальный, но приложение может использоваться с Siri. Голосовой ввод был бы логичнее, на мой взгляд.
Судя по информации на официальном сайте, у компании-разработчика Envision Technologies есть еще умные очки, к которым можно подключить само приложение. Глубоко я в эту историю пока не лезла. Возможно, оба приложения работают намного лучше на английском языке и в паре с голосовыми помощниками.
Может быть, я как-нибудь полезу изучать всю эту историю подробнее. А пока просто делюсь с вами, потому что звучит это интересно.

#инструменты

Немного рассуждений о персонализации

Я посвятила несколько постов обзору критики подходов к оценке языковых моделей, так что логичный следующий шаг – показать хотя бы один пример того, как такие подходы совершенствуются. Как раз нашла такой пример.
Сначала вышла работа «AlpacaEval : An Automatic Evaluator for Instruction-following Language Models», которая предлагает AlpacaEval – инструмент для оценки работы больших языковых моделей, в частности, того, как хорошо эти самые модели следуют инструкциям. Причина возникновения такого решения в том, что постоянно просить людей провести тесты долго, дорого и сложно. А еще люди могут противоречить себе в своих же оценках, поэтому процесс надо автоматизировать. Как? – Например, взять еще модель, обучить ее на наборах данных, размеченных людьми, и использовать в роли оценщика.
Это хороший подход с точки зрения затрат человеческого труда, времени и денег. Однако оказалось, что AlpacaEval завышает оценки для моделей, которые пишут очень длинный ответ, а не очень точный. И в 2024 году была опубликована статья «Length-Controlled AlpacaEval: A Simple Way to Debias Automatic Evaluators». Авторы поставили целью выявление искажений в автоматической оценке работы языковых моделей, и AlpacaEval взяли в качестве конкретного примера.
Эталоном для сравнения выступает Chatbot Arena – платформа для пользовательской оценки моделей. Там вот как все работает:
пользователь пишет запрос;
ему отвечают модель А и модель Б – пользователь не знает, что это за модели;
пользователь читает оба ответа и выбирает тот, который больше понравился;
на основании такого голосования множества людей составляется рейтинг лучших моделей.
В процессе разработки такой эксперимент поставить сложно: надо как-то привлечь очень много людей на очень много часов. Однако можно постараться приблизиться к «серебряному стандарту». Не золотому, потому что оценки пользователей все-таки могут быть искажены, но лучшему из имеющихся.
Авторы выделили три фактора, которые влияют на оценку одной моделью результатов работы другой модели:
тип модели: есть «основная» модель и та, которую с ней сравнивают;
длина ответа на инструкцию;
сложность инструкции.
Тут надо не запутаться, потому что при автоматической оценке модели три: две соревнующиеся и одна модель-оценщик. Идея авторов в том, чтобы обучить модель-оценщик на наборе данных, в котором указаны
ответ основной модели;
ответ модели, которую сравнивают с основной;
тип модели, которая дала ответ (основная модель или ее конкурент);
длина ответа;
сложность инструкции;
выбор человека (ответ какой модели он посчитал более качественным).
Потом помножить на нуль длину ответа и получить альтернативную оценку.
В результате оценку удалось скорректировать и здорово приблизить к человеческой, которую разные модели получили в Chatbot Arena. Авторы отмечают, что, хотя у их исследования есть ряд ограничений, это шаг в нужном направлении

В начале года у меня был пост про объяснимость и интерпретируемость ИИ. Потом был еще один – про конкретный инструмент для объяснения результатов работы языковых моделей и совсем недавно – про полезность объяснений.
Почти всегда, когда речь заходит об этических вопросах применительно к ИИ, я пишу с точки зрения пользователя. И здесь все понятно, а вот компаниям эта вся этика, объяснимость и интерпретируемость зачем? Сегодня представлю вам одну точку зрения на этот счет.

Авторы статьи «Creating meaningful work in the age of AI: explainable AI, explainability, and why it matters to organizational designers» указывают на то, что необъяснимая работа ИИ мешает компаниям получить от него максимум пользы. Клиенты компаний не понимают, как работает продукт и можно ли ему доверять. Разработчики тоже не то чтобы могут эти объяснения предоставить. Попытки заменить алгоритмы на более прозрачные снижают эффективность, и использование ИИ уже не выглядит полезным.
В 1951 году Трист и Бэмфорт (Trist & Bamforth) исследовали, почему внедрение нового оборудования для британских шахтеров привело не к повышению, а снижению эффективности добычи угля. Результаты их работы легли в основу принципов разработки социотехнических систем – таких систем, в которых человеку необходимо взаимодействовать с технологией.
Во-первых, изменения должны предлагаться снизу вверх, а не сверху вниз: работники, которые непосредственно взаимодействуют с технологией, лучше знают, чего ей не хватает. И им же отвечать за конечный результат.
Во-вторых, организации должны становиться более адаптивными за счет снижения контроля за каждым действием сотрудников. Больше свободы для работников «на местах» – быстрее реагирование на меняющиеся обстоятельства.
В-третьих, каждая группа сотрудников должна работать над «целой задачей» («whole task»). Это значит, что в распоряжении группы должны быть все процессы разработки конкретного решения от начала до конца. Это даст больше свободы относительно выбора подхода к выполнению задачи и позволит избежать превращения работы в письмо Дяди Федора родителям.
Наконец, каждая задача должна быть значимой и иметь видимое завершение. Работа не должна нигде зависнуть и потеряться, а ее результаты должны быть встроены в большие процессы компании.
Автоматизация должна применяться там, где это необходимо, и настолько, насколько необходимо для улучшения результата.
Если вы подумали: «Хм, это напоминает методологию Agile для разработки программного обеспечения,» – вы не одиноки, оно правда напоминает. Принципиальная разница в том, что идея социотехнической системы относится к устройству организации в целом и была придумана для «традиционных» организаций, где кто-то стоит за станком и вытачивает детали. Agile – это набор принципов конкретно для разработки ИТ-продукта. ИТ-команда может быть частью «традиционной» организации и работать как социотехническая система. Сама организация тоже может быть построена по принципам социотехнической системы, и внутри нее будет гармонично работать ИТ-команда по принципам Agile. Это разные концепции, но они хорошо подходят друг другу.
Если организация построена по принципу социотехнической системы,
сотрудники знают, на что жалуются клиенты;
сотрудники, которые работают с клиентами, также плотно работают с разработчиками;
команда специалистов с разными навыками работает вместе над одним продуктом и делает так, чтобы объяснимость ИИ появилась там, где нужно и выглядела так, как нужно;
каждый член команды может объяснить клиенту, что, как и зачем было сделано.
Так объяснимость ИИ будет всем понятна и полезна.

Сегодня обсуждаем немного мудреную статью, но очень важную для развития ИИ в целом

Демо-видео

Anthropic одной рукой с военными сотрудничают, а другой пишут исследования про сохранение конфиденциальности пользователей ИИ. Я по это причине смотрю на них с некоторым недоверием.
Недоверие, однако, не должно помешать добросовестному исследованию: есть статья – оцениваем статью, а не автора. Постараюсь сегодня честно придерживаться этого принципа и расскажу вам про статью «Clio: Privacy-Preserving Insights into Real-World AI Use» [1], выпущенную сотрудниками Anthropic в конце прошлого года.
Тем более, что тема интересная: исследование того, как ИИ-ассистенты используются в реальном мире. При этом авторы задались целью сохранить персональные данные пользователей в безопасности

[1] https://arxiv.org/abs/2412.13678v1

Всё говорим о том, что ИИ умеет. А давайте посмотрим, чего он не умеет