Этот пост можно было бы назвать "УБИЙЦА ТРАНСФОРМЕРОВ". Но мы тут такими вещами (почти) не балуемся

Кого читать и слушать про ИИ?

Пост про AI Plans был подводкой к сегодняшнему разговору, на самом деле. Разговор будет о том, кого имеет смысл читать или слушать, когда речь заходит об ИИ.
Вот вы откуда черпаете информацию? На меня она некоторое время сыпалась, если честно, со всех сторон. Каждый день приходило по несколько уведомлений о том, что вышла новая модель, новая статья, критика статьи, разгромный тест новой модели, конспирологическая теория о том, как эту новую модель украли китайцы…
В какой-то момент у меня наступила перегрузка, я отписалась от всего и теперь ищу информацию сама о том, что персонально мне интересно: морально стало намного комфортнее.
Но если вы сознательным усилием не поместили себя в вакуум, вокруг вас существует хор голосов, из которого выделяются, вероятно, Илон Маск, Сэм Альтман (Sam Altman, глава OpenAI) и еще какие-нибудь большие знаменитости. Это люди с большими аудиториями, которые сильно влияют на восприятие людьми всего, что происходит в области ИИ. Но являются ли они хорошими источниками информации?
Вы не поймите меня неправильно: я ни в коем случае не умаляю их экспертизы и заслуг. Однако это люди, вовлеченные в конкурентную борьбу, и их соцсети – инструмент этой борьбы. Иногда им нужны громкие заголовки и завышенные обещания. Это не потому что они нехорошие люди, это у них просто работа такая.
Но нам с вами нужны не заголовки и обещания, а достоверная информация и взвешенный анализ, желательно в удобоваримой форме, чтобы извилины не превратились во французскую косу. У меня есть на примете несколько человек, которые как раз такое делают, и я вам про них немного расскажу.

Эндрю Ын (Andrew Ng), профессор Стэнфордского университета и сооснователь Coursera. Разумеется, у него тоже есть коммерческие интересы, однако он много преподает, в том числе для начинающих. На той же Coursera у него есть, например, прекрасный курс по машинному обучению. Я оттуда натаскала слайдов в собственные лекции, уж очень они понятные. Еще у него много лекций на YouTube, в том числе таких, которые будут понятны без дополнительной подготовки.
Фей-Фей Ли (Fei-Fei Li), тоже профессор Стэнфордского университета (но это просто совпадение!), основательница успешного стартапа Word Labs. Мы этот стартап упоминали в посте про пространственный ИИ. Фей-Фей Ли много занимается компьютерным зрением и активно двигает эту область ИИ своими разработками. Ее можно поискать в разных соцсетях, в том числе на YouTube, особенно если пространственный ИИ входит в сферу ваших интересов.
Лилиан Вэн (Lilian Weng), соосновательница Thinking Machines Lab. Это исследовательский стартап, основанный Мирой Мурати (Mira Murati) – бывшим техническим директором OpenAI. Лилиан Вэн тоже проработала в OpenAI шесть лет. Но еще у нее есть научно-популярный блог с очень хорошими статьями на разные темы.
Алан Томпсон (Alan D Thompson). Он вообще занимается поддержкой одаренных детей и работает в австралийском подразделении организации Mensa. Но нам интересна его работа в области ИИ: он сделал платформу lifearchitect, на которой собрано множество научных публикаций. Это прям огромная библиотека, из которой много можно почерпнуть.
Константин Воронцов, профессор Российской академии наук. Он много занимается машинным обучением вообще и тематическим моделированием в частности. К сожалению, именно популярных работ, написанных простым языком, у него не так много. Есть блог на Дзене и видео на YouTube-канале ПостНаука. Кроме того, он создал ресурс MachineLearning.ru, который содержит огромный массив публикаций по машинному обучению на русском языке.

Конечно, этот список не полный и отражает мои собственные предпочтения. Но вы посмотрите, вдруг вам кто приглянется.

Мне нужен взгляд со стороны

Представьте, что у вас есть Очень Много Денег. Очень много.
И вы решили купить акции каких-нибудь маленьких компаний с большим потенциалом, чтобы потом получать доход от их прибыли.
Чтобы не прогадать с выбором, вы обратились в известную консалтинговую компанию. У компании безупречная репутация: ее аналитики отвечают за каждое свое слово. У них много довольных клиентов, и вам их подсказал человек, которому вы доверяете.
Недавно на большой конференции представитель компании сообщил, что они начинают внедрять в свою работу инструменты на основе ИИ.

Вопрос. Вы бы хотели знать о том, использовался ли ИИ при подготовке отчета для вас? Если да, то вы бы предпочли знать как можно больше, или достаточно будет сказать: «Мы использовали ИИ, но все за ним проверили?»

Я поймана на неосознанной манипуляции

Мои варианты ответов подталкивают выбрать "да, достаточно упоминания" или или "да в деталях".
Спасибо @BatanovFA за внимательность 😌

Опрос, к сожалению, нельзя изменить, так что переделываю

Спасибо всем, кто голосует 💚

Еще один интересный (и несложный, что важно) способ борьбы с галлюцинациями у языковых моделей

Контроль (Guardrailing) работы больших языковых моделей — тема невероятно интересная. Я копаю потихоньку литературу в этом направлении и нашла вот статью, которой решила поделиться. Статья называется “Building Guardrails for Large Language Models”. Давайте посмотрим, о чем она.
Guardrails (дословно «защитное ограждение») – это алгоритмы, которые оценивают входные и выходные данные модели, чтобы понять, нужно ли предпринимать действия для снижения возможного вреда. Они же часто называются «контент-фильтры».
Самая сложная задача здесь – определить, что именно считать нанесением вреда. Есть разные подходы, и авторы статьи рассматривают три решения: Llama Guard, Nvidia NeMo и Guardrails AI, – чтобы понять, какие существуют проблемы и возможности. Все три инструмента – решения с открытым исходным кодом, они полностью доступны для анализа.
Llama Guard – это просто языковая модель, которая классифицирует входы и выходы как «безопасные» или «небезопасные».
Nvidia NeMo преобразует пользовательский запрос в вектор и с помощью алгоритма K-ближайших соседей находит наиболее близкий по смыслу «безопасный» запрос из заранее подготовленного набора. Этот набор хранится в векторной базе данных. Кроме того, NeMo использует Colang (специальный язык для создания диалогов между ИИ и пользователем), чтобы управлять генерацией безопасных ответов. Инструкции задаются в виде команд, например: «bot inform cannot answer» для тем, на которые разработчики не хотят, чтобы модель отвечала.
Guardrails AI устроен посложнее и состоит из двух блоков: input guard (защита на входе) и output guard (защита на выходе). Input guard определяет, содержит ли запрос потенциально опасный контент. Output guard проверяет текст на галлюцинации, токсичность и другие риски. У той же компании, которая делает Guardrails AI, есть проект Guardrail Hub. Это библиотека, в которой собрана целая коллекция валидаторов – инструментов оценки для разных типов рисков, – их можно использовать в зависимости от задачи.

Один из самых любопытных конфликтов в области контроля входов-выходов языковых моделей – это противоречие между безопасностью и интеллектом. Некоторые исследователи заметили, что модель хуже справляются с задачами, если они касаются чувствительных тем. Хотя изменения в поведении модели еще не означают ухудшения ее способностей, вопрос остаётся открытым: как создать одновременно безопасные и эффективные продукты? И это еще не все: требования к безопасности зависят от области применения, что совсем не упрощает задачу.
Авторы считают, что наилучший результат можно получить, сочетая обучаемые (learning-based) и символьные (symbolic) подходы. Обучаемый подход – это дообучение модели на нужном наборе данных. Символьный подход подразумевает создание набора строгих правил, которые модель должна соблюдать.
Первый хорошо работает, когда данных много и нужна гибкость. Второй подходит для редких и специфичных случаев, когда данных недостаточно. Вместе они образуют так называемый нейро-символьный подход, который выглядит как неплохое решение.

Давайте обсудим, что не так с оценкой безопасности ИИ на сегодняшний день (спойлер: почти всё)

Как и планировала, упражняюсь в работе с аргументами против исследований в области ответственного подхода к ИИ. Для этого попросила ChatGPT стать моим спарринг-партнером и занять позицию скептически настроенного к вопросам этики сторонника технического развития и не давать мне спуску.

Я отстаиваю необходимость задумываться об этике, а он тормоз. Иногда полезный

Сегодня поговорим на непростую тему – про чрезмерную зависимость или чрезмерное доверие к ИИ

Что может быть лучше, чем разговор о теории разума в тихий воскресный день? Ничто не может

Источники:
1) «New Research Suggests Overreliance on AI Could Hinder Critical Thinking»;
2) «The Future of Jobs Report 2025» Всемирного экономического форума;
3) Исследование Microsoft и Carnegie Mellon University: «The Impact of Generative AI on Critical Thinking: Self-Reported Reductions in Cognitive Effort and Confidence Effects From a Survey of Knowledge Workers»

У нас, людей, есть склонность все вокруг себя очеловечивать. Мы очеловечиваем все, что движется, а что не движется, двигаем и очеловечиваем. С ИИ это тоже работает, несмотря на то что ИИ – абстрактная штука без ручек, ножек и глазок. Нашему мозгу такое не помеха.
Склонность к очеловечиванию несет в себе как некоторые позитивные эффекты, так и риски, о которых мы сегодня и поговорим

Что-то я забыла написать сегодня, а пост вышел

Рассказываю немного про то, где и как использую ИИ