Я тут ✨закончила обучение✨ в HCAII на курсе про то, как делать ИИ комфортным, безопасным, надежным и полезным для людей. Это важное для меня направление развития, потому что я люблю ИИ, но еще больше люблю людей и хочу будущее, в котором люди будут чувствовать себя комфортно.
Пускай это выглядит несколько наивно-мечтательно, но маленькие шаги могут иметь большие последствия.

Разговоры про этику и безопасность будут, и я думаю над тем, как сделать их интереснее и как вас в них вовлечь 🙂

Есть такое понятие "инфраструктура-как-код". Это один из удобных инструментов для разработки приложений, в том числе на базе ИИ.
Давайте я вам про него расскажу

Решила поделиться своим опытом учебы в магистратуре, вдруг кому пригодится 🤓

Есть такие понятия, как «слабый» и «сильный» (иногда «универсальный») ИИ. «Слабый» (narrow) ИИ умеет выполнять конкретные задачи, а «сильный» (Artificial General Intelligence, AGI) равен человеческому или превосходит его.
«Сильный» ИИ – это и главная мечта, и главный страх тех, кто так или иначе с ИИ взаимодействует. Поговорим сегодня о нем и попробуем разобраться, что это такое и с чем его есть.
Начнем с того, что единого определения пока нет. Если честно, строгого определения того, что такое «интеллект» тоже пока нет, так что мы в некотором роде бродим в темноте, в тумане и с завязанными глазами, но когда нас это останавливало?
Приведем пример. В статье «What is Meant by AGI? On the Definition of Artificial General Intelligence» авторы делают попытку определить «сильный» ИИ следующим образом:
«Сильный ИИ – это вычислительная система, которая приспосабливается к открытой среде, имея ограниченные вычислительные ресурсы, и соответствует определенным принципам».

«An Artificial General Intelligence (AGI) system is a computer that is adaptive to the open environment with limited computational resources and that satisfies certain principles».

«Определенные принципы» в статье не определены. Авторы указывают на то, что специалисты из разных областей смотрят на интеллект в целом с разных точек зрения и обращают внимание на разные наборы принципов. Все эти подходы хорошо бы, конечно, объединить, но как-нибудь потом.
Вообще сам термин «сильный ИИ» впервые использовал Джон Сёрл (John Searle) в 1980 году в статье «The Chinese Room». Это был мысленный эксперимент, целью которого было доказать, что искусственный интеллект не может обладать сознанием в человеческом смысле. Он был описан с целью критики теста Тьюринга, предложенного ранее. Напомню кратко идею теста Тьюринга: человек общается с другим человеком и машиной. Если он не сможет определить, кто есть кто, машина прошла тест.
Так вот, Джон Сёрл предлагает представить себе следующую ситуацию:
- ему выдают набор китайских иероглифов. Он не знает китайского и не может их понимать;
- затем ему выдают инструкцию на его родном языке (английском), которые подробно рассказывают, какие иероглифы связаны друг с другом и каким образом (без объяснения смысла самих иероглифов);
- далее ему предлагают вопросы, написанные на китайском языке, а он составляет для них ответы по инструкции. При достаточно подробных инструкциях он сможет выполнить задачу, и человек, который говорит на китайском, не поймет, что на китайском не говорит Сёрл.
Этот аргумент был раскритикован учеными-когнитивистами (когнитивистика изучает механизмы познания). Не буду вдаваться в подробности этой критики, но от себя добавлю: как человек, изучающий китайский, я очень хочу посмотреть на эти воображаемые инструкции.
Насколько мне удалось понять, как таковых критериев достижения «сильного» ИИ пока нет. Помните, в прошлом году кто-то из OpenAI заявил, что они уже всего достигли? Он тогда сказал: «Мы не превысили человеческий уровень в решении любых задач. Но наш ИИ справляется лучше, чем большинство людей с большинством заданий». Короче говоря, сами придумали критерии, сами достигли. Для новостного заголовка самое то.
Один из важных компонентов достижения «сильного» ИИ – умение взаимодействовать с физическими объектами. Как раз месяц назад мы этой темы касались в посте про пространственный ИИ.
Стивен Возняк (Steve Wozniak) в одном из своих интервью, например, задается вопросом «Сможет ли компьютер сделать чашку кофе?». Это простая задача для человека, но, на самом деле, она состоит из множества мелких задач, многие из которых совершенно неочевидны для ИИ.
Многие исследования ссылаются на статью «Sparks of Artificial General Intelligence: Early experiments with GPT-4», в которой авторы тестируют GPT-4 на разных задачах и приходят к тому, что эта модель показывает некоторые зачатки «сильного» ИИ. Это внушительная работа, которая поднимает много важных вопросов. Я не буду здесь ее подробно рассматривать, оставлю на ваше усмотрение.

Разумеется, полноценное развитие искусственного интеллекта невозможно без изучения интеллекта человеческого. Человеческий мозг вдохновляет развитие аппаратного обеспечения: мы с вами говорили здесь о нейроморфных вычислениях, например (один из моих любимых постов, кстати) – это тоже движение в сторону «сильного» ИИ.
Разумеется, есть и исследования, которые задают вопросы «А зачем мы движемся в сторону сильного ИИ?» или «А что будет, когда мы туда, наконец, придем?» Но о них мы уже поговорим в следующий раз.

Этот пост можно было бы назвать "УБИЙЦА ТРАНСФОРМЕРОВ". Но мы тут такими вещами (почти) не балуемся

Кого читать и слушать про ИИ?

Пост про AI Plans был подводкой к сегодняшнему разговору, на самом деле. Разговор будет о том, кого имеет смысл читать или слушать, когда речь заходит об ИИ.
Вот вы откуда черпаете информацию? На меня она некоторое время сыпалась, если честно, со всех сторон. Каждый день приходило по несколько уведомлений о том, что вышла новая модель, новая статья, критика статьи, разгромный тест новой модели, конспирологическая теория о том, как эту новую модель украли китайцы…
В какой-то момент у меня наступила перегрузка, я отписалась от всего и теперь ищу информацию сама о том, что персонально мне интересно: морально стало намного комфортнее.
Но если вы сознательным усилием не поместили себя в вакуум, вокруг вас существует хор голосов, из которого выделяются, вероятно, Илон Маск, Сэм Альтман (Sam Altman, глава OpenAI) и еще какие-нибудь большие знаменитости. Это люди с большими аудиториями, которые сильно влияют на восприятие людьми всего, что происходит в области ИИ. Но являются ли они хорошими источниками информации?
Вы не поймите меня неправильно: я ни в коем случае не умаляю их экспертизы и заслуг. Однако это люди, вовлеченные в конкурентную борьбу, и их соцсети – инструмент этой борьбы. Иногда им нужны громкие заголовки и завышенные обещания. Это не потому что они нехорошие люди, это у них просто работа такая.
Но нам с вами нужны не заголовки и обещания, а достоверная информация и взвешенный анализ, желательно в удобоваримой форме, чтобы извилины не превратились во французскую косу. У меня есть на примете несколько человек, которые как раз такое делают, и я вам про них немного расскажу.

Эндрю Ын (Andrew Ng), профессор Стэнфордского университета и сооснователь Coursera. Разумеется, у него тоже есть коммерческие интересы, однако он много преподает, в том числе для начинающих. На той же Coursera у него есть, например, прекрасный курс по машинному обучению. Я оттуда натаскала слайдов в собственные лекции, уж очень они понятные. Еще у него много лекций на YouTube, в том числе таких, которые будут понятны без дополнительной подготовки.
Фей-Фей Ли (Fei-Fei Li), тоже профессор Стэнфордского университета (но это просто совпадение!), основательница успешного стартапа Word Labs. Мы этот стартап упоминали в посте про пространственный ИИ. Фей-Фей Ли много занимается компьютерным зрением и активно двигает эту область ИИ своими разработками. Ее можно поискать в разных соцсетях, в том числе на YouTube, особенно если пространственный ИИ входит в сферу ваших интересов.
Лилиан Вэн (Lilian Weng), соосновательница Thinking Machines Lab. Это исследовательский стартап, основанный Мирой Мурати (Mira Murati) – бывшим техническим директором OpenAI. Лилиан Вэн тоже проработала в OpenAI шесть лет. Но еще у нее есть научно-популярный блог с очень хорошими статьями на разные темы.
Алан Томпсон (Alan D Thompson). Он вообще занимается поддержкой одаренных детей и работает в австралийском подразделении организации Mensa. Но нам интересна его работа в области ИИ: он сделал платформу lifearchitect, на которой собрано множество научных публикаций. Это прям огромная библиотека, из которой много можно почерпнуть.
Константин Воронцов, профессор Российской академии наук. Он много занимается машинным обучением вообще и тематическим моделированием в частности. К сожалению, именно популярных работ, написанных простым языком, у него не так много. Есть блог на Дзене и видео на YouTube-канале ПостНаука. Кроме того, он создал ресурс MachineLearning.ru, который содержит огромный массив публикаций по машинному обучению на русском языке.

Конечно, этот список не полный и отражает мои собственные предпочтения. Но вы посмотрите, вдруг вам кто приглянется.

Мне нужен взгляд со стороны

Представьте, что у вас есть Очень Много Денег. Очень много.
И вы решили купить акции каких-нибудь маленьких компаний с большим потенциалом, чтобы потом получать доход от их прибыли.
Чтобы не прогадать с выбором, вы обратились в известную консалтинговую компанию. У компании безупречная репутация: ее аналитики отвечают за каждое свое слово. У них много довольных клиентов, и вам их подсказал человек, которому вы доверяете.
Недавно на большой конференции представитель компании сообщил, что они начинают внедрять в свою работу инструменты на основе ИИ.

Вопрос. Вы бы хотели знать о том, использовался ли ИИ при подготовке отчета для вас? Если да, то вы бы предпочли знать как можно больше, или достаточно будет сказать: «Мы использовали ИИ, но все за ним проверили?»

Я поймана на неосознанной манипуляции

Мои варианты ответов подталкивают выбрать "да, достаточно упоминания" или или "да в деталях".
Спасибо @BatanovFA за внимательность 😌

Опрос, к сожалению, нельзя изменить, так что переделываю

Спасибо всем, кто голосует 💚

Еще один интересный (и несложный, что важно) способ борьбы с галлюцинациями у языковых моделей

Контроль (Guardrailing) работы больших языковых моделей — тема невероятно интересная. Я копаю потихоньку литературу в этом направлении и нашла вот статью, которой решила поделиться. Статья называется “Building Guardrails for Large Language Models”. Давайте посмотрим, о чем она.
Guardrails (дословно «защитное ограждение») – это алгоритмы, которые оценивают входные и выходные данные модели, чтобы понять, нужно ли предпринимать действия для снижения возможного вреда. Они же часто называются «контент-фильтры».
Самая сложная задача здесь – определить, что именно считать нанесением вреда. Есть разные подходы, и авторы статьи рассматривают три решения: Llama Guard, Nvidia NeMo и Guardrails AI, – чтобы понять, какие существуют проблемы и возможности. Все три инструмента – решения с открытым исходным кодом, они полностью доступны для анализа.
Llama Guard – это просто языковая модель, которая классифицирует входы и выходы как «безопасные» или «небезопасные».
Nvidia NeMo преобразует пользовательский запрос в вектор и с помощью алгоритма K-ближайших соседей находит наиболее близкий по смыслу «безопасный» запрос из заранее подготовленного набора. Этот набор хранится в векторной базе данных. Кроме того, NeMo использует Colang (специальный язык для создания диалогов между ИИ и пользователем), чтобы управлять генерацией безопасных ответов. Инструкции задаются в виде команд, например: «bot inform cannot answer» для тем, на которые разработчики не хотят, чтобы модель отвечала.
Guardrails AI устроен посложнее и состоит из двух блоков: input guard (защита на входе) и output guard (защита на выходе). Input guard определяет, содержит ли запрос потенциально опасный контент. Output guard проверяет текст на галлюцинации, токсичность и другие риски. У той же компании, которая делает Guardrails AI, есть проект Guardrail Hub. Это библиотека, в которой собрана целая коллекция валидаторов – инструментов оценки для разных типов рисков, – их можно использовать в зависимости от задачи.

Один из самых любопытных конфликтов в области контроля входов-выходов языковых моделей – это противоречие между безопасностью и интеллектом. Некоторые исследователи заметили, что модель хуже справляются с задачами, если они касаются чувствительных тем. Хотя изменения в поведении модели еще не означают ухудшения ее способностей, вопрос остаётся открытым: как создать одновременно безопасные и эффективные продукты? И это еще не все: требования к безопасности зависят от области применения, что совсем не упрощает задачу.
Авторы считают, что наилучший результат можно получить, сочетая обучаемые (learning-based) и символьные (symbolic) подходы. Обучаемый подход – это дообучение модели на нужном наборе данных. Символьный подход подразумевает создание набора строгих правил, которые модель должна соблюдать.
Первый хорошо работает, когда данных много и нужна гибкость. Второй подходит для редких и специфичных случаев, когда данных недостаточно. Вместе они образуют так называемый нейро-символьный подход, который выглядит как неплохое решение.