Воскресный пост, на сей раз о том, как люди с ИИ взаимодействуют.
На самом деле, это огромная тема, я ее здесь совсем немного пощупала, но в будущем постепенно буду ее раскрывать

У истоков современного ИИ стояло множество блестящих ученых, и сегодняшний пост я хочу посвятить одному их них – Андрею Андреевичу Маркову. Андреев Андреевичей Марковых двое: отец и сын (с интересным чувством юмора). Причем оба математики и оба внесли вклад в науку.
Я буду рассказывать про работу Маркова-отца.

Он работал над теорией вероятностей и открыл целую группу вероятностных процессов, названных его именем. Сегодня эти процессы широко применяются в ИИ: например, текстовые подсказки, которые появляются при наборе сообщения – это работа цепей Маркова.

Цепь Маркова – частный случай марковского процесса. Давайте начнем с процесса.
Марковский процесс – это случайный процесс, в котором будущее состояние зависит только от текущего, но не от предыдущих. Классический пример, который обычно приводят в учебниках – предсказание погоды. Допустим, если сегодня солнечно, то с вероятностью 80% завтра тоже будет солнечно, а с вероятностью в 20% завтра будет дождь. Если сегодня дождь, завтра будет дождь с вероятностью 80%. Какая погода была вчера, нам не важно.
Логичный вопрос: но ведь на сегодняшнюю погоду повлияла вчерашняя, так почему она не имеет значения? Логичный ответ: сегодня мы можем измерить все факторы, которые повлияют на погоду завтра, так зачем усложнять? Если мы имеем дело с погодными явлениями, которые имеют сложную природу и развиваются в течение нескольких дней, конечно, важно изучать данные за период. Это касается прогнозов развития ураганов и наводнений, например.
Поскольку подобные события иногда происходят, в реальности для предсказания погоды используется совокупность разных инструментов, а не только марковские процессы.

Еще один пример – предсказание перехода пользователя по ссылкам на веб-странице. Алгоритм PageRank от Google, который сортировал страницы в поисковой выдаче, использовал марковский процесс. Предполагается, что переход пользователя по следующей ссылке не зависит от всей истории его переходов по разным страницам. Он видит страницу, на странице есть ссылки, с какой-то вероятностью он кликнет на одну из них. Что там было полчаса назад, не имеет значения.
Сейчас PageRank заменен на набор более продвинутых алгоритмов, но он продержался долго и стал важной вехой в развитии поисковых систем.

Марковские процессы могут происходить в дискретном или непрерывном пространстве времени и в дискретном или непрерывном пространстве состояний.
Дискретное пространство имеет счетный набор значений (например, «сегодня», «завтра» или «дождливо», «солнечно»). В непрерывном пространстве счетного набора значений нет. Например, если мы говорим о радиоактивном распаде вещества, мы можем замерить его состояние через секунду, через полсекунды, через четверть секунды и так далее – в любой случайно взятый момент времени.
Цепи Маркова – это марковские процессы в дискретном пространстве времени и состояний. Примеры про погоду и PageRank – это как раз цепи. С их помощью еще можно генерировать текст и изображения, они описывают броуновское движение и вообще крайне полезны в самых разных областях науки.

У меня как-то был учебный проект, в котором мы с командой с помощью цепей Маркова предсказывали поведение лабораторных мышей и искали закономерности. Мы использовали скрытую марковскую модель – это когда процесс внешне похож на марковский, но часть параметров неизвестна. У мыши что-то происходит в мозгу – мышь чешется. Мы видим, что она чешется, но не видим, что происходит в мозгу. Потом она, например, ложится спать – тоже потому что что-то произошло в мозгу. Задача заключается в том, чтобы взять мышь, взять электроэнцефалограмму и попробовать на основе ее (мыши) поведения понять, что происходит в мозгу.

В общем, на века вперед человек работал и заслуживает уважения.

У меня недавно был пост про то, как большие языковые модели говорят одно, а делают другое. Там был пример с игрой «камень-ножницы-бумага»: на словах модель понимает, что, если оппонент всегда выбирает камень, надо всегда выбирать бумагу, а на деле совершает выбор так, чтобы число выборов для камня, ножниц и бумаги было примерно одинаковым. И вот этой бестолочи мы доверяем написание заявки на грант? Или письма коллегам, или раздела диссертации. Кто-то консультируется с ИИ по юридическим вопросам или просит объяснить сложные понятия. Разные метрики, на которых тестируют языковые модели, показывают впечатляющие результаты, а потом на примитивных зачах вылезает такой вот опус. Так есть ли смысл во всех этих метриках вообще?

Тут новый пост подъехал (простите за заголовок, не удержалась)

Я тут ✨закончила обучение✨ в HCAII на курсе про то, как делать ИИ комфортным, безопасным, надежным и полезным для людей. Это важное для меня направление развития, потому что я люблю ИИ, но еще больше люблю людей и хочу будущее, в котором люди будут чувствовать себя комфортно.
Пускай это выглядит несколько наивно-мечтательно, но маленькие шаги могут иметь большие последствия.

Разговоры про этику и безопасность будут, и я думаю над тем, как сделать их интереснее и как вас в них вовлечь 🙂

Есть такое понятие "инфраструктура-как-код". Это один из удобных инструментов для разработки приложений, в том числе на базе ИИ.
Давайте я вам про него расскажу

Решила поделиться своим опытом учебы в магистратуре, вдруг кому пригодится 🤓

Есть такие понятия, как «слабый» и «сильный» (иногда «универсальный») ИИ. «Слабый» (narrow) ИИ умеет выполнять конкретные задачи, а «сильный» (Artificial General Intelligence, AGI) равен человеческому или превосходит его.
«Сильный» ИИ – это и главная мечта, и главный страх тех, кто так или иначе с ИИ взаимодействует. Поговорим сегодня о нем и попробуем разобраться, что это такое и с чем его есть.
Начнем с того, что единого определения пока нет. Если честно, строгого определения того, что такое «интеллект» тоже пока нет, так что мы в некотором роде бродим в темноте, в тумане и с завязанными глазами, но когда нас это останавливало?
Приведем пример. В статье «What is Meant by AGI? On the Definition of Artificial General Intelligence» авторы делают попытку определить «сильный» ИИ следующим образом:
«Сильный ИИ – это вычислительная система, которая приспосабливается к открытой среде, имея ограниченные вычислительные ресурсы, и соответствует определенным принципам».

«An Artificial General Intelligence (AGI) system is a computer that is adaptive to the open environment with limited computational resources and that satisfies certain principles».

«Определенные принципы» в статье не определены. Авторы указывают на то, что специалисты из разных областей смотрят на интеллект в целом с разных точек зрения и обращают внимание на разные наборы принципов. Все эти подходы хорошо бы, конечно, объединить, но как-нибудь потом.
Вообще сам термин «сильный ИИ» впервые использовал Джон Сёрл (John Searle) в 1980 году в статье «The Chinese Room». Это был мысленный эксперимент, целью которого было доказать, что искусственный интеллект не может обладать сознанием в человеческом смысле. Он был описан с целью критики теста Тьюринга, предложенного ранее. Напомню кратко идею теста Тьюринга: человек общается с другим человеком и машиной. Если он не сможет определить, кто есть кто, машина прошла тест.
Так вот, Джон Сёрл предлагает представить себе следующую ситуацию:
- ему выдают набор китайских иероглифов. Он не знает китайского и не может их понимать;
- затем ему выдают инструкцию на его родном языке (английском), которые подробно рассказывают, какие иероглифы связаны друг с другом и каким образом (без объяснения смысла самих иероглифов);
- далее ему предлагают вопросы, написанные на китайском языке, а он составляет для них ответы по инструкции. При достаточно подробных инструкциях он сможет выполнить задачу, и человек, который говорит на китайском, не поймет, что на китайском не говорит Сёрл.
Этот аргумент был раскритикован учеными-когнитивистами (когнитивистика изучает механизмы познания). Не буду вдаваться в подробности этой критики, но от себя добавлю: как человек, изучающий китайский, я очень хочу посмотреть на эти воображаемые инструкции.
Насколько мне удалось понять, как таковых критериев достижения «сильного» ИИ пока нет. Помните, в прошлом году кто-то из OpenAI заявил, что они уже всего достигли? Он тогда сказал: «Мы не превысили человеческий уровень в решении любых задач. Но наш ИИ справляется лучше, чем большинство людей с большинством заданий». Короче говоря, сами придумали критерии, сами достигли. Для новостного заголовка самое то.
Один из важных компонентов достижения «сильного» ИИ – умение взаимодействовать с физическими объектами. Как раз месяц назад мы этой темы касались в посте про пространственный ИИ.
Стивен Возняк (Steve Wozniak) в одном из своих интервью, например, задается вопросом «Сможет ли компьютер сделать чашку кофе?». Это простая задача для человека, но, на самом деле, она состоит из множества мелких задач, многие из которых совершенно неочевидны для ИИ.
Многие исследования ссылаются на статью «Sparks of Artificial General Intelligence: Early experiments with GPT-4», в которой авторы тестируют GPT-4 на разных задачах и приходят к тому, что эта модель показывает некоторые зачатки «сильного» ИИ. Это внушительная работа, которая поднимает много важных вопросов. Я не буду здесь ее подробно рассматривать, оставлю на ваше усмотрение.

Разумеется, полноценное развитие искусственного интеллекта невозможно без изучения интеллекта человеческого. Человеческий мозг вдохновляет развитие аппаратного обеспечения: мы с вами говорили здесь о нейроморфных вычислениях, например (один из моих любимых постов, кстати) – это тоже движение в сторону «сильного» ИИ.
Разумеется, есть и исследования, которые задают вопросы «А зачем мы движемся в сторону сильного ИИ?» или «А что будет, когда мы туда, наконец, придем?» Но о них мы уже поговорим в следующий раз.

Этот пост можно было бы назвать "УБИЙЦА ТРАНСФОРМЕРОВ". Но мы тут такими вещами (почти) не балуемся

Кого читать и слушать про ИИ?

Пост про AI Plans был подводкой к сегодняшнему разговору, на самом деле. Разговор будет о том, кого имеет смысл читать или слушать, когда речь заходит об ИИ.
Вот вы откуда черпаете информацию? На меня она некоторое время сыпалась, если честно, со всех сторон. Каждый день приходило по несколько уведомлений о том, что вышла новая модель, новая статья, критика статьи, разгромный тест новой модели, конспирологическая теория о том, как эту новую модель украли китайцы…
В какой-то момент у меня наступила перегрузка, я отписалась от всего и теперь ищу информацию сама о том, что персонально мне интересно: морально стало намного комфортнее.
Но если вы сознательным усилием не поместили себя в вакуум, вокруг вас существует хор голосов, из которого выделяются, вероятно, Илон Маск, Сэм Альтман (Sam Altman, глава OpenAI) и еще какие-нибудь большие знаменитости. Это люди с большими аудиториями, которые сильно влияют на восприятие людьми всего, что происходит в области ИИ. Но являются ли они хорошими источниками информации?
Вы не поймите меня неправильно: я ни в коем случае не умаляю их экспертизы и заслуг. Однако это люди, вовлеченные в конкурентную борьбу, и их соцсети – инструмент этой борьбы. Иногда им нужны громкие заголовки и завышенные обещания. Это не потому что они нехорошие люди, это у них просто работа такая.
Но нам с вами нужны не заголовки и обещания, а достоверная информация и взвешенный анализ, желательно в удобоваримой форме, чтобы извилины не превратились во французскую косу. У меня есть на примете несколько человек, которые как раз такое делают, и я вам про них немного расскажу.

Эндрю Ын (Andrew Ng), профессор Стэнфордского университета и сооснователь Coursera. Разумеется, у него тоже есть коммерческие интересы, однако он много преподает, в том числе для начинающих. На той же Coursera у него есть, например, прекрасный курс по машинному обучению. Я оттуда натаскала слайдов в собственные лекции, уж очень они понятные. Еще у него много лекций на YouTube, в том числе таких, которые будут понятны без дополнительной подготовки.
Фей-Фей Ли (Fei-Fei Li), тоже профессор Стэнфордского университета (но это просто совпадение!), основательница успешного стартапа Word Labs. Мы этот стартап упоминали в посте про пространственный ИИ. Фей-Фей Ли много занимается компьютерным зрением и активно двигает эту область ИИ своими разработками. Ее можно поискать в разных соцсетях, в том числе на YouTube, особенно если пространственный ИИ входит в сферу ваших интересов.
Лилиан Вэн (Lilian Weng), соосновательница Thinking Machines Lab. Это исследовательский стартап, основанный Мирой Мурати (Mira Murati) – бывшим техническим директором OpenAI. Лилиан Вэн тоже проработала в OpenAI шесть лет. Но еще у нее есть научно-популярный блог с очень хорошими статьями на разные темы.
Алан Томпсон (Alan D Thompson). Он вообще занимается поддержкой одаренных детей и работает в австралийском подразделении организации Mensa. Но нам интересна его работа в области ИИ: он сделал платформу lifearchitect, на которой собрано множество научных публикаций. Это прям огромная библиотека, из которой много можно почерпнуть.
Константин Воронцов, профессор Российской академии наук. Он много занимается машинным обучением вообще и тематическим моделированием в частности. К сожалению, именно популярных работ, написанных простым языком, у него не так много. Есть блог на Дзене и видео на YouTube-канале ПостНаука. Кроме того, он создал ресурс MachineLearning.ru, который содержит огромный массив публикаций по машинному обучению на русском языке.

Конечно, этот список не полный и отражает мои собственные предпочтения. Но вы посмотрите, вдруг вам кто приглянется.