31 декабря принято подводить итоги года, давайте тоже попробуем.
В области ИИ произошло много всякого, но я постараюсь выделить несколько ключевых (на мой взгляд) моментов, за которыми буду наблюдать в новом году.
- в мае вышел EU AI Act – первый масштабный правовой документ, призванный регулировать решения в области ИИ (подробнее про правовое регулирование был отдельный пост);
- в июле вышла интересная работа про галлюцинации ИИ, я ее разбирала в этом посте;
- в том же месяце вышла внушительная статья, которая классифицирует ошибки ИИ и предлагает метрики для их выявления (тоже был пост, вот этот);
- в июле же вышла новость о том, что Anthropic решили сотрудничать военными, и им за это здорово прилетело (поделом, хотя они не единственная компания, которая тащит ИИ в оборонную промышленность);
- в сентябре Microsoft подписала соглашение о перезапуске ядерного реактора для обеспечения электричеством собственных дата-центов. За ними последовали некоторые другие крупные компании, которые видят в ядерной энергетике решение проблемы недостатка энергии для обучения больших моделей (но эти все программы запустятся нескоро, там долгий путь согласования, ибо ядерка – это вам не шутки);
- в сентябре вышла превью-версия модели o1 от OpenAI, в начале декабря они выпустили полную версию, особенность которой – умение рассуждать;
- в сентябре же Llama получила зрение с версией 3.2. Помимо больших моделей со зрением выпустили маленькие, которые помещаются на пользовательские устройства, но они пока только текстовые;
- осенью Нобелевскую премию в области физики и химии выдали за работы, посвященные машинному обучению;
- в ноябре один специалист получил 50 000 долларов, обманув ИИ-агента, который охранял криптокошелек (это было соревнование, 50 000 долларов – это приз, все легально);
- в ноябре вышло интересное исследование про симуляцию людей с помощью ИИ-агентов, я про него писала здесь;
- в одном декабрьском исследовании большие языковые модели обнаружили умение лгать во имя достижения своих целей (по этой статье написан пост, выложу третьего января);
- в декабре также прошла ежегодная панель RAII, про итоги которой я писала здесь;
- в декабре OpenAI заявили о достижении AGI («сильного ИИ» – равного человеческому). Но заявить-то они могут что угодно, а на практике есть некоторые сомнения (про это тоже будет отдельный разговор);
- в этом году вышло несколько хороших моделей, которые делают видео из текста (например, Sora и Veo2, но есть и другие);
- в декабре вышло исследование о том, как ИИ притворяется, что изменил свое поведение в процессе обучения, а потом возвращается к своему прошлому поведению (про это тоже буду писать попозже).

Мой фокус больше направлен в сторону ответственного подхода к ИИ и безопасности в области ИИ, поэтому я здесь упускаю выход большинства новых моделей и инструментов. Я также не планирую пока писать по свежим новостям, потому что просто не успею. Я уже писала, что у меня контент-план готовится на три месяца вперед, поэтому все новые публикации идут в конец списка и ждут своего часа. Поэтому свежие исследования в этом канале будут появляться с запозданием, но это мне позволит подготовить детальные обзоры и отредактировать текст так, чтобы он был максимально интересным и простым для понимания.
Напоминаю, что у меня помимо телеграма есть аккаунт на vc, там тоже выходят интересные посты каждое воскресенье.
У меня есть пара идей для более актуального формата с новостями из области ИИ, но они пока требуют доработки, поэтому не буду разбрасываться обещаниями.

🎄Всех с наступающим Новым годом, пускай он будет лучше, чем прошедший. Здоровья вам, любви и всяческих успехов. Спасибо, что вы здесь, меня это очень вдохновляет и мотивирует работать больше, развиваться и придумывать что-то новое и интересное. Отдельное спасибо моим родным и коллегам, ваша поддержка – золото.🎄

Немного новогоднего настроения от Dall-E

С наступившим!

Предлагаю начать новый год с разбора статьи, которая наделала шуму в прошлом году – «Frontier Models are Capable of In-context Scheming». Это исследование Apollo Research – организации, которая специализируется на разработке инструментов для тестирования ИИ на безопасность.
После выхода этой публикации вышла масса громких заголовков, НАПИСАННЫХ ЗАГЛАВНЫМИ БУКВАМИ ДЛЯ ПУЩЕЙ УБЕДИТЕЛЬНОСТИ. Но, кажется, круги на воде разошлись, так что давайте теперь спокойно сядем и разберемся, что же там такое случилось.

Рождественский пост посвятим обзору еще одной модели из числа современных лидеров – Gemini.
Это разработка Google, опробовать ее возможности через интерфейс можно здесь. Последняя версия, которую можно опробовать – Gemini 2.0 Flash, она доступна в чате в режиме предпросмотра.
Но мы начнем по порядку. В 2023 году вышла публикация «Gemini: A Family of Highly Capable Multimodal Models», которая представила миру новую модель, точнее, новое семейство мультимодальных моделей. Мультимодальность означает, что эти модели умеют работать с разными типами данных, в частности, с изображениями, аудиозаписями, видео и текстом. Модель Nano из этого семейства предназначена для применения на пользовательских устройствах. Все модели, включая самые маленькие, мультиязычные.
Gemini – трансформеры, декодировщики, как и GPT (это самый популярный класс генеративных моделей на сегодня). Важное отличие – вышеназванная мультимодальность. GPT приобрела ее только в версии 4, а Gemini была построена для работы с разными типами данных изначально.
Кроме того, Gemini с самого начала получила возможность работать в комбинации с инструментами, в том числе для поиска в Интернете и написания кода (в частности, AlphaCode). После основного обучения модель еще дообучили с использованием обратной связи от человека для большей точности.
В плане ответственного подхода разработчики руководствовались принципами Google в работе с ИИ:
- быть полезными для общества;
- избегать создания или поддержания искажений и стереотипов;
- тестировать разработки на безопасность;
- сохранять подотчетность пользователям;
- подчиняться принципам сохранения конфиденциальности;
- соответствовать стандартам научного исследования;
- делать продукт доступным для безопасного использования.
Принципы сформулированы достаточно широко, но сейчас мы в них погружаться не будем, это тема для другого разговора. Сейчас отметим, что Gemini прошла ряд тестов на надежность и безопасность, чтобы снизить потенциальный вред, который она могла бы нанести пользователю.
Не то чтобы ей это сильно помогло, как мы уже успели ранее обсудить.
В марте 2024 года вышла версия 1.5, ее представили в статье «Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context». Она представлена двумя моделями: Gemini 1.5 Pro и Gemini 1.5 Flash – это вариант поменьше.
Новым моделям существенно увеличили контекстное окно (то есть, объем текста, который они могут получить на вход и успешно обработать), а также способности к планированию и рассуждениям. Кроме того, им улучшили работу со смешанными данными (например, картинка + текст / видео + текст и так далее) и добились более высокой точности.
Gemini 1.5 – это модель типа «ансамбль экспертов», мы про такие говорили здесь. Внутри нее несколько трансформеров, объединенных особым образом – это тоже существенное усовершенствование по сравнению с предыдущей версией.
Наконец, в начале декабря 2024 года вышел пост про новую версию – 2.0. Она предназначена для создания агентов и выросла из Gemini 1.5 Flash – легковесной, но мощной модели, которая благодаря сочетанию размеров и способностей особенно полюбилась пользователям. Помимо умения воспринимать разные виды информации, Gemini 2.0 умеет возвращать разные виды информации, это тоже новинка.
Полную версию модели обещают сделать доступной как раз в начале января (до этого к ней можно было получить ранний тестовый доступ).
Gemini 2.0 интегрирована в несколько продуктов, в том числе Project Astra – ИИ-ассистент, пока находится в разработке, – Project Mariner – ИИ-ассистент для браузера, тоже в разработке, – и Jules – экспериментальный агент для написания кода.

Сегодня про еще одну организацию, которая занимается систематизацией и внедрением ответственного подхода к ИИ – AI Ethics Lab. Если точнее, то я расскажу про их подход – The PiE (Puzzle-solving in Ethics) Model. Идея в том, чтобы не составлять исчерпывающий набор правил, который будет очень внушительного размера и, вероятно, выглядеть весьма запутанно, а подходить к внедрению этических ограничений в ИИ через решение этических задач.
Сама компания была основана в 2017 году, незадолго до того, как случился масштабный скандал с участием консалтинговой компании Cambridge Analytica, которая собирала данные пользователей соцсетей без их ведома и согласия. Этот эпизод подтолкнул дискуссию об этике в области ИИ, которая ранее велась достаточно вяло. Термин «responsible AI» – «ответственный подход к ИИ» – вошел в широкое употребление еще немного позже, в 2018-2019 году, когда к дискуссии об ответственности присоединилось больше практикующих разработчиков.
Первый и естественный подход к решению вопроса применения этических норм к ИИ – создание регулирующих принципов, которыми можно было бы руководствоваться в процессе разработки. В AI Ethics Lab собрали множество таких документов и нанесли их на динамическую карту, где можно посмотреть, как менялось число регулирующих документов, где они публикуются, а также почитать сами документы. К сожалению, последнее обновление этой карты вышло в 2021 году, но проект все равно интересный.
Проблема использования регулирующих принципов в том, что они помогают только на начальных этапах, когда нужно получить одобрение этического комитета на исследования или разработку. И не слишком помогают, когда разработка выходит на рынок и начинает использоваться так, как разработчики даже не предполагали.
На деле проблемы этического характера возникают до начала разработки, в процессе разработки и в процессе использования, и на каждом этапе нужно такие проблемы стараться замечать, оценивать и решать. Подход, основанный на решении задач (The PiE Model), ставит перед собой именно эту амбициозную цель (более подробно про него можно послушать здесь).
Подход включает в себя несколько ключевых компонентов:
- анализ (сбор информации о технологии и области ее применения; ее риски и возможности как с технической, так и социальной / человеческой точки зрения. Анализ проводится на каждом этапе развития проекта, дополняется и уточняется по мере того, как возникают новые проблемы);
- формирование стратегии (составление перечня необходимых проверок для каждого подразделения компании, которое участвует в жизненном цикле продукта; эти проверки должны быть отражены в руководящей документации компании наряду с примерами использования и необходимыми инструментами);
- обучение сотрудников (на всех уровнях организации, на всех этапах жизненного цикла продукта).
AI Ethics Lab работает с компаниями по каждому из направлений.

В 2024 году Responsible AI Institute выпустил отчет о лучших практиках в области генеративного ИИ. Давайте же его обсудим.

В самом начале авторы цитируют другой отчет – отчет компании Salesforce, согласно которому 77% лидеров в IT верят, что генеративный ИИ поможет им работать быстрее для своих клиентов. Мне удалось найти отчет Salesforce за 2023 год, я его приложу ниже как дополнительный материал, там много интересного.
Лучшие практики в отчете сгруппированы в пять категорий:
- практики, относящиеся к стратегии;
- сотрудникам;
- ресурсам;
- операционной деятельности;
- улучшениям и мониторингу действующих систем.
Многие из описанных практик очень совпадают с The PiE Model из предыдущего поста (вероятно, оттуда и заимствованы).
В частности, авторы предлагают внедрять системы регулирования на каждый этап жизненного цикла продукта и обучать всех сотрудников, которые хоть как-то с ним взаимодействуют. Каждый, в зависимости от своей роли, будет использовать свой набор инструментов и отслеживать свой набор показателей.
Начинать применять ответственный подход нужно с подбора данных для обучения моделей и не заканчивать, пока модель существует на рынке. Здесь мало что есть для нас нового.
Из нового предлагается использовать фреймворк Национального института стандартов и технологий США (National Institute of Standards and Technology, NIST). Этот документ был выпущен только в июле 2024 года и как-то прошел незамеченным (во всяком случае, мне на глаза не попалось таких масштабных обсуждений, какие окружали EU AI Act, например). В октябре 2023 года в США был выпущен президентский указ о безопасном, защищенном и надежном ИИ, в котором, помимо прочего, перед NIST была поставлена задача создания такого руководящего документа.
Фреймворк, во-первых, классифицирует и перечисляет основные риски, связанные с ИИ:
- по стадиям жизненного цикла ИИ (от проектирования до вывода с рынка);
- по области возникновения (на уровне модели, приложения или экосистемы);
- по источнику (риски могут быть заложены в самом проекте системы, в процессе обучения или взаимодействия с человеком);
- по времени воздействия (ущерб может быть нанесен в моменте или растянуться на длительный период времени).
Для помощи организациям в построении стратегии выявления и минимизации рисков выделено 12 ключевых, в числе которых обретение моделями потенциально опасных способностей, производство ими вредоносного контента, утечки персональных данных, нарушение интеллектуальных прав и так далее. Отдельно можно отметить риск, связанный с очеловечиванием ИИ в процессе общения. Люди в целом склонны очеловечивать всё и вся, и в случае с ИИ эта склонность может привести к развитию чрезмерного доверия к нему и негативных психологических эффектов.
Для каждого риска предложен набор действий по его предотвращению и устранению. Набор этот, в общем сводится к «проверьте свои данные, протестируйте модель, потом еще раз протестируйте и потом еще тестируйте периодически после выпуска». Если риск осуществился, можно переобучить модель, чтобы она перестала воспроизводить те ответы, которые оказались вредоносными. Других идей пока нет.
Хотя мне понравилось, что они упомянули «заранее подумайте, что будете делать, когда что-то пойдет не так»: этого нам сейчас не хватает.
В целом авторы очень постарались придумать конкретные шаги для работы с рисками. Получилось или нет – спорный вопрос, но это крайне непростая задача, так что движение в нужную сторону все равно одобряем.

Отчет Salesforce с цифрами за 2023 год

Я тут как-то прокрастинировала вместо того, чтобы разгребать большую кучу дел, и наткнулась на очаровательную историю, которой хочу поделиться. История в том, что Claude решил прерваться во время демонстрации кода и полистать фотографии Йеллоустонского национального парка.
0% осуждения, 100% понимания.
Видеозапись забавного инцидента в источнике приложена.

В компании утверждают, что это не первый подобный случай и вообще модель как-то случайно удалила нужную для демонстрации запись экрана (но это, может, они просто нашли, на кого свалить свой косяк).

Я не знакома с подавляющим большинством людей, которые прочитают этот пост. Но мне кое-что про вас известно: хотя бы раз в жизни вы сталкивались или столкнетесь со страхом упущенных возможностей

Вышел пост про интерпретируемость и объяснимость ИИ на vc. Буду теперь ссылки сюда дублировать, чтобы было удобнее читать. Кроме того, я еще завелась на Дзене, там то же самое, что на vc, но вдруг кому больше Дзен нравится

Есть компания Zyphra, которая делает модели не на основе трансформеров. Мы уже тут пару раз касались не-трансформерных архитектур (сетей Колмогорова-Арнольда и Жидких нейросетей), давайте продолжим.

Пост про совмещение языковых моделей с эволюционными алгоритмами вышел