Помните, мы обсуждали ИИ с открытым исходным кодом? Речь шла о том, что организация The Open Source Initiative, которая поддерживает распространение программного обеспечения (ПО) с открытым исходным кодом, выпустила определение открытого ИИ.
Так вот, это определение далеко не всем пришлось по душе: кто-то недоволен отсутствием требования публиковать обучающие данные, кто-то считает, что новое определение вообще было лишним и уже существующее определение ПО с открытым исходным кодом работает достаточно хорошо.
В области ИИ вообще беда с определениями: мы раньше говорили, например, о том, что нет единого определения «сильного» ИИ и о том, что определение ИИ-агента меняется. И так примерно во всём.
ОЭСР (Организация экономического сотрудничества и развития) в 2024 году выпустила целый пояснительный документ про то, почему они обновили свое определение ИИ, которое теперь звучит так:

«ИИ-система – это система на базе машины*, которая для явных или неявных целей из полученного входа формирует выход, такой как предсказание, содержание, рекомендации или решения, которые могут влиять на реальное или виртуальное окружение. Разные ИИ-системы различаются по степени автономии и адаптивности после ввода в использование.»

(«An AI system is a machine-based system that, for explicit or implicit objectives, infers, from the input it receives, how to generate outputs such as predictions, content, recommendations, or decisions that can influence physical or virtual environments. Different AI systems vary in their levels of autonomy and adaptiveness after deployment.»)

Далее документ определяет, что есть автономия, адаптивность, цели и всё остальное.
Ещё в процессе поиска информации мне попался документ Института права и ИИ (Institute for Law & AI) – исследование того, какие термины и определения в области используются. У них вообще много интересных материалов, но я пока глубоко не полезла, только заметку себе поставила, чтобы посмотреть.
Авторы рассматривают много разных подходов к определениям, а главное, отвечают на вопрос, зачем оно надо: чтобы можно было осуществлять правовое регулирование. Если вы регулируете ИИ, не зная, что такое ИИ, вы ничего не регулируете. Как-то так.
В целом, для этапа активного развития технологии такой терминологический винегрет нормален. Никто тут не дурак и не злодей. Единственное, что можно в данном случае посоветовать – спрашивать: «А что вы имеете в виду?» – когда ваш собеседник будет говорить про ИИ. И спрашивать до тех пор, пока каждое его слово не будет вам обоим совершенно точно понятно единственным образом. Я так стараюсь делать (это всех бесит).

*В Гражданском кодексе РФ есть термин «электронно-вычислительная машина (ЭВМ)», который, возможно, подошёл бы сюда по контексту. Но я не юрист и не могу уверенно сказать, допустима такая замена терминов при переводе или нет. Вообще юридический перевод – это целое отдельное направление. Просто имейте в виду, что я не им занимаюсь, а пытаюсь передать вам смысл написанного так, как сама его понимаю.

У меня был пост про открытые лицензии на программное обеспечение, и я там пообещала еще про коммерческие и смешанные лицензии рассказать. С ними я совсем не работала, потому что работаю почти всегда в команде, и там есть люди, которые возятся со всеми скучными бумажками за меня. Но иногда надо и поучиться чему-то новому, так что поехали.
В отношении коммерческих лицензий разбираться особо не в чем: как конкретный человек или компания считают нужным распространять свои продукты, так и пишут в договоре. Единственное, лицензии называются не коммерческими, а проприетарными (proprietary – перевод на высоте, как обычно. Сразу понятно, о чем речь. Это был сарказм).
Еще один вариант перевода – «собственническое программное обеспечение (ПО)». Короче говоря, это такое ПО, которое не соответствует критериям открытого ПО и распространяется за деньги на тех условиях, которые придумал правообладатель.
Термин «коммерческая лицензия на ПО» тоже используется, но в таких случаях речь идет просто о том, что кто-то будет на ПО зарабатывать: пользователь, создатель или оба. А «собственническая лицензия» – это про правообладание. ПО, защищенное такой лицензией, может никому не продаваться за деньги, и его может использовать только автор, а остальным запрещать.
Если вдруг кто юрист и желает поделиться своими соображениями, комментарии всегда открыты.
Самое интересное, на мой взгляд – гибридные варианты. Они позволяют, с одной стороны, быстро распространять продукт (потому что бесплатно), с другой стороны, зарабатывать (потому что всё-таки немножечко платно).
Как вариант, можно раздавать бесплатно ограниченную версию ПО, а продавать к нему дополнительные фишки, которые делают работу удобнее. Или разрешать использовать ПО бесплатно в личных целях, но брать деньги за коммерческое использование. Так поступает Docker и много кто еще.
Например, есть очень популярная платформа для работы с графовыми базами данных – Neo4j. Она начиналась как полностью открытый проект, но потом авторы перешли на смешанное лицензирование: есть общедоступная версия, с которой можно работать бесплатно, и версия для компаний – с подпиской.
Еще есть Mozilla, у которой лицензия MPL 2.0. Это так называемая «слабая копилефт-лицензия». Копилефт требует распространять новый продукт на тех же условиях, что и исходный, на основании которого новый был создан. «Слабый копилефт» предполагает исключения. Конкретно в случае Mozilla если кто-то возьмет исходный код и поменяет там файлы, он обязан всё опубликовать в открытый доступ. Но если этот кто-то создаст новый файл, то этот файл можно включить в другой продукт и распространять по той лицензии, по которой распространяется продукт.
Есть еще много других вариантов, и они не все совместимы между собой: некоторые лицензии, такие как Универсальная общественная лицензия GNU, требуют, чтобы весь продукт распространялся на ее условиях, если хотя бы один компонент распространяется на ее условиях. Универсальная общественная лицензия GNU – открытая лицензия.
Чаще всего, кажется, встречается вариант «базовые возможности бесплатно, остальное за денежку». И вариант «для одного бесплатно, для команды платно». Это удобно, в общем: у пользователя есть возможность потестировать продукт и решить, платить за не или нет. У правообладателя есть возможность заработать.
Особенно круто, когда лицензия позволяет пользователям создавать и добавлять свои компоненты к большому продукту. Первый пример, который приходит мне в голову – игровые моды для Skyrim (и не только). «Мод» – это модификация, которая может включать в себя новые уровни, визуальные изменения и отдельные компоненты игрового интерфейса. В том же Skyrim моды добавляют реализма, заставляя персонажа мерзнуть зимой и испытывать голод. В специальном выпуске игры их добавили как отдельный «режим выживания». У меня этот выпуск есть, я в отпуске и надеюсь до него наконец-то добраться.

Сегодня пост вышел длинный, но весёлый. Почитайте обязательно

На всякий случай, ещё раз ссылка, чтобы загрузился предпросмотр. Уж очень хочется картинку оставить, она тут в тему

Опять у нас ChatGPT угрожает когнитивным способностям, давайте разбираться.

Разбираясь в исследованиях про критическое мышление и ИИ, я пришла вот к чему: важно не столько влияние ИИ / социальных сетей / поиска в Интернете и так далее, сколько привычка упражнять мозг. Критическое мышление – это сложный навык, который не свойственен нам естественным образом. Чтобы оно работало, надо делать над собой усилие и активно его включать. Так что ИИ сам по себе не принёс ничего нового, это просто ещё один инструмент, которым надо пользоваться разумно.

Может, мне уже переименовать свой канал в «Просто ещё один инструмент?» 🤔

Продолжим разговор о калибровке ИИ в соответствии с человеческими ценностями: что это значит вообще и какой ИИ можно считать «правильным» или «соответствующим человеческим ценностям»? О каких ценностях идёт речь, если они разные в разных странах и в разные эпохи? Да и вообще в одной стране, в один день, в одном доме и на одном этаже могут спокойно жить два человека с очень разными ценностями. По кому калибруем ИИ? Мы хотим внедрить в ИИ какие-то «общечеловеческие» ценности или привести его в соответствие с ценностями конкретного пользователя? Если мы говорим про «общечеловеческие ценности», то что это значит?

Вдохновившись исследованием из предыдущего поста, я решила написать эссе.
Написала его, используя только собственный мозг, не использовала ни поиск в Интернете, ни ИИ-помощников. Это значит, что я не проверяла свой текст на фактическую корректность, как делаю обычно. Здесь нет ссылок на внешние источники, только моё мнение. Я намеренно выбрала непростую тему, по которой у меня нет однозначного мнения, и спорю сама с собой в надежде его обрести.
Структура простая: постановка вопроса, два аргумента в пользу одной идеи, два в пользу противоположной, мой вывод. По времени я себя не ограничиваю, но стараюсь писать короче.

В моей информационной эхокамере присутствует живая дискуссия на тему «Отказаться от использования ИИ в обучении или применять его насколько возможно?» Сторонники отказа полагают, что использование ИИ, особенно на ранних этапах обучающего процесса, мешает развитию собственных когнитивных навыков человека и делает его менее самостоятельным в дальнейшей жизни. Сторонники использования говорят о том, что жить нам всем в мире с ИИ, а значит, надо пораньше учиться его использовать, иначе в будущем человек будет отставать от окружающих.
В пользу отказа говорят многие исследования, которые мы в том числе здесь рассматривали: чтобы мозг работал хорошо, нужно его упражнять подобно тому, как мы упражняем мышцы. Бездумное использование ИИ мешает как следует погружаться материал, искать информацию самостоятельно и делать ошибки, которые в процессе обучения зачастую важнее, чем успехи. Чтобы не использовать ИИ бездумно, нужно научиться критически мыслить, а этого нельзя полноценно достичь, полагаясь на ИИ.
Кроме того, решение сложной задачи, пускай и не с первого раза, вызывает чувство удовлетворения, которое сложно с чем-то сравнить. Это ощущение роста и ощущение того, что ты продвинулся дальше и стал немного умнее себя в прошлом. Чем сложнее задача, чем ярче радость победы. Получая готовые решения с минимальными усилиями, человек лишается этой радости, что, в свою очередь, лишает его мотивации двигаться дальше и покорять новые вершины.
С другой стороны, почему всё хорошее в жизни нужно непременно выстрадать? Есть и работы, которые показывают, как мотивация и успеваемость студентов снижается из-за стресса. Если задача чрезмерно сложна, а страх ошибки велик, человек не научится её решать, а научится бояться и чувствовать себя бестолковым и никчёмным. ИИ, при наличии аккуратно выставленных ограничений, поможет снизить стресс и сделать процесс обучения более увлекательным, мотивируя на поиск и преодоление.
Наконец, зачем издеваться над студентами и требовать от них извлекать огонь трением, когда в жизни они будут пользоваться зажигалкой? Разумнее подготовить их к будущему, которое бросает новые вызовы: к чрезмерному обилию информации, которую трудно проверять, к характерным для ИИ рискам и к тому, с чем им придётся конкурировать, выходя на работу. Пока они учатся писать ручкой по бумаге, развиваются технологии, которые позволяют убедительно изобразить фотографию несуществующего события. Студентам нужны совсем новые знания и навыки, чтобы выжить в новом мире.
Особенность подобных дискуссий, на мой взгляд, в том, что друг другу противопоставляются крайние противоположности, которые существуют только в пространстве спора. В реальности всё более сложно и смешано, и истина лежит где-то посередине. Люди, которые в школе учили физику, литературу и математику, не знают, как проверять сгенерированную ИИ информацию, как не попасться на уловки мошенников и как защитить персональные данные. Но люди, которые плохо учили физику, литературу и математику, бьются током из сломанной розетки, не могут внятно излагать свои мысли или разумно управлять собственным бюджетом. Чем дальше шагают технологии, тем больше навыков нам нужно, чтобы с ними управляться, и это колоссальный вызов для системы образования. Студентов важно учить писать эссе и важно учить пользоваться ИИ. Как при этом не уморить несчастных за партой, одному богу известно.

#эссе

Наткнулась на интересное исследование. Оно не про безопасность, но описанный в нём феномен неплохо подходит и для обеспечения безопасности в том числе.
Рассказываю, что к чему

Чувствуете этот манящий аромат информации? Время выходить на охоту

Мы недавно говорили про роботов, которые умеют складывать постиранное бельё, и про то, как для них используют языковые модели с рассуждением. Но очевидно, что роботу помимо языковой модели для планирования действий нужно зрение для манипуляции объектами в реальном мире. Так что на самом деле они используют мультимодальные модели, которые работают и с текстом, и с изображением – Vision Language Models (VLM).
Мультимодальность, то есть, умение работать с разными типами данных – концепция для нас не новая. Мы уже обсуждали подобные модели ранее в контексте ответов на вопросы по картинкам. Сегодня немного в общем виде обсудим эту интересную группу моделей, и опираться я буду на этот пост на huggingface и его обновление, которое вышло в мае текущего года.
Я не буду описывать внутреннее устройство мультимодальных моделей и то, как они работают – если интересно, сходите по ссылке на мой пост про LLaVA. Там достаточно подробно и простым языком писала про всё.
Выявить VLM среди прочих моделей просто: у них в имени есть суффикс VLA, VLM или VL. Например, Qwen-VL-Chat, deepseek-vl-7b-base. Они могут вам пригодиться, если вы захотите написать субтитры к видео, спросить что-то по фотографии и всё такое. У всех разработчиков, по-моему, сейчас есть такие: GPT, Mistral, Llama – все обзавелись зрением. Так что можно спокойно выбирать любимый чат и работать в интерфейсе.
Если вы хотите что-то сделать самостоятельно и поработать локально или через API, то к вашим услугам будут разные рейтинги, составленные на основании анонимных голосов пользователей. Например, можно использовать OpenVLM Leaderboard. Там есть система удобных фильтров, и вы сможете выбрать модель по размеру или с открытым исходным кодом, отсортировать по наиболее подходящей вам метрике.

Популярность мультимодальных моделей легко объяснить: они же очень удобные. С ней можно общаться текстом, потом перейти на голос, потом скинуть картинку – и она ответит вам так, как вам надо. И если сначала появились модели, которые умеют работать с двумя видами данных (например, картинка + текст), то сейчас есть крутыши типа Qwen2.5-Omni, которые умеют принимать на вход всё, что угодно, и выдавать на выход тоже всё, что угодно.
Одни из самых интересных моделей в этой большой группе – VLA (Vision-Language-Action). Это модели, которые умеют обрабатывать текст, изображения и управлять действиями. Вот они-то и применяются в робототехнике. Та часть, которая отвечает за действие, достаточно простая: модель генерирует исполняемые роботом команды в том формате, в котором он может эти команды воспринять.
Дополнительные возможности, такие как способность к рассуждениям или обращение к базам данных с полезной информацией позволяет VLM быть точнее и надёжнее.

И опаснее?
Я точно где-то говорила (потому что я без конца везде про это говорю), что более способные модели всегда более опасные – просто потому что могут накосячить в нескольких разных областях и с повышенной эффективностью.
Одно из активных направлений для решения данного вопроса – прямая оптимизация предпочтений. Это направление невероятно интересное: оно включает в себя работу с архитектурой модели напрямую с тем, чтобы изменить их поведение. Я сейчас работаю в небольшой группе над исследованием многомерных представлений разных ценностей у языковых моделей, и это что-то с чем-то. У меня прям прилив энергии и вдохновения наступает каждый раз, когда я только думаю про наши эксперименты.
К сожалению, большую часть своего энтузиазма мне приходится держать при себе, потому что мы хотим писать статью. Но, думаю, я найду способ аккуратно приоткрыть для вас завесу тайны так, чтобы не навредить проекту.

Я изначально планировала сегодня сделать пост про Qwen, потому что очень мне эта модель нравится, но потом меня занесло немного в сторону.
А теперь я посмотрела статью по Qwen2.5-Omni и, видимо, пост про неё таки будет: там очень интересная архитектура 🧐

Мы как-то обсуждали эссе Ричарда Саттона про то, как статистика и масштабирование наборов данных позволили создать более продвинутый ИИ, чем годы исследования мозга.
Потом мы обсуждали статью о том, как исследования мозга всё-таки много привнесли в развитие ИИ и ещё много привнесут. И в этой статье авторы говорят, что, мол, само развитие способностей моделей за счёт увеличения их размера тоже биологически обосновано, потому что чем больше мозг, тем он умнее.
Я не нейробиолог ни разу вообще, просто очень люблю читать всякое. Моя любимая книжка называется «Дуэль нейрохирургов. Как открывали тайны мозга и почему смерть одного короля смогла перевернуть науку» – очень советую. Но компетентным специалистом я не являюсь, поэтому прошу всё написанное далее воспринимать скорее как дружескую болтовню на кухне, а не истину в последней инстанции.
Так вот. Прочитала я то и другое и решила разобраться, кто прав и имеет ли размер значение. Ну и пошло-поехало, как обычно.

Мы привыкли всё сравнивать с собой – и это понятно, – но научные открытия последних десятилетий говорят: «Всё сложнее и интереснее, чем вы думаете». В области изучения интеллекта ничто не предопределено, значит, и в области ИИ тоже

Сегодня обсуждаем снова мозг и попутно развенчиваем теорию шести рукопожатий. Вот случайно как-то так получилось

Немного спойлеров

Смонтировала вчера видос. Это рассказ про основы и развитие ИИ — получилось длинно, но интересно
На YouTube оно уже доступно, на Дзен пока грузится. Как загрузится, прикреплю сюда же ещё одну ссылку

UPD: ссылка на Дзен

Сегодня ещё немного мозга, а потом снова будет ИИ

Тема интересная: свойства мозга, которые определяют развитый интеллект. Читать будем статью «Neuronal factors determining high intelligence» (2016).
Во-первых, что есть интеллект? Авторы статьи определяют его как

«… ментальную или поведенческую гибкость или способность организма решать задачи, возникающие в его естественной или социальной среде обитания. Кульминация интеллектуального развития – создание новых решений, которые не входят в обычный репертуар данного организма».
(«… mental or behavioural flexibility or the ability of an organism to solve problems occurring in its natural and social environment, culminating in the appearance of novel solutions that are not part of the animal’s normal repertoire.»)

Интеллект включает в себя
• Ассоциативное обучение;
• Формирование памяти;
• Поведенческую гибкость;
• Инновационность;
• Абстрактное мышление и формирование абстрактных понятий;
• Способность к глубокому пониманию объектов или явлений (insight).
Авторы собрали множество исследований по разным параметрам мозга и прошлись по ним последовательно, оценивая на предмет связи каждого из параметров с уровнем развития интеллекта.
Размер: мозг лошади больше, чем мозг попугая, но попугай лучше справляется с тестами на интеллект и демонстрирует более сложное поведение.
Размер относительно массы тела? Если посмотреть на всех животных, для которых есть такие измерения, получается, что размер мозга тем больше, чем больше тело, но относительный размер мозга больше у мелких животных. Мозг землеройки составляет 10% от массы её тела, а мозг человека – 2%.
Даже если посмотреть, насколько мозг животного отличается от среднего в его группе (группа здесь – это, например, «приматы» или «грызуны»), выходит, что дельфины и капуцины должны быть умнее горилл, а это не так.
Вот число нейронов, особенно в тех зонах мозга, которые отвечают за контроль, планирование и прочие когнитивные функции – у людей это лобные доли, – выглядит весомым фактором. Только их сложно посчитать: разные исследовательские группы используют разные методы, и разброс оценок для человека составляет от 10 млрд. до 22 млрд. клеток. Более устойчивые оценки, которые удаётся воспроизвести, – примерно 15 млрд.
Количество нейронов, которые умещаются в мозгу и отдельных её областях зависит от толщины коры больших полушарий и строения самих клеток и тканей, окружающих эти клетки. У слонов и лошадей, например, кора тоненькая, а у шимпанзе она очень толстая, и плотность упаковки нейронов там выше, чем у людей. Поэтому размер мозга у человека примерно в три раза больше, чем у шимпанзе, а нейронов в коре больших полушарий в два раза больше. Наступают на пятки, можно сказать.
Число связей между нейронами тоже важно, но здесь с оценками совсем беда. Для человека насчитывают от 1 000 до 30 000 связей в среднем у одного нейрона – учёные пока не договорились. Почему это важно? Нейроны ближе и связей больше – меньше расстояние, которое проходит информация от одного нейрона к другому. Соответственно, мозг «лучше соображает».
На скорость передачи информации влияет кое-что ещё, а именно миелиновая оболочка. Это такой изоляционный слой, который окутывает аксоны – отростки нейрона, передающие информацию соседям. Толще оболочка – выше скорость передачи информации. У обезьян, включая людей, эта оболочка самая плотная среди млекопитающих, а вот у китообразных и слонов она намного тоньше.

Такие дела

*Картинка сгенерирована с использованием ChatGPT

Много раз мы с вами здесь говорили о том, что настройка ИИ на человеческие предпочтения – дело сложное: у всех свои предпочтения, и заранее не угадаешь.

Авторы статьи «Goal Inference from Open-Ended Dialog» предлагают обучать ИИ на предпочтениях пользователя в процессе взаимодействия.

Это не принципиально новый подход: ИИ уже обучается в процессе работы, но, как правило, в рамках одной узко поставленной задачи, и его навыки плохо распространяются на новые задачи. На более широкий спектр задач ИИ обучают перед запуском в работу, и это надёжный подход, но очень затратный.

Авторы нацелились избавиться от ограничений: сделать так, чтобы ИИ обучался «на лету» и при этом приобретал навыки, полезные для решения разнообразных задач.

Рассмотрим их подход и к слову поговорим об особенностях диагностики редких заболеваний

Накопала статью аж 2016 года, которая называется «Social Learning and Distributed Hypothesis Testing» («Социальное обучение и распределённое тестирование гипотез»). На первый взгляд, это что-то из социологии, но на деле работа существенно шире – и это очень интересно. Пошли разбираться

Зайдёшь на пару минут глянуть новости – минус вера в человечество. Мы что, правда такие дикие? Или это в Интернете обитают исключительные троглодиты, которые ненавидят всё живое?

Или это особенности распространения информации?

Если вы не сегодня начали читать мой канал, то уже что-то заподозрили. Если сегодня, то сейчас тоже всё поймёте.

На тему передачи информации написано много работ, но я сегодня выбрала статью 2022 года «From Storytelling to Facebook. Content Biases When Retelling or Sharing a Story». Там изложено два больших эксперимента, каждый более чем на тысячу человек, и мы кратко их обсудим.

Вообще множество исследований говорит о том, что информация, которая вызывает страх или негативные эмоции в целом, распространяется эффективнее. Когда люди передают устно или письменно большие объёмы информации, именно негативная информация и информация о потенциальных угрозах сохраняется в памяти лучше и передаётся дальше. Некоторые исследователи полагают, что это было важно для нашего выживания: если ты забыл, где нашёл вкусный корнеплод, ты просто не получишь вкусный корнеплод. Но если ты забыл, где видел тигра, то всё. Никакой передачи генов следующему поколению. Кто забыл про тигра, вымер, и теперь все мы немного нервные.

На мой взгляд, здесь два практических вывода:
1) Стоит помнить, что информация в соцсетях и новостных сводках искажена. Даже если никто не хочет вами напрямую злостно манипулировать, у негативной информации больше шансов до вас добраться.
2) На людях, которые передают информацию, лежит ответственность за форму подачи. Да, мы все люди и у нас у всех мозг слегка перекошен в сторону «о Боже, всё пропало», но мы всегда можем остановиться, свериться с первоисточником и спросить себя: «Я пересказываю то, что случилось, или то, что сочла важным моя параноидально настроенная внутренняя обезьяна?»