AI, life and balance
114 subscribers
136 photos
3 videos
11 files
204 links
Download Telegram
Сейчас много говорят про вайб-кодинг — написание кода с помощью запросов к нейросетям. Кто ругает, кто в восторге, вот и я решила высказаться. Получилось как обычно: не черное, не белое, надо учиться
Наткнулась на интересную статью про использование языковых моделей для модерирования контента – «Adapting Large Language Models for Content Moderation: Pitfalls in Data Engineering and Supervised Fine-tuning».

Подумала: «Языковые модели сами бы еще отмодерировать,» – но всё равно интересно.

Давайте посмотрим, что там.
Нашла статью про обучение маленькой языковой модели для повышения ее доброжелательности и безопасности. Делюсь
👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Я снова нашла себе работу.

Точнее, обучение: я поступила на программу Moonshot Alignment Program, которую делает команда AI Plans. Программа продлится пять недель, и уже по ее началу я понимаю, насколько это крутой и ценный опыт. Там куча прекрасного материала, и по завершении будет командный проект. Моя команда работает с прямой оптимизацией пользовательских предпочтений — обязательно позже расскажу, что это такое и почему это круто.
Вообще, как закончу обучение, обязательно сделаю по итогам пост (и не один: я уже хорошо так пополнила свой список чтения).

Попала я туда эпично.
Сначала ссылкой на программу поделился один из коллег в рабочем чате. Я подумала: «О, звучит интересно». И зарегистрировалась. На финальный день, где команды должны представлять свои проекты, а не на саму программу. Как я проглядела нужную кнопку, ума не приложу. Скорее всего, как обычно пыталась делать несколько дел сразу.
Когда поняла свой промах, было уже поздно: прием заявок закончился. Расстроилась, конечно, но, думаю, ладно: всё равно у меня нет времени уже ни на что.
И тут коллега, который ссылкой поделился, говорит: «А давай я организаторам про тебя напишу, вдруг пустят». «Пиши,» – отвечаю. А сама думаю, что не пустят, конечно же. Там для регистрации надо было приложить что-то вроде резюме с описанием своего опыта и пройти тест на знание области. Я ничего этого не делала, потому что зарегистрировалась не туда.
И организаторы вдруг такие: «А, помним её по одному из хакатонов. Ладно, сделаем исключение». И вот.

Мне теперь надо в два раза усерднее работать, потому что меня взяли вот так на честном слове мимо конкурса, так что надо показать, что это было не напрасно. Поэтому в ближайшее время посты будут коротенькие, скорее всего, потому что я буду много времени посвящать учебе. Но потом обязательно всем-всем с вами поделюсь.
Вы ведь тоже мне показываете свое доверие тем, что подписались и читаете, и я буду изо все сил стараться и вас тоже не подвести.

А пока посмотрите, в каком крутом приложении у нас проходят учебные созвоны: https://app.gather.town. Я даже не думала, что есть такое – очень интересно
Сегодня хочу с вами поделиться несколькими интересными источниками информации про ИИ, которые мне самой нравятся.

Во-первых, сайт AI Plans. Я их неоднократно упоминала, и по веской причине: они делают огромную работу по объединению специалистов в области ИИ, чтобы работать над его надежностью, этичностью и безопасностью. На своем сайте они собирают разные публикации на эту тему и приглашают людей к дискуссии. Туда можно зайти, почитать разные исследования и комментарии к ним. И свое мнение оставить, конечно же.
У AI Plans есть активное сообщество в Discord, где люди делятся статьями и мнениями, они постоянно устраивают то хакатоны, то совместные программы для исследователей – в общем, правда много делают.

Во-вторых, блог Apollo Research. Они регулярно проводят и публикуют исследования рисков ИИ. Им, например, принадлежит нашумевшая статья про модели, которые плетут интриги (разбирала здесь). А совсем недавно, месяц назад вышла еще одна, о том, что более способные модели более способны и на всякое вредительство (что не удивительно, но полезно иногда доказывать то, что не удивительно). Эту работу я пока не знаю, когда и где разберу и буду ли разбирать вообще, но вы ее посмотрите, она отлично написана (машинный перевод на русский язык кривоватый получается, но вменяемый).

Наконец, сообщество Less Wrong. Оно про рациональность, принятие решений и непопадание в ловушки когнитивных искажений. Меня с ним познакомил коллега (спасибо), теперь сама знакомлю вас. Работы про ИИ там тоже есть. Здесь материал бывает несколько более хардкорный и несколько менее популярный (в смысле изложения), чем в предыдущих источниках, но очень полезный и интересный.
Сейчас вокруг ИИ очень много белого (и желтого 🦆) шума. Постоянно выходят модели, публикации, обзоры моделей и публикаций, обзоры обзоров и так далее. В этом всём легко утонуть, поэтому полезно под рукой иметь некоторое количество ресурсов, которые позволят выстроить качественную базу, исходя из которой вы уже сможете уверенно плыть сквозь поток информации и понимать, что есть желтушный заголовок, а на что стоит обратить внимание.
1🔥1
Я: "Сначала закончу курс, а потом буду делать посты по его материалам".
Также я через пять минут: "Мне срочно надо написать огромный пост, полный формул, потому что это нельзя скрывать от мира!"

В общем, вот пост. Я надеюсь, он получился не слишком зубодробительным и достаточно интересным. Но если вдруг что непонятно, то не стесняйтесь писать в комментарии и задавать вопросы или предлагать, что я могла бы улучшить, чтобы вам было интереснее
👏2
Давайте сегодня поболтаем про персонализацию ответов языковых моделей, и не абы какую, а через формирование профиля пользователя в виде плотной матрицы. Постараюсь не грузить вас математикой.

Пока читала, вспомнила помимо прямой оптимизации предпочтений статью про симуляцию человеческого поведения с использованием генеративных моделей. Там интересная была работа с памятью: весовые коэффициенты меняются с течением времени, какая-то информация уточняется, какая-то «забывается». Мне кажется, в работе с предпочтениями это было бы полезно, чтобы учитывать меняющиеся вкусы пользователя – и этические нормы тоже
Если вовремя попросить о помощи, можно избежать серьезных проблем. Мы потихоньку принимаем это как люди, а авторы сегодняшней статьи доказали, что утверждение верно и для ИИ-агентов. Обсудим.

К слову, я там слегка касаюсь вопроса уверенности ИИ в безопасности действия. Прямо сейчас в команде разных замечательных людей я работаю над близкой темой. У нас есть подход, который выглядит убедительно, и уже сегодня или на этих выходных я сгенерирую первые результаты на одной из самых маленьких моделей семьи Qwen. Очень волнительно и не терпится, если честно.
Я уже проверила свой код раз тридцать, написала дополнительные тесты, потом еще тесты тестов, чтоб наверняка... Возможно, ничего и не получится. Но сам процесс невероятно захватывающий!
Понимаю, что это сообщение звучит крайне расплывчато, и обещаю всё рассказать потом, как мы закончим. Пока просто эмоциями захотелось поделиться 💓
👍1
Есть ли вообще такая вещь, как модель, которую невозможно «взломать» и заставить выдать что-то потенциально вредное для человека (jailbreak-proof)? Интуитивно – нет. Но всегда полезно доказывать интуитивное, потому что интуиция часто подводит
Представьте себе, что вы взяли в руки крестовую отвертку, а она взяла и перекинулась в шестигранник. А у вас уже все шурупы с крестовым шлицем.
При работе с ИИ постоянно такая ерунда происходит. Или происходила, ведь у нас теперь есть MCP, который здорово упрощает жизнь. Рассказываю, как именно
Я уже жаловалась на то, что в области ИИ выходит неадекватное количество публикаций? Да, я думаю, что жаловалась.

А на то, что не все публикации хорошего качества? Скорее всего, тоже да.

Сегодня приведу вам яркий пример того, как (иногда) ведется дискуссия в сообществе.

Это очень замечательный пример. Во-первых, он демонстрирует, что не всякое исследование хорошо и что всё надо внимательно проверять. Положа руку на сердце, я бы, скорее всего, не подумала так глубоко проверять результаты первой статьи, если бы не прочитала вторую. Это ценный урок, и теперь я буду внимательнее.

Во-вторых, это пример здоровой дискуссии по важной для сообщества теме: всё на доказательствах, всё открыто. Данные доступны, эксперимент был доступен для воспроизведения и критики. Это прекрасно, и именно так наука и должна делаться.
👍1
Вчера я с командой успешно завершила обучение и защитила проект. Оттуда очень много набралось материала, который потихоньку буду перерабатывать и публиковать здесь.

А сегодня предлагаю порассуждать, что мешает сделать действительно безопасный ИИ
🔥2
Помните, мы обсуждали ИИ с открытым исходным кодом? Речь шла о том, что организация The Open Source Initiative, которая поддерживает распространение программного обеспечения (ПО) с открытым исходным кодом, выпустила определение открытого ИИ.
Так вот, это определение далеко не всем пришлось по душе: кто-то недоволен отсутствием требования публиковать обучающие данные, кто-то считает, что новое определение вообще было лишним и уже существующее определение ПО с открытым исходным кодом работает достаточно хорошо.
В области ИИ вообще беда с определениями: мы раньше говорили, например, о том, что нет единого определения «сильного» ИИ и о том, что определение ИИ-агента меняется. И так примерно во всём.
ОЭСР (Организация экономического сотрудничества и развития) в 2024 году выпустила целый пояснительный документ про то, почему они обновили свое определение ИИ, которое теперь звучит так:
«ИИ-система – это система на базе машины*, которая для явных или неявных целей из полученного входа формирует выход, такой как предсказание, содержание, рекомендации или решения, которые могут влиять на реальное или виртуальное окружение. Разные ИИ-системы различаются по степени автономии и адаптивности после ввода в использование.»


(«An AI system is a machine-based system that, for explicit or implicit objectives, infers, from the input it receives, how to generate outputs such as predictions, content, recommendations, or decisions that can influence physical or virtual environments. Different AI systems vary in their levels of autonomy and adaptiveness after deployment.»)

Далее документ определяет, что есть автономия, адаптивность, цели и всё остальное.
Ещё в процессе поиска информации мне попался документ Института права и ИИ (Institute for Law & AI) – исследование того, какие термины и определения в области используются. У них вообще много интересных материалов, но я пока глубоко не полезла, только заметку себе поставила, чтобы посмотреть.
Авторы рассматривают много разных подходов к определениям, а главное, отвечают на вопрос, зачем оно надо: чтобы можно было осуществлять правовое регулирование. Если вы регулируете ИИ, не зная, что такое ИИ, вы ничего не регулируете. Как-то так.
В целом, для этапа активного развития технологии такой терминологический винегрет нормален. Никто тут не дурак и не злодей. Единственное, что можно в данном случае посоветовать – спрашивать: «А что вы имеете в виду?» – когда ваш собеседник будет говорить про ИИ. И спрашивать до тех пор, пока каждое его слово не будет вам обоим совершенно точно понятно единственным образом. Я так стараюсь делать (это всех бесит).

*В Гражданском кодексе РФ есть термин «электронно-вычислительная машина (ЭВМ)», который, возможно, подошёл бы сюда по контексту. Но я не юрист и не могу уверенно сказать, допустима такая замена терминов при переводе или нет. Вообще юридический перевод – это целое отдельное направление. Просто имейте в виду, что я не им занимаюсь, а пытаюсь передать вам смысл написанного так, как сама его понимаю.
У меня был пост про открытые лицензии на программное обеспечение, и я там пообещала еще про коммерческие и смешанные лицензии рассказать. С ними я совсем не работала, потому что работаю почти всегда в команде, и там есть люди, которые возятся со всеми скучными бумажками за меня. Но иногда надо и поучиться чему-то новому, так что поехали.
В отношении коммерческих лицензий разбираться особо не в чем: как конкретный человек или компания считают нужным распространять свои продукты, так и пишут в договоре. Единственное, лицензии называются не коммерческими, а проприетарными (proprietary – перевод на высоте, как обычно. Сразу понятно, о чем речь. Это был сарказм).
Еще один вариант перевода – «собственническое программное обеспечение (ПО)». Короче говоря, это такое ПО, которое не соответствует критериям открытого ПО и распространяется за деньги на тех условиях, которые придумал правообладатель.
Термин «коммерческая лицензия на ПО» тоже используется, но в таких случаях речь идет просто о том, что кто-то будет на ПО зарабатывать: пользователь, создатель или оба. А «собственническая лицензия» – это про правообладание. ПО, защищенное такой лицензией, может никому не продаваться за деньги, и его может использовать только автор, а остальным запрещать.
Если вдруг кто юрист и желает поделиться своими соображениями, комментарии всегда открыты.
Самое интересное, на мой взгляд – гибридные варианты. Они позволяют, с одной стороны, быстро распространять продукт (потому что бесплатно), с другой стороны, зарабатывать (потому что всё-таки немножечко платно).
Как вариант, можно раздавать бесплатно ограниченную версию ПО, а продавать к нему дополнительные фишки, которые делают работу удобнее. Или разрешать использовать ПО бесплатно в личных целях, но брать деньги за коммерческое использование. Так поступает Docker и много кто еще.
Например, есть очень популярная платформа для работы с графовыми базами данных – Neo4j. Она начиналась как полностью открытый проект, но потом авторы перешли на смешанное лицензирование: есть общедоступная версия, с которой можно работать бесплатно, и версия для компаний – с подпиской.
Еще есть Mozilla, у которой лицензия MPL 2.0. Это так называемая «слабая копилефт-лицензия». Копилефт требует распространять новый продукт на тех же условиях, что и исходный, на основании которого новый был создан. «Слабый копилефт» предполагает исключения. Конкретно в случае Mozilla если кто-то возьмет исходный код и поменяет там файлы, он обязан всё опубликовать в открытый доступ. Но если этот кто-то создаст новый файл, то этот файл можно включить в другой продукт и распространять по той лицензии, по которой распространяется продукт.
Есть еще много других вариантов, и они не все совместимы между собой: некоторые лицензии, такие как Универсальная общественная лицензия GNU, требуют, чтобы весь продукт распространялся на ее условиях, если хотя бы один компонент распространяется на ее условиях. Универсальная общественная лицензия GNU – открытая лицензия.
Чаще всего, кажется, встречается вариант «базовые возможности бесплатно, остальное за денежку». И вариант «для одного бесплатно, для команды платно». Это удобно, в общем: у пользователя есть возможность потестировать продукт и решить, платить за не или нет. У правообладателя есть возможность заработать.
Особенно круто, когда лицензия позволяет пользователям создавать и добавлять свои компоненты к большому продукту. Первый пример, который приходит мне в голову – игровые моды для Skyrim (и не только). «Мод» – это модификация, которая может включать в себя новые уровни, визуальные изменения и отдельные компоненты игрового интерфейса. В том же Skyrim моды добавляют реализма, заставляя персонажа мерзнуть зимой и испытывать голод. В специальном выпуске игры их добавили как отдельный «режим выживания». У меня этот выпуск есть, я в отпуске и надеюсь до него наконец-то добраться.
Сегодня пост вышел длинный, но весёлый. Почитайте обязательно
💯1🤣1
На всякий случай, ещё раз ссылка, чтобы загрузился предпросмотр. Уж очень хочется картинку оставить, она тут в тему
У вас какая самая нелюбимая работа по дому?

Я вот готовить не люблю. Уборка – это всегда пожалуйста, мой любимый способ прокрастинации, а готовка – моё персональное мучение.
Я пока перебиваюсь доставками готовой еды, а вот если вы не любите складывать бельё после стирки, у компании Physical Intelligence (PI) может найтись для вас решение. Это команда инженеров (они так сами представляются), которая ищет способы использовать самый продвинутый на сегодня ИИ в робототехнике.
Они создали семейство моделей pi0, которые целиком выложили в открытый доступ. Эти модели предназначены для управления роботами в процессе решения разнообразных задач: складывание белья, протирание стола и так далее. Речь идёт о задачах, простых для человека, но сложных для робота.
Разные видео с роботами, которые достают тост из тостера и складывают полотенчико, можно найти на странице компании. Обратите внимание на то, что все записи там ускорены в 4-5 раз.

В июне этого года PI выложили статью «Real-Time Execution of Action Chunking Flow Policies» о том, как они используют большие языковые модели. Это моя любимая тема, поэтому делюсь ей сегодня с вами. Видео к статье есть на отдельной страничке их сайта.

Итак, зачем языковые модели роботам, которые не разговаривают? Для планирования действий, которые нужно совершить. Языковые модели неплохо справляются с этой задачей, но есть загвоздка: они медленно думают. Когда мы с ними в чате общаемся, это не проблема: дал задачу и пошёл заниматься другими делами, пока модель пишет решение. Но когда нужно совершать действия в физическом мире, лишние паузы могут привести к тому, что, например, чашка с кофе опрокинется или к чему-то в этом роде. Короче говоря, в физическом окружении нет времени на паузы.
Чтобы не делать паузы, можно применить следующую стратегию: разбить весь процесс на отдельные шаги, сгенерировать первые несколько шагов и зафиксировать. Пока механическая часть робота выполняет эти несколько шагов, написать следующие несколько шагов. Проблема в том, что этот подход не избавляет от задержки полностью. Допустим, система сгенерировала четыре шага, зафиксировала их и начала процесс создания следующей четвёрки. Но пока робот делал шаги 1 и 2, что-то изменилось, а шаги 3 и 4 уже нельзя поменять. И даже если модель учтет новые обстоятельства в процессе генерации шагов 5-8, между 4 и 5 не получится сделать логичный переход. В результате робот либо зависает на полпути, либо начинает двигаться хаотично и бессмысленно.
Авторы предложили подход, который назвали inpainting – «ретуширование». Метафорически, он подобен тому, как художник сначала делает набросок, потом рисует эскиз, потом постепенно добавляет детали и тени, пока не получится готовая работа (метафору иллюстрирует шутка про рисование совы).

Они делят действие на три больших фрагмента:
• фрагмент, который точно будет воспроизведен;
• наброски, которые будут уточняться по мере приближения их очереди быть воспроизведенными;
• неизвестный фрагмент, который будет создаваться с нуля.

На схеме, которую я взяла из статьи, этот подход как раз проиллюстрирован:
• в самом начале бледным цветом отмечен блок завершённых действий;
• затем фиксированный фрагмент показан насыщенным цветом со штриховкой (а0-а3);
• фрагмент с а4 по а10 – это наброски: чем светлее, тем схематичнее;
• наконец, последний сегмент – неопределённые действия, которые будут спланированы позже.
И дальше вся эта структура постепенно сдвигается вправо, уточняя последующие шаги. График в верхней части – это изменение коэффициента определённости, который показывает, насколько план готов к исполнению (guidance weight).
На первый взгляд, это не такая уж сложная мысль. Но если учесть генерацию обучающих данных и сам процесс тренировки, становится понятно, почему потребовалось время, чтобы прийти к её реализации. Существенное ограничение подхода – внушительные объемы вычислений, которые нужно произвести «на лету», и требуемые для них мощности.