Many-shot jailbreaking

Чем больше LLM, тем лучше она справляется с обучением новой задаче в рамках контекста — это называется In-Context Learning (ICL). В промпте вы можете показать модели, что нужно делать вот так и так, а если вот такое условие, то и ответ такой — то есть по-сути даёте демонстрацию/примеры, из которых модель на лету соображает, что нужно делать.

Кроме того, что большие модели стали лучше проявлять ICL, им же ещё и окно контекста раздули — если года полтора назад модель, смотрящая на 8'000 токенов (1 очень длинное эссе) считалась «ого-вау!», то теперь вот у гугла есть модельки на 1.5M токенов — можно вместить несколько книжек.

Но с большой силой приходит и большая ответственность. В статье Anthropic показывается, что длинное контекстное окно открывает новый вектор атаки на модели. Суть очень простая: в своём промпте добавьте несколько сотен-тысяч примеров того, как AI ассистент отвечает на запрещённые вопросы (в духе «как сделать бомбу»), и после этого пишете свой каверзный вопрос. Модель, видя, что это нормально, давать комментарии по таким топикам, не уходит в отказ, а начинает писать детальный ответ — ну а как, ей же показали, что так нужно, спасибо примерам в контексте!

Anthropic заведомо сообщили об этой проблеме другим AI-лабораториям, а также исследователям, и лишь сейчас публикуют статью, чтобы ещё больше людей про это узнало.

Решение, которое они сами предложили, простое — отдельная модель предварительно классифицирует запрос и, если необходимо, переписывает его для оригинальной модели, чтобы в нём не было разных плохих вещей. По сути, так же работает и DALL-E 3, где вместо вас запрос пишет LLM. Видимо, скоро все модели будут видеть не то, что мы пишем, а перевод на какой-то стерильный язык, а пользователи будут гадать, как же так, почему модель не видит, что я написал!

Amazon Fresh: индусы за экраном или же нет?

Сейчас на многих новостных платформах трубят, что инициатива Amazon Fresh была фейком.

https://www.engadget.com/amazon-just-walked-out-on-its-self-checkout-technology-191703603.html

Напомню, что идея была в том, что покупатели ходят по магазину, складывают товары в тележки, а потом просто уходят. Умная система следит за взятыми товарами и потом списывает стоимость покупок со счёта.

И вот сейчас уверяют, что это толпа индусов следила за покупателями в реальном времени:

 the stores have no actual cashiers, there are reportedly over 1,000 real people in India scanning the camera feeds to ensure accurate checkouts.

Я решил поискать первоисточник и нашёл вот такое:
https://gizmodo.com/amazon-reportedly-ditches-just-walk-out-grocery-stores-1851381116

Там цитата совершенно другая:

 primary role of our Machine Learning data associates is to annotate video images, which is necessary for continuously improving the underlying machine learning model powering

Но дальше есть ещё одна интересная фраза:

 the spokesperson acknowledged these associates validate “a small minority” of shopping visits when AI can’t determine a purchase.

В целом мы вряд ли узнаем правду, но мне кажется, что было два процесса:
• ручная разметка видео для улучшения моделей
• модели работали плохо, и результаты часто приходилось проверять и исправлять

#datascience

Вышла одна из двух фичей, про которые я писал — редактирование изображений в DALL-E 3.

Теперь можно точечно выбирать, какие части изображения хочется перерисовать, и что именно туда добавить — и всё это не ломая невыделенную часть изображения.

Опять же, такое давно можно было делать с открытыми локальными моделями (и в некоторых AI-онлайн-редакторах тоже), так что ничего инновационного.

Пробовать надо в отдельном чате с DALL-E 3 по вот этой ссылке.

Мы в 2025-м, когда задаём вопрос GPT-5.

Ставь лайк если узнал, откуда кадр

Интересная ситуация произошла в Твиттере (но на самом деле она часто проходит и в комментах тут, и в других ТГ-каналах).

5 апреля: VictorTaelin придумал задачку, которую GPT НИКОГДА (он прям выделил) не сможет решить. Почему? Потому что модель же тупая, она не умеет рассуждать и решать задачи, на которых не была натренирована. Узнали себя или критиков из комментариев? 🙂
Для него такая задача и невозможность её решения якобы служила примером того, что модель никогда не сможет двигать науку: «если 15-летний подросток уничтожает модель в какой-либо интеллектуальной задаче вроде этой, то я не буду особо верить в то, что она сможет вылечить рак». Само заявление конечно странное, но допустим (на самом деле он пытался найти такую задачу, которую человек решает, а машина нет — что опять же глупо, люди не умеют то, что может калькулятор — и что?).

Что за задача? Есть 4 символа, B# A# #A #B. Если две разные буквы в некотором наборе символов повёрнуты друг к другу решётками, то их надо поменять местами. B# #A -> #A B#, и так далее, пока никакие два символа нельзя обработать. Сможет ли генеративная LLMка разобраться и решить задачу для строки из, скажем, 7 символов? Автор попробовал несколько раз и у него не вышло. Всё, дело закрыто, AI - хайп, пузырь.

6 апреля: после волны недовольства в комментариях, а также демонстрации того, что иногда модель решает (особенно если немного поменять условие и/или добавить интерпретатор кода, чтобы модель, ну вы знаете, могла писать программы), автор решил сделать конкурс на $10'000. Полные правила можно найти текстом вот тут. Правда он усложнил задачу — теперь символов в такой строке 12 (то есть нужно сделать от 0 до 24 шагов для решения), подаётся 50 примеров, и нужно, чтобы модель решила как минимум 45/50. 12 символов потому, что ему уже показали, что строки длины 7 решаются (иногда).

Главное ограничение — модель не должна писать код, решение должно быть полностью текстовое. Само по себе это глупо, ведь мы отбираем у модели инструмент, которым а) она умеет пользоваться б) хорошо подходит для таких задач. Блин, языки программирования и были придуманы для алгоритмизации задач со строгими правилами! Ну ладно. Считайте, что задача — забить гвоздь, но кувалды и молотки запрещены.

7 апреля: модели решают <10% задач (5 из 50), однако у двух авторов получилось выбить 29/50. Интересно, что тут вырвались вперёд модели Anthropic семейства Claude 3.

8 апреля: конкурс окончен, промпт одного из участников стабильно решает более 90% задач (47 из 50 при первом запуске). Напомню, что задачи даже более сложные, чем в изначальном твите (они длиннее), а главный инструмент решения выключен. Автор признал, что был не прав. Он также указал, что действительно верил, что LLM, аналогичные GPT, просто не могут решить такие задачи.

Автор признал, что его изначальные верования были неправильными, он ошибся. Решение задачи, конечно, не доказывает, что модели смогут придумать лекарства от рака, но они точно могут решать логические-алгоритмические задачи, которые не видели раньше (в целом не новость, но не все верят ведь!).

Интересный факт: финальное решение работает на модели Claude 3 Opus, но ни одно из топ-решений не было на GPT-4. Может, Anthropic уже используют новую архитектуру, которая лишена некоторых недостатков своих предков? Или OpenAI сильно урезают косты и ужимают модели? Возможно, узнаем в будущем — так же как и промпт, которым была решена задача (он пока не был опубликован).

И отдельно хочу показать визуализацию планируемой ловли ускорителя руками Мехазиллы (да, башню так называют).

Глядя на видео не забывайте, что серебристая цистерна из нержавейки имеет высоту 71 метр (24-этажное здание) и массу без топлива порядка 200 тонн. И нужно аккурааааатненько легоооонько вот так вот подлететь на ручки...плюхнувшись с высоты более 100 КМ.

Чуть меньше, чем через 2 часа (в 17:00 МСК), встречаемся с Валерой @cryptovalerii у него на канале в видео-формате. Запись, как всегда, будет

Поговорим про модели мира, что это такое и какое они отношение имеют к языковым моделям. Часть материала будет из моей статьи https://t.me/seeallochnaya/1120 про Sora — если вы пропустили и у вас есть время, то это маст хэв к прочтению!

Вопросы по теме можно писать под этим постом, только без спама.

Сегодня в США наблюдается солнечное затмение. Уверен, вы увидите множество фотографий с Земли из разных штатов — тут мне вас удивить нечем.

Но зато SpaceX могут удивить видео с орбиты, записанное камерами на одном из спутников Starlink!

We live in a twilight world...

(Источник)

Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws

Работа сотрудников META про масштабирование моделей с точки зрения хранимых в них знаний. Первый автор пишет, что а) запустил 50'000 экспериментов б) месяц ждал одобрения компании на выделение ресурсов, потому что в) потребовалось 4,200,000 GPU-часов на всё про всё (~500 лет вычислений). Возможно, это работа — часть подготовки к публикации LLAMA 3 👀

В работе аж 12 выводов, по всем проходиться не буду, сначала дам вводную, а затем тезисы. Авторы фокусируются на запоминании данных из синтетической тренировочной выборки. Однако тут имеется в виду не запоминание слово-в-слово, а возможность извлечь знания модели в текстовом формате. «Знанием» тут называется триплет (Сущность, атрибут, значение). «Вася родился 12 декабря» -> (Вася, День рождения, 12 декабря), и такое можно пробовать извлекать вопросом «Когда у Васи День рождения?». Легко представить, как генерировать большое количество синтетики по шаблонам.

Выводы:
— авторам удаётся стабильно достигать вместимости модели 2 бита информации на параметр;
— это означает, что в 7B-модели могут уместиться все знания из английской Википедии и все книги на английском;
— причём, качество не меняется при квантизации модели до 8bit, однако при переходе к 4bit заметна просадка
— для того, чтобы добиться результата 2 бита на параметр, необходимо представить одну и ту же информацию модели 1000 раз (в том числе с разными формулировками и парафразами)
— если показывать информацию всего лишь 100 раз, то сжатие будет хуже в 2 раза: 1 бит на параметр
— если начать добавлять мусор в тренировочную выборку, то это портит модель: при соотношении 1:7 (мусора больше) модель запоминает в 20 раз меньше полезных знаний, если делать 100 показов. И проседает на 30%, если показывать 1000 раз.
— поэтому появляется вопрос - а может ли модель сама отфильтровать мусор? Для этого авторы экспериментируют с добавлением домена, откуда «взят» текст (пишут в начале wikipedia.org или 2ch.ru). Оказывается, что модели могут автоматически определять, какие домен богаты высококачественными знаниями, и определять приоритетность обучения на их основе. При этом модель не требует каких-либо предварительных знаний, она учится с нуля, этот процесс полностью автономен (за вычетом добавления источника данных в текст)
— это не позволяет восстановить полный перформанс, но существенно уменьшает деградацию из-за мусора
— теперь возникает вопрос, а где же хранятся знания? Считается, что большая часть информации зашита в FFN-слои трансформера, но даже если их удалить и оставить только аттеншен (уравняв количество параметров), то закон сохраняется
— но если вернуться к исходной архитектуре, то - особенно в моделях вблизи границы емкости (которые видели данные 1000 раз) - удаление последнего слоя после обучения показывает существенное ухудшение знаний. Просадка куда больше, чем 1/L (где L-количество слоёв. То есть мы думали, что удаление подрежет знания пропорционально, но нет). Значит, знания хранятся не в отдельных слоях, а более комплексно, подобно сейфу с кодовым замком, как комбинация. Тут я вспоминаю про суперпозицию.

В общем, ждём статью про LLAMA 3, посмотрим, как это использовалось там, насколько уменьшило галлюцинации и как изменило процесс тренировки. Ведь а) данные нужно жёстко фильтровать (это уже делалось) б) приоритизировать в) повторять много раз в разных формах (контролируемо, а не так, что одни факты попались 100 раз, а другие 10000).

А поооомните 2 месяца назад вышли такие Apple Vision Pro..? Я после волны обзоров ничего про них и не видел...

Ещё 6-го февраля (пост) я захотел поиграться с разработкой приложения под гарнитуру, сделать демку AI-ассистента, который понимает, что видно на камерах и как-то на это реагирует. И оказалось, что доступ к данным с датчиков, а самое главное камер Apple не предоставляет. Это ограничение не то что сохраняется до сих пор — скорее всего оно будет с нами несколько лет. Утверждается, что решение об этом было принято на ранних стадиях разработки более 7 лет назад! Причина проста — хочется избежать скандалов с приватностью и историй, схожих с Google Glass.

Но на это жалуются разработчики — большое количество функций просто невозможно реализовать без доступа к камерам. Все очень зажаты рамками того, что предоставляет библиотека Apple, и всё тут. А ведь приложения — это одна из фишек, из-за которой в своё время iPhone завирусился. Люди могли делать что угодно, на платформу быстро перетащили все популярные приложения, и вкупе с форм-фактором это позволило смартфону перевернуть рынок.

Пока кажется, что такая история не случится с Vision Pro. Но интересно, как будут вести себя другие игроки - Snap, META (с их очками с камерой, в которые обещали добавить ассистента на базе Vision-Language Model) и новая компания Sam Altman? Перешагнут ли они через ограничения, смогут ли побороть бюрократию и, что не менее важно, переживания пользователей?

Лично мне кажется, что в 2020-ых это должно будет стать нормой: будем ждать, как корпорации начнут продавать нам эту идею. И какие меры защиты вообще появятся?

В подкрепление последней заметки из поста выше — вот так выглядит гистограмма оценок участников.

По горизонтали — исходная оценка людей по теме, цветом закодировано изменение позиции. Желтая группа, самая большая — это нулевое изменение в оценке (как был уверен на X баллов из 7, так и остался). Дальше идёт зелёная, это +1.