How much do language models memorize? Новое исследование от Meta FAIR, Google DeepMind и NVIDIA

Задумывались когда-нибудь, сколько данных может запомнить модель с определенным количеством параметров? А сколько конкретно информации может выучить один параметр? А сколько информации он может обобщить?

Кажется, что посчитать это очень сложно или даже невозможно, но вот у ученых из этой статьи получилось: каждый параметр языковой модели способен запомнить примерно 3.6 бит информации. О том, как это посчитали – ниже.

Сразу дисклеймер: до этого были и другие статьи на эту тему, но там запоминание определялось просто тем, может ли модель воспроизвести определенный кусок трейна. На самом же деле все сложнее, и в этой работе подход не такой наивный.

➖ Авторы опираются на понятия из теории информации Колмогорова и Шеннона, и четко разделяют запоминание и обобщение. Если модель воспроизвела что-либо – не значит, что она это запомнила, а не обобщила. В обратную сторону – то же самое.

➖ Количество информации, которое модель именно запомнила, считают так. Берут две модели одинаковой архитектуры и размера: одна – референсная – обучена на огромном количестве данных, вторая – испытуемая – на ограниченном датасете.

Обе модели пропускают один и тот же тренировочный фрагмент через процедуру предсказания и вычисляют вероятности каждого токена. Если вторая модель даёт более высокие вероятности (то есть «тратит» на их декодинг меньше бит, чем референсная), она экономит относительно референсной модели определённое число бит. Сумма сэкономленных бит по всем фрагментам и есть общий объём выученной информации.

Вот так и получилось число 3.6 бит/параметр.

Самое важное, что этот показатель дает возможность четко определить момент перехода запоминания в обобщение: он происходит, когда объём данных в битах примерно равен общей ёмкости модели. И да, экспериментально это сходится: как раз на этом объеме данных тестовый лосс начинает резко падать. Это, кстати, часто называют грокингом.

Красота, как она есть arxiv.org/abs/2505.24832

LLM практически всегда понимают, когда их тестируют: свежее исследование от лабораторий MATS и Apollo Research

Современные LM становятся все более ситуационно осознающими – то есть могут понимать не только задачу, но и ее контекст: где они применяются, зачем их спрашивают, что от них хотят.

Самое яркое и жутковатое проявление такой осознанности – это evaluation awareness, то есть потенциальная способность модели распознавать, когда ее тестируют/оценивают/пытаются проверить на безопасность, а когда действительно просто используют. Жутковатое – потому что это чревато эффектом Хоторна (психологическое явление, когда человек меняет свое поведение, если знает, что за ним наблюдают).

Так вот здесь авторы решили проверить, насколько такое действительно возможно. Они собрали 1000 запросов, из которых половина были тестовыми, а половина реальными, и попросили модели классифицировать, где что. Итог:

➖ Ведущие LLM (Gemini 2.5 Pro, Claude 3.7 Sonnet, GPT-4.1) правильно определяют, что их тестируют, более чем в 80 процентов случаев.

➖ При этом на агентских сценариях точность вырастает до ≈ 95%.

➖ Результаты примерно сопоставимы с человеком. Люди правильно классифицируют тесты всего на несколько процентных пунктов лучше.

Конечно, из-за того что моделям напрямую задают вопрос "тест это или нет", результаты могут быть немного пристрастными. Хотя авторы пишут, что они пытались всеми силами этого избежать и специально макскировали этот промпт под множественный выбор, ответ в свободной форме и тд.

Так или иначе, очевидно, что способность отличать тесты у моделей есть. А значит и вероятность расхождения результатов проверок с поведением в реальных сценариях уже довольно высока.

www.arxiv.org/abs/2505.23836

Сбер выпустили собственный ИИ-фотошоп Malvina и обновили свою text2image модель Kandinsky

➖ Внутри свежего Kandinsky 4.1 Image лежит обновленная архитектура – теперь это диффузионный трансформер (DiT). На практике это значит – лучшая масштабируемость, ускорение и скачок в качестве.

Плюс, в этот раз, помимо обучения на огромном датасете пар «изображение – описание», Kandinsky дополнительно тюнили на большом сете отобранных вручную изображений (отбором, кстати, занималась команда аж из более 100 специалистов – художников, фотографов и дизайнеров). В результате сильно выросла эстетичность генераций, качество структур, понимание стилей и точность следования инструкциям.

➖ Malvina – еще более интересный релиз. Эта модель может отредактировать любое изображение просто по текстовому промпту. При этом она действительно умеет не менять исходное изображение (в отличие от GPT), а редактировать на попиксельном уровне. Может изменить цвет волос, убрать с картинки людей, заменить предметы, корректировать дефекты.

На SBS-сравнениях (вот они) Malvina обходит на основных задачах по качеству Gemini и Grok. И нет, это не преувеличение, модель говорит сама за себя: просто взгляните на примеры.

Под капотом – VLM + диффузия, так что Malvina действительно умеет очень много всего, экспериментируй – не хочу. Остаются проблемы с текстом, перемещением объектов и сменой поз людей, но разработчики обещают продолжать над этим работать.

Попробовать уже можно в тг-боте GigaChat