Интересная работа. Я её разбирал в англоязычном блоге год назад, но сюда кажется так и не запостил. Работа же дошла за это время до ICML.
Интересны для меня в ней по крайней мере три момента:
1. Оценена "ёмкость" каждого веса, сколько он добавляет к памяти — примерно 3.6 бита на параметр. Что отдельно интересно, что fp32 по сравнению с bf16 не очень много добавляет, 3.83 против 3.51, не в два раза.
2. Работа очень хорошо подтверждает теорию информационного боттлнека им. Нафтали Тишби, что у модели есть в обучении две фазы — в первой она всё запоминает что может, во второй ей приходится сжимать ибо уже не лезет. Неожиданно, это та самая точка, где наблюдается double descent.
3. Если отношение токенов к параметрам больше 100, то это статистически гарантирует невозможность membership inference атаки.
How much can language models memorize?
John X. Morris, Chawin Sitawarin, Chuan Guo, Narine Kokhlikyan, G. Edward Suh, Alexander M. Rush, Kamalika Chaudhuri, Saeed Mahloujifar
Paper: https://arxiv.org/abs/2505.24832, ICML Submission, ICLR Submission
Review: https://arxiviq.substack.com/p/icml-2026-how-much-can-language-models
Code: N/A
Model: https://huggingface.co/rhysjones/gpt2-774M-fineweb-150B
ICML 2026 Outstanding Paper Honorable Mention
# TL;DR
ЧТО сделали: Авторы разработали информационно-теоретический фреймворк на базе колмогоровской сложности, который позволяет строго отделить непреднамеренное запоминание от обобщения. Обучив и протестировав сотни моделей архитектуры GPT на синтетических и реальных данных, они оценили эмпирическую ёмкость памяти трансформеров примерно в 3.6 бита на параметр и вывели сигмоидальный закон масштабирования для атак восстановления членства (membership inference).
ПОЧЕМУ это важно: Эта работа даёт строгое физическое объяснение феномену двойного спуска (double descent). Она доказывает, что обобщение математически неизбежно, когда объём датасета в битах превышает ёмкость памяти модели. Кроме того, исследование показывает, что современные LLM, обученные на гигантских массивах данных, математически защищены от атак восстановления членства: вероятность успеха таких атак падает до уровня случайного угадывания, как только соотношение токенов и параметров превышает
Для практиков: Полученные оценки ёмкости позволяют проектировать пайплайны обучения с гарантированной защитой от утечки данных. Теперь можно математически рассчитать размер модели и объём обучающей выборки так, чтобы полностью исключить возможность извлечения конфиденциальных тренировочных примеров.
Считать информацию тут: https://t.me/gonzo_ML_podcasts/4418
Интересны для меня в ней по крайней мере три момента:
1. Оценена "ёмкость" каждого веса, сколько он добавляет к памяти — примерно 3.6 бита на параметр. Что отдельно интересно, что fp32 по сравнению с bf16 не очень много добавляет, 3.83 против 3.51, не в два раза.
2. Работа очень хорошо подтверждает теорию информационного боттлнека им. Нафтали Тишби, что у модели есть в обучении две фазы — в первой она всё запоминает что может, во второй ей приходится сжимать ибо уже не лезет. Неожиданно, это та самая точка, где наблюдается double descent.
3. Если отношение токенов к параметрам больше 100, то это статистически гарантирует невозможность membership inference атаки.
How much can language models memorize?
John X. Morris, Chawin Sitawarin, Chuan Guo, Narine Kokhlikyan, G. Edward Suh, Alexander M. Rush, Kamalika Chaudhuri, Saeed Mahloujifar
Paper: https://arxiv.org/abs/2505.24832, ICML Submission, ICLR Submission
Review: https://arxiviq.substack.com/p/icml-2026-how-much-can-language-models
Code: N/A
Model: https://huggingface.co/rhysjones/gpt2-774M-fineweb-150B
ICML 2026 Outstanding Paper Honorable Mention
# TL;DR
ЧТО сделали: Авторы разработали информационно-теоретический фреймворк на базе колмогоровской сложности, который позволяет строго отделить непреднамеренное запоминание от обобщения. Обучив и протестировав сотни моделей архитектуры GPT на синтетических и реальных данных, они оценили эмпирическую ёмкость памяти трансформеров примерно в 3.6 бита на параметр и вывели сигмоидальный закон масштабирования для атак восстановления членства (membership inference).
ПОЧЕМУ это важно: Эта работа даёт строгое физическое объяснение феномену двойного спуска (double descent). Она доказывает, что обобщение математически неизбежно, когда объём датасета в битах превышает ёмкость памяти модели. Кроме того, исследование показывает, что современные LLM, обученные на гигантских массивах данных, математически защищены от атак восстановления членства: вероятность успеха таких атак падает до уровня случайного угадывания, как только соотношение токенов и параметров превышает
10^2.Для практиков: Полученные оценки ёмкости позволяют проектировать пайплайны обучения с гарантированной защитой от утечки данных. Теперь можно математически рассчитать размер модели и объём обучающей выборки так, чтобы полностью исключить возможность извлечения конфиденциальных тренировочных примеров.
Считать информацию тут: https://t.me/gonzo_ML_podcasts/4418
arXiv.org
How much do language models memorize?
We propose a new method for estimating how much a model knows about a datapoint and use it to measure the capacity of modern language models. Prior studies of language model memorization have...
👍9🔥4❤3
Любопытное про диффузионки. Обосновали, почему обученные на разных подмножествах одного распределения модели при генерации с одинаковым сидом выдают одинаковые картинки. А также неожиданно снова про две фазы обучения: меморизацию и перенормировку.
Идея про семантическое редактирование в пространстве шума особенно интересна.
Ещё одна ICML 2026 Outstanding Paper Honorable Mention.
A Random Matrix Theory Perspective on the Consistency of Diffusion Models
Binxu Wang, Jacob A. Zavatone-Veth, Cengiz Pehlevan
Paper: https://arxiv.org/abs/2602.02908, ICML Submission
Code: https://github.com/Animadversio/diffusion-consistency-rmt
Review: https://arxiviq.substack.com/p/icml-2026-a-random-matrix-theory
Model: N/A
# TL;DR
ЧТО сделали: Авторы предложили строгий математический аппарат на стыке теории случайных матриц (RMT) и глубокого обучения, который объясняет феномен согласованности (consistency) диффузионных моделей. Речь о том, почему модели, обученные на независимых непересекающихся сплитах данных, выдают поразительно похожие результаты при одинаковом сиде шума. Используя линейный суррогат диффузии и концепцию детерминированной эквивалентности, исследователи показали, что ограниченный размер выборки работает как оператор перенормировки шума, и вывели закон факторизованной дисперсии, точно предсказывающий расхождения между генерациями.
ПОЧЕМУ это важно: Ранее стабильность генерации наблюдали лишь эмпирически. Данная работа строго доказывает: согласованность диффузионных моделей обусловлена общими низкоранговыми гауссовскими статистиками данных, а не банальным заучиванием (меморизацией). Это дает надежный инструмент для оценки стабильности, закладывает математический базис под воспроизводимость и показывает, какие именно спектральные характеристики датасета критичны для передачи мелких деталей.
Для практиков: Для техлидов и исследователей это означает, что высокая воспроизводимость диффузионных моделей на непересекающихся датасетах — не магия, а математическая закономерность. Доказывая, что конечный размер датасета лишь сдвигает эффективный масштаб шума, авторы дают готовый фреймворк для контроля стабильности. Теперь можно рассчитать минимально необходимую плотность выборки для захвата конкретных высокочастотных признаков, что упрощает сбор датасетов и открывает путь к семантическому редактированию прямо в пространстве шума без файнтюнинга.
Изучать случайные матрицы тут: https://t.me/gonzo_ML_podcasts/4431
Идея про семантическое редактирование в пространстве шума особенно интересна.
Ещё одна ICML 2026 Outstanding Paper Honorable Mention.
A Random Matrix Theory Perspective on the Consistency of Diffusion Models
Binxu Wang, Jacob A. Zavatone-Veth, Cengiz Pehlevan
Paper: https://arxiv.org/abs/2602.02908, ICML Submission
Code: https://github.com/Animadversio/diffusion-consistency-rmt
Review: https://arxiviq.substack.com/p/icml-2026-a-random-matrix-theory
Model: N/A
# TL;DR
ЧТО сделали: Авторы предложили строгий математический аппарат на стыке теории случайных матриц (RMT) и глубокого обучения, который объясняет феномен согласованности (consistency) диффузионных моделей. Речь о том, почему модели, обученные на независимых непересекающихся сплитах данных, выдают поразительно похожие результаты при одинаковом сиде шума. Используя линейный суррогат диффузии и концепцию детерминированной эквивалентности, исследователи показали, что ограниченный размер выборки работает как оператор перенормировки шума, и вывели закон факторизованной дисперсии, точно предсказывающий расхождения между генерациями.
ПОЧЕМУ это важно: Ранее стабильность генерации наблюдали лишь эмпирически. Данная работа строго доказывает: согласованность диффузионных моделей обусловлена общими низкоранговыми гауссовскими статистиками данных, а не банальным заучиванием (меморизацией). Это дает надежный инструмент для оценки стабильности, закладывает математический базис под воспроизводимость и показывает, какие именно спектральные характеристики датасета критичны для передачи мелких деталей.
Для практиков: Для техлидов и исследователей это означает, что высокая воспроизводимость диффузионных моделей на непересекающихся датасетах — не магия, а математическая закономерность. Доказывая, что конечный размер датасета лишь сдвигает эффективный масштаб шума, авторы дают готовый фреймворк для контроля стабильности. Теперь можно рассчитать минимально необходимую плотность выборки для захвата конкретных высокочастотных признаков, что упрощает сбор датасетов и открывает путь к семантическому редактированию прямо в пространстве шума без файнтюнинга.
Изучать случайные матрицы тут: https://t.me/gonzo_ML_podcasts/4431
arXiv.org
A Random Matrix Theory Perspective on the Consistency of Diffusion Models
Diffusion models trained on different, non-overlapping subsets of a dataset often produce strikingly similar outputs when given the same noise seed. We trace this consistency to a simple linear...
👍4🔥3❤1🤔1
Это моя любимая из работ призёров и около-призёров ICML. Разобрали возникновение гроккинга на простой модельной системе — L2 регрессии. Даёт много пищи для размышления про то, как надо обучать.
To Grok Grokking: Provable Grokking in Ridge Regression
Mingyue Xu, Gal Vardi, Itay Safran
Paper: https://arxiv.org/abs/2601.19791, ICML Submission
Review: https://arxiviq.substack.com/p/icml-2026-to-grok-grokking-provable
Code: N/A
Model: N/A
# TL;DR
ЧТО сделали: Авторы представили первое математически строгое сквозное доказательство феномена гроккинга (отложенной обобщающей способности, которая возникает спустя долгое время после полного переобучения под обучающую выборку) в классической, избыточно параметризованной ридж-регрессии при оптимизации обычным градиентным спуском с weight decay. Они вывели явные неасимптотические верхние оценки для времени переобучения и нижние оценки для времени начала обобщения, показав, как эти временные масштабы контролируются регуляризацией и инициализацией.
ПОЧЕМУ это важно: Эта работа в корне меняет понимание гроккинга. Она доказывает, что этот феномен — не экзотическая аномалия, присущая исключительно сложным глубоким нейросетям или фазовым переходам при выучивании репрезентаций. Гроккинг оказался естественным и предсказуемым следствием базовой динамики оптимизации в избыточно параметризованных системах. Это даёт чёткий математический инструмент для контроля, усиления или устранения задержки обобщения в высокоразмерных задачах.
Для практиков: Задержку обобщения в больших моделях можно контролировать напрямую, не меняя архитектуру. Настройкой масштаба инициализации и расписания weight decay можно систематически управлять моментом, когда модель начнёт обобщать.
Грокать тут: https://t.me/gonzo_ML_podcasts/4443
To Grok Grokking: Provable Grokking in Ridge Regression
Mingyue Xu, Gal Vardi, Itay Safran
Paper: https://arxiv.org/abs/2601.19791, ICML Submission
Review: https://arxiviq.substack.com/p/icml-2026-to-grok-grokking-provable
Code: N/A
Model: N/A
# TL;DR
ЧТО сделали: Авторы представили первое математически строгое сквозное доказательство феномена гроккинга (отложенной обобщающей способности, которая возникает спустя долгое время после полного переобучения под обучающую выборку) в классической, избыточно параметризованной ридж-регрессии при оптимизации обычным градиентным спуском с weight decay. Они вывели явные неасимптотические верхние оценки для времени переобучения и нижние оценки для времени начала обобщения, показав, как эти временные масштабы контролируются регуляризацией и инициализацией.
ПОЧЕМУ это важно: Эта работа в корне меняет понимание гроккинга. Она доказывает, что этот феномен — не экзотическая аномалия, присущая исключительно сложным глубоким нейросетям или фазовым переходам при выучивании репрезентаций. Гроккинг оказался естественным и предсказуемым следствием базовой динамики оптимизации в избыточно параметризованных системах. Это даёт чёткий математический инструмент для контроля, усиления или устранения задержки обобщения в высокоразмерных задачах.
Для практиков: Задержку обобщения в больших моделях можно контролировать напрямую, не меняя архитектуру. Настройкой масштаба инициализации и расписания weight decay можно систематически управлять моментом, когда модель начнёт обобщать.
Грокать тут: https://t.me/gonzo_ML_podcasts/4443
arXiv.org
To Grok Grokking: Provable Grokking in Ridge Regression
We study grokking, the onset of generalization long after overfitting, in a classical ridge regression setting. We prove end-to-end grokking results for learning over-parameterized linear...
👍16❤7🔥4👀1
Интересная работа с ICML 2026 Outstanding Position Paper Honorable Mention. Последняя из пачки призёров ICML, которую я буду разбирать.
Борьба с дипфейками решает не ту задачу, от которой реально страдают люди. Все усилия сконцентрированы на подтверждении подлинности, тогда как большинство реальных проблем сейчас находятся в районе вреда для достоинства личности, и никто эту тему не исследует, все работают там где проще со своей бинарной классификацией. Слишком далеки они от народа в своём поиске под фонарём.
Position: AI/ML Deepfake Research is Misaligned with AI-Generated Non-Consensual Intimate Imagery (AIG-NCII)
Li Qiwei, Wells Lucas Santo, Sarita Schoenebeck, Eric Gilbert
Paper: https://openreview.net/forum?id=mLhZzo7BIb
Review: https://arxiviq.substack.com/p/icml-2026-position-aiml-deepfake
Code: N/A
Model: N/A
# TL;DR
ЧТО сделали: Авторы провели систематический критический анализ современной научной экосистемы в области детекции дипфейков. Они выявили глубокое структурное несоответствие между техническими методами защиты и эмпирической реальностью злоупотребления генеративными моделями. Проанализировав 39 высокоцитируемых работ по защите, исследователи показали: в то время как более половины случаев неправомерного использования коммерческого генеративного ИИ приходится на создание интимных изображений без согласия (AI-Generated Non-Consensual Intimate Imagery, AIG-NCII), технические меры защиты фокусируются почти исключительно на «эпистемическом» вреде для зрителя (дезинформации и мошенничестве), полностью игнорируя вред для достоинства самой личности.
ПОЧЕМУ это важно: Эта работа подрывает базовую аксиому современной безопасности ИИ: «подлинность является синонимом безопасности». Авторы доказывают, что публичная маркировка синтетического контента, водяные знаки и подтверждение происхождения не защищают, а в некоторых случаях даже вредят жертвам сексуализированных дипфейков. Это заставляет радикально пересмотреть принципы построения моделей угроз и предлагает ориентир для перехода к проактивной защите достоинства личности.
Для практиков: Вместо того чтобы тратить ресурсы на постфактум-детекторы и навешивание плашек «Сгенерировано ИИ», разработчикам и исследователям безопасности стоит сосредоточиться на внедрении «трения» (например, состязательных помех на этапе публикации личных фото) и алгоритмах внутренней модерации на бэкенде.
Бороться с реальными рисками тут: https://t.me/gonzo_ML_podcasts/4453
Борьба с дипфейками решает не ту задачу, от которой реально страдают люди. Все усилия сконцентрированы на подтверждении подлинности, тогда как большинство реальных проблем сейчас находятся в районе вреда для достоинства личности, и никто эту тему не исследует, все работают там где проще со своей бинарной классификацией. Слишком далеки они от народа в своём поиске под фонарём.
Position: AI/ML Deepfake Research is Misaligned with AI-Generated Non-Consensual Intimate Imagery (AIG-NCII)
Li Qiwei, Wells Lucas Santo, Sarita Schoenebeck, Eric Gilbert
Paper: https://openreview.net/forum?id=mLhZzo7BIb
Review: https://arxiviq.substack.com/p/icml-2026-position-aiml-deepfake
Code: N/A
Model: N/A
# TL;DR
ЧТО сделали: Авторы провели систематический критический анализ современной научной экосистемы в области детекции дипфейков. Они выявили глубокое структурное несоответствие между техническими методами защиты и эмпирической реальностью злоупотребления генеративными моделями. Проанализировав 39 высокоцитируемых работ по защите, исследователи показали: в то время как более половины случаев неправомерного использования коммерческого генеративного ИИ приходится на создание интимных изображений без согласия (AI-Generated Non-Consensual Intimate Imagery, AIG-NCII), технические меры защиты фокусируются почти исключительно на «эпистемическом» вреде для зрителя (дезинформации и мошенничестве), полностью игнорируя вред для достоинства самой личности.
ПОЧЕМУ это важно: Эта работа подрывает базовую аксиому современной безопасности ИИ: «подлинность является синонимом безопасности». Авторы доказывают, что публичная маркировка синтетического контента, водяные знаки и подтверждение происхождения не защищают, а в некоторых случаях даже вредят жертвам сексуализированных дипфейков. Это заставляет радикально пересмотреть принципы построения моделей угроз и предлагает ориентир для перехода к проактивной защите достоинства личности.
Для практиков: Вместо того чтобы тратить ресурсы на постфактум-детекторы и навешивание плашек «Сгенерировано ИИ», разработчикам и исследователям безопасности стоит сосредоточиться на внедрении «трения» (например, состязательных помех на этапе публикации личных фото) и алгоритмах внутренней модерации на бэкенде.
Бороться с реальными рисками тут: https://t.me/gonzo_ML_podcasts/4453
Substack
[ICML 2026] Position: AI/ML Deepfake Research is Misaligned with AI Generated Non-Consensual Intimate Imagery (AIG-NCII)
Authors: Li Qiwei, Wells Lucas Santo, Sarita Schoenebeck, Eric Gilbert
🥱6❤2👍1