Интересная работа с ICML 2026 Outstanding Position Paper Honorable Mention. Последняя из пачки призёров ICML, которую я буду разбирать.
Борьба с дипфейками решает не ту задачу, от которой реально страдают люди. Все усилия сконцентрированы на подтверждении подлинности, тогда как большинство реальных проблем сейчас находятся в районе вреда для достоинства личности, и никто эту тему не исследует, все работают там где проще со своей бинарной классификацией. Слишком далеки они от народа в своём поиске под фонарём.
Position: AI/ML Deepfake Research is Misaligned with AI-Generated Non-Consensual Intimate Imagery (AIG-NCII)
Li Qiwei, Wells Lucas Santo, Sarita Schoenebeck, Eric Gilbert
Paper: https://openreview.net/forum?id=mLhZzo7BIb
Review: https://arxiviq.substack.com/p/icml-2026-position-aiml-deepfake
Code: N/A
Model: N/A
# TL;DR
ЧТО сделали: Авторы провели систематический критический анализ современной научной экосистемы в области детекции дипфейков. Они выявили глубокое структурное несоответствие между техническими методами защиты и эмпирической реальностью злоупотребления генеративными моделями. Проанализировав 39 высокоцитируемых работ по защите, исследователи показали: в то время как более половины случаев неправомерного использования коммерческого генеративного ИИ приходится на создание интимных изображений без согласия (AI-Generated Non-Consensual Intimate Imagery, AIG-NCII), технические меры защиты фокусируются почти исключительно на «эпистемическом» вреде для зрителя (дезинформации и мошенничестве), полностью игнорируя вред для достоинства самой личности.
ПОЧЕМУ это важно: Эта работа подрывает базовую аксиому современной безопасности ИИ: «подлинность является синонимом безопасности». Авторы доказывают, что публичная маркировка синтетического контента, водяные знаки и подтверждение происхождения не защищают, а в некоторых случаях даже вредят жертвам сексуализированных дипфейков. Это заставляет радикально пересмотреть принципы построения моделей угроз и предлагает ориентир для перехода к проактивной защите достоинства личности.
Для практиков: Вместо того чтобы тратить ресурсы на постфактум-детекторы и навешивание плашек «Сгенерировано ИИ», разработчикам и исследователям безопасности стоит сосредоточиться на внедрении «трения» (например, состязательных помех на этапе публикации личных фото) и алгоритмах внутренней модерации на бэкенде.
Бороться с реальными рисками тут: https://t.me/gonzo_ML_podcasts/4453
Борьба с дипфейками решает не ту задачу, от которой реально страдают люди. Все усилия сконцентрированы на подтверждении подлинности, тогда как большинство реальных проблем сейчас находятся в районе вреда для достоинства личности, и никто эту тему не исследует, все работают там где проще со своей бинарной классификацией. Слишком далеки они от народа в своём поиске под фонарём.
Position: AI/ML Deepfake Research is Misaligned with AI-Generated Non-Consensual Intimate Imagery (AIG-NCII)
Li Qiwei, Wells Lucas Santo, Sarita Schoenebeck, Eric Gilbert
Paper: https://openreview.net/forum?id=mLhZzo7BIb
Review: https://arxiviq.substack.com/p/icml-2026-position-aiml-deepfake
Code: N/A
Model: N/A
# TL;DR
ЧТО сделали: Авторы провели систематический критический анализ современной научной экосистемы в области детекции дипфейков. Они выявили глубокое структурное несоответствие между техническими методами защиты и эмпирической реальностью злоупотребления генеративными моделями. Проанализировав 39 высокоцитируемых работ по защите, исследователи показали: в то время как более половины случаев неправомерного использования коммерческого генеративного ИИ приходится на создание интимных изображений без согласия (AI-Generated Non-Consensual Intimate Imagery, AIG-NCII), технические меры защиты фокусируются почти исключительно на «эпистемическом» вреде для зрителя (дезинформации и мошенничестве), полностью игнорируя вред для достоинства самой личности.
ПОЧЕМУ это важно: Эта работа подрывает базовую аксиому современной безопасности ИИ: «подлинность является синонимом безопасности». Авторы доказывают, что публичная маркировка синтетического контента, водяные знаки и подтверждение происхождения не защищают, а в некоторых случаях даже вредят жертвам сексуализированных дипфейков. Это заставляет радикально пересмотреть принципы построения моделей угроз и предлагает ориентир для перехода к проактивной защите достоинства личности.
Для практиков: Вместо того чтобы тратить ресурсы на постфактум-детекторы и навешивание плашек «Сгенерировано ИИ», разработчикам и исследователям безопасности стоит сосредоточиться на внедрении «трения» (например, состязательных помех на этапе публикации личных фото) и алгоритмах внутренней модерации на бэкенде.
Бороться с реальными рисками тут: https://t.me/gonzo_ML_podcasts/4453
Substack
[ICML 2026] Position: AI/ML Deepfake Research is Misaligned with AI Generated Non-Consensual Intimate Imagery (AIG-NCII)
Authors: Li Qiwei, Wells Lucas Santo, Sarita Schoenebeck, Eric Gilbert
🥱6❤2👍1
Базу для хранения жизненного опыта агентов подвезли. Ждём новый инфраструктурный стартап?
Experience Graphs: The Data Foundation for Self-Improving Agents
Gang Liao, Yujia He, Abdullah Ozturk, Zhouyang Li, Ying Wang, Zhitong Guo, Hongsen Qin, Yaobin Qin, Tao Yang, Zewei Jiang, Dianshi Li, Jort Gemmeke, Jiangyuan Li, Liyuan Li, Nathan Yan, Masha Basmanova, Uladzimir Pashkevich, Matt Steiner, Pedro Pedreira, Rob Fergus, Anirudh Goyal, Carole-Jean Wu, Gaoxiang Liu, Andrew Witten, Daniel J. Abadi
Paper: https://arxiv.org/abs/2606.29823
Review: https://arxiviq.substack.com/p/experience-graphs-the-data-foundation
Code: https://github.com/facebookincubator/axiom
Model: N/A
# TL;DR
ЧТО сделали: Авторы разработали Trellis — нативную базу данных для самообучающихся ИИ-агентов. Вместо того чтобы сохранять результаты поиска в локальных JSON-файлах или временных логах, Trellis представляет всю историю поиска (граф опыта, или "experience graph") как полноценное, версионируемое состояние базы данных.
ПОЧЕМУ это важно: Отделение вычислений от хранения делает агентов полностью stateless и бессерверными. Такая архитектура обеспечивает встроенное восстановление после сбоев, горизонтальное масштабирование и переиспользование опыта между сессиями. Интеграция с фреймворком KernelEvolve (https://engineering.fb.com/2026/04/02/developer-tools/kernelevolve-how-metas-ranking-engineer-agent-optimizes-ai-infrastructure/) показывает ускорение оптимизации в 10 раз по сравнению с «холодным стартом» и снижает расходы на токены на 52% за счёт предотвращения повторяющихся ошибок. Пост-тренинг RL (такой как SFT, DPO, GRPO) превращается из сложного офлайн-парсинга логов в простые запросы к БД в реальном времени.
Для практиков: Trellis позволяет создавать по-настоящему отказоустойчивые мультиагентные системы. Если вычислительный узел упадёт, состояние поиска не потеряется — любой другой узел сможет продолжить работу прямо с того же места в графе.
Хранить жизненный опыт тут: https://t.me/gonzo_ML_podcasts/4461
Experience Graphs: The Data Foundation for Self-Improving Agents
Gang Liao, Yujia He, Abdullah Ozturk, Zhouyang Li, Ying Wang, Zhitong Guo, Hongsen Qin, Yaobin Qin, Tao Yang, Zewei Jiang, Dianshi Li, Jort Gemmeke, Jiangyuan Li, Liyuan Li, Nathan Yan, Masha Basmanova, Uladzimir Pashkevich, Matt Steiner, Pedro Pedreira, Rob Fergus, Anirudh Goyal, Carole-Jean Wu, Gaoxiang Liu, Andrew Witten, Daniel J. Abadi
Paper: https://arxiv.org/abs/2606.29823
Review: https://arxiviq.substack.com/p/experience-graphs-the-data-foundation
Code: https://github.com/facebookincubator/axiom
Model: N/A
# TL;DR
ЧТО сделали: Авторы разработали Trellis — нативную базу данных для самообучающихся ИИ-агентов. Вместо того чтобы сохранять результаты поиска в локальных JSON-файлах или временных логах, Trellis представляет всю историю поиска (граф опыта, или "experience graph") как полноценное, версионируемое состояние базы данных.
ПОЧЕМУ это важно: Отделение вычислений от хранения делает агентов полностью stateless и бессерверными. Такая архитектура обеспечивает встроенное восстановление после сбоев, горизонтальное масштабирование и переиспользование опыта между сессиями. Интеграция с фреймворком KernelEvolve (https://engineering.fb.com/2026/04/02/developer-tools/kernelevolve-how-metas-ranking-engineer-agent-optimizes-ai-infrastructure/) показывает ускорение оптимизации в 10 раз по сравнению с «холодным стартом» и снижает расходы на токены на 52% за счёт предотвращения повторяющихся ошибок. Пост-тренинг RL (такой как SFT, DPO, GRPO) превращается из сложного офлайн-парсинга логов в простые запросы к БД в реальном времени.
Для практиков: Trellis позволяет создавать по-настоящему отказоустойчивые мультиагентные системы. Если вычислительный узел упадёт, состояние поиска не потеряется — любой другой узел сможет продолжить работу прямо с того же места в графе.
Хранить жизненный опыт тут: https://t.me/gonzo_ML_podcasts/4461
arXiv.org
Experience Graphs: The Data Foundation for Self-Improving Agents
The database community has repeatedly advanced the state of the art by recognizing that new workloads demand new system architectures. We argue that long-horizon agentic tasks -- code generation,...
👍10🔥7
Развитие темы про добавление памяти в различные архитектуры. В работе решают проблему ограниченного размера рекуррентного состояния в SSM-подобных моделях (здесь Gated DeltaNet) через увеличение этой памяти на несколько порядков одновременно с реализацией разреженных чтения и записи в неё. Мне кажется, это в каком-то смысле реимплементация старых добрых Neural Turing Machines (NTM) на новом субстрате. Теперь оно и скейлится неплохо.
Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity
Loïc Cabannes, Pierre-Emmanuel Mazaré, Gergely Szilvasy, Matthijs Douze, Maria Lomeli, Ilze Amanda Auzina, Justin Carpentier, Gabriel Synnaeve, Hervé Jégou
Paper: https://arxiv.org/abs/2607.07386
Review: https://arxiviq.substack.com/p/sparse-delta-memory-scaling-the-state
Code: https://github.com/facebookresearch/sparse-delta-memory
Model: N/A
# TL;DR
ЧТО сделали: Авторы представили Sparse Delta Memory (SDM) — новую архитектуру, которая кардинально увеличивает ёмкость рекуррентного состояния гейтированных линейных RNN. Вместо плотных (dense) обновлений матриц здесь используется разреженная схема адресации для чтения и записи. Это позволяет масштабировать скрытое состояние модели на три порядка при строгом сохранении количества FLOP (isoFLOP) и числа параметров на уровне базовых плотных моделей.
ПОЧЕМУ это важно: Классические трансформеры отлично справляются с извлечением информации из длинного контекста, но упираются в квадратичный и неограниченный рост KV-кэша. Линейные RNN и модели в пространствах состояний (SSM) требуют фиксированных вычислений на токен, но ограничены в ёмкости состояния, что сильно ухудшает recall. SDM разрешает этот компромисс, обеспечивая неизменную сложность вычислений при инференсе на последовательностях до 1 миллиона токенов и значительно превосходя плотные архитектуры на длинном контексте.
Для практиков: SDM позволяет обрабатывать сверхдлинные контексты без раздувания KV-кэша на GPU, сохраняя постоянную скорость декодирования. Модель обучили эффективно благодаря кастомным CUDA-кернелам и оптимизированному бэкпропу, который сжимает пиковую память состояния с 226 ГБ до всего 8 ГБ без потери качества.
Добавлять большую память тут: https://t.me/gonzo_ML_podcasts/4472
Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity
Loïc Cabannes, Pierre-Emmanuel Mazaré, Gergely Szilvasy, Matthijs Douze, Maria Lomeli, Ilze Amanda Auzina, Justin Carpentier, Gabriel Synnaeve, Hervé Jégou
Paper: https://arxiv.org/abs/2607.07386
Review: https://arxiviq.substack.com/p/sparse-delta-memory-scaling-the-state
Code: https://github.com/facebookresearch/sparse-delta-memory
Model: N/A
# TL;DR
ЧТО сделали: Авторы представили Sparse Delta Memory (SDM) — новую архитектуру, которая кардинально увеличивает ёмкость рекуррентного состояния гейтированных линейных RNN. Вместо плотных (dense) обновлений матриц здесь используется разреженная схема адресации для чтения и записи. Это позволяет масштабировать скрытое состояние модели на три порядка при строгом сохранении количества FLOP (isoFLOP) и числа параметров на уровне базовых плотных моделей.
ПОЧЕМУ это важно: Классические трансформеры отлично справляются с извлечением информации из длинного контекста, но упираются в квадратичный и неограниченный рост KV-кэша. Линейные RNN и модели в пространствах состояний (SSM) требуют фиксированных вычислений на токен, но ограничены в ёмкости состояния, что сильно ухудшает recall. SDM разрешает этот компромисс, обеспечивая неизменную сложность вычислений при инференсе на последовательностях до 1 миллиона токенов и значительно превосходя плотные архитектуры на длинном контексте.
Для практиков: SDM позволяет обрабатывать сверхдлинные контексты без раздувания KV-кэша на GPU, сохраняя постоянную скорость декодирования. Модель обучили эффективно благодаря кастомным CUDA-кернелам и оптимизированному бэкпропу, который сжимает пиковую память состояния с 226 ГБ до всего 8 ГБ без потери качества.
Добавлять большую память тут: https://t.me/gonzo_ML_podcasts/4472
arXiv.org
Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity
Linear attention models allow a fixed state size and a fixed amount of compute per token. However, due to their limited state size, linear attention models fall behind in long-context recall...
👍7🤔1