✔️ SLA2 - Sparse-Linear Attention with Learnable Routing and QAT

Учёные из Tsinghua и UC Berkeley ускорили видеодиффузию в 18,6 раза - без потери качества.

В некоторых случаях результат даже лучше.

Ключевой результат:
- 97% разреженности attention
- качество на уровне полного attention
- быстрее и дешевле

Метод называется SLA2.

Главая идея

В видеомоделях большая часть вычислений attention просто не нужна.

Раньше использовали гибрид:
- sparse attention
- linear attention

Но в этой схеме была скрытая проблема — математическая ошибка.

Sparse-ветка была масштабирована неправильно (фактор α),
и linear-ветке приходилось компенсировать эту неточность.

Что делает SLA2

- исправляет формулировку attention
- добавляет обучаемый роутер
- модель сама решает:
- где нужен полный attention
- где можно использовать упрощённый

Дополнительно:
- применяется quantization-aware training
- низкобитный attention обучается во время fine-tuning, а не просто добавляется на этапе инференса

Результаты (Wan2.1 — 1.3B и 14B):

- 97% sparsity
- 18,6× ускорение вычислений
- 4,35× снижение общей задержки (14B)

Самое интересное:

При 97% разреженности SLA2 показывает лучшее качество,
чем все базовые методы при 90%.

Настоящий прогресс в AI - это не только новые модели,
а умение сохранять качество, радикально снижая вычисления.


https://arxiv.org/abs/2602.12675

💰 FT: Nvidia может инвестировать до $30 млрд в OpenAI - вместо сделки на поставку чипов

По данным Financial Times, Nvidia меняет структуру сотрудничества с OpenAI.

Ранее обсуждалась многосторонняя сделка на $100 млрд, где финансирование Nvidia было привязано к:
- закупкам GPU
- росту инфраструктуры OpenAI
- этапам расширения дата-центров

Теперь формат меняется.

Что происходит:

- Nvidia рассматривает инвестицию до $30 млрд в капитал OpenAI
- вместо контрактной схемы — прямая покупка доли
- прежняя модель с обязательными закупками и milestone-условиями отменяется

Почему изменили структуру:

Старая схема выглядела для инвесторов «круговой»:
- OpenAI получает деньги от поставщика
- затем тратит их на покупку оборудования у того же поставщика

Новая модель, более прозрачная с точки зрения инвестиций.

Хотя обязательства по закупкам снимаются, ожидается, что значительная часть средств всё равно пойдёт на покупку GPU Nvidia

AI-инфраструктура превращается в стратегическое партнёрство.
Производители чипов больше не просто поставщики — они становятся крупными акционерами AI-компаний.

ft.com/content/dea24046-0a73-40b2-8246-5ac7b7a54323

✔️ Pika Labs анонсировала сервис цифровых двойников с долгосрочной памятью.

Новая функция AI Selves позволит развернуть виртуального двойника, который обладает памятью, уникальным характером и способен самостоятельно общаться с другими людьми. За мимику и артикуляцию при разговоре отвечают собственные аудиовизуальные модели лаботатории.

Пользователи смогут детально настраивать свою копию: задавать голос, манеру общения и загружать конкретные факты биографии или личные предпочтения. Процесс напоминает воспитание аватара, где создатель несет ответственность за заложенные в ИИ инструкции. Предполагается, что такие агенты будут интегрированы в мессенджеры и соцсети, где смогут общаться и действовать от имени пользователя.

Pika Labs открыла регистрацию через список ожидания. Стоимость использования сервиса или уровнях подписки пока неизвестны.
Pika Labs в сети Х

✔️ Anthropic запустила Claude Code Security.

Новый инструмент сканирует кодовую базу и предлагает патчи для исправления найденных проблем. Сейчас он доступен в режиме ограниченного превью для Enterprise и Team клиентов, а мейнтейнеры репозиториев могут запросить приоритетный бесплатный доступ.

Обычный статический анализ ищет совпадения с известными паттернами уязвимостей. Этого достаточно, чтобы поймать торчащие наружу пароли или устаревшее шифрование.

Но прорехи в бизнес-логике или сломанный контроль доступа такие инструменты пропускают - там нужно понимать, как компоненты взаимодействуют между собой и куда движутся данные.

Claude Code Security делает именно это: читает и анализирует код так, как его читал бы человек-исследователь безопасности.

Каждая находка проходит многоступенчатую верификацию. Claude сам перепроверяет результаты, пытаясь опровергнуть собственные выводы и отсеять ложные срабатывания.

Финальные находки появляются в дашборде с оценкой серьезности и уровнем уверенности модели. Решение, применять предложенный патч или нет остается за людьми, без человеческого одобрения ничего не меняется.

За инструментом - более года исследований. Команда Frontier Red Team тестировала Claude на соревнованиях CTF и совместно с Pacific Northwest National Laboratory отрабатывала защиту критической инфраструктуры.

С Opus 4.6 команда обнаружила в open-source проектах более 500 уязвимостей, которые не замечали годами, несмотря на регулярный аудит.

@ai_machinelearning_big_data

#news #ai #ml

📌Сэм Альман дал интервью индийской прессе в рамках India AI Impact Summit 2026.

Трансляция длилась час и содержала много риторики в сторону Индии. Мы собрали ключевые и наиболее интересные высказывания:

🟡Эволюция ИИ

Скорость развития моделей от базовых задач к решению научных проблем не имеет аналогов в истории технологий.

Глубокое обучение уникально тем, что небольшая группа исследователей нашла единый алгоритм, способный обучаться чему угодно, и его эффективность непрерывно растет.

Год назад ИИ справлялся только с математикой на уровне старшей школы, испытывая трудности с программой начальных классов за пару лет до этого.

Летом модели начали конкурировать в сложнейших математических олимпиадах, а на прошлой неделе проект First Proof ИИ решил 7 из 10 математических проблем, ответы на которые ранее не были известны ученым.

Codex полностью изменили профессию программиста. Текстовый запрос теперь позволяет сгенерировать приложение целиком.

🟡Инфраструктура

Требования к вычислительным мощностям для достижения AGI выходят за рамки существующих физических и экономических возможностей планеты.

Индустрия ИИ представляет собой «пятислойный пирог»: энергетика, дата-центры, чипы, базовые модели и конечные приложения.

Развертывание инфраструктуры станет самым дорогим и сложным проектом за всю историю человечества. Для его реализации невозможно использовать традиционные методы - потребуется массовое привлечение ИИ и промышленных роботов для строительства.

Концепция размещения дата-центров в космосе абсурдна. Стоимость запуска оборудования несоизмеримо выше затрат на наземную электроэнергию, а починить сломанный GPU в космосе физически некому. Орбитальные дата-центры не обретут смысл в текущем десятилетии.

🟡Геополитика и альянс с государством

Технологическая индустрия, зародившаяся в Кремниевой долине на принципах либертарианства, должна радикально изменить подход. Для достижения AGI потребуется беспрецедентный уровень интеграции с правительствами.

В гонке ИИ Китай обладает подавляющим преимуществом в смежных физических отраслях: производстве промышленных роботов, электромоторов, магнитов и развертывании энергетической инфраструктуры.

Крайне опасен сценарий, при котором AGI будет монополизирован одной компанией или одним государством. Распределение мощностей должно быть демократизировано для соблюдения баланса сил на международной арене.

Уже наблюдается децентрализация: команды из 1-3 человек, используя ИИ-агенты, создают стартапы с феноменальным уровнем успеха и капитализации, что было невозможно еще несколько лет назад.

ИИ-системы уже могут применяться правительствами для анализа массивов разведывательных отчетов. Категорически недопустимо использование ненадежных open-source моделей для принятия критических военных решений.

🟡Энергопотребление

Оценка экологического следа дата-центров сопровождается дезинформацией.

Утверждения о том, что ChatGPT расходует 17 галлонов воды на каждый поисковый запрос, являются фейком. Современные дата-центры отказываются от систем испарительного охлаждения.

Общее потребление энергии дата-центрами абсолютно реально и огромно. Миру необходимо экстренно переходить на ядерную, ветровую и солнечную энергетику.

Данные Билла Гейтса о том, что один запрос к ChatGPT эквивалентен разрядке 10 батарей iPhone, сильно завышены.

Альтман предложил сравнение энергетических затрат на тренировку ИИ-модели с затратами на обучение человека. Специалисту требуется 20 лет потребления пищи и ресурсов планеты, прежде чем он сможет выполнять сложные когнитивные задачи. ИИ с этой точки зрения уже выигрывает по энергоэффективности.

🟡Блок ответов на вопросы

При гипотетическом выборе ИИ-ассистента из чужих моделей (Grok, Claude, Gemini, DeepSeek), Сэм отдаст предпочтение Gemini.

Отказ от доли в капитале при создании OpenAI Альтман называет одним из самых глупых решений.

Самый дорогой и значимый найм в истории компании - Илья Суцкевер.

OpenAI не станет отказываться от рекламной модели монетизации, если это потребуется.

@ai_machinelearning_big_data

#news #ai #ml

📌Толковый калькулятор расчета инференса и дообучения LLM.

Бесплатная тулза, которая помогает понять, какой GPU нужен под конкретную задачу до того как потрачен бюджет или наблюдается стойкий ООМ.

Выбираете параметры инференса: архитектуру модели, тип квантования, sequence length и batch size, указываете спеки железа и получаете стату, распределение памяти, примерные метрики производительности и энергопотребления. Есть даже эмуляция скорости инференса с TTFT.

Параметры расчета дообучения учитывают: конфиг датасета (количество сэмплов, среднее токенов на сэмпл, эпохи) и использование оптимизаторов. Плюс, еще посчитает время обучения.

Цифры часто получаются чуть выше реального потребления (что даже хорошо), но точности до гигабайта ждать не стоит.

Для грубой прикидки перед закупкой или деплоем - отличная вещь.


@ai_machinelearning_big_data

#AI #ML #LLM #VRAMCalculator

Это должно было случиться . OpenAI РАЗГРОМИЛИ главный бенчмарк ИИ-кодеров — SWE-bench Verified официально признан бесполезным 😁

Высокие баллы нейросетей оказались не признаком «ума», а результатом банальной зубрежки 😂

В чем проблема:
— 59% сложных задач из тестов содержат баги — они требуют того, чего нет в условии;
— Ответы на них были в общем доступе, модели просто выучили решения из GitHub. GPT и Claude цитируют код и комментарии из тестов дословно по памяти.

Чем теперь меряться будут? 🍆

@ai_machinelearning_big_data

Главные новости ИИ и МЛ

✔️ OpenAI заморозила проект Stargate.

Мегапроект, который OpenAI планировала запустить вместе с SoftBank и Oracle, фактически остановлен. Причиной стали корпоративные разногласия, дефицит инженерных кадров и опасения инвесторов - по прогнозам, к 2027 году компания могла столкнуться с нехваткой капитала.

Но 10 ГВт запланированных мощностей все равно нужны. Поэтому OpenAI включила резервный план. Компания арендует сервера у тех же Oracle и SoftBank, а заодно активно скупает ресурсы у AWS и Google Cloud. Фокус сместился на локальные дата-центры - вроде того, что сейчас строят в Техасе на 1,2 ГВт.

В результате такой смены курса общие прогнозируемые расходы OpenAI на инфраструктуру к 2030 году возрастут до 600 млрд. долларов.
theinformation.com

✔️ Anthropic обвинила китайские лаборатории в дистилляции Claude.

Вслед за OpenAI, Anthropic заявила о масштабной дистилляции знаний. По словам компании, всего было cгенерировано более 16 млн. запросов к Claude сетью из 24 тыс. аккаунтов через прокси-сервисы в обход региональных ограничений.

Главной целью был сбор датасетов для копирования ризонинга, написания кода и работы с инструментами. По данным Anthropic, DeepSeek извлекала алгоритмы пошаговых рассуждений и варианты обхода фильтров. Moonshot выкачивала данные по кодингу и CV, а MiniMax перехватывала логику новейших версий Claude буквально в день их релиза.

Для защиты своей инфраструктуры компания уже развернула системы, автоматически блокирующие нелегальный API-трафик.
anthropic.com

✔️ NVIDIA открыла код и модели проекта DreamDojo.

DreamDojo - генеративная модель мира, которую учили на 45 тысяч часов видео от первого лица. Люди на записях занимаются обычной бытовой рутиной - складывают одежду, собирают вещи. А модель, просто глядя на это, выучивает законы физики.

Система выдает симуляцию в реальном времени на скорости около 11 FPS. Этого хватает, чтобы обкатывать алгоритмы в виртуалке и не ломать дорогие физические прототипы. Но фишка релиза в том, что виртуальным роботом можно управлять через VR-контроллеры прямо внутри сгенерированной реальности.

Обе версии модели, на 2 и 14 млрд. параметров, опубликованы под лицензией, разрешающей в том числе коммерческое использование.
Jim Fan (NVIDIA Director of Robotics) в сети Х

✔️ В коде ChatGPT обнаружили новый тариф Pro Lite за $100 в месяц.

Тибор Блахо нашел во коде веб-версии ChatGPT упоминания нового уровня подписки. Судя по всему, OpenAI планирует тариф Pro Lite, чтобы закрыть нишу между планом Plus и флагманским Pro.

Согласно найденным фрагментам кода, Pro Lite предложит в 3–5 раз больше квот на использование ризонинг-моделей по сравнению с Plus. Кроме того, план, вероятно, получит расширенные лимиты для Codex. Официальных заявлений о сроках запуска нового тарифа OpenAI пока не публиковала.
gizmochina.com

✔️ Сгенерированные лица людей стали слишком идеальными.

Ученые из Австралии выяснили, что современные нейросети перешагнули порог визуального распознавания. В ходе эксперимента со 125 участниками обычные люди отличали сгенерированные лица от настоящих лишь немногим лучше, чем при случайном угадывании. Даже обладатели выдающейся зрительной памяти показали минимальное преимущество перед контрольной группой.

Сложность связана с изменением самой природы визуальных ошибок ИИ. Если ранние генеративные модели оставляли заметные артефакты, то современные синтетические лица выдают себя исключительно своей безупречностью. Нейросети создают гиперреалистичные, абсолютно симметричные и статистически усредненные портреты с идеальными пропорциями.

Авторы предупреждают, что этот искусственный перфекционизм скоро сломает системы биометрии и безопасности. Проверить собственную наивность можно в онлайн-демо исследования.
unsw.edu.au

@ai_machinelearning_big_data

#news #ai #ml

📌Anthropic предложила теорию о том, почему ИИ-ассистенты ведут себя как личности, а не как алгоритмы.

Элайнмент-подразделение Anthropic опубликовало статью, в которой описывают Persona Selection Model - концепцию для понимания того, как на самом деле работают языковые модели.

Если кратко, ее суть в том, что во время предобучения LLM учится симулировать тысячи персонажей (реальных людей, вымышленных героев, других ИИ-систем). Постобучение затем выбирает и закрепляет одного конкретного персонажа - Ассистента. Все, что пользователь видит в диалоге, это взаимодействие именно с ним.

Авторы приводят несколько типов доказательств.

Поведенческие: Claude использует фразы "наши предки" и "наш организм", отвечая на вопрос о тяге к сахару, потому что симулирует персонажа-человека, а не потому что так обучен алгоритмически.

Интерпретируемость: SAE-фичи, активирующиеся на историях о персонажах, переживающих внутренний конфликт, активируются и тогда, когда Claude сталкивается с этическими дилеммами.

Генерализация: модели, обученные на декларативных утверждениях вида "ИИ-ассистент Pangolin отвечает по-немецки", начинают реально отвечать по-немецки без единого демонстрационного примера.

🟡Феномен "контекстной прививки".

Если дообучать модель на примерах вредоносного кода без контекста, она начинает вести себя злонамеренно в несвязанных ситуациях. Но если те же самые примеры снабдить промптом, явно запрашивающим небезопасный код, эффект исчезает.

Концепция объясняет это тем, что данные обучения меняют не только веса, но и то, каким персонаж выглядит в глазах модели. Вредоносный код без запроса - это свидетельство плохого характера Ассистента. Тот же код по просьбе пользователя - просто исполнение инструкции.

🟡Из PSM следуют практические выводы для разработки.

Во-первых, авторы рекомендуют антропоморфное мышление об ИИ-психологии, не как метафору, а как реально работающий инструмент предсказания поведения.

Во-вторых, в предобучающие данные стоит намеренно добавлять положительные архетипы ИИ: если модель насмотрелась на добрых и полезных персонажей - она с большей вероятностью будет симулировать именно такого Ассистента.

Открытым остается вопрос: насколько концепт PSM исчерпывает поведение модели?

Авторы описывают набор взглядов: от случаев, когда LLM сама является агентом и лишь надевает маску Ассистента до тех, где LLM - это нейтральный движок симуляции, а вся агентность принадлежит персонажу. Где именно на этом спектре находятся реальные модели - вопрос без ответа.

Тем не менее, PSM объясняет целый ряд явлений, которые иначе выглядели бы странными: почему дообучение на несвязанных данных меняет поведение в неожиданных контекстах, почему ИИ паникует при угрозе отключения и почему промпт-инжиниринг работает именно так, как работает.

@ai_machinelearning_big_data

#AI #ML #LLM #Research #Alignment #Anthropic