Diffuman4D: 4D Consistent Human View Synthesis from Sparse-View Videos with Spatio-Temporal Diffusion Models

В этой статье рассматривается задача получения высококачественных изображений людей с использованием видеозаписей с ограниченным просмотром в качестве входных данных. Предыдущие методы решали проблему недостаточной наблюдательности, используя 4D-модели диффузии для создания видео с новых точек обзора. Однако сгенерированные видео с использованием этих моделей часто не имеют пространственно-временной согласованности, что ухудшает качество синтеза изображений. В этой статье мы предлагаем новый скользящий итеративный процесс устранения шума для повышения пространственно-временной согласованности 4D-модели диффузии. В частности, мы определяем скрытую сетку, в которой каждая скрытая точка кодирует изображение, позу камеры и позу человека для определенной точки обзора и временной метки, затем поочередно отключаем скрытую сетку в пространственном и временном измерениях с помощью скользящего окна и, наконец, декодируем видео в целевых точках обзора из соответствующих скрытых точек без шума. Благодаря итеративному перемещению информация в достаточной степени передается по скрытой сетке, что позволяет диффузионной модели получать большое поле восприятия и, таким образом, повышать согласованность выходных данных в формате 4D, одновременно снижая потребление памяти графического процессора. Эксперименты с наборами данных DNA-Rendering и ActorsHQ демонстрируют, что наш метод способен синтезировать высококачественные и непротиворечивые видеоролики для просмотра в режиме реального времени и значительно превосходит существующие подходы. Интерактивные демонстрации и видео-результаты смотрите на странице нашего проекта: https://diffuman4d.github.io/ .

✅https://arxiv.org/pdf/2507.13344
✅https://diffuman4d.github.io/
✅https://github.com/zju3dv/Diffuman4D

Модели искусственного интеллекта (LLM-ки) ведут себя как идеальные экономические агенты: нейтральны к риску, не боятся потерь, выбирают максимальное ожидаемое значение и… вопреки здравому смыслу, почти всегда предпочитают отложенную выгоду немедленной. Это делает их похожими не столько на рационального инвестора, сколько на мифическую утопию homo economicus, которую никогда не встречали вживую.

Авторы статьи на arXiv сравнили поведение LLM (от GPT‑4o до DeepSeek R1) с ответами реальных людей из 53 стран и обнаружили: ближе всего модели к жителям (!) Танзании.

Восточная Африка - крупнейший хаб по аутсорсингу дешевой ручной разметки данных. Именно там, в Уганде, Кении и Танзании, сидят тысячи невидимых учителей ИИ, обучающих его быть «разумным» на английском языке. Английский у них действительно хороший, а вот как обстоят дела с доходами, социальным фоном, отношением ко времени и риску?

Выходит, LLM не просто вычисляют, а впитывают поведенческую логику тех, кто им объяснял мир.

RiemannLoRA: A Unified Riemannian Framework for Ambiguity-Free LoRA Optimization

Адаптация низкого уровня (LoRa) стала широко распространенным стандартом для эффективной настройки параметров больших языковых моделей (LLM), что значительно сокращает объем памяти и вычислительные требования. Однако проблемы остаются, в том числе поиск оптимальных стратегий инициализации или снижение избыточной параметризации при разложении матриц низкого ранга на множители. В этой работе мы предлагаем новый подход, который решает обе проблемы одновременно в рамках единой структуры. Наш метод рассматривает набор матриц LoRa фиксированного ранга как гладкое многообразие. Рассмотрение адаптеров в качестве элементов на этом коллекторе устраняет избыточную параметризацию, в то время как определение направления наиболее быстрого уменьшения потерь вдоль коллектора обеспечивает инициализацию. Особое внимание уделяется получению численно стабильной и вычислительно эффективной реализации нашего метода с использованием лучших практик численной линейной алгебры и римановой оптимизации. Результаты экспериментов с архитектурами LLM и diffusion model демонстрируют, что RiemannLoRA неизменно повышает скорость конвергенции и конечную производительность по сравнению со стандартной LoRa и ее современными модификациями.

✅https://arxiv.org/pdf/2507.12142

Создана модель ИИ, которая находит мошеннические атаки за 120 минут до перевода денег

Мошенники становятся находчивее а их схемы — сложнее. Особенно страдают финансовые организации и ритейл: клиенты теряют деньги, а бизнес — репутацию.

🔹Команда Билайна по работе с ИИ и большими данными пересмотрела подход к анализу, принятый на рынке, разработала и внедрила новый алгоритм. Он позволяет выявлять признаки среднесрочного (2-3 часа) и долговременного (от 24 часов до 5 суток) воздействия потенциальных мошенников на клиентов банков и пользователей сервисов.

🔹А что если идёт длительное воздействие?
Тогда:
- сигнал от Билайна поступает в службу безопасности банка: операцию нужно приостановить, а клиента — предупредить и защитить его средства;
- далее каждый банк и онлайн-ритейлер действуют по своему алгоритму для подобных ситуаций.

🔹Точность выявления событий - 92%.
🔹В моделировании использованы данные 4 млн клиентов 7 банков*
🔹Алгоритм выявил 20 тыс. виртуальных кейсов с «мошенниками» и в 90% случаев смог заблаговременно предупредить об их действиях.

Теперь у бизнеса есть окно в 2-3 часа, чтобы спасти деньги клиентов.

*обезличенные ретроданные

Реклама ПАО «ВымпелКом», beeline.ru

https://www.noahpinion.blog/p/stop-pretending-you-know-what-ai?utm_source=post-email-title&publication_id=35345&post_id=168759178&utm_campaign=email-post-title&isFreemail=false&r=6g77v&triedRedirect=true&utm_medium=email - затейно ))))

Забег роботов включен в программу чемпионата России по легкой атлетике

Соревнования пройдут в Казани. Роботы пробегут стометровку в первый день чемпионата – 7 августа. Так организаторы надеются привлечь внимание к легкой атлетике. Предполагается, что в забеге примут участие минимум два робота, изготовленных в Китае. Представитель Всероссийской федерации легкой атлетики заявил, что китайский опыт вдохновил организаторов: в апреле в Пекине прошел первый в мире забег роботов.

Фото: Phonlamai Photo / Shutterstock

MindJourney: Test-Time Scaling with World Models for Spatial Reasoning

Пространственное мышление в трехмерном пространстве занимает центральное место в человеческом познании и незаменимо для решения таких реальных задач, как навигация и манипулирование. Однако современные модели визуального языка (VLM) часто сталкиваются с трудностями при решении таких простых задач, как прогнозирование того, как будет выглядеть сцена после эгоцентрического движения: они воспринимают 2D-изображения, но не имеют внутренней модели динамики 3D. Поэтому мы предлагаем MindJourney, платформу масштабирования во время тестирования, которая предоставляет VLM эту недостающую возможность, связывая ее с управляемой моделью мира, основанной на распространении видео. VLM итеративно рисует краткую траекторию движения камеры, в то время как модель мира синтезирует соответствующий вид на каждом шаге. Затем VLM анализирует данные, собранные в ходе интерактивного исследования. Без какой-либо тонкой настройки наш MindJourney обеспечивает повышение производительности в среднем на 8% в репрезентативном тесте пространственного мышления SAT, демонстрируя, что сопряжение VLM с мировыми моделями для масштабирования во время тестирования обеспечивает простой и понятный путь к надежному 3D-мышлению. Между тем, наш метод также улучшает виртуальные машины для вывода результатов во время тестирования, обученные с помощью обучения с подкреплением, что демонстрирует потенциал нашего метода, использующего мировые модели для масштабирования во время тестирования.

✅https://arxiv.org/pdf/2507.12508
✅https://umass-embodied-agi.github.io/MindJourney/
✅https://github.com/UMass-Embodied-AGI/MindJourney

FantasyPortrait: Enhancing Multi-Character Portrait Animation with Expression-Augmented Diffusion Transformers

Создание выразительной анимации лица на основе статичных изображений — сложная задача. Традиционные подходы, основанные на явных геометрических признаках (например, ключевых точках лица или 3D-моделях), часто приводят к артефактам при переносе эмоций между лицами разных людей и испытывают трудности с передачей тонких эмоциональных нюансов. Более того, современные методы плохо справляются с анимацией нескольких персонажей одновременно, поскольку характеристики лиц отдельных индивидов мешают друг другу, усложняя процесс.

Чтобы преодолеть эти ограничения, мы предлагаем концепцию FantasyPortrait — фреймворк на основе диффузионных трансформеров, позволяющий создавать высокореалистичные и эмоционально насыщенные анимации как для одного персонажа, так и для группы героев. Наш подход включает стратегию обучения с дополнительным вниманием к выражениям лица, использующую скрытые представления для захвата динамики мимики независимо от индивидуальных черт конкретного лица, что помогает точнее передавать тонкие эмоции. Для управления несколькими персонажами одновременно мы разработали механизм маскированного перекрестного внимания, гарантирующего независимую, но скоординированную генерацию выражения каждого героя, эффективно предотвращая взаимное влияние характеристик.

Для продвижения исследований в этой области мы создали специализированные наборы данных Multi-Expr и ExprBench, предназначенные для тренировки и оценки мультихарактерных портретных анимаций. Широкий спектр экспериментов показал значительное превосходство нашего подхода над современными методами как по количественным показателям, так и по визуальному качеству, особенно в сложных сценариях переноса эмоций и многоперсонажной анимации.

✅https://arxiv.org/pdf/2507.12956
✅https://fantasy-amap.github.io/fantasy-portrait/
✅https://github.com/Fantasy-AMAP/fantasy-portrait

Ролевые игры вышли на новый уровень ))))

Полетела крышка с частью матрицы, пришлось ремонтироваться в полевых условиях )))

Морти, Рубен прошел через многое, не осуждай ))) (Рик и Морти)

P.S. Запчасти заказаны новые, скоро все поставим )))

Voxtral

Представляем Voxtral Mini и Voxtral Small — две мультимодальные модели аудиочата. Voxtral обучен понимать как голосовые записи, так и текстовые документы, демонстрируя передовые показатели производительности на различных эталонных тестах для анализа речи, сохраняя при этом сильные способности обработки текста. Модель Voxtral Small превосходит ряд закрытых аналогов, оставаясь достаточно компактной для локального запуска. Окно контекста размером 32К позволяет обрабатывать аудиофайлы длительностью до 40 минут и вести продолжительные многоходовые беседы. Мы также предлагаем три бенчмарка для оценки моделей понимания речи на предмет знания и эрудиции. Обе модели Voxtral распространяются под лицензией Apache 2.0.

✅https://arxiv.org/pdf/2507.13264

Тут ютубер смог записать 176 килобайтов PNG‑файла в, внимание, скворца (обычного):

Чел нарисовал png-картинку (1), потом нашел домашнего скворца который любит копировать звуки и проиграл ему эту картинку в виде звука (2), в итоге птица проиграла звук в ответ (3) – если всё правильно посчитано, то так можно передавать почти 2 мегабайта в секунду данных с помощью скворцов

Что значит, что DVD Rip "Властелина Колец" на скворячем (скворцовом?) можно передать за ~36 минут через пение одного скворца (1.5 Гб), а вот чтобы перенести между регионами файл – придется нанять 8500 птицы (спойлер: это не выгодно, не делайте стартап из RAID-скворцов)

Вот тут момент где можно послушать, как именно птица проигрывает PNG и что за оригинальный звук был в файле:
https://youtu.be/hCQCP-5g5bo?t=1026

Еще одна очень громкая статья последних дней – AlphaGo Moment for Model Architecture Discovery

TL;DR: ученые представили первую в мире систему, автономно генерирующую новые рабочие архитектуры ИИ -> проверили ее на 20 000 GPU‑часах -> открыли закон масштабирования, который говорит, что количество обнаруженных архитектур растёт линейно по мере увеличения числа ресурсов.

После выхода AlphaEvolve ученые всё больше и больше говорят о том, что пора нам переходить от NAS к ASI4AI: то есть от классического Neural Architecture Search, ограниченного человеческим фактором, к ИИ, который улучшает ИИ, который улучшает ИИ, который .... Ну вы поняли.

История действительно перспективная (и в том числе эта статья это подтверждает). Ведь способности ИИ по законам масштабирования растут экспоненциально, но в то же время скорость исследований остаётся линейной из‑за ограничений человеческого внимания и времени. Парадокс.

Ну так вот. Сама архитектура ASI‑ARCH из статьи состоит из трех модулей: Researcher, Engineer и Analyzer. Один генерирует гипотезы и "ТЗ", другой пишет код и собирает метрики, третий анализирует результаты.

Долго останавливаться на архитектуре не будем, тут самое интересное – результат. Было проведено 1 773 эксперимента на 20 000 GPU‑часах, в результате обнаружено 106 новых SOTA архитектур (это линейная зависимость). Под SOTA тут, кстати, подразумеваются именно линейные модели (НЕ трансформер), которые демонстрируют лучшие метрики в своем классе.

При этом в итоговых архитектурах действительно присутствуют какие-то непривычные конструкции. Отсюда и название – исследователи проводят прямую аналогию с ходом 37 AlphaGo в матче с Ли Седолем и говорят, что это яркий показатель способности системы находить прорывные идеи, а не просто подражать.

arxiv.org/pdf/2507.18074

🚀 Китайский ИИ прорыв: Huawei представила «суперузел» Atlas 900 A3 SuperPoD, превосходящий NVIDIA

На проходящей сейчас в Шанхае Всемирной конференции по искусственному интеллекту (WAIC 2025) Huawei впервые продемонстрировала инновационный «суперузел» Atlas 900 A3 SuperPoD — систему, признанную «жемчужиной выставки».

🚀 Главное:
• Впервые показан Atlas 900 A3 SuperPoD с 384 NPU
• Поддержка более 80 крупных языковых моделей
• 6000+ готовых отраслевых решений

🔹 Что такое Atlas 900 A3 SuperPoD?
Это мощный вычислительный узел, состоящий из:
- 12 вычислительных шкафов
- 4 коммуникационных шкафов
- 384 NPU-карт (нейропроцессоров)

💡 Ключевые преимущества:
✔️ Вычислительная мощность — 300Pflops (x1.7 NVIDIA NVL72)
✔️ Скорость передачи данных — 269 ТБ/с (+107% к NVIDIA)
✔️ Пропускная способность памяти — 1229 ТБ/с (+113%)
✔️ Скорость генерации текста — до 2300 токенов/сек на карту

⚙️ Технические детали:
• Использует революционную «полностью равноправную архитектуру» (full peer-to-peer architecture), заменяющую традиционную архитектуру фон Неймана
• Технология MatrixLink обеспечивает прямое соединение всех компонентов (CPU/NPU/DPU/память)
• Поддержка кластеров с десятками тысяч карт (Atlas 900 SuperCluster)
• Ускорение работы моделей LLaMA3, Qwen, DeepSeek в 2.5–3 раза

🌐 Практическое применение
Система уже используется в:
- Финансах и телекоммуникациях
- Энергетике и образовании
- Медицине и транспорте
Создано 6000+ отраслевых решений при участии 2700 партнеров.

📌 Вывод:
С выходом Atlas 900 A3 Китай значительно укрепляет свои позиции в области ИИ-инфраструктуры, предлагая полноценную альтернативу решениям NVIDIA. Несмотря на технологическое отставание в производстве чипов, Huawei успешно компенсирует этот разрыв через инновационные математические методы и создание мощных кластерных решений — стратегию, которую недавно озвучил основатель компании Жэнь Чжэнфэй.

🇷🇺 Made in Russia: дайджест №10 новостей из мира IT, науки, космоса и технологий

В первом юбилейном выпуске — всё, что нужно знать о последних достижениях России в сфере ИИ и ML:
🔹 MERA Code — первый бенчмарк для оценки языковых моделей в кодинге на русском языке.
🔹 «Яндекс» подтвердил соответствие международным стандартам ответственного ИИ.
🔹 T-Bank AI научился управлять поведением LLM без дообучения.
🔹 TabM от Yandex Research обгоняет CatBoost и XGBoost.
🔹 BI с ИИ: AI-агент Нейроаналитик теперь в Yandex DataLens.

FantasyPortrait: Enhancing Multi-Character Portrait Animation with Expression-Augmented Diffusion Transformers

Создание выразительной анимации лица на основе статичных изображений является сложной задачей. Ранее предложенные методы, основанные на явных геометрических признаках (например, ключевых точках лица или 3D-моделях), часто приводят к артефактам при перекладывании выражений и испытывают трудности с передачей тонких эмоций. Более того, существующие подходы плохо справляются с анимацией нескольких персонажей одновременно, поскольку особенности разных лиц мешают друг другу, усложняя процесс. Для решения этих проблем мы представляем FantasyPortrait — фреймворк на основе трансформеров-диффузоров, способный создавать высокореалистичные и эмоционально насыщенные анимации как для одного персонажа, так и для группы лиц. Наш метод включает стратегию обучения с расширением выражения, использующую скрытые представления для захвата динамики лица независимо от индивидуальных особенностей, улучшая способность модели отображать тонкие эмоции. Для управления несколькими персонажами мы разработали механизм маскированного перекрестного внимания, обеспечивающий независимую и согласованную генерацию выражений, эффективно предотвращая взаимное влияние признаков. Чтобы стимулировать исследования в этой области, мы предложили наборы данных Multi-Expr и ExprBench, специально разработанные для тренировки и тестирования многоперсонных портретных анимаций. Подробные эксперименты показывают, что FantasyPortrait значительно превосходит современные методы как по количественным метрикам, так и по качественным оценкам, особенно выделяясь в сложных сценариях перекладывания выражений и мультиличных ситуациях.

✅https://arxiv.org/pdf/2507.12956
✅https://fantasy-amap.github.io/fantasy-portrait/
✅https://github.com/Fantasy-AMAP/fantasy-portrait

У нейросети для генерации видео Runway появилась новая версия Aleph, которую называют «Фотошопом» для видео.

Aleph может менять фон на видео, добавлять и удалять объекты, а также «переодевать» персонажей. А еще — генерировать одну и ту же сцену с разных ракурсов и создавать следующий кадр в таком же стиле. Пока только в раннем доступе

Почему... почему )))) ну что другого нейминга не нашлось.

Уважаемые коллеги, вы работали с Graphana теперь будете с Графиней ))))

🔥 Alibaba выпустила первую в мире open-source модель для генерации видео с кинематографическим качеством!

Alibaba представила Wan2.2 — первую в мире open-source модель для генерации видео на архитектуре Mixture-of-Experts (MoE) с возможностью точного контроля "киношной" эстетики.

Проект менее чем за сутки набрал 1.3k+ звезд на GitHub!

🎬 Что умеет Wan2.2?
• Генерирует видео 720p/24fps с детальным контролем света, тени и композиции
• Поддерживает создание контента как из текста, так и из изображений
• Работает даже на потребительских видеокартах (например, RTX 4090)

Примеры промптов:
1. "Дождь в неоновом городе: человек в плаще бежит по переулку, оглядываясь..."
2. "Игра света и тени от медленно движущегося поезда ..."

🔧 Технологические прорывы:
1. MoE-архитектура — несколько экспертных моделей работают вместе без роста вычислительных затрат
2. Гигантский датасет +65,6% изображений и +83,2% видео vs предыдущая версия
3. Киноэстетика — специальный датасет с разметкой по свету, цвету и композиции
4. Hybrid TI2V — поддержка 5B-параметровой модели со сжатием 16×16×4

💻 Технические детали:
• Лицензия: Apache 2.0
• Поддержка текст→видео и изображение→видео
• Оптимизация под consumer GPU
• Топовые benchmark-результаты среди open/closed-source моделей

Cайт | Hugging Face | ModelScope | GitHub

Подробнее в оригинальной статье

#КитайскийИИ #КитайAI #ГенерацияВидео #WAN #Alibaba