🌟 UNO — новый подход к генерации изображений по нескольким референсам от Bytedance

Новый Flux метод, который позволяет переносить и сохранять объекты с одного или нескольких референс изображений.

UNO способна взять несколько разных объектов или персонажей (их фотографии) и собрать их вместе на одном сгенерированном изображении – все объекты сохраняют свою индивидуальность и детали​

Популярные методы генерации в основном заточены под одного героя, но UNO ломает этот барьер, решая сразу две ключевые проблемы: масштабируемость данных и ограниченность одним субъектом​

Внутри:
🔁 В UNO внедрён специальный механизм позиционных эмбеддингов – Universal Rotary Position Embedding, или по-другому универсальное позиционное кодирование. Зачем это нужно?
Когда модель работает сразу с несколькими визуальными объектами, есть риск перепутать их свойства или положение (так называемая attribute confusion – «путаница атрибутов»). URPE решает эту проблему: оно помогает модели понимать, где какой объект находится и какие черты ему принадлежат, даже если объектов несколько​

Гибкость в разрешениях и форматах. Ещё одна крутая особенность UNO – умение генерировать изображения разного размера и соотношения сторон. Модель обучалась на данных нескольких масштабов, поэтому уверенно чувствует себя и в квадратном формате 512×512, и в нестандартных разрешениях вплоть до 704 пикселей

🔥 Высокая согласованность:
Модель отлично справляется с генерацией персонажей и объектов, сохраняя ключевые особенности сцены — без разрыва между кадрами.

✔️ Проект выложен в open-source:
– Код под Apache 2.0
– Модели под CC BY-NC 4.0
– Поддерживается только некоммерческое использование

🟡 GitHub: https://github.com/bytedance/UNO
🟡Demo: https://huggingface.co/spaces/bytedance-research/UNO-FLUX
🟡 Paper: https://arxiv.org/abs/2504.02160
🟡HF: https://huggingface.co/bytedance-research/UNO

#ByteDance #opensource

🤖 Fourier Intelligence выпустила Fourier N1 — первого полностью open-source гуманоидного робота!

Fourier N1 — это компактный робот ростом 1.3 м и весом 38 кг, способный развивать скорость до 3.5 м/с.

За плечами более 1000 часов полевых испытаний.

🌟 Всё открыто: → список комплектующих (BOM)
→ CAD-чертежи и 3D-модели
→ спецификации приводов
→ управляющий код — на GitHub

⚙️ В основе робота — фирменные приводы FSA 2.0, обеспечивающие высокую устойчивость и манёвренность даже на пересечённой местности.

🔜 Github
🔜Документация (включайте автоперевод)

#ai #robots #opensource

🌟 Sonic от Hunyuan — модель анимации портретов с озвучкой 🎶

Sonic генерирует говорящих аватаров (или даже поющих!) с выразительной мимикой и качественным липсинком.

👉 Что нового?
1️⃣ Оживляем статичные изображения на вход подается одна фотография + любое аудио → речь, пение
2️⃣ Temporal Audio Learning — использует аудио дорожку для точной синхронизации губ и естественной мимики
3️⃣ Decoupled Motion Control — управляет движением головы и выражениями лица отдельно
4️⃣ Time-aware Fusion — обеспечивает плавный переход между кадрами для непрерывного видеоряда

▪ Модель демонстрирует очень качественный липсинк, разнообразие движений головы и мимики, натуральность и стабильность анимаций
▪ Поддерживает генерацию длинных видео (подойдет для влогов, реклаы) в один клик
▪ Кинематографичное качество: реалистичные позы, эмоции и сохранение идентичности референса

🔜Демо: http://demo.sonic.jixiaozhong.online/
🔜Проект: https://jixiaozhong.github.io/Sonic/
🔜 Github: https://github.com/jixiaozhong/Sonic
🔜 Статья: https://arxiv.org/pdf/2411.16331

#ml #lipsync #opensource #hunyuan

✔️ DeepSeek выпустила в оперсорс механизмы инференса для DeepSeek-V3 и R1.

DeepSeek объявила о публикации в открытый доступ кода своего механизма инференса, построенного на vLLM. Компания будет предоставлять отдельные функции и оптимизации из своей внутренней инфраструктуры, специально разработанные для ее моделей DeepSeek-V3 и R1.
Этот шаг - часть стратегии поддержки будущих моделей с доступом к улучшениям в сообществе разработчиков с открытым исходным кодом. Кроме того, DeepSeek опубликовала дорожную карту, в которой подробно описана стратегия использования открытого кода и планы сотрудничества с существующими оперсорс-проектами для расширения экосистемы инфраструктуры ИИ.

🔜 DeepSeekAI на Github

@ai_machinelearning_big_data


#DeepSeek #opensource

15 бесплатных книг по Data Science (часть 1)*

1. *Veridical Data Science*
👩‍🔬 Авторы: Bin Yu & Rebecca L. Barter
Описание: Введение в науку о данных (data science): как область возникла, как она развивается и какую роль играет в современном мире.
🔗 https://vdsbook.com/

2. *Data Science: Theories, Models, Algorithms, and Analytics*
📘 Автор: Sanjiv Ranjan Das
Описание: Учебник по DS с упором на алгоритмы и аналитику.
🔗 https://srdas.github.io/Papers/DSA_Book.pdf

3. *Think Python 3E*
🐍 Автор: Allen B. Downey
Описание: Современное введение в Python с нуля.
🔗 https://greenteapress.com/wp/think-python-3rd-edition/

4. *Python Data Science Handbook*
📊 Автор: Jake VanderPlas
Описание: Практика работы с NumPy, pandas, sklearn и визуализациями.
🔗 https://jakevdp.github.io/PythonDataScienceHandbook/

5. *R for Data Science*
📈 Авторы: Hadley Wickham и др.
Описание: Современный подход к анализу данных в R.
🔗 https://r4ds.hadley.nz/

6. *Think Stats 3E*
📐 Автор: Allen B. Downey
Описание: Статистика через Python и практику.
🔗 https://allendowney.github.io/ThinkStats/

7. *Statistics and Prediction Algorithms Through Case Studies*
📙 Автор: Rafael A. Irizarry
Описание: Кейсы по статистике и прогнозированию с кодом на R.
🔗 https://rafalab.github.io/dsbook/

8. *Bayesian Methods for Hackers*
🧠 Автор: Cameron Davidson-Pilon
Описание: Визуальное введение в байесовский анализ с PyMC.
🔗 https://github.com/CamDavidsonPilon/Probabilistic-Programming-and-Bayesian-Methods-for-Hackers

9. *Think Bayes 2E*
🔢 Автор: Allen B. Downey
Описание: Пошаговый байесовский подход на Python.
🔗 https://allendowney.github.io/ThinkBayes2/

10. *Data Science at the Command Line*
💻 Автор: Jeroen Janssens
Описание: Unix-инструменты как основа для анализа данных.
🔗 https://datascienceatthecommandline.com/

🔜 Математика для Data Scientist
11. Теория вероятностей
👩‍🔬 Автор: Чернова Н. И.
Описание: Понятное введение в теорию вероятностей, основа для изучения математической статистики.
🔗 http://www.nsu.ru/mmf/tvims/chernova/tv/tv_nsu07.pdf

12. * Математическая статистика*
👩‍🔬 Автор: Чернова Н. И.
Описание: Продолжение курса по теории вероятностей (НГУ), покрывающее основы математической статистики: оценки параметров, проверка гипотез, регрессионный анализ.
🔗 http://www.nsu.ru/mmf/tvims/chernova/ms/ms_nsu07.pdf

13. * Курс дифференциального и интегрального исчисления (Том 1)*
👩‍🔬 Автор: Фихтенгольц Г. М.
Описание: Фундаментальный и классический учебник по основам математического анализа.
🔗 http://math.ru/lib/book/djvu/fichtengolz/f_1.djvu

14.*Векторные исчисления для инженеров*
👩‍🔬 Автор:Jeffrey R. Chasnov
🔗 http://math.ru/lib/book/djvu/fichtengolz/f_1.djvu

15 .*Theory—Theoretical & Mathematical Foundations ;
👩‍🔬Daniel A. Roberts, Sho Yaida, Boris Hanin
Описание: Эта книга предлагает теоретический подход к анализу глубинных нейросетей с практической значимостью
🔗https://arxiv.org/abs/2106.10165

📘 Еще больше книг здесь

Сохраняйте себе, чтобы не потерять

@ai_machinelearning_big_data

#books #opensource #freebooks

🔥 Qwen2.5-Omni-3B — оптимизированная, компактная Omni модель(3B), доступная для запуска на обычных потребительских GPU!

🔋 Экономия памяти: по сравнению с 7B-версией модель потребляет на 50 % меньше VRAM при обработке длинного контекста (~25 000 токенов).

📺 Мультимодальные режим: поддержка 30-секундных аудио- и видео«из коробки» на 24 GB видеокартах.

🤖 Высокое качество: модель сохраняет свыше 90 % точности ответов и обеспечивает естественный, стабильный синтез речи на уровне 7B-модели.

🔜 Репозиторий GitHub: https://github.com/QwenLM/Qwen2.5-Omni
🔜Hugging Face: https://huggingface.co/Qwen/Qwen2.5-Omni-3B
🔜ModelScope: https://modelscope.cn/models/Qwen/Qwen2.5-Omni-3B

#Qwen #omni #opensource

@ai_machinelearning_big_data

🔥 9 бесплатных курсов c HuggingFace по искусственному интеллекту!

➡️Узнайте, как обучать, настраивать и развертывать большие языковые модели с помощью HuggingFace Transformers.
https://huggingface.co/learn/llm-course/chapter1/1

➡️Курс по AI-агентам
Создавайте инструменты с многоэтапным мышлением, используя LangChain и HF.
https://huggingface.co/learn/agents-course/unit0/introduction

➡️ Курс по глубокому обучению с подкреплением (Deep RL)
Научите агентов принимать решения и учиться на основе окружающей среды.
https://huggingface.co/learn/deep-rl-course/unit0/introduction

➡️ Курс по компьютерному зрению
Изучите как работает OCR, сегментация и классификация изображений с моделями HuggingFace.
https://huggingface.co/learn/audio-course/chapter0/introduction

➡️ Курс по работе с аудио
Применяйте трансформеры к аудио: распознавание речи, тегирование музыки и синтез речи.
https://huggingface.co/learn/audio-course/chapter0/introduction

➡️ Курс по машинному обучению для игр
Узнайте, как ИИ меняет разработку игр: от поведения NPC до генерации контента.
https://huggingface.co/learn/ml-games-course/unit0/introduction

➡️ Курс по машинному обучению для 3D
Работайте с 3D-данными, такими как облака точек и сетки, на стыке графики и ML.
https://huggingface.co/learn/ml-for-3d-course/unit0/introduction

➡️ Курс по диффузионным моделям
Погрузитесь в технологию, лежащую в основе DALL·E и Stable Diffusion, и научитесь генерировать изображения.
https://huggingface.co/learn/diffusion-course/unit0/1

➡️ Кулинарная книга по открытому ИИ (Open-Source AI Cookbook)
Коллекция практических ноутбуков от реальных разработчиков ИИ — учитесь, копируйте код и создавайте свои проекты. https://huggingface.co/learn/cookbook/index

@ai_machinelearning_big_data

#free #courses #opensource #huggingface

🗣️ RealtimeVoiceChat — живой голосовой чат с ИИ.

RealtimeVoiceChat — это open-source проект, который позволяет общаться с LLM в реальном времени голосом. Он объединяет распознавание речи, LLM и синтез речи в единую систему с минимальной задержкой — около 500 мс при локальной установке.

➡️ Как работает:

1. Запись речи в браузере
2. Передача аудио по WebSocket на сервер
3. Распознавание речи через RealtimeSTT (на базе Whisper)
4. Ответ от LLM (Ollama, OpenAI и др.)
5. Озвучка ответа через RealtimeTTS (Coqui XTTSv2, Kokoro и др.)
6. Обратная передача аудио в браузер
7. Поддержка прерываний и динамики через turndetect.py

✨ Особенности:

- Задержка ~500 мс
- Поддержка разных LLM и TTS движков
- Быстрый запуск через Docker Compose
- Чистый веб-интерфейс на Vanilla JS + Web Audio API

✔️ Стек:

- Backend: Python + FastAPI
- Frontend: JS + WebSockets
- ML: transformers, torchaudio, Ollama, Whisper, TTS
- Контейнеризация: Docker

✔️ Требуется CUDA-совместимая видеокарта (для Whisper/TTS) и Docker.

🔥 Отличный проект для тех, кто хочет интегрировать голосовой интерфейс с LLM — например, для ассистентов, чат-ботов, презентаций или UX-экспериментов.

🔜 Репозиторий: https://github.com/KoljaB/RealtimeVoiceChat
🔜 Демо: https://www.youtube.com/watch?v=-1AD4gakCKw

@ai_machinelearning_big_data

#tts #llm #opensource

🦙 Ollama запускает поддержку мультимодальных моделей

Платформа Ollama представила новый движок с полной поддержкой мультимодальных ИИ-моделей, которые могут работать как с текстом, так и с изображениями.

Уже доступны:
• LLaMA 4,
• Gemma 3,
• Qwen 2.5 VL,
• Mistral Small 3.1 и другие модели.

🔥 Что нового:
• Каждая модель теперь полностью автономна — это упрощает обновления и интеграцию
• Улучшена точность визуального анализа благодаря передаче метаданных и поддержке больших изображений
• Оптимизирована работа с памятью: кэшируются изображения, улучшен KV-кэш, модели работают быстрее и стабильнее

Ранее Ollama уже поддерживала работу с изображениями через интеграцию с llama.cpp. Однако с выпуском версии 0.7 платформа представила новый движок, разработанный на базе библиотеки GGML, который обеспечивает полноценную и стабильную поддержку мультимодальных моделей.

Это означает, что теперь такие модели являются "полноправными гражданами" в экосистеме Ollama, что улучшает надежность, точность и расширяет возможности для будущих модальностей, таких как речь, генерация изображений и видео, а также поддержка более длинных контекстов и улучшенных инструментов для моделей.

✔️ Этот шаг делает Ollama одной из первых платформ, предлагающих локальную поддержку мультимодальных моделей с открытым исходным кодом.

🔜 Подробнее

@ai_machinelearning_big_data

#olama #opensource #ai #ml

⭐️ VS Code трансформируется в открытый ИИ-редактор!

Команда Visual Studio Code объявила о планах трансформировать VS Code в редактор с открытым исходным кодом для работы с ИИ.

В ближайшие недели команда Visual Studio Code планирует открыть исходный код расширения GitHub Copilot Chat и перенести ИИ-функции из расширения в основное ядро VS Code.

Конкуренция - двигатели прогресса! Где-то напряглась команда Cursor 🤓

🔗 Подробности: aka.ms/open-source-ai-editor

#VSCode #OpenSource #ИИ #Разработка #Сообщество

✔️ Релиз DeepSeek R1-0528

Главное:
• Глубокое рассуждение — на уровне моделей Google
• Улучшена генерация текста — более естественно, структурировано и аккуратно
• Уникальный стиль reasoning — не просто быстро, а вдумчиво и последовательно
• Может работать над одной задачей 30–60 минут, удерживая контекст

Новая модель показывает результат почти на уровне o3 (High) на бенчмарк LiveCodeBench.

https://huggingface.co/deepseek-ai/DeepSeek-R1-0528

@ai_machinelearning_big_data

#DeepSeek #opensource