DeepSeek R2 задерживается из-за ограничений и проблем с качеством
● Запуск AI-модели R2 отложен из-за американских экспортных контролей на чипы Nvidia H20
● Чипы H20 были ключевыми для успеха предыдущей модели R1 в Китае; без них инфраструктура для R2 не готова
● CEO Лян Вэньфэн недоволен качеством текущей версии R2 и требует дополнительной доработки
● Облачные провайдеры опасаются, что спрос на H20 превысит доступные запасы
● Альтернативные чипы (например, Huawei) технически менее подходят для R2
@data_analysis_ml
● Запуск AI-модели R2 отложен из-за американских экспортных контролей на чипы Nvidia H20
● Чипы H20 были ключевыми для успеха предыдущей модели R1 в Китае; без них инфраструктура для R2 не готова
● CEO Лян Вэньфэн недоволен качеством текущей версии R2 и требует дополнительной доработки
● Облачные провайдеры опасаются, что спрос на H20 превысит доступные запасы
● Альтернативные чипы (например, Huawei) технически менее подходят для R2
@data_analysis_ml
❤10👍10😢8🔥3🤣3
Forwarded from Machinelearning
Венчурный фонд Innovation Endeavors, основанный бывшим CEO Google Эриком Шмидтом, выпустил 126-страничный обзор о состоянии и тенденциях фундаментальных ИИ-моделей в 2025 году.
Каждый восьмой работник на планете использует ИИ-инструменты хотя бы раз в месяц, а 90 % прироста аудитории произошло за последние полгода. Многие «ИИ-приложения» уже приносят индустрии миллиарды долларов в год, охватывая инженерию, дизайн, бухгалтерию, юриспруденцию и другие сферы.
Современные языковые модели превосходят врачей по целому ряду диагностических задач и решают олимпиадную геометрию лучше, чем 99 % людей.
Самое неожиданное: если дать небольшой модели время подумать, то она может обойти гораздо более крупную – эксперименты показали, что 3B-модель с reasoning-механизмом обойдет 70B-модель.
Производительность, интеллект и окна контекста увеличиваются более чем в 10× каждый год. Например, окна контекста выросли примерно с 8 тысяч до миллиона токенов, а стоимость генерации одного токена на крупных моделях упала почти в 1000 раз за пару лет. Средняя «длительность» задачи, которую модель может завершить сама, удваивается примерно каждые 7 месяцев.
Модели рассуждения, обученные через CoT, дают новый путь к масштабированию и требуют активного посттренинга (RL с reward-моделями). Возможно, скоро именно дообучение станет важнее предобучения.
Крупнейшие игроки генерируют сотни миллионов выручки, но обучение топ-моделей дороже: LLaMA 4 ≳ $300 млн, GPT-4 ≈ $100 млн, а совокупные расходы OpenAI на обучение и данные достигают ~$3 млрд в год. Новая модель устаревает за три недели — конкуренция так высока, что open-source почти сравнялся с закрытыми платформами.
Выяснилось, что функции «узких» специалистов часто уходят к универсалам с ИИ-ассистентам, а профессии уровня "middle management" вымирают.
Model Context Protocol соединяет модели с почтой, дизайном, чатами и другими сервисами, а «клиентом» всё чаще выступает другой ИИ: крупные CRM и базы данных само-настраиваются через агентов.
В ИИ-облаках важнее продавать «сырые» GPU-часы, чем комплексное ПО; допвремя на GPU обычно выгоднее оптимизаций. NVIDIA остаётся безусловным лидером: отчёт Q1 зафиксировал 10× генерации токенов на инференсе за год. Появилась волна стартапов с трансформер-чипами — теперь переписывать ИИ-ПО под новое железо оправдано: вычислительные затраты многократно превышают зарплаты инженеров.
Доля венчура выросла с 10% в 2024 до 50+% в 2025. Компании вроде Anthropic показывают $2 млрд годового дохода с двукратным ростом, но их оценивают в 30 годовых выручек, что вызывает опасения перегрева. Некоторые стартапы привлекают инвестиции ещё на этапе идеи, без MVP, усиливая риски "пузыря".
75 % ИИ-фото-приложений потеряли основную выручку всего за полгода после пика, напоминая, что не каждое модное направление = устойчивый бизнес, тем более когда модели устаревают с космической скоростью.
⏩Полный отчёт
⏩Видео
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤13👍4🔥3
📱 Google представила Gemma 3n — открытую AI-модель нового поколения для edge-устройств
🆕 Gemma 3n — это свежая модель из семейства Gemma, спроектированная специально для высокопроизводительного оффлайн-ИИ на телефонах, ноутбуках и планшетах. Поддерживает мультимодальность: изображение, аудио, видео и текст — прямо на устройстве.
🚀 Особенности:
• Новая архитектура, заточенная под edge-девайсы
• Работа без интернета и задержек
• Полноценная мультимодальность
• Реакции и вывод в реальном времени
📊 Вершина производительности:
Версия Gemma 3n E4B стала первой моделью <10B параметров, набравшей 1300+ на LMArena — раньше такое было только у облачных гигантов.
💡 Для разработчиков:
📚 Гайд: https://developers.googleblog.com/en/introducing-gemma-3n-developer-guide
🏆 Конкурс: https://kaggle.com/competitions/google-
🛠 Google запускает челлендж для создания приложений на основе Gemma 3n с фокусом на социальную пользу: здравоохранение, образование, устойчивое развитие, инклюзия и помощь в кризисах.
@data_analysis_ml
🆕 Gemma 3n — это свежая модель из семейства Gemma, спроектированная специально для высокопроизводительного оффлайн-ИИ на телефонах, ноутбуках и планшетах. Поддерживает мультимодальность: изображение, аудио, видео и текст — прямо на устройстве.
🚀 Особенности:
• Новая архитектура, заточенная под edge-девайсы
• Работа без интернета и задержек
• Полноценная мультимодальность
• Реакции и вывод в реальном времени
📊 Вершина производительности:
Версия Gemma 3n E4B стала первой моделью <10B параметров, набравшей 1300+ на LMArena — раньше такое было только у облачных гигантов.
💡 Для разработчиков:
📚 Гайд: https://developers.googleblog.com/en/introducing-gemma-3n-developer-guide
🏆 Конкурс: https://kaggle.com/competitions/google-
🛠 Google запускает челлендж для создания приложений на основе Gemma 3n с фокусом на социальную пользу: здравоохранение, образование, устойчивое развитие, инклюзия и помощь в кризисах.
@data_analysis_ml
❤14🔥13👍5🥰1
🧠 FLUX.1 Kontext-Dev: текстовое редактирование изображений на новом уровне
Открытая AI-модель, которая позволяет редактировать изображения по текстовой инструкции, сохраняя структуру, стиль и контекст. Всё работает прямо в браузере или локально через Diffusers.
📦 Что умеет FLUX.1 Kontext:
• 🎨 Менять фон, стиль, объекты на изображении по описанию
• 🔁 Поддерживать итеративные изменения — можно вносить правки шаг за шагом
• 🧍♂️ Сохранять форму и позу персонажей даже после множественных трансформаций
• ⚡️ Работает на основе rectified flow transformers и guidance distillation — быстрее и компактнее аналогов
🛠 Как пользоваться:
1. Открыть демо: [huggingface.co/spaces/black-forest-labs/FLUX.1-Kontext-Dev](https://huggingface.co/spaces/black-forest-labs/FLUX.1-Kontext-Dev)
2. Загрузить своё изображение
3. Ввести текстовую инструкцию, например:
4. Получить новое изображение — и при необходимости продолжить редактирование
🔌 Интеграции:
• Поддержка Diffusers, ComfyUI, API через bfl.ai и Replicate
• Модель доступна под некоммерческой лицензией
• Подходит для локального запуска на GPU (`torch_dtype=torch.bfloat16`)
🎯 Кому это полезно:
• Дизайнерам и художникам — быстрый визуальный прототипинг
• AI-разработчикам — для создания RAG-интерфейсов с визуальной обратной связью
• Исследователям — для тестирования новых подходов к in-context image editing
🚨 Про безопасность:
Модель включает базовые фильтры генерации. Для продакшена рекомендованы расширенные фильтры (например, Hive) и собственные слои модерации.
📌 Вывод:
FLUX.1 Kontext-Dev — это не просто генератор, а полноценный AI-инструмент для интерактивного и контролируемого редактирования изображений. Идеален для творческих задач, UX-прототипов и изучения мультимодальных AI-сценариев.
#ai #diffusers #imageediting #flux1 #huggingface
📌Код
📌 Веса
@data_analysis_ml
Открытая AI-модель, которая позволяет редактировать изображения по текстовой инструкции, сохраняя структуру, стиль и контекст. Всё работает прямо в браузере или локально через Diffusers.
📦 Что умеет FLUX.1 Kontext:
• 🎨 Менять фон, стиль, объекты на изображении по описанию
• 🔁 Поддерживать итеративные изменения — можно вносить правки шаг за шагом
• 🧍♂️ Сохранять форму и позу персонажей даже после множественных трансформаций
• ⚡️ Работает на основе rectified flow transformers и guidance distillation — быстрее и компактнее аналогов
🛠 Как пользоваться:
1. Открыть демо: [huggingface.co/spaces/black-forest-labs/FLUX.1-Kontext-Dev](https://huggingface.co/spaces/black-forest-labs/FLUX.1-Kontext-Dev)
2. Загрузить своё изображение
3. Ввести текстовую инструкцию, например:
make it sunset
, add snow
, make character look older
4. Получить новое изображение — и при необходимости продолжить редактирование
🔌 Интеграции:
• Поддержка Diffusers, ComfyUI, API через bfl.ai и Replicate
• Модель доступна под некоммерческой лицензией
• Подходит для локального запуска на GPU (`torch_dtype=torch.bfloat16`)
🎯 Кому это полезно:
• Дизайнерам и художникам — быстрый визуальный прототипинг
• AI-разработчикам — для создания RAG-интерфейсов с визуальной обратной связью
• Исследователям — для тестирования новых подходов к in-context image editing
🚨 Про безопасность:
Модель включает базовые фильтры генерации. Для продакшена рекомендованы расширенные фильтры (например, Hive) и собственные слои модерации.
📌 Вывод:
FLUX.1 Kontext-Dev — это не просто генератор, а полноценный AI-инструмент для интерактивного и контролируемого редактирования изображений. Идеален для творческих задач, UX-прототипов и изучения мультимодальных AI-сценариев.
#ai #diffusers #imageediting #flux1 #huggingface
📌Код
📌 Веса
@data_analysis_ml
❤9👍5🔥4
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
Модель поэтапно строит изображение слева направо и сверху вниз, уточняя детали на каждом шаге. Это делает итоговую картинку качественной, естественной и согласованной.
Например, можно написать запрос:
«Сделай картинку милого кота» — и она появится.
А можно загрузить фото кота и попросить: «Добавь коту шапку» — и модель отредактирует изображение.
🎯 Что умеет Qwen VLo:
• Точная генерация: не путает объекты, сохраняет структуру, меняет, например, цвет машины на фото без искажений
• Редактирование по команде: «Сделай фото в стиле Ван Гога» или «добавь солнечное небо» — всё выполняется по инструкции
• Глубокое понимание: может обрабатывать сложные задачи — выделение объектов, сегментация, редактирование текста и фона
• Мультиязычность: понимает запросы на английском, китайском и других языках — просто опишите, что нужно
🧪 Сейчас Qwen VLo доступна в виде превью через Qwen Chat.
👉 Попробовать: https://chat.qwen.ai
👉 Детали: https://qwenlm.github.io/blog/qwen-vlo/
@ai_machinelearning_big_data
#Qwen #Alibaba #ai #genai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤12👍6🔥3
💥 Очередной удар по Microsoft: OpenAI переходит на TPU от Google вместо Nvidia-серверов Microsoft
По информации инсайдеров, OpenAI впервые серьёзно полагается на TPU-чипы Google, а не на Nvidia-инфраструктуру от Microsoft.
🔻 Что это значит:
• Эксклюзивность Microsoft как партнёра OpenAI — под угрозой
• Microsoft отстаёт с выпуском собственных AI-чипов
• Google отвоёвывает ключевую часть ИИ-инфраструктуры будущего
⚠️ Когда даже OpenAI ищет альтернативу своему главному инвестору, вопрос не только в «железе». Это битва за контроль над вычислительными платформами, от которых будет зависеть весь рынок ИИ.
⚙️ TPU от Google — не только альтернатива Nvidia, а ещё и рычаг влияния в AI-гонке.
@data_analysis_ml
По информации инсайдеров, OpenAI впервые серьёзно полагается на TPU-чипы Google, а не на Nvidia-инфраструктуру от Microsoft.
🔻 Что это значит:
• Эксклюзивность Microsoft как партнёра OpenAI — под угрозой
• Microsoft отстаёт с выпуском собственных AI-чипов
• Google отвоёвывает ключевую часть ИИ-инфраструктуры будущего
⚠️ Когда даже OpenAI ищет альтернативу своему главному инвестору, вопрос не только в «железе». Это битва за контроль над вычислительными платформами, от которых будет зависеть весь рынок ИИ.
⚙️ TPU от Google — не только альтернатива Nvidia, а ещё и рычаг влияния в AI-гонке.
@data_analysis_ml
1🔥15❤8👍4
Media is too big
VIEW IN TELEGRAM
🧠 FlexAttention — простой способ писать любое внимание на PyTorch
Зачем городить сложные CUDA-ядра, если можно использовать понятный и мощный абстрактный подход?
FlexAttention — это новая модель программирования, которая позволяет реализовать большинство вариантов attention (внимания) всего в *нескольких строках кода на PyTorch*.
⚙️ Работает на базе компилятора — автоматически оптимизирует вычисления
🚀 Производительность на уровне кастомных ядер (hand-written kernels)
📌 Что даёт FlexAttention:
• Унифицированный способ писать self-, cross-, local-, sparse-attention
• Без кастомных CUDA/CPP — всё на чистом PyTorch
• Гибкость и читаемость для исследований и прототипов
🎥 Смотреть
Зачем городить сложные CUDA-ядра, если можно использовать понятный и мощный абстрактный подход?
FlexAttention — это новая модель программирования, которая позволяет реализовать большинство вариантов attention (внимания) всего в *нескольких строках кода на PyTorch*.
⚙️ Работает на базе компилятора — автоматически оптимизирует вычисления
🚀 Производительность на уровне кастомных ядер (hand-written kernels)
📌 Что даёт FlexAttention:
• Унифицированный способ писать self-, cross-, local-, sparse-attention
• Без кастомных CUDA/CPP — всё на чистом PyTorch
• Гибкость и читаемость для исследований и прототипов
🎥 Смотреть
🔥15❤7👍5
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍22❤9🔥5
🚨 Цукерберг переманил ещё 4 исследователей из OpenAI
По сообщениям, Meta усилила свою AI-команду, наняв сразу четырёх топовых специалистов из OpenAI:
• Shengjia Zhao
• Jiahui Yu
• Shuchao Bi
• Hongyu Ren
Все четверо работали над ключевыми направлениями reasoning, мультимодальности и архитектурой LLM.
💬 Zuck be like: *“If you can’t beat them — just buy their team.”*
Meta продолжает агрессивную AI-экспансию после неудачного старта Llama 4 и явно собирается реваншироваться.
📌 Подробности
#openai #ai #llm #zuckerberg #research #technews
По сообщениям, Meta усилила свою AI-команду, наняв сразу четырёх топовых специалистов из OpenAI:
• Shengjia Zhao
• Jiahui Yu
• Shuchao Bi
• Hongyu Ren
Все четверо работали над ключевыми направлениями reasoning, мультимодальности и архитектурой LLM.
💬 Zuck be like: *“If you can’t beat them — just buy their team.”*
Meta продолжает агрессивную AI-экспансию после неудачного старта Llama 4 и явно собирается реваншироваться.
📌 Подробности
#openai #ai #llm #zuckerberg #research #technews
🔥9🤔8❤5👍3😱1🥱1
This media is not supported in your browser
VIEW IN TELEGRAM
🔥 Дженсен Хуанг (CEO NVIDIA): «Я желаю вам боли и страданий»
Жёсткое, но честное заявление от главы одной из самых влиятельных технологических компаний мира:
> «Говорят: выбирай карьеру по страсти. И обычно люди связывают страсть с удовольствием. Это не ошибка… но это не всё. Потому что создать что-то великое — непросто. А когда делаешь что-то сложное, тебе не всегда приятно.»
🧠 Хуанг признаётся: он не любит каждый день своей работы и не всегда счастлив,
но *каждую секунду любит свою компанию*.
> «Многие думают, что лучшая работа — та, где ты всегда счастлив. Я так не считаю.
> Нужно страдать. Нужно бороться. Нужно преодолевать.
> Только так можно по-настоящему ценить то, что ты сделал.
> Нет ничего великого в легком.»
🎯 И добавляет:
> «Я желаю вам величия. А значит — желаю вам боли и страданий.»
Это не мотивация в розовых тонах. Это правда тех, кто строит настоящее.
Успех — не про постоянный комфорт, а про постоянное преодоление.
💬 А вы согласны с таким взглядом на дело жизни?
@data_analysis_ml
Жёсткое, но честное заявление от главы одной из самых влиятельных технологических компаний мира:
> «Говорят: выбирай карьеру по страсти. И обычно люди связывают страсть с удовольствием. Это не ошибка… но это не всё. Потому что создать что-то великое — непросто. А когда делаешь что-то сложное, тебе не всегда приятно.»
🧠 Хуанг признаётся: он не любит каждый день своей работы и не всегда счастлив,
но *каждую секунду любит свою компанию*.
> «Многие думают, что лучшая работа — та, где ты всегда счастлив. Я так не считаю.
> Нужно страдать. Нужно бороться. Нужно преодолевать.
> Только так можно по-настоящему ценить то, что ты сделал.
> Нет ничего великого в легком.»
🎯 И добавляет:
> «Я желаю вам величия. А значит — желаю вам боли и страданий.»
Это не мотивация в розовых тонах. Это правда тех, кто строит настоящее.
Успех — не про постоянный комфорт, а про постоянное преодоление.
💬 А вы согласны с таким взглядом на дело жизни?
@data_analysis_ml
👍53💯31🥴8❤6🤔6⚡5🤣5
Иллюстрация различий между: unsupervised learning, supervised fine-tuning и RLHF из тех репорта ERNIE.
@data_analysis_ml
#ERNIE #Baidu
Please open Telegram to view this post
VIEW IN TELEGRAM
❤16🔥6😁5👍4
📘 Machine Learning Q and AI — новая книга от мастодонта ML Себастьяна Рашки теперь в открытом доступе!
👨🔬 Автор — core‑разработчик Scikit‑learn, преподаватель, автор культовых пособий по машинному обучению.
Что внутри:
• 30 глав по нейросетям, компьютерному зрению, LLM, оценке и деплою моделей
• Чёткая структура: теория → примеры → упражнения
• Много практики, схем, визуализаций и Python‑кода
Это не просто справочник, а полный курс по Deep Learning, от основ до продвинутых тем.
📖 Читать онлайн
@data_analysis_ml
👨🔬 Автор — core‑разработчик Scikit‑learn, преподаватель, автор культовых пособий по машинному обучению.
Что внутри:
• 30 глав по нейросетям, компьютерному зрению, LLM, оценке и деплою моделей
• Чёткая структура: теория → примеры → упражнения
• Много практики, схем, визуализаций и Python‑кода
Это не просто справочник, а полный курс по Deep Learning, от основ до продвинутых тем.
📖 Читать онлайн
@data_analysis_ml
👍15❤9🔥4
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
Qwen обновила свой синтезатор речи Qwen-TTS, его обучали на миллионах часов аудиозаписей. Новая версия адаптирует интонацию, ритм и эмоции под контекст текста и приближает звучание к человеческому. Добавили 3 китайских диалекта и поддержку 7 двуязычных голосов (Cherry, Ethan, Jada и др.).
Тесты в SeedTTS-Eval показали высокую точность (WER 1.209) и естественность (SIM 1.967). Модель доступна только через API. В будущем обещают новые языки и стили речи.
qwenlm.github.io
Совместное исследование ERGO Innovation Lab и ECODYNAMICS показало, что ИИ-системы не просто выдают популярные ссылки, они анализируют структуру, читаемость и ясность контента. Это ставит под сомнение традиционные методы SEO в для традиционных сайтов.
Аналитики изучили 33 тыс. запросов и 600 сайтов из области услуг страхования. Результат: LLM оценивают не только ключевые слова, но и логичность подачи информации, удобство навигации и глубину раскрытия темы.
Специалисты советуют пересмотреть стратегии: упростить тексты, структурировать данные и адаптировать контент под агентные системы. Чем раньше компании пересмотрят свои SEO-стратегии, тем выше вероятность оставаться на виду, когда алгоритмы станут сложнее. Полную версию отчета можно почитать по ссылке.
ergo.com
Конкуренция за лучших специалистов в сфере ИИ достигла критической точки. После того как компания Цукерберга переманила 4 ключевых сотрудников OpenAI для работы над «суперинтеллектом», глава исследований Марк Чэн призвал команду Сэма Альтмана оставаться верной компании, пообещав пересмотреть зарплаты и улучшить условия.
По данным источников, Цукерберг предлагает бонусы до $100 млн и лично контактирует с потенциальными кандидатами. Внутри OpenAI сотрудники жалуются на перегрузки, многие работают по 80 часов в неделю. В ответ на агрессивный хэдхантинг, Open AI объявила о «перезагрузке» на неделю, при этом напомнив, что из главная цель - развитие ИИ, а не соревнование с конкурентами.
wired.com
Microsoft разработала ИИ-инструмент MAI-DxO, который в 4 раза эффективнее опытных врачей в решении сложных диагностических задач. Система использует «оркестратор», создавая сеть из 5 ИИ-агентов, выполняющих роли от генератора гипотез до выбора тестов, которые взаимодействуют и «спорят» для принятия решений.
Тестирование на 304 сложных клинических случаях из NEJM показало точность 85,5% при использовании OpenAI o3 — против 20% у людей без доступа к справочникам или коллегам. Технология может быть интегрирована в Copilot и Bing, которые суммарно обрабатывают около 50 млн. медицинских запросов ежедневно.
ft.com
В минувшую субботу, в Пекине прошел первый в Китае турнир по футболу полностью автономных роботов-гуманоидов. Команда университета Циньхуа победила в финале, обыграв соперников из сельскохозяйственного университета со счетом 5:3. Обе команды использовали одинаковое оборудование от Booster Robotics, но разрабатывали собственные алгоритмы для управления зрением, балансом и движениями.
Матч стал испытанием для технологий: роботы падали, теряли равновесие, а иногда их приходилось уносить на носилках - все это помогает тестировать системы управления и безопасности перед массовым внедрением. Организаторы назвали матч "трейлером" предстоящих Всемирных игр роботов в августе, где будут представлены 11 видов спорта.
bloomberg.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤8🔥4👍3
Apple активно изучает возможность использования моделей Claude 3 Opus от Anthropic и GPT-4 Turbo от OpenAI для новой версии Siri, отказавшись от собственных LLM. Компания провела тестирование обеих моделей на закрытой облачной инфраструктуре, чтобы сравнить качество генерации, безопасность и способность к сложным диалогам.
Причины перехода:
— Собственная разработка LLM для Siri задерживается до 2026 года из-за проблем с качеством
— Необходимость ускорить вывод на рынок более интеллектуального голосового ассистента
— Усиленная конкуренция с Google Assistant и Microsoft Copilot
Что уже сделано:
— Тестирование Claude 3 Opus и GPT-4 Turbo на Private Cloud Compute Apple
— Смена руководства AI-подразделения: Майк Рокуэлл занял место Джона Джаннандреа
— Отмена запуска “LLM Siri” на WWDC 2025 из-за неготовности модели
📌 Подробнее
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14❤8🔥4😁3👏1
Apple выложила Sage Mixtral 8x7B fine-tune с лицензией Apache
💡 Это не просто ещё одна доработка LLM — модель использует State-Action Chains (SAC), чтобы встроить в диалоговую генерацию латентные переменные для эмоций и стратегий общения.
Что это даёт:
- SAC vs обычный fine-tune: модель получает грубое управление через state/action токены → диалоги становятся эмоционально насыщеннее, без потери на метриках
- Итеративная доработка: self-play + tree search позволяют оптимизировать диалоги по цепочкам действий, превзойдя базовые модели по оценкам LLM-судей
🔗 https://huggingface.co/apple/sage-ft-mixtral-8x7b
#apple #opensource
💡 Это не просто ещё одна доработка LLM — модель использует State-Action Chains (SAC), чтобы встроить в диалоговую генерацию латентные переменные для эмоций и стратегий общения.
Что это даёт:
- SAC vs обычный fine-tune: модель получает грубое управление через state/action токены → диалоги становятся эмоционально насыщеннее, без потери на метриках
- Итеративная доработка: self-play + tree search позволяют оптимизировать диалоги по цепочкам действий, превзойдя базовые модели по оценкам LLM-судей
🔗 https://huggingface.co/apple/sage-ft-mixtral-8x7b
#apple #opensource
❤12🔥6👍5👌1
miniDiffusion — упрощённая реализация Stable Diffusion 3.5 на PyTorch
🔹 Этот репозиторий — минималистичный, но рабочий аналог Stable Diffusion:
всего ~2800 строк кода, без лишних зависимостей.
📦 Что внутри:
• Архитектура DiT (Diffusion Transformer)
• Кодировщики: T5 (текст) и CLIP
• VAE для генерации изображений
• Attention, Noise Scheduler и FID-оценка качества
🧪 Зачем это нужно:
• Понять, как работает диффузионная генерация
• Экспериментировать с архитектурой
• Обучать и тестировать свои модели
▶️ Быстрый старт:
📌 Github
🔹 Этот репозиторий — минималистичный, но рабочий аналог Stable Diffusion:
всего ~2800 строк кода, без лишних зависимостей.
📦 Что внутри:
• Архитектура DiT (Diffusion Transformer)
• Кодировщики: T5 (текст) и CLIP
• VAE для генерации изображений
• Attention, Noise Scheduler и FID-оценка качества
🧪 Зачем это нужно:
• Понять, как работает диффузионная генерация
• Экспериментировать с архитектурой
• Обучать и тестировать свои модели
▶️ Быстрый старт:
git clone https://github.com/yousef-rafat/miniDiffusion
pip install -r requirements.txt
python3 encoders/get_checkpoints.py
📌 Github
❤9👍3🔥3
🧠 Хочешь понять, на чём основана модель Gemma 3n от Google?
Вот ключевые научные работы, стоящие за её архитектурой и обучением:
🔹 AltUp — улучшение аппроксимации внимания
https://arxiv.org/abs/2301.13310
🔹 LAuReL — расширение языковых моделей за счёт многоязычного претрейнинга
https://arxiv.org/abs/2411.07501
🔹 MatFormer — матричная факторизация для масштабируемых LLM
https://arxiv.org/abs/2310.07707
🔹 Activation Sparsity — обучение моделей с разреженной активацией
https://arxiv.org/abs/2506.06644
🔹 Universal Speech Model — единая модель для понимания и генерации речи
https://arxiv.org/abs/2303.01037
📘 Блог Google с обзором архитектуры и практическим гайдом по Gemma 3n:
https://developers.googleblog.com/en/introducing-gemma-3n-developer-guide/
Вот ключевые научные работы, стоящие за её архитектурой и обучением:
🔹 AltUp — улучшение аппроксимации внимания
https://arxiv.org/abs/2301.13310
🔹 LAuReL — расширение языковых моделей за счёт многоязычного претрейнинга
https://arxiv.org/abs/2411.07501
🔹 MatFormer — матричная факторизация для масштабируемых LLM
https://arxiv.org/abs/2310.07707
🔹 Activation Sparsity — обучение моделей с разреженной активацией
https://arxiv.org/abs/2506.06644
🔹 Universal Speech Model — единая модель для понимания и генерации речи
https://arxiv.org/abs/2303.01037
📘 Блог Google с обзором архитектуры и практическим гайдом по Gemma 3n:
https://developers.googleblog.com/en/introducing-gemma-3n-developer-guide/
❤5🔥3👍2
🧠 WM-Abench — бенчмарк для оценки памяти у мультимодальных LLM
Новый open-source бенчмарк от Maitrix Research оценивает, как мультимодальные модели (текст + изображение) запоминают и используют визуальную информацию.
📌 Что проверяется:
– Могут ли LLM “удерживать в голове” объекты, числа и расположение
– Насколько глубоко модель понимает визуальный контекст
– Способна ли она логически оперировать на основе того, что “видела”
📈 Поддерживаются: GPT‑4o, Gemini, Claude, LLaVA и другие
🔍 Задания: от простых “где лежит мяч?” до сложных визуальных рассуждений
Исследователи из Maitrix оценили 15 SOTA мультимодальных моделей (включая o3 и Gemini 2.5 Pro) по 23 когнитивным измерениям: от базового восприятия до предсказания будущих состояний.
Ключевые выводы:
🔹 Модели хорошо справляются с распознаванием, но проваливаются в 3D-пространственном мышлении, динамике движения и причинно-следственной симуляции.
🔹 VLM склонны “путать” физику: даже изменение цвета объекта сбивает модель на задачах восприятия.
🔹 В сложных задачах предсказания следующего состояния — даже лучшие модели отстают от человека на 34.3%.
🔹 Точность восприятия ≠ понимание: даже “увидев” всё правильно, модели не умеют достроить последствия и взаимодействия объектов.
Отличный инструмент, чтобы понять на что реально способна ваша мультимодальная модель, а не только на красивые демо.
🔗 https://wm-abench.maitrix.org
#LLM #AI #multimodal #benchmark
Новый open-source бенчмарк от Maitrix Research оценивает, как мультимодальные модели (текст + изображение) запоминают и используют визуальную информацию.
📌 Что проверяется:
– Могут ли LLM “удерживать в голове” объекты, числа и расположение
– Насколько глубоко модель понимает визуальный контекст
– Способна ли она логически оперировать на основе того, что “видела”
📈 Поддерживаются: GPT‑4o, Gemini, Claude, LLaVA и другие
🔍 Задания: от простых “где лежит мяч?” до сложных визуальных рассуждений
Исследователи из Maitrix оценили 15 SOTA мультимодальных моделей (включая o3 и Gemini 2.5 Pro) по 23 когнитивным измерениям: от базового восприятия до предсказания будущих состояний.
Ключевые выводы:
🔹 Модели хорошо справляются с распознаванием, но проваливаются в 3D-пространственном мышлении, динамике движения и причинно-следственной симуляции.
🔹 VLM склонны “путать” физику: даже изменение цвета объекта сбивает модель на задачах восприятия.
🔹 В сложных задачах предсказания следующего состояния — даже лучшие модели отстают от человека на 34.3%.
🔹 Точность восприятия ≠ понимание: даже “увидев” всё правильно, модели не умеют достроить последствия и взаимодействия объектов.
Отличный инструмент, чтобы понять на что реально способна ваша мультимодальная модель, а не только на красивые демо.
🔗 https://wm-abench.maitrix.org
#LLM #AI #multimodal #benchmark
❤10👍3🔥3
🧠 II-Medical-8B-1706 — open-source LLM для медицинских задач!
▪️ Превзошла MedGemma 27B от Google при 70% меньшем количестве параметров
▪️ Квантизированные веса GGUF — модель запускается даже на <8 ГБ ОЗУ
Model card: https://huggingface.co/Intelligent-Internet/II-Medical-8B-1706
GGUF quantization: https://huggingface.co/Intelligent-Internet/II-Medical-8B-1706-GGUF
▪️ Превзошла MedGemma 27B от Google при 70% меньшем количестве параметров
▪️ Квантизированные веса GGUF — модель запускается даже на <8 ГБ ОЗУ
Model card: https://huggingface.co/Intelligent-Internet/II-Medical-8B-1706
GGUF quantization: https://huggingface.co/Intelligent-Internet/II-Medical-8B-1706-GGUF
❤10👍5🔥2
Microsoft уволит 9 000 сотрудников — это примерно 4% от общего числа работников компании.
Очевидно, что ИИ действительно делает людей ненужными. И это уже не просто громкие заявления.
@data_analysis_ml
Очевидно, что ИИ действительно делает людей ненужными. И это уже не просто громкие заявления.
@data_analysis_ml
🔥16🥱9🤣6❤5👍3🤔2