👿 26 августа Яндекс проведёт в Санкт-Петербурге Data Dojo: мероприятие для сообщества ML-экспертов
Будем обсуждать востребованные направления машинного обучения, разбирать реальные задачи из соревнований и общаться с руководителями команд, чтобы узнать больше о карьере ML’щика в Яндексе.
Николай Савушкин, руководитель команды рекомендательных технологий в Поиске, расскажет, как устроена персонализация и как работают большие генеративные модели в рекомендательных системах Яндекса. А Алексей Колесов, руководитель команды NLP, поделится, каких успехов за последнее время добилась команда R&D в Яндексе, и какие вызовы стоят перед ними в ближайший год.
Вечером — дискуссия с секретным гостем, а после — afterparty с музыкой и напитками.
Если хотите стать спикером, необходимо заполнить специальную форму до 13 августа. Программный комитет выберет одну из заявок и пригласит её автора выступить на встрече.
Если хотите участвовать, то нужно заполнить анкету до 20 августа.
🪷 В додзё не приходят случайно. Набирайтесь мудрости в сильнейшем ML-комьюнити.
Будем обсуждать востребованные направления машинного обучения, разбирать реальные задачи из соревнований и общаться с руководителями команд, чтобы узнать больше о карьере ML’щика в Яндексе.
Николай Савушкин, руководитель команды рекомендательных технологий в Поиске, расскажет, как устроена персонализация и как работают большие генеративные модели в рекомендательных системах Яндекса. А Алексей Колесов, руководитель команды NLP, поделится, каких успехов за последнее время добилась команда R&D в Яндексе, и какие вызовы стоят перед ними в ближайший год.
Вечером — дискуссия с секретным гостем, а после — afterparty с музыкой и напитками.
Если хотите стать спикером, необходимо заполнить специальную форму до 13 августа. Программный комитет выберет одну из заявок и пригласит её автора выступить на встрече.
Если хотите участвовать, то нужно заполнить анкету до 20 августа.
🪷 В додзё не приходят случайно. Набирайтесь мудрости в сильнейшем ML-комьюнити.
👍14🥰4🤣3🔥2🥴1👨💻1
🚀 Опенсорс от OpenAI теперь в Yandex Cloud AI Studio
OpenAI впервые с 2019 года открыла исходники своих рассуждающих моделей — gpt‑oss‑120b и gpt‑oss‑20b. Уже сегодня их можно гонять по API в Yandex Cloud.
⚡ Сравнимо с o3‑mini и o4‑mini, в ряде задач — лучше GPT‑4o и o1
⚡ Настраиваемая интенсивность reasoning + скорость генерации
⚡ Хостинг и обработка данных в РФ — полное соответствие ФЗ‑152
⚡ Без мороки с мощностями, обновлениями и мониторингом
💡 Для чего: автоматизация рекрутмента и саппорта, анализ документов, первичная коммуникация с клиентами. Цена вопроса – 10 или 30 копеек за 1000 токенов в зависимости от модели.
Скоро — вызов функций и поиск в интернете прямо в ответе.
@machinelearning_interview
OpenAI впервые с 2019 года открыла исходники своих рассуждающих моделей — gpt‑oss‑120b и gpt‑oss‑20b. Уже сегодня их можно гонять по API в Yandex Cloud.
⚡ Сравнимо с o3‑mini и o4‑mini, в ряде задач — лучше GPT‑4o и o1
⚡ Настраиваемая интенсивность reasoning + скорость генерации
⚡ Хостинг и обработка данных в РФ — полное соответствие ФЗ‑152
⚡ Без мороки с мощностями, обновлениями и мониторингом
💡 Для чего: автоматизация рекрутмента и саппорта, анализ документов, первичная коммуникация с клиентами. Цена вопроса – 10 или 30 копеек за 1000 токенов в зависимости от модели.
Скоро — вызов функций и поиск в интернете прямо в ответе.
@machinelearning_interview
😁19❤9🔥5👍4🥰1👨💻1🤪1
This media is not supported in your browser
VIEW IN TELEGRAM
Лайк, если тоже устали от хайпа вокруг ИИ
Нужен ли он бизнесу? Поймете с ML Impact – медиа про реальную пользу технологий в бизнесе от команды Selectel.
Собрали понятные материалы без технической воды:
- как технологии Edge AI трансформируют бизнес в 2025 году,
- как не переплатить за автоматизацию,
- как подготовить бизнес к запуску ML-проекта.
Переходите и читайте, чтобы внедрить ИИ в бизнес осознанно и без рисков: https://slc.tl/czuon
Реклама. АО «Селектел», ИНН 7810962785, ERID: 2VtzqvwetLH
Нужен ли он бизнесу? Поймете с ML Impact – медиа про реальную пользу технологий в бизнесе от команды Selectel.
Собрали понятные материалы без технической воды:
- как технологии Edge AI трансформируют бизнес в 2025 году,
- как не переплатить за автоматизацию,
- как подготовить бизнес к запуску ML-проекта.
Переходите и читайте, чтобы внедрить ИИ в бизнес осознанно и без рисков: https://slc.tl/czuon
Реклама. АО «Селектел», ИНН 7810962785, ERID: 2VtzqvwetLH
👍13🤣11❤6🥰1🤔1
💾 Awesome-Efficient-LLM — коллекция методов оптимизации больших языковых моделей. Этот репозиторий объединяет последние исследования по ускорению и сжатию LLM: от квантования и sparse-методов до архитектурных оптимизаций. Особенно полезны разделы про speculative inference и mixture-of-experts — ключевые направления для реального развертывания моделей.
Проект полезен инженерам, которые хотят внедрить LLM в production с минимальными затратами ресурсов. Все работы отсортированы по дате публикации и области применения.
🤖 GitHub
@machinelearning_interview
Проект полезен инженерам, которые хотят внедрить LLM в production с минимальными затратами ресурсов. Все работы отсортированы по дате публикации и области применения.
🤖 GitHub
@machinelearning_interview
❤15👍8🔥4👨💻1
🧠 GPT‑5 по утечкам (или PR самого OpeAI) набрал 90% на SimpleBench — это уровень человека
По слухам, новый бенчмарк от Copilot показывает, что GPT‑5 достигает 90% точности на SimpleBench — наборе из ~200 сложных вопросов с множественным выбором.
❓ Что тестирует SimpleBench:
• Пространственно-временное мышление
• Социальную логику
• Адверсариальные ловушки на здравый смысл
📌 Почему это важно:
90% — это уже уровень человеческого здравого смысла в таких задачах. А ведь модели до этого еле приближались к этим значениям даже с цепочками размышлений.
Если слух подтвердится — GPT‑5 не просто умнее. Он начинает понимать контекст как человек.
@machinelearning_interview
По слухам, новый бенчмарк от Copilot показывает, что GPT‑5 достигает 90% точности на SimpleBench — наборе из ~200 сложных вопросов с множественным выбором.
❓ Что тестирует SimpleBench:
• Пространственно-временное мышление
• Социальную логику
• Адверсариальные ловушки на здравый смысл
📌 Почему это важно:
90% — это уже уровень человеческого здравого смысла в таких задачах. А ведь модели до этого еле приближались к этим значениям даже с цепочками размышлений.
Если слух подтвердится — GPT‑5 не просто умнее. Он начинает понимать контекст как человек.
@machinelearning_interview
👍33❤8🔥5😁4👨💻1💊1
Forwarded from Machinelearning
🔥 представлен ChatGPT-5
Модель выглядит очень круто, особенно в кодинге! На aime-2025 получила 100 процентов!
Альтман заявляет, что модель дадут даже бесплатным пользователям и прямо сегодня.
https://openai.com/index/introducing-gpt-5/
Стрим, кстати, смотрят 155 к человек: https://www.youtube.com/watch?v=0Uu_VJeVVfo
Пробуем: https://chatgpt.com/
@ai_machinelearning_big_data
#Chatgpt5
Модель выглядит очень круто, особенно в кодинге! На aime-2025 получила 100 процентов!
Альтман заявляет, что модель дадут даже бесплатным пользователям и прямо сегодня.
https://openai.com/index/introducing-gpt-5/
Стрим, кстати, смотрят 155 к человек: https://www.youtube.com/watch?v=0Uu_VJeVVfo
Пробуем: https://chatgpt.com/
@ai_machinelearning_big_data
#Chatgpt5
👍19❤4🥰3
🤖 Вот сравнение GPT‑5 и Grok 4:
На бенчмарке *Humanity’s Last Exam* модель GPT‑5 с тулзами показывает результат между Grok 4 и Grok 4 Heavy.
Другими словами, GPT‑5 с тузами обходит обычную Grok 4, но всё ещё уступает Grok 4 Heavy.
Интересно, как они покажут себя на других бенчмарках
На бенчмарке *Humanity’s Last Exam* модель GPT‑5 с тулзами показывает результат между Grok 4 и Grok 4 Heavy.
Другими словами, GPT‑5 с тузами обходит обычную Grok 4, но всё ещё уступает Grok 4 Heavy.
Интересно, как они покажут себя на других бенчмарках
👍30❤7🔥5
🚀 Qwen3-30B-A3B-2507 и Qwen3-235B-A22B-2507 теперь поддерживают контекст до 1 млн токенов!
🔧 Технологии под капотом:
• Dual Chunk Attention (DCA) — метод экстраполяции длины, который делит длинные последовательности на управляемые блоки, сохраняя глобальную связность.
• MInference — разреженное внимание, уменьшающее вычислительные затраты за счёт фокуса на ключевых токенах.
💡 Что это даёт:
- Более высокая точность генерации на длинных контекстах
- До 3× быстрее инференс на последовательностях, близких к 1M токенов
- ✅ Полная совместимость с vLLM и SGLang для эффективного развёртывания
📄 Подробности и включение функции — в карточках моделей:
https://huggingface.co/Qwen/Qwen3-235B-A22B-Instruct-2507
https://huggingface.co/Qwen/Qwen3-235B-A22B-Thinking-2507
https://huggingface.co/Qwen/Qwen3-30B-A3B-Instruct-2507
https://huggingface.co/Qwen/Qwen3-30B-A3B-Thinking-2507
https://modelscope.cn/models/Qwen/Qwen3-235B-A22B-Instruct-2507
https://modelscope.cn/models/Qwen/Qwen3-235B-A22B-Thinking-2507
https://modelscope.cn/models/Qwen/Qwen3-30B-A3B-Instruct-2507
https://modelscope.cn/models/Qwen/Qwen3-30B-A3B-Thinking-2507
#Qwen #LLM #AI #LongContext
🔧 Технологии под капотом:
• Dual Chunk Attention (DCA) — метод экстраполяции длины, который делит длинные последовательности на управляемые блоки, сохраняя глобальную связность.
• MInference — разреженное внимание, уменьшающее вычислительные затраты за счёт фокуса на ключевых токенах.
💡 Что это даёт:
- Более высокая точность генерации на длинных контекстах
- До 3× быстрее инференс на последовательностях, близких к 1M токенов
- ✅ Полная совместимость с vLLM и SGLang для эффективного развёртывания
📄 Подробности и включение функции — в карточках моделей:
https://huggingface.co/Qwen/Qwen3-235B-A22B-Instruct-2507
https://huggingface.co/Qwen/Qwen3-235B-A22B-Thinking-2507
https://huggingface.co/Qwen/Qwen3-30B-A3B-Instruct-2507
https://huggingface.co/Qwen/Qwen3-30B-A3B-Thinking-2507
https://modelscope.cn/models/Qwen/Qwen3-235B-A22B-Instruct-2507
https://modelscope.cn/models/Qwen/Qwen3-235B-A22B-Thinking-2507
https://modelscope.cn/models/Qwen/Qwen3-30B-A3B-Instruct-2507
https://modelscope.cn/models/Qwen/Qwen3-30B-A3B-Thinking-2507
#Qwen #LLM #AI #LongContext
❤14👍7🔥3
🧠 SmallThinker — новая серия LLM, нативно обученная для локального запуска
SmallThinker — это семейство языковых моделей, созданное с нуля для запуска на обычных устройствах:
📉 низкая память, 🐌 медленное хранилище, ❌ без GPU — и всё это без потери качества.
🔧 Технологии под капотом:
• Двухуровневая разреженность: MoE + sparse ReGLU (>60% нейронов неактивны)
• Pre-attention router: предсказание нужных экспертов заранее → читаем с SSD параллельно
• NoPE-RoPE гибрид: 1:3 глобальное:локальное внимание → KV-кэш в 4 раза меньше
• Кэширование и оффлоадинг экспертов → экономим CPU и дисковый ввод
• Sparse LM head: предсказываем подмножество словаря, не нужен полный софтмакс
• Чекпойнт-мёрджинг: баланс между универсальностью и инструкционной точностью
⚙️ Производительность (CPU-only, Q4_0):
• 🪶 4B-A0.6B (1 ГБ ОЗУ): 82.3% HumanEval, 66.1% MMLU, 108 ток/с
• 🚀 21B-A3B (8 ГБ ОЗУ): 89.6% HumanEval, 84.4% MMLU — на уровне Qwen3‑30B, но с 85× меньшим потреблением памяти
🏃♂️ Работает на CPU, ARM, Raspberry Pi — 20–108 токенов/сек.
📦 Полностью open-source. Готово к локальному использованию без компромиссов.
#LLM #SmallThinker #AI #LocalLLM #OpenSource
HF: https://huggingface.co/PowerInfer
PAPER: https://arxiv.org/abs/2507.20984
SmallThinker — это семейство языковых моделей, созданное с нуля для запуска на обычных устройствах:
📉 низкая память, 🐌 медленное хранилище, ❌ без GPU — и всё это без потери качества.
🔧 Технологии под капотом:
• Двухуровневая разреженность: MoE + sparse ReGLU (>60% нейронов неактивны)
• Pre-attention router: предсказание нужных экспертов заранее → читаем с SSD параллельно
• NoPE-RoPE гибрид: 1:3 глобальное:локальное внимание → KV-кэш в 4 раза меньше
• Кэширование и оффлоадинг экспертов → экономим CPU и дисковый ввод
• Sparse LM head: предсказываем подмножество словаря, не нужен полный софтмакс
• Чекпойнт-мёрджинг: баланс между универсальностью и инструкционной точностью
⚙️ Производительность (CPU-only, Q4_0):
• 🪶 4B-A0.6B (1 ГБ ОЗУ): 82.3% HumanEval, 66.1% MMLU, 108 ток/с
• 🚀 21B-A3B (8 ГБ ОЗУ): 89.6% HumanEval, 84.4% MMLU — на уровне Qwen3‑30B, но с 85× меньшим потреблением памяти
🏃♂️ Работает на CPU, ARM, Raspberry Pi — 20–108 токенов/сек.
📦 Полностью open-source. Готово к локальному использованию без компромиссов.
#LLM #SmallThinker #AI #LocalLLM #OpenSource
HF: https://huggingface.co/PowerInfer
PAPER: https://arxiv.org/abs/2507.20984
🔥22👍13🥰9❤2
🧠 R-Zero: самообучающийся LLM для развития навыков рассуждения без исходных данных
💡 Идея
Большинство современных моделей рассуждения (reasoning LLM) зависят от огромных объёмов размеченных человеком данных и задач. Это тормозит развитие ИИ за пределы человеческого уровня, потому что сбор таких датасетов дорог и ограничен.
R-Zero предлагает иной путь — полностью автономное обучение с нуля, без единой готовой задачи или метки.
🔧 Как это работает
1. Берётся одна базовая LLM.
2. Создаются две её копии с разными ролями:
- Challenger (Испытатель) — придумывает задачи на грани возможностей модели.
- Solver (Решатель) — пытается их решить.
3. Каждая роль обучается отдельно:
- Испытатель получает награду за сложность и новизну задач.
- Решатель получает награду за успешное решение.
4. Этот цикл формирует саморазвивающуюся учебную программу — задачи постепенно усложняются, и обе модели эволюционируют.
📈 Результаты
- Улучшение математического рассуждения: +6.49 балла на бенчмарках.
- Рост общего уровня рассуждения: +7.54 балла.
- Работает на разных архитектурах, например, Qwen3-4B-Base заметно усилился после обучения через R-Zero.
🚀 Почему это важно
- Полная независимость от размеченных датасетов.
- Автоматическая генерация и усложнение задач.
- Масштабируемый путь к моделям, которые учатся быстрее и шире, чем позволяют человеческие данные.
- Может ускорить прогресс в ИИ-системах, приближая их к супер-интеллекту.
🔮 Потенциал
- Обучение специализированных reasoning-моделей для науки, инженерии, медицины.
- Быстрая адаптация ИИ под новые, ранее не встречавшиеся задачи.
- Возможность самообучения в симуляциях без внешних инструкций.
🟢 Github
🟢 Paper
💡 Идея
Большинство современных моделей рассуждения (reasoning LLM) зависят от огромных объёмов размеченных человеком данных и задач. Это тормозит развитие ИИ за пределы человеческого уровня, потому что сбор таких датасетов дорог и ограничен.
R-Zero предлагает иной путь — полностью автономное обучение с нуля, без единой готовой задачи или метки.
🔧 Как это работает
1. Берётся одна базовая LLM.
2. Создаются две её копии с разными ролями:
- Challenger (Испытатель) — придумывает задачи на грани возможностей модели.
- Solver (Решатель) — пытается их решить.
3. Каждая роль обучается отдельно:
- Испытатель получает награду за сложность и новизну задач.
- Решатель получает награду за успешное решение.
4. Этот цикл формирует саморазвивающуюся учебную программу — задачи постепенно усложняются, и обе модели эволюционируют.
📈 Результаты
- Улучшение математического рассуждения: +6.49 балла на бенчмарках.
- Рост общего уровня рассуждения: +7.54 балла.
- Работает на разных архитектурах, например, Qwen3-4B-Base заметно усилился после обучения через R-Zero.
🚀 Почему это важно
- Полная независимость от размеченных датасетов.
- Автоматическая генерация и усложнение задач.
- Масштабируемый путь к моделям, которые учатся быстрее и шире, чем позволяют человеческие данные.
- Может ускорить прогресс в ИИ-системах, приближая их к супер-интеллекту.
🔮 Потенциал
- Обучение специализированных reasoning-моделей для науки, инженерии, медицины.
- Быстрая адаптация ИИ под новые, ранее не встречавшиеся задачи.
- Возможность самообучения в симуляциях без внешних инструкций.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤21👍14🔥6
🎨 X-Omni от Tencent: прорыв в text-to-image генерации. Новая модель X-Omni демонстрирует, как reinforcement learning может вывести авторегрессионные text-to-image системы на новый уровень. В основе — гибридная архитектура: SigLIP-VQ токенизирует изображения, Qwen2.5-7B обрабатывает мультимодальные данные, а диффузионный декодер FLUX.1-dev завершает рендеринг.
Интерес вызывает комплексная reward-система, оценивающая результат по эстетике, семантике и читаемости текста. На тестах модель превзошла GPT-4o в рендеринге надписей, особенно для китайского языка. При этом X-Omni стабильно работает без CFG, что выделяет её среди аналогов.
🔗 Ссылка - *клик*
Интерес вызывает комплексная reward-система, оценивающая результат по эстетике, семантике и читаемости текста. На тестах модель превзошла GPT-4o в рендеринге надписей, особенно для китайского языка. При этом X-Omni стабильно работает без CFG, что выделяет её среди аналогов.
🔗 Ссылка - *клик*
👍15🔥7❤4🥱1
🍏 Apple выпустила мощный open-source инструмент для визуализации эмбеддингов — Embedding Atlas.
Идеально подходит для работы с большими наборами текста и метаданных.
Что он умеет:
✅ Мгновенный поиск
✅ Отрисовка миллионов точек в реальном времени
✅ Автоматическая кластеризация с подписями
✅ UMAP-проекции
✅ Фасетный поиск по метаданным (например, "страна vs. цена")
✅ Подсказки и ховеры по точкам
✅ Интерактивные фильтры, гистограммы, оверлеи кластеров
✅ Связанные scatterplot + таблицы
Под капотом:
• WebGPU (с WebGL-фолбэком) для быстрой отрисовки
• Поиск по смысловому сходству в эмбеддингах
• Kernel density contours для поиска кластеров и выбросов
Пример Apple: визуализация ~200K отзывов о вине с метаданными (цена, страна, заметки о вкусе) — всё летает прямо в браузере, без допкода.
Загружаешь
Это как Tableau для LLM-разработчиков: оптимизировано под текст, чат и современные датасеты.
Отлично подойдёт для RAG-оценок, тюнинга поиска, объяснения кластеров и аудита данных.
📌 Github
Идеально подходит для работы с большими наборами текста и метаданных.
Что он умеет:
✅ Мгновенный поиск
✅ Отрисовка миллионов точек в реальном времени
✅ Автоматическая кластеризация с подписями
✅ UMAP-проекции
✅ Фасетный поиск по метаданным (например, "страна vs. цена")
✅ Подсказки и ховеры по точкам
✅ Интерактивные фильтры, гистограммы, оверлеи кластеров
✅ Связанные scatterplot + таблицы
Под капотом:
• WebGPU (с WebGL-фолбэком) для быстрой отрисовки
• Поиск по смысловому сходству в эмбеддингах
• Kernel density contours для поиска кластеров и выбросов
Пример Apple: визуализация ~200K отзывов о вине с метаданными (цена, страна, заметки о вкусе) — всё летает прямо в браузере, без допкода.
Загружаешь
.jsonl или .csv с текстом, векторами и метаданными — инструмент сам делает кластеризацию, разметку и строит UI.Это как Tableau для LLM-разработчиков: оптимизировано под текст, чат и современные датасеты.
Отлично подойдёт для RAG-оценок, тюнинга поиска, объяснения кластеров и аудита данных.
📌 Github
🔥21❤6🥰4