Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
Инженеры Huawei работают прямо в офисе DeepSeek, а заняты команды оптимизацией интерконекта и распределением вычислительных графов на уровне железа.
Раньше DeepSeek от обучения модели на Ascend отказалась из-за нестабильности и сырого ПО, теперь же компания открыла код низкоуровневого компилятора TileLang под Ascend, а вместе с ним библиотеки матричных операций и коммуникаций для MoE-архитектур.
Первое масштабное обучение на Ascend 950DT должно начаться до конца года, а на следующее поколение Ascend 960DT, которое ждут в начале 2027 года, Huawei гарантировала DeepSeek приоритетные поставки.
theinformation.com
Третья версия получила обновлённую модель эмбеддингов и технологию Dynamic Highlights, которая отбирает токены сразу по всей выборке результатов. Так отсекается дублирование фактов, а объём передаваемого в контекст модели текста падает на 95% против загрузки страниц целиком.
Собственный индекс компании на 100 млрд страниц пополнился структурированными данными, в базу добавили 1,27 млрд товарных позиций с ценами, каталоги организаций и сводки биржевых котировок, авиарейсов и спортивных событий в реальном времени.
Через REST API доступны два режима, упрощённое ранжирование Exa Lite стоит 4 доллара за тысячу обращений, полноценный Exa Auto обойдётся в 7 долларов за тысячу вызовов.
exa.ai
Скорость генерации у новой версии подтверждена на уровне 1068 токенов в секунду, параметров стало больше в 40 с лишним раз против первой Mercury, а контекстное окно выросло до 1 млн токенов. Этим американская лаборатория подтверждает, что законы масштабирования работают и для диффузионной генерации текста.
На бенчмарках Mercury 3 держится на уровне GPT-6 Luna и Claude Haiku 5.5, инференс идёт в 4–8 раз быстрее авторегрессионных моделей того же размера. Модель рассчитана на автономных браузерных агентов, голосовых ассистентов, поиск в реальном времени и поддержку.
Доступ открыт через платформу Inception, OpenRouter, Baseten и Vercel, базовая цена составляет 20 центов за миллион входных токенов и 70 центов за миллион выходных, кеширование контекста снижает её на 90%. В честь релиза действует скидка 50%.
inceptionlabs.ai
Модель Clairic появилась в режиме превью на Workers AI и работает без генерации токенов, за один параллельный проход. Она принимает текст или до четырёх изображений и возвращает строковые значения с точными смещениями символов, считает простые вещи вроде суммы и разницы дат, а также строит вероятностные диапазоны с 80-процентным покрытием.
Ответ приходит строго типизированным, со значением или оценкой уверенности. Целевые задачи – структурировать неразмеченные данные, то есть разбирать счета и квитанции и прогнозировать временные ряды.
Плата за выходные токены не взимается, превью доступно через REST API в Workers AI, веса Cloudflare обещает опубликовать позже.
cloudflare.com
Система UniUni собирает подготовку показательных выступлений и сценических перформансов групп роботов в одном окне: редактор хореографии с отдельной дорожкой на каждого робота и библиотекой движений, карта сцены облаком точек с лидара, где компания обещает сантиметровую точность, и экран наблюдения с зарядом, температурой и аварийной остановкой каждой машины.
Отдельная функция, названная ИИ-хореографией, принимает команды текстом и корректирует формации и маршруты роботов через генеративную постановку движений.
Несмотря на отсылки к концепции роя, архитектура UniUni остается централизованной и нацелена исключительно на индустрию развлечений, а не на автономное взаимодействие роботов в производственных задачах.
Unitree в X
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2
Разделять стоит задачи, а не код
Когда одна рекомендательная система решает разные задачи, не обязательно создавать для каждой отдельный сервис или дублировать код. В AI VK для этого используют стримы — отдельные пайплайны со своими настройками, собранные из общих компонентов подбора кандидатов, фильтрации и вычисления признаков.
Так можно развивать разные механики независимо, не дублируя код и вычисления. В статье на Хабре — как устроены стримы, почему они ускоряют разработку и как растят метрики.
Когда одна рекомендательная система решает разные задачи, не обязательно создавать для каждой отдельный сервис или дублировать код. В AI VK для этого используют стримы — отдельные пайплайны со своими настройками, собранные из общих компонентов подбора кандидатов, фильтрации и вычисления признаков.
Так можно развивать разные механики независимо, не дублируя код и вычисления. В статье на Хабре — как устроены стримы, почему они ускоряют разработку и как растят метрики.
❤3👏1
Spark-X2.6-4B - открытая модель на 4 млрд параметров с контекстом до 1 млн токенов для локальных ИИ-агентов.
В тестах команды средний результат составил 63,3 балла против 52,1 у Spark-X2.5-4B и 49,1 у Qwen3.5-9B. Это сравнение на выбранном разработчиками наборе задач.
Что внутри:
- Три режима рассуждений: none, low и high — можно выбирать баланс между качеством ответа, скоростью и затратами.
- Форматы для локального запуска: FP8, INT8, INT4 и GGUF.
- Две версии: Instruct для диалогов и агентных задач, Base — для дальнейшего обучения.
- Поддержка популярных инструментов: Transformers, SGLang, vLLM, llama.cpp, Ollama, MLX и LM Studio.
Модель рассчитана на работу с кодом, инструментами и многошаговыми задачами. Для использования полного контекста в 1 млн токенов потребуется достаточно памяти.
https://github.com/XHToken/Spark-X2.6
В тестах команды средний результат составил 63,3 балла против 52,1 у Spark-X2.5-4B и 49,1 у Qwen3.5-9B. Это сравнение на выбранном разработчиками наборе задач.
Что внутри:
- Три режима рассуждений: none, low и high — можно выбирать баланс между качеством ответа, скоростью и затратами.
- Форматы для локального запуска: FP8, INT8, INT4 и GGUF.
- Две версии: Instruct для диалогов и агентных задач, Base — для дальнейшего обучения.
- Поддержка популярных инструментов: Transformers, SGLang, vLLM, llama.cpp, Ollama, MLX и LM Studio.
Модель рассчитана на работу с кодом, инструментами и многошаговыми задачами. Для использования полного контекста в 1 млн токенов потребуется достаточно памяти.
https://github.com/XHToken/Spark-X2.6
❤3👍3🔥1
5 GitHub-репозиториев для дообучения ИИ-моделей под свои задачи
Научить модель соблюдать нужный формат, отвечать в вашем стиле или выполнять специализированные инструкции — для этого пригодятся:
1. LLaMA-Factory - удобный старт
Дообучение языковых и мультимодальных моделей через веб-интерфейс или CLI. Поддерживает полное обучение, LoRA и QLoRA.
https://github.com/hiyouga/LlamaFactory
2. Unsloth - когда ограничена видеопамять
Оптимизирует обучение поддерживаемых моделей, снижая расход памяти и ускоряя вычисления. Есть готовые ноутбуки для первых экспериментов.
https://github.com/unslothai/unsloth
3. Axolotl - обучение через конфиги
Позволяет описать модель, датасет и параметры обучения в YAML. Подходит для воспроизводимых экспериментов и запуска на нескольких GPU.
https://github.com/axolotl-ai-cloud/axolotl
4. PEFT - обучать небольшую часть параметров
Библиотека Hugging Face для LoRA и других экономных методов адаптации. Помогает уменьшить требования к памяти и размер сохраняемых адаптеров.
https://github.com/huggingface/peft
5. TRL - обучение на примерах, предпочтениях и наградах
Инструменты для SFT, DPO и обучения с подкреплением. Пригодится, когда нужно улучшать ответы по выбранным критериям качества.
https://github.com/huggingface/trl
Эти инструменты можно комбинировать: например, использовать TRL для процесса обучения, а PEFT — для LoRA-адаптации.
Научить модель соблюдать нужный формат, отвечать в вашем стиле или выполнять специализированные инструкции — для этого пригодятся:
1. LLaMA-Factory - удобный старт
Дообучение языковых и мультимодальных моделей через веб-интерфейс или CLI. Поддерживает полное обучение, LoRA и QLoRA.
https://github.com/hiyouga/LlamaFactory
2. Unsloth - когда ограничена видеопамять
Оптимизирует обучение поддерживаемых моделей, снижая расход памяти и ускоряя вычисления. Есть готовые ноутбуки для первых экспериментов.
https://github.com/unslothai/unsloth
3. Axolotl - обучение через конфиги
Позволяет описать модель, датасет и параметры обучения в YAML. Подходит для воспроизводимых экспериментов и запуска на нескольких GPU.
https://github.com/axolotl-ai-cloud/axolotl
4. PEFT - обучать небольшую часть параметров
Библиотека Hugging Face для LoRA и других экономных методов адаптации. Помогает уменьшить требования к памяти и размер сохраняемых адаптеров.
https://github.com/huggingface/peft
5. TRL - обучение на примерах, предпочтениях и наградах
Инструменты для SFT, DPO и обучения с подкреплением. Пригодится, когда нужно улучшать ответы по выбранным критериям качества.
https://github.com/huggingface/trl
Эти инструменты можно комбинировать: например, использовать TRL для процесса обучения, а PEFT — для LoRA-адаптации.
🔥4👍3❤2
Алгоритм знает, где вы будете 7-го ноября 😎
RecSys-митап в Москве для тех, кто уже строит рекомендательные системы и хочет делать это еще лучше.
В программе — доклады от топовых экспертов Сбера с разбором кейсов, свежих подходов и неочевидных решений.
После официальной части — нетворкинг. Время в узком кругу профессионалов и сообщества Зеленый RecSys.
Участие бесплатное, но количество мест ограничено.
Москва. Суббота. 7 ноября. RecSys!
➡ ️ регистрируйтесь
RecSys-митап в Москве для тех, кто уже строит рекомендательные системы и хочет делать это еще лучше.
В программе — доклады от топовых экспертов Сбера с разбором кейсов, свежих подходов и неочевидных решений.
После официальной части — нетворкинг. Время в узком кругу профессионалов и сообщества Зеленый RecSys.
Участие бесплатное, но количество мест ограничено.
Москва. Суббота. 7 ноября. RecSys!
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍5🔥4🤩2
От первого мотора до робота, который учится по демонстрациям: открытая дорожная карта по робототехнике на русском.
Robotics Roadmap 2026 предлагает план на 24 недели при занятиях по 2–3 часа в день. Обучение начинается с электроники и постепенно переходит к управлению и машинному обучению.
Внутри шесть модулей:
- Электроника, Python и Git - базовые схемы и инструменты.
- Arduino и ESP32 — моторы, датчики, линейный робот и балансир.
- CAD и 3D-печать — сборка робота-манипулятора.
- ROS 2 — симуляция, построение карты и автономная навигация.
- Управление и компьютерное зрение — регуляторы, кинематика, работа с камерой.
- LeRobot — сбор демонстраций и обучение робота.
Есть схемы подключения, примеры кода, списки компонентов, справочник по отладке и 30 идей проектов.
Начать можно без покупки железа — в симуляторах. Дальше предлагается оформлять проекты в портфолио: видео, схема, код и разбор того, что сломалось и как удалось исправить.
Полезная отправная точка для программиста, который хочет заставить свой код двигаться в физическом мире.
https://github.com/justxor/robotics-roadmap-2026/
Robotics Roadmap 2026 предлагает план на 24 недели при занятиях по 2–3 часа в день. Обучение начинается с электроники и постепенно переходит к управлению и машинному обучению.
Внутри шесть модулей:
- Электроника, Python и Git - базовые схемы и инструменты.
- Arduino и ESP32 — моторы, датчики, линейный робот и балансир.
- CAD и 3D-печать — сборка робота-манипулятора.
- ROS 2 — симуляция, построение карты и автономная навигация.
- Управление и компьютерное зрение — регуляторы, кинематика, работа с камерой.
- LeRobot — сбор демонстраций и обучение робота.
Есть схемы подключения, примеры кода, списки компонентов, справочник по отладке и 30 идей проектов.
Начать можно без покупки железа — в симуляторах. Дальше предлагается оформлять проекты в портфолио: видео, схема, код и разбор того, что сломалось и как удалось исправить.
Полезная отправная точка для программиста, который хочет заставить свой код двигаться в физическом мире.
https://github.com/justxor/robotics-roadmap-2026/
❤4🔥3👍2
ИИ-агент умеет отвечать на другом языке. Но сможет ли он на нём работать?
Команда Qwen представила BabelArena – бенчмарк для проверки агентов на 23 языках и задачах из 13 предметных областей.
Переводят не только запрос пользователя, но и инструкции, описания инструментов и содержимое рабочей среды. Это позволяет сравнивать выполнение одинаковых задач на разных языках.
Выводы исследования:
- Единого лидера нет: разные модели сильнее в разных группах задач.
- На языках с небольшим объёмом обучающих данных чаще возникают ошибки вызова инструментов и последовательности действий.
- Объём входных токенов может быть примерно вдвое выше, чем на английском, без сопоставимого роста числа шагов.
- В задачах со структурированным выводом агенты чаще сбиваются с выбранного языка, преимущественно переходя на английский.
https://arxiv.org/abs/2609.23490
https://github.com/QwenLM/BabelArena
Команда Qwen представила BabelArena – бенчмарк для проверки агентов на 23 языках и задачах из 13 предметных областей.
Переводят не только запрос пользователя, но и инструкции, описания инструментов и содержимое рабочей среды. Это позволяет сравнивать выполнение одинаковых задач на разных языках.
Выводы исследования:
- Единого лидера нет: разные модели сильнее в разных группах задач.
- На языках с небольшим объёмом обучающих данных чаще возникают ошибки вызова инструментов и последовательности действий.
- Объём входных токенов может быть примерно вдвое выше, чем на английском, без сопоставимого роста числа шагов.
- В задачах со структурированным выводом агенты чаще сбиваются с выбранного языка, преимущественно переходя на английский.
https://arxiv.org/abs/2609.23490
https://github.com/QwenLM/BabelArena
❤3👍3👏1
Atria Dawn вышла с открытыми весами и контекстом 512K – модель для исследовательских и инженерных ИИ-агентов.
Разработка Shanghai AI Laboratory построена на GLM-5.2 MoE с 744 млрд параметров. Контекст увеличен вдвое относительно Preview.
Модель рассчитана на многошаговую работу с инструментами:
- Исследования: поиск и систематизация источников, подготовка исполняемых планов экспериментов.
- Разработка: создание программ, интерактивных приложений, визуализаций и ML-систем.
- Документы: подготовка отчётов и презентаций из данных и требований.
- Безопасность: проверка уязвимостей, исправления и повторное тестирование в разрешённых средах.
В сравнении, опубликованном командой, Atria Dawn опережает участвующие модели на AutomationBench, CyberGym, SkillsBench и WideSearch. Например, на AutomationBench она набирает 54,7, а на CyberGym – 86,8.
Доступны полные и FP8-веса, самостоятельное развёртывание через SGLang и vLLM. Код и веса распространяются под MIT.
Модель принимает только текст.
https://huggingface.co/internlm/Atria-Dawn
Разработка Shanghai AI Laboratory построена на GLM-5.2 MoE с 744 млрд параметров. Контекст увеличен вдвое относительно Preview.
Модель рассчитана на многошаговую работу с инструментами:
- Исследования: поиск и систематизация источников, подготовка исполняемых планов экспериментов.
- Разработка: создание программ, интерактивных приложений, визуализаций и ML-систем.
- Документы: подготовка отчётов и презентаций из данных и требований.
- Безопасность: проверка уязвимостей, исправления и повторное тестирование в разрешённых средах.
В сравнении, опубликованном командой, Atria Dawn опережает участвующие модели на AutomationBench, CyberGym, SkillsBench и WideSearch. Например, на AutomationBench она набирает 54,7, а на CyberGym – 86,8.
Доступны полные и FP8-веса, самостоятельное развёртывание через SGLang и vLLM. Код и веса распространяются под MIT.
Модель принимает только текст.
https://huggingface.co/internlm/Atria-Dawn
❤4👍2🤯1
Как сравнивать распределения, когда случайный объект – целая функция, а не набор чисел?
Этому посвящена работа Франка Нильсена и Ха Куанг Миня о геометрической дивергенции Йенсена–Шеннона для гауссовских мер в гильбертовом пространстве.
В привычном случае гауссовское распределение описывает случайные векторы. В бесконечномерном пространстве аналогичный подход позволяет рассматривать случайные функции.
Авторы исследуют геометрическую версию дивергенции Йенсена–Шеннона: она использует геометрическое среднее вероятностных мер для оценки их различия.
Два основных результата:
- Явная формула для гауссовских мер, эквивалентных одной фиксированной мере. Она обобщает конечномерный случай.
- Регуляризованная версия, определённая для любой пары гауссовских мер. Для эквивалентных мер при стремлении параметра регуляризации к нулю она восстанавливает исходную дивергенцию.
Это теоретическая работа на пересечении теории вероятностей, информации и машинного обучения. По сообщению Нильсена, журнальная версия опубликована в IEEE Transactions on Information Theory.
Препринт – 44 страницы:
https://arxiv.org/abs/2506.10494
Этому посвящена работа Франка Нильсена и Ха Куанг Миня о геометрической дивергенции Йенсена–Шеннона для гауссовских мер в гильбертовом пространстве.
В привычном случае гауссовское распределение описывает случайные векторы. В бесконечномерном пространстве аналогичный подход позволяет рассматривать случайные функции.
Авторы исследуют геометрическую версию дивергенции Йенсена–Шеннона: она использует геометрическое среднее вероятностных мер для оценки их различия.
Два основных результата:
- Явная формула для гауссовских мер, эквивалентных одной фиксированной мере. Она обобщает конечномерный случай.
- Регуляризованная версия, определённая для любой пары гауссовских мер. Для эквивалентных мер при стремлении параметра регуляризации к нулю она восстанавливает исходную дивергенцию.
Это теоретическая работа на пересечении теории вероятностей, информации и машинного обучения. По сообщению Нильсена, журнальная версия опубликована в IEEE Transactions on Information Theory.
Препринт – 44 страницы:
https://arxiv.org/abs/2506.10494
❤2👍2🤩2🔥1
Forwarded from Machinelearning
Лаборатория нейротехнологий Федеральной политехнической школы Лозанны под руководством Махсы Шоаран сделала LogSync, имплантируемый чип размером примерно 4 на 2 мм, который целиком держит на себе машинное обучение.
Он записывает активность мозга, считает силу ритмов и согласованность сигналов между его областями, по этим признакам различает состояния внимания и эмоционального возбуждения и сам выдаёт команду на стимуляцию, когда распознал нужное состояние.
Весь этот путь, от анализа связей между областями до классификации, укладывается в один кристалл и меньше 200 микроватт.
Добились этого переводом вычислений в логарифмический вид, который упрощает нужные операции, причём алгоритмы и схему разрабатывали сразу с оглядкой на ограничения имплантата.
Такой чип нужен для глубокой стимуляции мозга при психиатрических расстройствах.
Большинство приборов работает по заранее заданным настройкам, без обратной связи, а те, что подстраиваются, обычно опираются на сигнал одного участка.
Шоаран исходит из того, что психиатрические расстройства связаны скорее со сбоями в связности между областями мозга, поэтому классификатор смотрит именно на их согласованность.
Проверка чипа прошла успешно на двух материалах - на записях мозга людей из прежних психиатрических экспериментов и на крысах в Университете Миннесоты.
В людей чип пока не вживляли, поэтому реальной точности распознавания и задержки EPFL не приводит.
Модельную часть лаборатория развивает отдельно. На ICML 2026 Шоаран представил RECTOR, способ самообучения на записях ЭЭГ и внутричерепной ЭЭГ, где модель учится на замаскированных фрагментах сразу по трём осям - областям мозга, каналам и времени.
В работе заявляют лучшие результаты в распознавании эмоций и вовлечённости, а также устойчивость к потере отдельных каналов, но конкретных цифр в аннотации нет.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4❤3🔥1
Apex-35B: открытая модель для кода, агентов и исследовательских задач
Apex Intelligence выпустила Apex-35B-V1.0 на базе Qwen3.6-35B-A3B. Веса доступны под Apache 2.0.
Внутри - 35 млрд параметров, около 3 млрд активных на токен и контекст 262 тысячи токенов. Модель сама определяет, нужны ли развёрнутые рассуждения на текущем шаге.
Помимо программирования, поиска и вызова инструментов, её обучали исследовательским сценариям: планировать вычисления, писать и запускать код, корректировать подход по результатам экспериментов.
По оценке команды, Apex набрала:
- 84,0 на BFCL V4 - проверке вызова инструментов.
- 60,9 на PaperBench против 45,8 у базовой Qwen.
- 69,4 на BrowseComp против 42,1 у базовой модели.
В разработке участвовала Apex Research - автоматизированная система, которая помогала создавать обучающие данные, проводить эксперименты и оптимизировать GPU-ядра. Проверенные результаты использовали в следующих итерациях.
Результаты опубликованы разработчиками и требуют независимой проверки.
Модель:
https://huggingface.co/Apexintelligence-AI/Apex-35B-V1.0
Технический разбор:
https://apexin.com/apex-35b/
Apex Intelligence выпустила Apex-35B-V1.0 на базе Qwen3.6-35B-A3B. Веса доступны под Apache 2.0.
Внутри - 35 млрд параметров, около 3 млрд активных на токен и контекст 262 тысячи токенов. Модель сама определяет, нужны ли развёрнутые рассуждения на текущем шаге.
Помимо программирования, поиска и вызова инструментов, её обучали исследовательским сценариям: планировать вычисления, писать и запускать код, корректировать подход по результатам экспериментов.
По оценке команды, Apex набрала:
- 84,0 на BFCL V4 - проверке вызова инструментов.
- 60,9 на PaperBench против 45,8 у базовой Qwen.
- 69,4 на BrowseComp против 42,1 у базовой модели.
В разработке участвовала Apex Research - автоматизированная система, которая помогала создавать обучающие данные, проводить эксперименты и оптимизировать GPU-ядра. Проверенные результаты использовали в следующих итерациях.
Результаты опубликованы разработчиками и требуют независимой проверки.
Модель:
https://huggingface.co/Apexintelligence-AI/Apex-35B-V1.0
Технический разбор:
https://apexin.com/apex-35b/
👍2❤1🔥1