🚀 ИИ-модель китайской RedNote набрала 42 из 42 на математической олимпиаде
dots-note-3.0 решила все шесть задач Международной математической олимпиады 2026 года. Официальные проверяющие поставили модели по 7 баллов за каждое доказательство. Такой же результат показали лишь 7 из 666 участников.
Результат особенно важен из-за формата IMO. Здесь оценивают полный ход доказательства: пропущенный случай, логический разрыв или неуказанное условие снижают балл, даже если итоговый ответ верный.
Модель работала с исходными условиями задач, использовала агентный цикл с рассуждениями на естественном языке и выполнением Python-кода. Затем она проверяла собственные доказательства, находила слабые места и переписывала решения. Во время тестирования вмешательство людей было запрещено.
Для сравнения: в 2025 году модели Google DeepMind и OpenAI получили по 35 баллов из 42, что соответствовало уровню золотой медали.
dots-note-3.0 пока находится в бете и является самой лёгкой моделью семейства dots3. В него также входят более крупные jazz и aria. RedNote обещает открыть модель, но дату пока не называет.
scmp.com/tech/article/3361482/worlds-first-ai-model-earn-perfect-score-maths-olympiad-comes-chinas-rednote
dots-note-3.0 решила все шесть задач Международной математической олимпиады 2026 года. Официальные проверяющие поставили модели по 7 баллов за каждое доказательство. Такой же результат показали лишь 7 из 666 участников.
Результат особенно важен из-за формата IMO. Здесь оценивают полный ход доказательства: пропущенный случай, логический разрыв или неуказанное условие снижают балл, даже если итоговый ответ верный.
Модель работала с исходными условиями задач, использовала агентный цикл с рассуждениями на естественном языке и выполнением Python-кода. Затем она проверяла собственные доказательства, находила слабые места и переписывала решения. Во время тестирования вмешательство людей было запрещено.
Для сравнения: в 2025 году модели Google DeepMind и OpenAI получили по 35 баллов из 42, что соответствовало уровню золотой медали.
dots-note-3.0 пока находится в бете и является самой лёгкой моделью семейства dots3. В него также входят более крупные jazz и aria. RedNote обещает открыть модель, но дату пока не называет.
scmp.com/tech/article/3361482/worlds-first-ai-model-earn-perfect-score-maths-olympiad-comes-chinas-rednote
👍10❤7🔥5
МТС True Tech и ВТБ 2 августа приглашают на масштабное событие этого лета для специалистов по Data Science «Урбан ML».
В трех залах пройдут 17 выступлений и мастер-классов по RecSys, антифроду, NLP, LLM и агентным системам. Выступят Data Science-лидеры и эксперты из компаний: MTC Web Services (MWS), ВТБ, RWB, Sber AI Lab, X5, Звук, Альфа Банк и других компаний.
Мероприятие пройдет в московском лофте с атмосферным двором. Участников ждут нетворкинг-активности, баскетбол, ИИ-шахматы и настольный теннис. А вечером — афтепати с диджей-миксами под открытым небом.
Когда: 2 августа 11:00 — 22:00
Где: Москва, офлайн
Участие бесплатное по предварительной регистрации.
Количество мест ограничено.
erid: 2W5zFFwJDaH
В трех залах пройдут 17 выступлений и мастер-классов по RecSys, антифроду, NLP, LLM и агентным системам. Выступят Data Science-лидеры и эксперты из компаний: MTC Web Services (MWS), ВТБ, RWB, Sber AI Lab, X5, Звук, Альфа Банк и других компаний.
Мероприятие пройдет в московском лофте с атмосферным двором. Участников ждут нетворкинг-активности, баскетбол, ИИ-шахматы и настольный теннис. А вечером — афтепати с диджей-миксами под открытым небом.
Когда: 2 августа 11:00 — 22:00
Где: Москва, офлайн
Участие бесплатное по предварительной регистрации.
Количество мест ограничено.
erid: 2W5zFFwJDaH
👍5🔥4❤2
OpenAI собрала библиотеку реальных сценариев работы с ChatGPT и Codex
На сайте Work, in progress публикуют практические кейсы, эксперименты и промпты от разработчиков и обычных пользователей.
Среди примеров:
* создание сайтов, API и интерактивных инструментов;
* работа с несколькими ИИ-агентами;
* анализ документов и исследования;
* ревью и исправление кода;
* монтаж видео через Codex;
* автоматизация повседневных задач.
Материалы можно фильтровать по продукту, типу задачи, автору и языку. Полезная база идей для тех, кто ищет реальные способы встроить ChatGPT и Codex в работу.
https://work-in-progress.openai.chatgpt.site/
На сайте Work, in progress публикуют практические кейсы, эксперименты и промпты от разработчиков и обычных пользователей.
Среди примеров:
* создание сайтов, API и интерактивных инструментов;
* работа с несколькими ИИ-агентами;
* анализ документов и исследования;
* ревью и исправление кода;
* монтаж видео через Codex;
* автоматизация повседневных задач.
Материалы можно фильтровать по продукту, типу задачи, автору и языку. Полезная база идей для тех, кто ищет реальные способы встроить ChatGPT и Codex в работу.
https://work-in-progress.openai.chatgpt.site/
❤8🔥8👍5
Если хочешь развиваться в машинном обучении — решать реальные бизнес-задачи или уйти в исследования — в Центральном университете есть магистратура под оба сценария. И на нее можно получить грант до 75%. Места ограничены, дедлайн подачи заявок — 20 августа.
«Машинное обучение» — это направление с несколькими форматами и треками. В офлайн-формате (пары по вечерам и в выходные в центре Москвы) можно выбрать один из трех треков:
⚫️ Индустриальный — сильная база в ML, современные инструменты, реальные задачи от партнеров
⚫️ Научный (AIRI × ЦУ) — сложные модели, исследования, подготовка к аспирантуре и работе в передовых лабораториях
⚫️ ML в электронной коммерции × Lamoda — работа с реальными данными Lamoda, применение ML для бизнес-задач и возможность попасть на стажировку в компанию
Для тех, кто хочет учиться из любой точки мира, есть онлайн-формат: основной трек и продвинутый — для специалистов с опытом в ML. Это полноценная альтернатива офлайну с теми же преподавателями и курсами.
Магистратура в Центральном университете — это 2 года обучения, которое можно совмещать с работой, и диплом государственного образца. Карьерная поддержка начинается еще во время учебы: консультации, тренировочные собеседования и помощь с трудоустройством. Студенты уже в процессе обучения выходят на новые позиции или повышаются в грейде в Яндексе, Авито, Т-Банке и других компаниях.
Поступление проходит через грантовый конкурс — это одновременно способ попасть на программу и возможность выиграть финансовую поддержку на все время обучения: грант покрывает до 75% стоимости.
В 2026 году доступно 550 грантов на все программы магистратуры. Подробнее о программах и условиях участия в конкурсе — по ссылкам
➡️ Офлайн программа
➡️ Онлайн программа
«Машинное обучение» — это направление с несколькими форматами и треками. В офлайн-формате (пары по вечерам и в выходные в центре Москвы) можно выбрать один из трех треков:
Для тех, кто хочет учиться из любой точки мира, есть онлайн-формат: основной трек и продвинутый — для специалистов с опытом в ML. Это полноценная альтернатива офлайну с теми же преподавателями и курсами.
Магистратура в Центральном университете — это 2 года обучения, которое можно совмещать с работой, и диплом государственного образца. Карьерная поддержка начинается еще во время учебы: консультации, тренировочные собеседования и помощь с трудоустройством. Студенты уже в процессе обучения выходят на новые позиции или повышаются в грейде в Яндексе, Авито, Т-Банке и других компаниях.
Поступление проходит через грантовый конкурс — это одновременно способ попасть на программу и возможность выиграть финансовую поддержку на все время обучения: грант покрывает до 75% стоимости.
В 2026 году доступно 550 грантов на все программы магистратуры. Подробнее о программах и условиях участия в конкурсе — по ссылкам
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3
Sakana AI обновила Fugu-Ultra: до +7,9 пункта на бенчмарках
Вышла Fugu-Ultra v1.1. Sakana AI обновила пул frontier-моделей, которыми управляет её мультиагентный оркестратор.
По данным компании, новая версия стала сильнее на всех опубликованных тестах, а прирост относительно v1.0 достигает 7,9 пункта. Особенно заметные улучшения заявлены на ProgramBench и Terminal Bench 2.1, то есть в задачах на кодинг и длительную работу агента.
Fugu интересна тем, что за одним API скрывается сразу несколько моделей. Система сама выбирает экспертов, распределяет между ними роли и объединяет результаты в один ответ. Архитектура основана на исследованиях TRINITY и Conductor.
Цена при этом осталась прежней: $5 за 1 млн входных токенов и $30 за 1 млн выходных для стандартного контекста.
https://sakana.ai/fugu
Вышла Fugu-Ultra v1.1. Sakana AI обновила пул frontier-моделей, которыми управляет её мультиагентный оркестратор.
По данным компании, новая версия стала сильнее на всех опубликованных тестах, а прирост относительно v1.0 достигает 7,9 пункта. Особенно заметные улучшения заявлены на ProgramBench и Terminal Bench 2.1, то есть в задачах на кодинг и длительную работу агента.
Fugu интересна тем, что за одним API скрывается сразу несколько моделей. Система сама выбирает экспертов, распределяет между ними роли и объединяет результаты в один ответ. Архитектура основана на исследованиях TRINITY и Conductor.
Цена при этом осталась прежней: $5 за 1 млн входных токенов и $30 за 1 млн выходных для стандартного контекста.
https://sakana.ai/fugu
❤7🔥6🥰4
Курт Гёдель нашёл «дыру» в Конституции США, которая, по его мнению, позволяла легально превратить страну в диктатуру.
В 1947 году, готовясь к экзамену на американское гражданство, один из величайших логиков XX века внимательно изучил Конституцию и заявил, что обнаружил в ней внутреннее противоречие.
По воспоминаниям, на собеседовании Гёдель даже попытался объяснить судье, как именно демократическая система теоретически может сама себя отменить через законные процедуры.
Его друзья Альберт Эйнштейн и Оскар Моргенштерн, присутствовавшие рядом, быстро свернули дискуссию.
История получила название Gödel’s Loophole.
В 1947 году, готовясь к экзамену на американское гражданство, один из величайших логиков XX века внимательно изучил Конституцию и заявил, что обнаружил в ней внутреннее противоречие.
По воспоминаниям, на собеседовании Гёдель даже попытался объяснить судье, как именно демократическая система теоретически может сама себя отменить через законные процедуры.
Его друзья Альберт Эйнштейн и Оскар Моргенштерн, присутствовавшие рядом, быстро свернули дискуссию.
История получила название Gödel’s Loophole.
❤23👍14😁11🔥5🤔3
🧠 Face ID — это далеко не самая сложная задача в биометрии.
Настоящие проблемы начинаются, когда систему нужно заставить работать не на красивом датасете, а в реальном мире.
Например:
• как отличить человека от фотографии или дипфейка
• что делать, если лицо закрыто маской или очками
• как запускать модели на слабом железе без потери качества
• почему высокий accuracy почти ничего не говорит о надежности системы
• какие метрики действительно важны (FAR, FRR, EER)
Именно эти задачи ежедневно решают инженеры, которые разрабатывают биометрические системы для миллионов устройств.
28 июля в 19:00 пройдет открытый вебинар, где Иван Соломатин — к.т.н., ведущий инженер Samsung Electronics, преподаватель МФТИ и Harbour.Space, автор курсов онлайн-магистратуры MSAI (girafe.ai × МФТИ) разберет, как сегодня строятся современные системы биометрического распознавания.
Обсудим:
• как устроены современные биометрические пайплайны
• какие существуют виды биометрических признаков
• как защищают системы от спуфинга
• почему хорошие модели иногда плохо работают в продакшене
📅 28 июля, 19:00 (МСК)
Формат: онлайн, на платформе Zoom
Участие бесплатное, необходима предварительная регистрация
Если захотите глубже разобраться в Computer Vision, ML Engineering и других направлениях современного AI, посмотреть программу онлайн-магистратуры MSAI можно на сайте
girafe.ai/msai-program
Реклама: Физ лицо
Гончаренко В. В.
ИНН 272403059890
Erid: 2VtzqvTq1Rt
Настоящие проблемы начинаются, когда систему нужно заставить работать не на красивом датасете, а в реальном мире.
Например:
• как отличить человека от фотографии или дипфейка
• что делать, если лицо закрыто маской или очками
• как запускать модели на слабом железе без потери качества
• почему высокий accuracy почти ничего не говорит о надежности системы
• какие метрики действительно важны (FAR, FRR, EER)
Именно эти задачи ежедневно решают инженеры, которые разрабатывают биометрические системы для миллионов устройств.
28 июля в 19:00 пройдет открытый вебинар, где Иван Соломатин — к.т.н., ведущий инженер Samsung Electronics, преподаватель МФТИ и Harbour.Space, автор курсов онлайн-магистратуры MSAI (girafe.ai × МФТИ) разберет, как сегодня строятся современные системы биометрического распознавания.
Обсудим:
• как устроены современные биометрические пайплайны
• какие существуют виды биометрических признаков
• как защищают системы от спуфинга
• почему хорошие модели иногда плохо работают в продакшене
📅 28 июля, 19:00 (МСК)
Формат: онлайн, на платформе Zoom
Участие бесплатное, необходима предварительная регистрация
Если захотите глубже разобраться в Computer Vision, ML Engineering и других направлениях современного AI, посмотреть программу онлайн-магистратуры MSAI можно на сайте
girafe.ai/msai-program
Реклама: Физ лицо
Гончаренко В. В.
ИНН 272403059890
Erid: 2VtzqvTq1Rt
👍5🔥3❤2🌭2⚡1🤝1
🔥 Бесплатный курс по нейросетям от Андрея Карпати: от backprop до GPT
Neural Networks: Zero to Hero — бесплатный курс с видео и Jupyter-ноутбуками, где нейросети изучаются через реализацию руками.
Что внутри:
• backprop с нуля через micrograd
• bigram и MLP-модели на PyTorch
• разбор активаций, градиентов и BatchNorm
• ручной backprop без
• переход к WaveNet-подобной архитектуре
• сборка GPT по шагам
• основы BPE-токенизации
Хороший вариант, чтобы понять, как нейросети работают изнутри, а не запоминать формулы.
Проект open-source, лицензия MIT.
🔗 https://github.com/karpathy/nn-zero-to-hero
Neural Networks: Zero to Hero — бесплатный курс с видео и Jupyter-ноутбуками, где нейросети изучаются через реализацию руками.
Что внутри:
• backprop с нуля через micrograd
• bigram и MLP-модели на PyTorch
• разбор активаций, градиентов и BatchNorm
• ручной backprop без
loss.backward()• переход к WaveNet-подобной архитектуре
• сборка GPT по шагам
• основы BPE-токенизации
Хороший вариант, чтобы понять, как нейросети работают изнутри, а не запоминать формулы.
Проект open-source, лицензия MIT.
🔗 https://github.com/karpathy/nn-zero-to-hero
❤12🔥6👍5
Собрать AI-агента по туториалу можно за вечер. Но когда добавляешь память, RAG или несколько инструментов, возникают другие вопросы: почему он свернул не туда, как найти место ошибки и как понять, не сделала ли новая правка систему хуже.
Чтобы развивать такой продукт дальше, нужно понимать, как устроены вызовы модели и инструментов, где хранится контекст, как проверять качество и как вносить изменения.
На курсе «AI-агенты» сначала пишем основные части на API: работу с LLM, structured output, tool-calling, память, RAG и evals. Затем используем LangChain и LangGraph там, где они действительно упрощают разработку, добавляем MCP, мониторинг и деплой.
Курс идёт 12 недель: живые занятия, практика, разборы решений и ревью кода. На выходе - пять агентных проектов и база, с которой можно собирать свои системы.
→ Посмотреть программу, формат и стоимость курса по ссылке
Реклама ООО "ШВМ",
ИНН: 5638076560 Erid: 2VtzqvrACMx
Чтобы развивать такой продукт дальше, нужно понимать, как устроены вызовы модели и инструментов, где хранится контекст, как проверять качество и как вносить изменения.
На курсе «AI-агенты» сначала пишем основные части на API: работу с LLM, structured output, tool-calling, память, RAG и evals. Затем используем LangChain и LangGraph там, где они действительно упрощают разработку, добавляем MCP, мониторинг и деплой.
Курс идёт 12 недель: живые занятия, практика, разборы решений и ревью кода. На выходе - пять агентных проектов и база, с которой можно собирать свои системы.
→ Посмотреть программу, формат и стоимость курса по ссылке
Реклама ООО "ШВМ",
ИНН: 5638076560 Erid: 2VtzqvrACMx
❤4😁4🔥1🥰1
Constella — open-source desktop-приложение, которое индексирует локальные файлы и превращает их в единую базу знаний для поиска и AI-агентов.
Данные хранятся на устройстве: LanceDB используется для векторов, SQLite — для метаданных и knowledge graph.
Что умеет:
- индексировать Obsidian, Documents, Downloads и любые выбранные папки;
- извлекать текст из PDF, DOCX, Markdown и изображений;
- строить семантический поиск по локальным данным;
- автоматически связывать заметки, темы и концепты;
- работать с локальными и облачными LLM;
- отдавать базу знаний через MCP в Claude Code;
- использовать агентов и переиспользуемые workflows.
Схема примерно такая:
Файлы
↓
chunks + embeddings
↓
LanceDB + SQLite
↓
Knowledge Graph
↓
поиск / агенты / MCP
https://github.com/Constella-OS/constella-desktop
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9👍6🥰2
XYZ-Aquila-mini: компактная reasoning-модель для глубокого веб-поиска
XYZ AI Lab выпустила XYZ-Aquila-mini под Apache 2.0.
По заявленным результатам модель лидирует среди open-weight моделей до 40B сразу на нескольких поисковых бенчмарках:
* GAIA - 97.1
* DeepSearchQA - 89.5
* BrowseComp - 78.8
Модель заточена под длинные цепочки планирования, поиск по англоязычному и китайскому вебу, проверку источников и восстановление после ошибок при работе с инструментами. Контекст до 256K токенов.
Отдельно интересен их подход AI4AI: люди задают цели, ограничения и критерии качества, а ИИ-агенты сами разбирают ошибки и предлагают контролируемые изменения для post-training.
Модель: https://modelscope.ai/models/XYZAILab/XYZ-Aquila-mini
XYZ AI Lab выпустила XYZ-Aquila-mini под Apache 2.0.
По заявленным результатам модель лидирует среди open-weight моделей до 40B сразу на нескольких поисковых бенчмарках:
* GAIA - 97.1
* DeepSearchQA - 89.5
* BrowseComp - 78.8
Модель заточена под длинные цепочки планирования, поиск по англоязычному и китайскому вебу, проверку источников и восстановление после ошибок при работе с инструментами. Контекст до 256K токенов.
Отдельно интересен их подход AI4AI: люди задают цели, ограничения и критерии качества, а ИИ-агенты сами разбирают ошибки и предлагают контролируемые изменения для post-training.
Модель: https://modelscope.ai/models/XYZAILab/XYZ-Aquila-mini
👍4❤2🌭2
Команда GigaChat зовёт на вечеринку для AI-разработчиков и исследователей 🎉
29 июля, Сбер.Среда, пространство «Оригинал» (м. «Курская», ул. Земляной Вал, 9А)
Без докладов, презентаций и официальных дискуссий – только общение с коллегами по индустрии, обсуждение рабочих задач и болей, новые знакомства и летний вечер на веранде.
Регистрация и подробности
Надеемся на хорошую погоду 🥳
До встречи!
29 июля, Сбер.Среда, пространство «Оригинал» (м. «Курская», ул. Земляной Вал, 9А)
Без докладов, презентаций и официальных дискуссий – только общение с коллегами по индустрии, обсуждение рабочих задач и болей, новые знакомства и летний вечер на веранде.
Регистрация и подробности
Надеемся на хорошую погоду 🥳
До встречи!
👍4❤1🥰1💅1
Nvidia может поставить на OpenAI ещё $250 млрд, но теперь своим балансом
По данным WSJ, Nvidia обсуждает гарантии примерно на $250 млрд для гигантского AI-дата-центра OpenAI в Огайо. Это не перевод $250 млрд OpenAI: Nvidia фактически станет страховкой для кредиторов на случай дефолта по аренде и строительному долгу.
Схема выглядит так:
SB Energy строит → OpenAI арендует → Nvidia гарантирует часть риска.
Масштаб безумный: кампус рассчитан на 10 ГВт вычислительных мощностей и ещё 10 ГВт новой генерации. Из них 9,2 ГВт планируют получить от газовых электростанций с $33,3 млрд японского финансирования. Ещё $4,2 млрд пойдут на электросети.
При этом Nvidia отдельно обсуждает финансирование до $350 млрд закупок чипов OpenAI.
Получается интересный цикл: Nvidia финансирует инфраструктуру клиента, помогает ему покупать собственные GPU и одновременно получает будущую выручку от этих закупок.
Успеет ли OpenAI превратить эти гигантские мощности в деньги раньше, чем гарантии Nvidia превратятся в проблему для самой Nvidia?
https://www.wsj.com/tech/ai/nvidia-in-talks-with-openai-to-guarantee-250-billion-financing-for-data-center-3dd6eae3
По данным WSJ, Nvidia обсуждает гарантии примерно на $250 млрд для гигантского AI-дата-центра OpenAI в Огайо. Это не перевод $250 млрд OpenAI: Nvidia фактически станет страховкой для кредиторов на случай дефолта по аренде и строительному долгу.
Схема выглядит так:
SB Energy строит → OpenAI арендует → Nvidia гарантирует часть риска.
Масштаб безумный: кампус рассчитан на 10 ГВт вычислительных мощностей и ещё 10 ГВт новой генерации. Из них 9,2 ГВт планируют получить от газовых электростанций с $33,3 млрд японского финансирования. Ещё $4,2 млрд пойдут на электросети.
При этом Nvidia отдельно обсуждает финансирование до $350 млрд закупок чипов OpenAI.
Получается интересный цикл: Nvidia финансирует инфраструктуру клиента, помогает ему покупать собственные GPU и одновременно получает будущую выручку от этих закупок.
Успеет ли OpenAI превратить эти гигантские мощности в деньги раньше, чем гарантии Nvidia превратятся в проблему для самой Nvidia?
https://www.wsj.com/tech/ai/nvidia-in-talks-with-openai-to-guarantee-250-billion-financing-for-data-center-3dd6eae3
❤7🔥3🥰3😁1🙏1
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
🚨 Moonshot AI выложила Kimi K3 на Hugging Face — 2,8 ТРИЛЛИОНА параметров в открытых весах.
Это первая open-weight модель класса ~3T. При этом благодаря MoE на каждом токене активируется 104 млрд параметров: 16 экспертов из 896. (Hugging Face)
Что внутри:
— контекст 1 048 576 токенов
— нативная работа с текстом и изображениями
— новая Kimi Delta Attention (KDA)
— Attention Residuals
— 93 слоя: 69 KDA + 24 Gated MLA
— MXFP4-веса + MXFP8-активации
— заявлено примерно 2,5× более эффективное масштабирование, чем у Kimi K2. (Hugging Face)
K3 заточена под долгие агентные задачи: работу с огромными репозиториями, терминалом, исследования, оптимизацию GPU-ядер, компиляторы и другие многошаговые инженерные сценарии. (Hugging Face)
Moonshot действительно опубликовала полные веса модели, а не ограничилась API. (Hugging Face)
https://huggingface.co/moonshotai/Kimi-K3
Это первая open-weight модель класса ~3T. При этом благодаря MoE на каждом токене активируется 104 млрд параметров: 16 экспертов из 896. (Hugging Face)
Что внутри:
— контекст 1 048 576 токенов
— нативная работа с текстом и изображениями
— новая Kimi Delta Attention (KDA)
— Attention Residuals
— 93 слоя: 69 KDA + 24 Gated MLA
— MXFP4-веса + MXFP8-активации
— заявлено примерно 2,5× более эффективное масштабирование, чем у Kimi K2. (Hugging Face)
K3 заточена под долгие агентные задачи: работу с огромными репозиториями, терминалом, исследования, оптимизацию GPU-ядер, компиляторы и другие многошаговые инженерные сценарии. (Hugging Face)
Moonshot действительно опубликовала полные веса модели, а не ограничилась API. (Hugging Face)
https://huggingface.co/moonshotai/Kimi-K3
🔥6❤4👍2🍾2
⚡️ Moonshot AI открыла FlashKDA - быстрые CUDA-ядра для Kimi Delta Attention
FlashKDA — реализация KDA на базе CUTLASS, заточенная под современные GPU NVIDIA.
По бенчмаркам разработчиков:
• H20: ускорение примерно до 2,31× относительно
• GB200: до 3,27× на variable-length sequences
• поддерживается batching последовательностей разной длины
• интеграция уже есть в flash-linear-attention ≥ 0.5.0 — FlashKDA может автоматически выбираться как backend
Требования пока серьёзные: SM90+, CUDA 12.9+ и PyTorch 2.4+.
Интересно здесь другое: вместе с моделями Moonshot постепенно открывает и низкоуровневый стек, необходимый для быстрого запуска их архитектур.
🔗 https://github.com/MoonshotAI/FlashKDA
FlashKDA — реализация KDA на базе CUTLASS, заточенная под современные GPU NVIDIA.
По бенчмаркам разработчиков:
• H20: ускорение примерно до 2,31× относительно
chunk_kda• GB200: до 3,27× на variable-length sequences
• поддерживается batching последовательностей разной длины
• интеграция уже есть в flash-linear-attention ≥ 0.5.0 — FlashKDA может автоматически выбираться как backend
Требования пока серьёзные: SM90+, CUDA 12.9+ и PyTorch 2.4+.
Интересно здесь другое: вместе с моделями Moonshot постепенно открывает и низкоуровневый стек, необходимый для быстрого запуска их архитектур.
🔗 https://github.com/MoonshotAI/FlashKDA
👍7🔥5❤1