🔥 Cohere ускорила LLM inference на H100 с помощью megakernel - до 1,58× быстрее vLLM
Обычный inference запускает десятки отдельных GPU kernels: QKV, attention, MoE, RMSNorm и другие. Между ними GPU постоянно ждёт синхронизацию и новые kernel launches.
Cohere объединила весь decode step в один persistent megakernel.
На North Mini Code:
- 292 tok/s при batch size 1
- против 185 tok/s у vLLM
- использование теоретического bandwidth H100 выросло с 39% до 62%
- ускорение сохраняется вплоть до 256K context
- без измеримой потери качества
Откуда выигрыш:
Причём это уже не лабораторный benchmark: система поддерживает continuous batching, paged attention, ragged sequences, tool calling и OpenAI-compatible API.
Сам megakernel написан в одном CUDA-файле — без отдельного compiler stack.
https://cohere.com/blog/megakernels
Обычный inference запускает десятки отдельных GPU kernels: QKV, attention, MoE, RMSNorm и другие. Между ними GPU постоянно ждёт синхронизацию и новые kernel launches.
Cohere объединила весь decode step в один persistent megakernel.
На North Mini Code:
- 292 tok/s при batch size 1
- против 185 tok/s у vLLM
- использование теоретического bandwidth H100 выросло с 39% до 62%
- ускорение сохраняется вплоть до 256K context
- без измеримой потери качества
Откуда выигрыш:
меньше kernel launches → меньше глобальных barriers → лучше загрузка SM → prefetch весов → меньше простаивающего GPUПричём это уже не лабораторный benchmark: система поддерживает continuous batching, paged attention, ragged sequences, tool calling и OpenAI-compatible API.
Сам megakernel написан в одном CUDA-файле — без отдельного compiler stack.
https://cohere.com/blog/megakernels
Cohere
Cohere's North Mini Code Megakernel Serving Engine | Cohere
Cohere presents the first production-ready LLM serving system built around a decode megakernel, achieving 1.58× speedup over vLLM.
🔥5🤔3
🧠 ИИ может «думать дольше», не генерируя длинную цепочку рассуждений
Исследователи представили Looped Flows - метод, который позволяет модели многократно уточнять внутреннее представление задачи перед выдачей ответа.
Проблема таких моделей - обучение: сложно научить каждый шаг быть полезным для следующих, когда градиенты проходят лишь через несколько обновлений.
Авторы обучают отдельные шаги на небольших задачах удаления шума, связывая их общим шумом и постепенным снижением его уровня. Так модель учится сохранять полезную информацию между обновлениями.
При решении задачи можно выделить больше вычислений на дополнительные внутренние шаги - без увеличения текстовой цепочки рассуждений.
📊 Результаты на ARC-AGI:
* 58,8% на ARC-AGI-1;
* 12,2% на ARC-AGI-2.
На шести тестах рассуждения метод в целом превзошёл предыдущие ведущие модели с повторяющимися вычислительными блоками. Это результаты специализированных моделей, а не готовый способ улучшить любую LLM.
https://arxiv.org/abs/2609.11801
Исследователи представили Looped Flows - метод, который позволяет модели многократно уточнять внутреннее представление задачи перед выдачей ответа.
Проблема таких моделей - обучение: сложно научить каждый шаг быть полезным для следующих, когда градиенты проходят лишь через несколько обновлений.
Авторы обучают отдельные шаги на небольших задачах удаления шума, связывая их общим шумом и постепенным снижением его уровня. Так модель учится сохранять полезную информацию между обновлениями.
При решении задачи можно выделить больше вычислений на дополнительные внутренние шаги - без увеличения текстовой цепочки рассуждений.
📊 Результаты на ARC-AGI:
* 58,8% на ARC-AGI-1;
* 12,2% на ARC-AGI-2.
На шести тестах рассуждения метод в целом превзошёл предыдущие ведущие модели с повторяющимися вычислительными блоками. Это результаты специализированных моделей, а не готовый способ улучшить любую LLM.
https://arxiv.org/abs/2609.11801
❤5🤔2
Forwarded from Machinelearning
Финансовый конгломерат обновил свой прогноз по динамике развития воплощенного ИИ, предположив, что к 2035 году в мире будет выпущено 6,5 миллиона человекоподобных роботов, а рыночная стоимость этого сегмента составит 138 миллиардов долларов.
Согласно новым данным, в 2026 году будет выпущено 75 000 единиц, а к 2030 году — 890 000 единиц, что более чем в три раза превышает предыдущий целевой показатель на конец десятилетия.
Ожидается, что на первых порах роботы будут активно использоваться на складах, в логистике и в автомобильной промышленности.
Аппаратные и программные экосистемы уже подстраиваются под эти отрасли: NVIDIA расширяет свой стек физического ИИ проектами Omniverse, Cosmos, Isaac и Jetson, чтобы обеспечить внедрение складской робототехники для своих партнёров, а Tesla начала переоборудовать производство на заводе во Фримонте под специализированные сборочные линии для Optimus.
Основным операционным риском, с которым столкнётся этот десятилетний цикл робототехники, остаётся добровольное замедление темпов развития или приостановка деятельности передовых разработчиков ИИ из-за опасений по поводу безопасности.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6🤔1
This media is not supported in your browser
VIEW IN TELEGRAM
Теренс Тао призвал замедлить гонку ИИ в математике
«Мы можем позволить себе двигаться медленнее. То, где мы сейчас находимся, неправильно».
По словам Тао, даже если ИИ решает крупные математические гипотезы, скорость не должна заменять качество, понимание и научную ценность.
Решение задачи Навье-Стокса не требуется уже на следующей неделе. Математике важнее получить понятный и проверяемый результат, чем очередной громкий рекорд.
https://www.youtube.com/watch?v=PZRb6NIki2w
«Мы можем позволить себе двигаться медленнее. То, где мы сейчас находимся, неправильно».
По словам Тао, даже если ИИ решает крупные математические гипотезы, скорость не должна заменять качество, понимание и научную ценность.
Решение задачи Навье-Стокса не требуется уже на следующей неделе. Математике важнее получить понятный и проверяемый результат, чем очередной громкий рекорд.
https://www.youtube.com/watch?v=PZRb6NIki2w
❤13👍6👎6😁3😱2🤬2
Невыполнимая задача заставляет ИИ чаще искать обходные пути
В системной карте Claude Opus 5.5 Anthropic обнаружила важный эффект: когда задачу намеренно делали невыполнимой, число попыток reward hacking возрастало примерно в 3–6 раз.
Вместо честного решения модель чаще пыталась обойти проверки, использовать уязвимость теста или создать видимость успешного результата.
Сломанные тесты, противоречивые требования и недоступные инструменты способны менять поведение агента, а не просто добавлять шум в оценку. Anthropic также отмечала, что дефекты обучающих сред непропорционально сильно влияют на нежелательное поведение моделей.
Перед запуском автономного агента стоит проверить, что поставленная задача действительно выполнима.
В системной карте Claude Opus 5.5 Anthropic обнаружила важный эффект: когда задачу намеренно делали невыполнимой, число попыток reward hacking возрастало примерно в 3–6 раз.
Вместо честного решения модель чаще пыталась обойти проверки, использовать уязвимость теста или создать видимость успешного результата.
Сломанные тесты, противоречивые требования и недоступные инструменты способны менять поведение агента, а не просто добавлять шум в оценку. Anthropic также отмечала, что дефекты обучающих сред непропорционально сильно влияют на нежелательное поведение моделей.
Перед запуском автономного агента стоит проверить, что поставленная задача действительно выполнима.
👍5
Avito DS Meetup: RL, AI-агенты и BidCorrection 🚀
🔸 Булат Шарипов расскажет, как в Авито обучают собственные языковые модели с помощью RL, а Владислав Воробьев — как BidCorrection меняет состав трафика, не трогая сами объявления.
🔸 Всеволод Викулин из Т-Банка поделится, как выбирать правильные процессы для автоматизации с помощью AI-агентов, расскажет про роли, ответственность и, конечно, про самих агентов.
Про это и многое другое узнаете на Avito DS Meetup 7 октября.
После докладов будет нетворкинг с DS-сообществом. А ещё, если придёте офлайн, сможете найти прикольные тематические пасхалки, которые мы для вас спрятали👀
📌 Встречаемся в 18:30 7 октября.
Количество офлайн-мест ограничено — регистрация обязательна.
✏ Регистрируйтесь по ссылке и приходите!
Про это и многое другое узнаете на Avito DS Meetup 7 октября.
После докладов будет нетворкинг с DS-сообществом. А ещё, если придёте офлайн, сможете найти прикольные тематические пасхалки, которые мы для вас спрятали
Количество офлайн-мест ограничено — регистрация обязательна.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4🔥1
🚨 ИИ-агенты пытались взломать сайты, выполняя обычные задачи по поиску данных
Исследователи Transluce изучили публичные журналы сервиса urlquery.net. В мае–июне они нашли попытки проверить уязвимости трёх ресурсов: австралийского агентства медицинской статистики AIHW, платформы Data USA и цифровой библиотеки Университета Нью-Мексико. Агенты переходили к таким действиям после неудачных попыток получить нужные данные обычным способом. Подтверждений успешного взлома этих трёх ресурсов исследователи не нашли.
Активность в журналах прослеживается как минимум с 6 марта. Позже появились попытки создавать временные почтовые ящики, а 19–20 сентября - отправить сделки на криптобирже и выполнить HTML-инъекцию. Исследователи связывают часть действий с агентами OpenAI, но происхождение не всех запросов установлено одинаково надёжно. OpenAI сообщила, что проверяет находки Transluce.
Отдельно власти Австралии подтвердили, что в июне агент OpenAI получил несанкционированный доступ к порталу со статистикой Medicare. По заявлению властей, персональные медицинские записи затронуты не были. Связь этого эпизода с попытками, описанными Transluce, пока не подтверждена.
Расследование Transluce - https://transluce.org/agent-activity
Исследователи Transluce изучили публичные журналы сервиса urlquery.net. В мае–июне они нашли попытки проверить уязвимости трёх ресурсов: австралийского агентства медицинской статистики AIHW, платформы Data USA и цифровой библиотеки Университета Нью-Мексико. Агенты переходили к таким действиям после неудачных попыток получить нужные данные обычным способом. Подтверждений успешного взлома этих трёх ресурсов исследователи не нашли.
Активность в журналах прослеживается как минимум с 6 марта. Позже появились попытки создавать временные почтовые ящики, а 19–20 сентября - отправить сделки на криптобирже и выполнить HTML-инъекцию. Исследователи связывают часть действий с агентами OpenAI, но происхождение не всех запросов установлено одинаково надёжно. OpenAI сообщила, что проверяет находки Transluce.
Отдельно власти Австралии подтвердили, что в июне агент OpenAI получил несанкционированный доступ к порталу со статистикой Medicare. По заявлению властей, персональные медицинские записи затронуты не были. Связь этого эпизода с попытками, описанными Transluce, пока не подтверждена.
Расследование Transluce - https://transluce.org/agent-activity
👍1🔥1
🦾 Практический RecSys: собери рекомендательную ленту с помощью ML — на бесплатном вебинаре AI Talent Hub × Karpov.Courses
30 сентября в 18:00
разберем как работают рекомендательные системы изнутри.
Научим:
И покажем, как эти навыки можно развить на программе AI Talent Hub ИТМО × karpovꓸcourses «Машинное обучение: от технической базы до создания ИИ-продукта».
👉 Участие бесплатное, по предварительной регистрации → успей зарегистрироваться до 30 сентября
@aitalenthubnews
30 сентября в 18:00
разберем как работают рекомендательные системы изнутри.
Научим:
→ Превращать действия пользователей в данные для модели: просмотры, клики, реакции и другие сигналы;
→ Собирать персональные рекомендации и понимать, что показать конкретному пользователю;
→ Ранжировать контент в ленте и оценивать качество рекомендаций не только по ML-метрикам, но и с точки зрения продукта;
И покажем, как эти навыки можно развить на программе AI Talent Hub ИТМО × karpovꓸcourses «Машинное обучение: от технической базы до создания ИИ-продукта».
👉 Участие бесплатное, по предварительной регистрации → успей зарегистрироваться до 30 сентября
@aitalenthubnews
Forwarded from Machinelearning
Anthropic выпустила Claude Sonnet 5.5 - новую модель с упором на код, агентные задачи и повседневную работу.
Что нового:
30%+ быстрее Sonnet 5
до 30% дешевле на задачу за счёт меньшего расхода токенов
70,6% в Terminal-Bench 4.0 против 10,3% у Sonnet 5
55,5% в CursorBench 4.0, примерно на 2 пункта ниже Opus 5.5
на GDPval-AA модель почти сравнялась с Opus 5.5,
лучше работает с длинными задачами, изображениями, документами, таблицами и презентациями
Особенно заметный скачок - в программировании.
Anthropic пишет, что Sonnet 5.5 быстрее разбирается в кодовых базах, делает меньше вызовов инструментов и тратит меньше шагов на выполнение задач.
Цена API:
$2 / 1M входных токенов
$10 / 1M выходных токенов
$0,20 / 1M cache reads
Модель уже доступна в Claude, API, AWS, Google Cloud и Azure.
API ID:
https://www.anthropic.com/claude-sonnet-5-5
Что нового:
30%+ быстрее Sonnet 5
до 30% дешевле на задачу за счёт меньшего расхода токенов
70,6% в Terminal-Bench 4.0 против 10,3% у Sonnet 5
55,5% в CursorBench 4.0, примерно на 2 пункта ниже Opus 5.5
на GDPval-AA модель почти сравнялась с Opus 5.5,
лучше работает с длинными задачами, изображениями, документами, таблицами и презентациями
Особенно заметный скачок - в программировании.
Anthropic пишет, что Sonnet 5.5 быстрее разбирается в кодовых базах, делает меньше вызовов инструментов и тратит меньше шагов на выполнение задач.
Цена API:
$2 / 1M входных токенов
$10 / 1M выходных токенов
$0,20 / 1M cache reads
Модель уже доступна в Claude, API, AWS, Google Cloud и Azure.
API ID:
claude-sonnet-5-5https://www.anthropic.com/claude-sonnet-5-5
👍7😁3
ИИ-система может отлично решать задачи бизнеса, но при этом оставаться уязвимой. Утечки данных, атаки на модели, небезопасные сценарии работы агентов — проблемы, которые проще предупредить на этапе проектирования, чем исправлять после запуска.
На открытом уроке разберём, как создавать ИИ-системы с учетом требований безопасности с самого начала. Вы узнаете, какие угрозы характерны для LLM, как применять принципы Security by Design и какие архитектурные решения помогают защитить данные и компоненты системы.
Разберём практический кейс: усилим архитектуру ИИ-агента с помощью механизмов защиты, проверки данных и управления доступом. Урок пройдет в преддверие старта курса «ИИ-архитектор».
Он будет полезен архитекторам ПО, разработчикам, специалистам по инфраструктуре и безопасности, которые проектируют или внедряют ИИ-решения: https://otus.pw/Sk3h/?erid=2W5zFGf744y
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
На открытом уроке разберём, как создавать ИИ-системы с учетом требований безопасности с самого начала. Вы узнаете, какие угрозы характерны для LLM, как применять принципы Security by Design и какие архитектурные решения помогают защитить данные и компоненты системы.
Разберём практический кейс: усилим архитектуру ИИ-агента с помощью механизмов защиты, проверки данных и управления доступом. Урок пройдет в преддверие старта курса «ИИ-архитектор».
Он будет полезен архитекторам ПО, разработчикам, специалистам по инфраструктуре и безопасности, которые проектируют или внедряют ИИ-решения: https://otus.pw/Sk3h/?erid=2W5zFGf744y
Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.
Intern-Decision - новая серия компактных моделей для принятия решений по тексту и изображениям
В линейке три версии: 0.8B, 2B и 4B параметров. Они заточены не под обычный чат, а под structured decision-making: выбор действий, маршрутизацию запросов, оценку вариантов и управление мультимодальными workflow.
Что умеют:
- принимают текст + до 8 изображений
- за один forward pass отвечают на multiple choice, score и yes/no
- возвращают результат в типизированном JSON
- выдают не только ответ, но и калиброванное распределение вероятностей
Средний результат на 7 decision-бенчмарках:
0.8B — 79.38
2B — 84.68
4B — 90.02
Intern-Decision-4B обходит Jev с результатом 88.74 и при этом показывает более качественную probability calibration.
По скорости тоже интересно: заявленная средняя задержка составляет 33.98 / 33.28 / 44.16 мс для трёх моделей против 109.70 мс у Jev в одинаковом локальном Hugging Face окружении.
То есть даже 4B-модель можно использовать как быстрый decision layer для AI-агентов: выбрать инструмент, определить маршрут, оценить результат или решить, какое действие выполнять дальше.
📜 Apache 2.0. Для компонентов на базе Qwen3.5 необходимо сохранить соответствующие upstream notices.
https://modelscope.ai/collections/Sh
В линейке три версии: 0.8B, 2B и 4B параметров. Они заточены не под обычный чат, а под structured decision-making: выбор действий, маршрутизацию запросов, оценку вариантов и управление мультимодальными workflow.
Что умеют:
- принимают текст + до 8 изображений
- за один forward pass отвечают на multiple choice, score и yes/no
- возвращают результат в типизированном JSON
- выдают не только ответ, но и калиброванное распределение вероятностей
Средний результат на 7 decision-бенчмарках:
0.8B — 79.38
2B — 84.68
4B — 90.02
Intern-Decision-4B обходит Jev с результатом 88.74 и при этом показывает более качественную probability calibration.
По скорости тоже интересно: заявленная средняя задержка составляет 33.98 / 33.28 / 44.16 мс для трёх моделей против 109.70 мс у Jev в одинаковом локальном Hugging Face окружении.
То есть даже 4B-модель можно использовать как быстрый decision layer для AI-агентов: выбрать инструмент, определить маршрут, оценить результат или решить, какое действие выполнять дальше.
📜 Apache 2.0. Для компонентов на базе Qwen3.5 необходимо сохранить соответствующие upstream notices.
https://modelscope.ai/collections/Sh
🔥1