🚀 Qwen3-30B-A3B-2507 и Qwen3-235B-A22B-2507 теперь поддерживают контекст до 1 млн токенов!
🔧 Технологии под капотом:
• Dual Chunk Attention (DCA) — метод экстраполяции длины, который делит длинные последовательности на управляемые блоки, сохраняя глобальную связность.
• MInference — разреженное внимание, уменьшающее вычислительные затраты за счёт фокуса на ключевых токенах.
💡 Что это даёт:
- Более высокая точность генерации на длинных контекстах
- До 3× быстрее инференс на последовательностях, близких к 1M токенов
- ✅ Полная совместимость с vLLM и SGLang для эффективного развёртывания
📄 Подробности и включение функции — в карточках моделей:
https://huggingface.co/Qwen/Qwen3-235B-A22B-Instruct-2507
https://huggingface.co/Qwen/Qwen3-235B-A22B-Thinking-2507
https://huggingface.co/Qwen/Qwen3-30B-A3B-Instruct-2507
https://huggingface.co/Qwen/Qwen3-30B-A3B-Thinking-2507
https://modelscope.cn/models/Qwen/Qwen3-235B-A22B-Instruct-2507
https://modelscope.cn/models/Qwen/Qwen3-235B-A22B-Thinking-2507
https://modelscope.cn/models/Qwen/Qwen3-30B-A3B-Instruct-2507
https://modelscope.cn/models/Qwen/Qwen3-30B-A3B-Thinking-2507
#Qwen #LLM #AI #LongContext
🔧 Технологии под капотом:
• Dual Chunk Attention (DCA) — метод экстраполяции длины, который делит длинные последовательности на управляемые блоки, сохраняя глобальную связность.
• MInference — разреженное внимание, уменьшающее вычислительные затраты за счёт фокуса на ключевых токенах.
💡 Что это даёт:
- Более высокая точность генерации на длинных контекстах
- До 3× быстрее инференс на последовательностях, близких к 1M токенов
- ✅ Полная совместимость с vLLM и SGLang для эффективного развёртывания
📄 Подробности и включение функции — в карточках моделей:
https://huggingface.co/Qwen/Qwen3-235B-A22B-Instruct-2507
https://huggingface.co/Qwen/Qwen3-235B-A22B-Thinking-2507
https://huggingface.co/Qwen/Qwen3-30B-A3B-Instruct-2507
https://huggingface.co/Qwen/Qwen3-30B-A3B-Thinking-2507
https://modelscope.cn/models/Qwen/Qwen3-235B-A22B-Instruct-2507
https://modelscope.cn/models/Qwen/Qwen3-235B-A22B-Thinking-2507
https://modelscope.cn/models/Qwen/Qwen3-30B-A3B-Instruct-2507
https://modelscope.cn/models/Qwen/Qwen3-30B-A3B-Thinking-2507
#Qwen #LLM #AI #LongContext
❤13👍6🔥2