کل ایده اینه که به جای اینکه فقط پارامترها رو بیشتر کنیم، بیایم معماری رو هوشمندتر طراحی کنیم. مدل در کل ۱۲۵ میلیارد پارامتر داره، ولی در هر توکن فقط ۶ میلیارد پارامتر فعاله، بقیه پارامتر های مدل یا توی MoE (Mixture of Experts) قراردارند که فقط یه بخش کوچیکشون برای هر توکن فعال میشه، یا توی ی بخش جدیدی به نام N-gram Embedding هست که توضیح میدیم.

معماری ۴ تا نوآوری اصلی داره:

۱) Qwen Sparse Attention (QSA):
به جای اینکه attention رو روی توکن های ی دونه ای حساب کنه، روی «micro-block» ها کار میکنه. یعنی وقتی context خیلی بلنده (مثلا یه میلیون توکن!)، به جای اینکه کل متن رو نگاه کنه، به صورت بلوک بلوک پردازش میکنه و latency رو به شدت میاره پایین.

۲) Gated Residual:
توی معماری استاندارد، residual stream ها همه اطلاعات رو یه جور ثابت رد میکنن. اینجا یه دریچه (gate) داریم که بر اساس داده ها تصمیم میگیره چقدر از اطلاعات هر branch رد بشه. نتیجه: مدل عمیق تر میشه بدون اینکه training ناپایدار بشه.

۳) N-gram Embedding:
این قسمت ۵۱ میلیارد پارامتر هست که جدید دیده میشه. ببینید، معمولا embedding ها فقط روی یه توکن منفرد کار میکنن.
اما N-gram Embedding روی جفت ها و سه تایی های توکن ها (bigram/trigram) یه embedding جداگانه میسازه. مدل ۲۰ میلیون N-gram مختلف ذخیره کرده که فقط در لایه ۲ فعال میشن. حالا چرا ۵۱ میلیارد پارامتر؟ چون هر N-gram یه بردار با dimension بزرگ داره و ۲۰ میلیون از اینا کنار هم خیلی حجیم میشه. مزیتش اینه که این پارامترها در حین inference محاسبه نمیشن، بلکه lookup هستن. یعنی فشار محاسباتی پایینه ولی مدل اطلاعات بیشتری از الگو های زبانی داره. فکر کنید یه دیکشنری بزرگ ذخیره کردید که هر عبارت رایج توش معنیش رو داره.

۴) بهینه سازی training:
از دو optimizer مختلف (Muon و AdamW) برای دسته های مختلف وزن ها استفاده میکنه. بدون warmup شروع میکنه و مستقیم با batch size نهایی train میشه.

نتیجه در benchmark ها هم قانع کننده هست. روی SWE-bench Pro امتیاز ۶۲.۵ گرفته که از Claude Opus 4.6 (53.4) و DeepSeek (56.0) بالاتره، در حالی که فقط ۶ میلیارد پارامتر فعال داره!

لینک unsloth و همه توضیحات:
https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF

@ai_src

تقریبا ی ده روزی هست که تقریبا میشه گفت خبر خیلی جدید و دهن پرکنی از مدل ها و چیزای جدید نیست، یا اگر هم هست، رسمی نیست
مثلا چند روز پیش شایعه شده بود که مدل آسترای OpenAI خیلی پیشرفته هست و یا حتی ی خبری غیر رسمی اومده که مدل های داخلی و پیشرفته OpenAI میتونن به صورت عصبی فکرکنند، که یعنی مدل داخلی فکر می‌کنه و سرعتش بیشتر میشه ولی ممکنه نتونید بفهمید به چی داره فکر می‌کنه

و خبری که شاید بنظر تا مربوط بیاد، اینه که Nvidia برای سری کارت های گرافیکی 50، DLSS 5 رو ارائه کرده که باعث میشه رندر بازی ها به صورت خیره کننده ای واقع گرایانه تر باشه!
حالا این چه ربطی به دنیای هوش مصنوعی داره؟!
ربطش اینه که از تقریبا ۱۵۰.۸ مگ DLSS، فقط ۰.۷ مگ مال فایل اجرایی CPU هست، ۰.۲ فقط محتوای قابل خواندن و غیر قابل ویرایش و اجرا، حدود ۱۶.۴ مگ هم برای کرنل و هسته های GPU هست،

شاید بگید خب پس ۱۴۰ مگ بقیه چی هست؟!
جواب اینه که اون ۱۴۰ مگ مدل هوش مصنوعی ای هست که DLSS روی اون آموزش دیده تا بتونه خروجی و رندرینگ رو بهینه تر کنه!
یعنی در واقع داریم از اولین استفاده از هوش مصنوعی و مدل ها در هسته دنیای بازی ها و رندرینگشون رو میبینیم!

از اون طرف در دنیای مدل های لوکال هم چند خبر جالب بود، یکیش اینکه افراد کامیونیتی اومدند Qwen 3.8 Flash Next رو روی گوشی اندرویدی با ۱۲ گیگ رم اجرا کردند، با حدود 2 توکن در ثانیه. سریع نیست، ولی خیلی پیشرفت خوبی هست و نکته اش اینه که اجرا میشه! یعنی با بهینه سازی های مختلف میشه یک مدل رو با تعداد پارامتر زیاد روی گوشی اجرا کرد!
و از اون جالب تر اینه که یه نفر با Qwen 3.8-27b و استفاده از RTX 4090، یه کپی از Minecraft رو vibe-code تولید کرده، کدنویسی، بافت های بازی، صدا سازی و همه رو خود مدل قرار داده... هزینه برق کل پروژه هم گفته کمتر از یه دلار در اومده...

و خیلی وقت پیش هم گفته شد که شرکت Nvidia داره HuggingFace رو مال خودش میکنه و این یعنی تیم llama.cpp که از فوریه ۲۰۲۶ توسط هاگینگ فیس استخدام شده بودن، از جمله Georgi Gerganov که سازنده اصلی هست، عملاً وارد Nvidia میشن. نگرانی اینه که Nvidia سابقه خوبی در open-source نداره و ممکنه لایسنس llama.cpp تغییر کنه یا تیم ریدایرکت بشه. البته هنوز قطعی نیست ولی ریسکشو باید جدی بگیریم.

اگه تصویری چیزی مونده بود در ادامه با توضیحات بیشتر قرار میدیم

@ai_src

نسخه 36B-A4B هم چون فقط 4B پارامتر فعال داره، مصرف واقعیش به اندازه یه مدل 4 یا 5 میلیاردی هست و روی یه GPU با 8 گیگ گرافیک(حتی با ۴ گیگ گرافیک)، با کوآنت مناسب و با آفلود به رم قابل اجراست.

یه نکته هم ارزش گفتن داره: IFM یه چیزی به اسم *Uno Diffusion* هم منتشر کرده که یه LoRA adapter هست و بدون هیچ کاهش کیفیتی سرعت inference رو بالا میبره.

گفته شده با اتصال این adapter به مدل، سرعت تولید توکن بیشتر میشه بدون اینکه جوابا ضعیف تر بشن؛ مثل اینکه این مدل هنوز در llama.cpp به صورت رسمی پشتیبانی نمیشه!

وبلاگشون هم از این قراره:
https://ifm.ai/blog/k2
صفحه مدل ها هم این هست:
https://huggingface.co/collections/IFM/k2-horizon

@ai_src

به بنچمارک هاش هم یک دقت بکنید:
GPQA Diamond
رو 90.9 گرفته که Opus5 تقریبا 93 شده

روی MathAreana دقیقا با Kimi K3 یکی شده

روی DeepSWE هم ۷۴.۲ گرفته که Opus5 ۷۴ بوده

روی HLE هم ۶۳.۹ گرفته که از Opus5 با ۶۳.۶ بیشتره

در کل میشه گفت هم روی reasoning قوی تر شده، هم روی کدنویسی، هم روی کار های multimodal(که بنچمارک هاش آخری ها هستند و می‌بینید واسه دو نسخه قبلی از v4 flash تعریف نشدن چون مدل قابلیت دیدن نداشت)

از نظر API و قیمت هم تغییراتی انجام دادند!
چون دیپ سیک اومده بود قیمت مدل ها رو چندین برابر کرد و استفاده رایگان ازشون از بین رفت(چون دیگه نمیصرفید)
و الان هم مدل های نسل قبل یعنی V4 Flash و V4 Flash Vision Exp بازنشسته شدن، ولی اسم هاشون توی لیست API میمونه و فعلا به V4.1 Flash هدایت میشن تا ساختارشون حفظ بشه. برای استفاده از مدل جدید هم اسم مدل رو بذارید deepseek-flash.


اما مهمترین خبر اینه که V4 Pro هم داره بازنشسته میشه!چرا؟! آزمایش ها نشون داده V4.1 Flash از همه نظر، performance، قیمت، سرعت و زمان کل از Pro بهتره! و دیپ سیک گفت استفاده از این مدل دیگه عقلانی نیست پس بهتره بازنشسته بشه!

از ۱۴ سپتامبر ۲۰۲۶ به بعد همه درخواست های deepseek-v4-pro خودکار به V4.1 Flash هدایت میشن و با قیمت پایین تر Flash حساب میشن. قیمت های API هم کاهش پیدا کرده که جزئیاتش توی صفحه Models & Pricing هستش.

مدل هم توی هاگینگ فیس منتشر شده:
https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash

این بازی بالا هم با همین مدل one shot تولید شده

@ai_src

خب یک مدل جدید واسه تولید موسیقی اومده:
https://github.com/Comfy-Org/ComfyUI/pull/16250
https://huggingface.co/m-a-p/YuE2-3B
اسمش YuE2 هست و ۳ میلیارد پارامتر داره
درحال ادغام با ComfyUI هست و قبل از اون در audio.cpp پشتیبانی میشه:
https://huggingface.co/audio-cpp/Yue2-3B-GGUF
https://github.com/0xShug0/audio.cpp/tree/dev

چیزی که این مدل رو از بقیه جدا میکنه اینه که فقط text-to-music نیست، میتونید باهاش کاور آهنگ های موجود بسازید، و یه قابلیت جالب تر هم داره: agentic editing، یعنی یه ایده موزیکال میدید (مثلاً "هارمونی رو عوض کن، ساکسیفون اضافه کن") و مدل خودش اسکور رو ویرایش میکنه و نسخه جدید رو رندر میکنه، چند بار پشت سر هم.

از نظر بنچمارک، روی WildSongBench بهترین امتیاز بین مدل های open-source رو گرفته (6.9632 در حالت best-of-8)، حتی یکم از Suno v5 که مدل proprietary هست هم بالاتره (6.8721). معماریش ترکیبی از AR/NAR با یه Mixture-of-Transformers هست که اول اسکور نمادین (ABC) میسازه بعد از اون آهنگ رندر میکنه، و خروجی استریو 48kHz میده.

@ai_src

از نظر سرعت هم روی RTX 4090 یه آهنگ ۳ دقیقه ای رو حدود ۷۰ ثانیه میسازه و VRAM مصرفی حدود ۱۱ گیگ هست.

طبق تست هایی که انجام دادیم، در زبان فارسی خیلی خیلی بهتر از acestep-xl و minimax-music عمل میکنه ولی همچنان کمی ایراد خواهد داشت؛ نکته ای که هست اینه که ایرادی که acestep داشت رو نداره یا حداقل میشه گفت خیلی کم شده: صدای ناواضح

مدل acestep مشکلی که داشت این بود که موسیقی تولید شده صداش زیاد واضح نبود، ولی طبق تست هایی که انجام دادیم، صدا خیلی در این مدل واضح تر هست

@ai_src