یه آپدیت جالب برای اجرای LLMها روی Apple Silicon

یک تیم کوچک به اسم Mirai، قابلیت Speculative Decoding رو به موتور Inference خودش اضافه کرده.

فعلاً از Qwen3.6 27B پشتیبانی می‌کنن و پشتیبانی از Qwen3.8 27B و Muse Glimmer هم در راهه.

نکته جالب اینه که ادعا می‌کنن عملکردشون روی Apple Silicon به شکل قابل‌توجهی از Stackهای موجود بهتره.

دلیلش هم رویکرد Co-design بوده.

یعنی Kernelها، Quantization و Speculative Decoding رو از پایه برای این سیستم طراحی کردن.

اگر این روند ادامه پیدا کنه، اجرای مدل‌های نسبتاً بزرگ روی دستگاه‌های شخصی و حتی موبایل، خیلی جدی‌تر از قبل می‌شه.



#AI
#LLM
#AppleSilicon
#Inference
#Qwen
#OnDeviceAI