چرا FreeToken توانسته مدل‌های سنگین MoE را با سرعت خیره‌کننده روی کارت‌های گرافیک معمولی (مثل ۱۶ گیگابایت VRAM) اجرا کند؟

در مدل‌های MoE، برای پردازش هر توکن فقط بخش کوچکی از شبکه (متخصص‌ها یا Experts) درگیر می‌شوند. در حالت سنتی، اگر مدل داخل حافظه گرافیک جا نشود، سیستم مدام معطل جابه‌جایی وزن‌ها از رم به گرافیک از طریق PCIe می‌ماند و سرعت شدیداً افت می‌کند.

فری‌توکن این مشکل را با یک معماری کش هوشمند حل کرده است:
نگه‌داری متخصص‌های داغ در VRAM: بخش‌هایی از مدل که در متن مکرراً فراخوانی می‌شوند، داخل حافظه پرسرعت کارت گرافیک می‌مانند.

تقسیم هوشمند بار در صورت غیبت متخصص (Cache Miss): اگر متخصصی در گرافیک نباشد، سیستم متوقف نمی‌شود؛ بلکه کار هم‌زمان بین سخت‌افزارها تقسیم می‌شود: بخشی سریعاً روی پردازنده (CPU) و داخل رم سیستم اجرا می‌شود و بخش دیگر به گرافیک منتقل می‌شود تا هیچ قطعه‌ای معطل دیگری نماند.

اضافه شدن این مکانیسم به llama.cpp یک جهش بزرگ برای هوش مصنوعی لوکال است؛ چون رم ارزان کامپیوتر به یک امتداد واقعی برای VRAM تبدیل می‌شود و دیگر نیازی به خرید کارت‌های فوق‌گران‌قیمت سروری برای اجرای روان مدل‌های غول‌پیکر نخواهد بود.

https://github.com/FlashML-org/FreeToken

@DevTwitter | <Legendary Coder/>

این مقاله پروداکت جدید کرسر یعنی Origin که قراره جایگزین گیتهاب بشه و تا 300 پوش در ثانیه! رو ساپورت کنه رو توضیح داده.

ایده شون اینه که برخلاف گیتهاب به جای نگه داشتن چند نسخه جدا از repo در سرورهای مختلف و sync نگه داشتن اونا (با کارای distributed system ای مثل three phase commit) بیان و بیس رو بذارن رو s3 و توی S3 هم ی ساختار WAL ذخیره کنن (یعنی اسنپ شات از وضعیت فعلی نیست. کل packهایی که پوش شده رو پشت هم ذخیره میکنن)

(البته جزییاتش زیاده و جالب ولی اینجا جا نمیشه مثل compaction یا اینکه کلون های گیت رو چطور track میکنن با rendezvous hashing و ...)

کلا که دمشون گرم هرچند الان محصولش هنوز خیلی early ه و دیفالتش هنوز source of truth رو خود گیتهاب درنظر میگیره.

ولی فک کنم این محصول فقط به درد شرکت بزرگی که monorepo داره بخوره. شرکت متوسط یا شرکت بزرگ میکروسرویسی هیچوقت نیاز نداره ده ها پوش در ثانیه انجام بده.

https://cursor.com/blog/git-at-any-scale

@DevTwitter | <Ramin/>

دسترسی به مدل های زیر کاملا رایگان

• Gemini 3.8 Flash
• Muse Spark 1.3
• GLM 5.3 Flash
• Gemini 3.1 Pro
• DeepSeek V4 Flash
• DeepSeek V4 Pro
• GPT 5.6 Luna
• Qwen 3.8 MAX

از طریق لینک زیر :
https://apinex.bond/models

@DevTwitter | <Reza/>

چند روز پیش ۲ تا سایت وردپرسی که بدجور شل و ویروس خورده بودن رو با این ابزار نجات دادم! خفن‌ترین بخشش Auto Review با هوش مصنوعیه؛ کدهای مشکوک رو با AI تحلیل و خودکار قرنطینه می‌کنه. تک‌فایله و هیچ نیازی به نصب یا پلاگین نداره:
https://github.com/abolfazl-moeini/ZeroShell

@DevTwitter | <Abolfazl Moeini/>

حتما تا حالا شده که از یک میرور برای نصب پکیج هاتون استفاده کنید اما خطا رخ بده. مثلا یه پکیجی رو اصلا نداشته باشه، یا تایم اوت بده و...
ابزار ayeneh به شما این امکان رو میده که بدون نگرانی پکیج هاتون رو نصب کنید

دو نسخه tui و cli داره با قابلیت استفاده در پایپلاین ها. در حال حاضر از pip و npm پشتیبانی میکنه، اما قراره پکیج منیجرهای بیشتری بهش اضافه بشه.
اما مهم ترین نکته اینه که برای گنجاندن این ابزار در پایپلاین ها یا اسکریپت هاتون، لازم نیست تغییر زیادی بدید. فقط کافیه

pip install
رو به
ayeneh-cli pip install
تغییر بدید. اگه میروری به مشکل بخوره، خودش سوییچ میکنه رو میرور دیگه و نیازی به تغییر دستی و اجرای دوباره نیست.
میتونید از اینجا باینریش رو دانلود و استفاده کنید:

https://github.com/pasta-engineers/ayeneh

@DevTwitter | <erfin/>

میدونستید اگه پروژه های فارسی دارین و نیاز به تقویم شمسی داره میتونید از دوران استفاده کنید؟

https://github.com/amiralibg/Doran
https://amiralibg.github.io/Doran

دوران تلاش من برای ساخت بهترین تقویم شمسی ممکنه که تجربه دولوپ خوبی هم بده.

تست کنید فیدبک بدید اگه چیزی دیدید issue بزنید و بیاید باهم حتی بهترش هم بکنیم و یکبار برای همیشه مشکل تقویم شمسی رو حل کنیم.

react, vue, angular, svelte
ساپورت هست براشون همین الان.

@DevTwitter | <Amirali Beigi/>

این سایت هم مدل glm فری میده:
https://tokenrouter.com

@DevTwitter | <Meisam/>

اخیرا three.js داره بازی‌هایی که باهاش ساختن رو توی اکانت X خودش معرفی می‌کنه

https://doodleshooter.vercel.app

@DevTwitter

استرا یا همون GPT-5.6 Astra هرچیزی ک هست، در خیلی کارها بهتر از ما انسان هست.

ببینید چطور تمام I am not a Robot ها رو ب راحتی حل میکنه.

وارد مرحله pre-AGI شدیم قطعا. دیگه داستان تخیلی نیست و داره تبدیل ب واقعیت میشه.

@DevTwitter | <Kaveh/>

توی Google Antigravity همیشه روی اعصاب بود که نمی‌شد فهمید چقدر از سهمیه مدل‌ها مونده یا کِی ریست می‌شن.

پروژه Antigravity Quota Monitor رو زدم:
یک نشانگر مینیمال روی دکمه مدل، برای مانیتور لحظه‌ای سهمیه نشست و مصرف ۷ روزه (مثل Claude Code).

https://github.com/m4tinbeigi-official/antigravity-quota-monitor

@DevTwitter | <Rick Sanchez/>

داده‌های جدید سامانه OpenCode نشان می‌دهد مدل Muse Spark 1.3 از شرکت متا توانست با ثبت مصرف خیره‌کننده ۲۳ تریلیون توکن، جایگاه DeepSeek V4 Flash را بگیرد و به رتبه اول برسد.

ثبت این حجم از مصرف برای مدلی که زمان زیادی از انتشارش نمی‌گذرد، نشان می‌دهد که ترکیب پنجره کانتکست ۱ میلیونی، بازدهی بالاتر در سناریوهای ایجنتی و تعرفه اقتصادی، توجه بخش بزرگی از جامعه برنامه‌نویسی را به سمت متا جلب کرده است.

پنج مدل پرمصرف حال حاضر سامانه اوپن‌کد به ترتیب:
۱. مدل Muse Spark 1.3 متا (۲۳ تریلیون توکن)
۲. مدل DeepSeek V4 Flash (۲۱ تریلیون توکن)
۳. مدل MiMo-v2.5 شیائومی (۹ تریلیون توکن)
۴. مدل Muse Spark 1.2 متا (۷.۴ تریلیون توکن)
۵. مدل GLM-5.3-Flash شرکت Zhipu AI (۲.۹ تریلیون توکن)

این جابه‌جایی در صدر جدول به خوبی نشان می‌دهد که در اکوسیستم برنامه‌نویسی مدرن، برتری پایدار فقط با حفظ تعادل دقیق میان کارایی عملیاتی و هزینه مدل به دست می‌آید.

@DevTwitter | <Legendary Coder/>

انویدیا ابزار جدیدش (PAIR) رو کاملاً رایگان و ۱۰۰٪ اوپن‌سورس منتشر کرد.

این ابزار تمام سیستم‌های شبکه خانگی شما رو به یک کلاستر استنتاج هوش مصنوعی تبدیل می‌کنه.
شبکه رو اسکن می‌کنه، مدل‌های لودشده و ظرفیت آزاد هر دستگاه رو می‌سنجه و هر پرامپت رو به سیستمی می‌فرسته که سریع‌تر جواب می‌ده.

سیستم گیمینگ پردازش‌های سنگین رو هندل می‌کنه.

لپ‌تاپ قدیمی تسک‌های سبک‌تر رو برمی‌داره.
مک بوک خودکار وارد کلاستر می‌شه.

نودهای سروری مستقیماً متصل می‌شن.

تسک‌های ایجنت‌ها روی تمام توان بیکار شبکه پخش می‌شن.

بدون کلود، بدون هزینه API؛ همه‌چیز کاملاً لوکال می‌مونه.

اگر سخت‌افزار رو از قبل داشتید و بین پرامپت‌ها بیکار خاک می‌خورد؛ حالا انویدیا نرم‌افزارش رو داده تا از کل توانشون هم‌زمان استفاده کنید.

https://github.com/NVIDIA/Personal-AI-Router

@DevTwitter | <Legendary Coder/>