چطور یه مدل 35B رو روی RTX 3060 با 12GB VRAM اجرا کنیم؟

با ترکیب Q4_K_M + MoE CPU offloading میشه مدل Qwen3.8-35B-A3B رو روی یه RTX 3060 اجرا کرد.

کل 262K کانتکست رو هم استفاده می‌کنه. سرعت decode حدود 50 توکن بر ثانیه هستش و سرعت prefill حدود 550 توکن بر ثانیه.

کانفیگ:
llama-server
-m Qwen3.8-35B-A3B-Q4_K_M.gguf
-ngl 99 --n-cpu-moe 26 -c 262144 -fa on --jinja
-np 1
--cache-type-k q8_0 --cache-type-v q8_0
--temp 0.6 --top-p 0.95 --top-k 20
--reasoning on


@Linuxor

یه چیزی که توجه همه رو جلب کرده قدرت بالای GPT-6-Astra توی درک سه بعدی هستش اون هم بدون آموزش اختصاصی برای هر کار (Zero-shot) از چرخوندن حرفه ای خودکار توی دست تا حل کردن روبیک و معما های سه بعدی.

سورس کد :

github.com/jianglongye/dexterous-astra

@Linuxor

نمایی از اجرای Qwen 3.8 Flash Next روی Macbook M5 24 GB. حالت Thinking خاموشه مقدار 2K پنجره کانتکست و حدود 4 توکن بر ثانیه خروجی.

البته کاربران که استفاده کردن گفتن با این پرفومنس این مدل عملاً روی این لپ تاپ قابل استفاده نیست، مخصوصاً توی مرحله‌ی prefilling. اگه کانتکست رو بزرگ‌تر کنی، پردازشش ساعت‌ها طول می‌کشه.

@Linuxor

یه آزمون خیلی ساده برای اینکه بفهمید توی شرکت بهتون بیش از حد فشار میاد یا نه

کافیه به یک ماه گذشته خودتون نگاه کنید میانگین ببینید چقدر بعد از تایم کاری که اومدید خونه تونستید چیزی خلق کنید البته منظور از خلق یه چیز بزرگ نیستا هر چیز کوچیکی و اختیاری ای هم حسابه؛ اگه چیزی خلق نکردید بازم نشونه منفی ای نیست ولی اگه به سمت چیز های اعتیاد آور مثل بعضی گیم ها یا شبکه های اجتماعی مثل اینستاگرام رفتید و تا آخر شب توش بودید یعنی عملا مغزتون زیاد کار کرده و بدهی داره.

@Linuxor

دوستان اگر ارور های تحریم آنتی گراویتی اذیتتون میکنه (که علت عمدش هم بخاطر VPN هستش) از این آنتی گراویتی ترمینالی استفاده کنید

مثل اینکه آنتی گراویتی گرافیکی کش داره و اگه یه بار با اینترنت خراب برید دفعه های بعدی اگر حتی VPN خوب هم بزنید ممکنه بخاطر کش قبلی گیر بده بهتون؛ البته یه دلیل دیگه هم که حدس میزنم اینه سیستمش به صورت استاندارد از اینترنت استفاده نمیکنه (مثل گوگل کروم) و این باعث میشه VPN نتونه پوشش کامل بدتش و بعضی از اطلاعات حتی وقتی وی پی ان روشن باشه هم از پشت VPN رد نشه و مستقیم رد بشه.


خیلی برای من پیش اومده آنتی گراویتی ترمینالی کار میکرده اما آنتی گراویتی گرافیکی کار نمیکرده :

antigravity.google/product/antigravity-cli


@Linuxor

به نظر من سی پیو های AMD خیلی از اینتل بهترن، می‌تونی درش بیاری سرتو باهاش بخارونی خیلی حال میده، تازه اگه سیستم تازه خاموش شده باشه میتونی به عنوان اتو مو هم ازش استفاده کنی.


@Linuxor

شرکت تازه‌تأسیس کاکتوس از Needle 3 رونمایی کرده؛ یه مدل بنیادی برای اتوماسیون که حجمش بین 8 تا 29 مگابایت هستش و می‌تونه با DeepSeek V4 Flash توی یه کار خاص رقابت کنه.

این مدل فقط از یک مجموعه وزن weights استفاده می‌کنه، اما با عمق‌های مختلف از 2 تا 20 لایه، هر عمق عملاً یه مدل مستقل محسوب میشه. یکی از نکات جالبش اینه که Needle می‌تونه به‌صورت کاملاً محلی روی Raspberry Pi 5 اجرا بشه و به سرعت تا 4,000 توکن در ثانیه برسه.

اساساً برای چت کردن ساخته نشده. هر تعامل باهاش به شکل یه function call انجام میشه؛ یعنی ابزارهایی که اپلیکیشن در اختیارش میذاره به مدل داده میشن و Needle بر اساس چیزی که کاربر گفته، ابزار مناسب رو انتخاب می‌کنه و تمام آرگومان‌های موردنیازش رو هم پر می‌کنه.

اگه کاربر چیزی بخواد که هیچ‌کدوم از ابزارهای موجود نتونن انجامش بدن، Needle به‌جای حدس زدن، یه لیست خالی برمی‌گردونه. همچنین برای اجرا روی دستگاه‌های مختلف طراحی شده؛ از موبایل‌ها و گجت‌های پوشیدنی گرفته تا دستگاه‌های خانه هوشمند، ربات‌های کوچیک و میکروکنترلرها:

huggingface.co/Cactus-Compute/needle3

@Linuxor

این روش هم برای دیدن دیاگرام پروژه های روی گیتهابه یه دید خوبی بهتون درباره پروژه و ریپازیتوری میده.

@Linuxor

اگه شرکتتون داره ماهی 200 دلار هزینه هوش مصنوعی میده بهتره دست نگه داره چون می‌تونه یه 5090 بخره و با ران کردن Qwen3.8 27B با سرعت خروجی خوب طی یک یکو نیم سال پول کارت گرافیک رو در بیاره

البته درسته قدرت مدل به اندازه یه اشتراک مدل های 200 دلاری نمیشه اما اینطوری هم نیست که بگیم دیگه خیلی ضعیفه واقعا تجربه کاربرا نشون داده که به خصوص توی کد زدن خیلی خوبه و کار رو راه میندازه، ویدیوی بالا مدل فشرده شدست که 98 درصد قدرت خودش رو همچنان حفظ کرده و با سرعت خوب 143 توکن بر ثانیه داره روی 5090 کار می‌کنه که حتی چند نفری هم میشه ازش استفاده کرد.


@Linuxor

اینم جالب بود، با AI می‌تونید از طریق DevTools کروم و MCP با تردینگ ویو تعامل داشته باشید

می‌تونه symbol و تایم‌فریم رو تغییر بده، قیمت و OHLCV و indicatorها رو بخونه، اندیکاتور اضافه یا حذف کنه، روی چارت drawing بذاره، Alert بسازه و حتی Pine Script رو بنویسه، compile کنه و برای رفع خطا دوباره اصلاحش کنه.

در حال حاضر پروژه حدود 84 ابزار در اختیار Agent می‌ذاره و بیشتر شبیه اینه که به AI چشم و دست برای TradingView بدی. برای ساخت workflowهای تحلیل تکنیکال و توسعه و تست استراتژی‌های Pine Script، ایده خیلی جالبی داره.


github.com/tradesdontlie/tradingview-mcp

@Linuxor

یه نفر به مغز یه مگس فقط یه وظیفه داد: یاد بگیره روی دوچرخه تعادلش رو حفظ کنه. مغز واقعی مگس با 139,255 نورون به بدن، دوچرخه و قوانین فیزیک وصل شده بود؛ بدون هیچ کدی برای حفظ تعادل یا دستورالعملی درباره دوچرخه. تنها چیزی که بهش داده شده بود، میزان مسافتی بود که قبل از افتادن طی می‌کرد؛ هرچی بیشتر می‌رفت، پاداش بیشتری می‌گرفت.

مگس بارها و بارها افتاد؛ چپ، راست، دوباره ریست و دوباره تلاش. بهترین مسافت طی‌شده بعد از بیشتر از 1000 تلاش، کم‌کم از 0.7 متر به 1.9 متر رسید. چیزی که جالب بود این بود که مدار عصبی‌ای که مگس برای حفظ تعادل در پرواز ازش استفاده می‌کنه، روی دوچرخه در ابتدا درست عمل نمی‌کرد و باعث می‌شد بیش از حد دیر یا شدید واکنش نشون بده و بیفته.

اما بعد از 1238 بار شکست، اتفاقی افتاد. در تلاش 1239، مگس تونست سوار بمونه، وقتی به چپ و راست منحرف شد خودش رو اصلاح کرد و برای اولین بار از 2 متر و بعد 3 متر عبور کرد. در نهایت 4.2 متر رکاب زد و خودش متوقف شد، بدون اینکه بیفته.

هیچ‌کس بهش یاد نداده بود با پاداش و تجربه 1238 بار زمین خوردن، تونست خودش رو با یک بدن و محیط کاملاً جدید هماهنگ کنه.


@Linuxor

تا حالا شده یه مقاله، مستندات یا صفحه‌ای رو چند ماه پیش خونده باشی و بعد هرچی می‌گردی پیداش نکنی؟ Hister یه موتور جستجوی شخصی و متن‌بازه که چیزهایی که خودت توی وب دیدی یا روی سیستمت داری رو ایندکس می‌کنه تا بعداً بتونی داخل محتوای واقعی‌شون سرچ کنی.

می‌تونی تاریخچه مرورگرت، صفحات وب، فایل‌های محلی، PDFها و Markdownها و... رو واردش کنی و بعد با جستجوی Full-text یا حتی Semantic Search دنبال چیزی که یادت مونده بگردی. یعنی به‌جای اینکه فقط اسم فایل یا URL رو یادت باشه، خود محتوای چیزی که قبلاً دیدی قابل جستجو هستش.حتی MCP Server هم داره و می‌تونی AI رو بهش وصل کنی تا بتونه داخل دانش و آرشیو شخصی‌ت جستجو کنه.

اگر حجم زیادی اطلاعات و لینک و فایل داری و همیشه با مشکل یه جا خونده بودم، ولی یادم نیست کجا! مواجهی، Hister دقیقاً برای همین سناریو ساخته شده. یه جور مینی Google شخصی برای چیزهایی که خودت قبلاً دیدی و ذخیره کردی:

hister.org

@Linuxor

روز پیش یه مدل جدید معرفی شد به اسم Jev

برخلاف LLM های معمولی که برای گفتگو و تولید متن ساخته شدن، Jev یه مدل تصمیم‌گیرنده‌ی فوق‌سریعه. Jev به‌جای تولید متن، مستقیماً از بین گزینه‌های مشخص تصمیم می‌گیره. طبق بنچمارک TypeSafe، زمان پاسخ Jev حدود 100 میلی ثانیه؛ در حالی که برای مدل‌های Frontier حدود 3 تا 329 ثانیه گزارش شده.

یعنی برای بعضی کارهای مشخص، تا حدود 200 برابر سریع‌تر. برای کنترل Agentها، انتخاب Tool، بازی‌هایی مثل Doom و تصمیم‌های لحظه‌ای طراحی شده.

@Linuxor

مدل Jev که جدیدا اومده واقعاً دیوانه‌کننده‌ست!

توی فقط 24.9 ثانیه، 384 تا خبر منتشرشده از صبح امروز رو خوند و به 15 تا برند گفت که امروز روی کدوم خبرها بهتره سوار بشن و ازشون استفاده کنن؛ اونم با هزینه فقط 0.19 دلار.

در همون زمان، Claude Opus 5 که همزمان روی همون فید خبری اجرا می‌شد، فقط تونست 4 تا از 384 خبر رو بررسی کنه و 0.77 دلار هزینه داشت.

یعنی برای هر تیتر، هزینه‌ی Jev تقریباً 390 برابر کمتره؛ تازه جوابش هم قبل از اینکه خودت فرصت کنی تیتر رو کامل بخونی برمی‌گرده.

قراره راه‌های خیلی زیادی وجود داشته باشه که Jev بتونه بهت کمک کنه تا:

خبرهای ترند و داغ رو پیدا کنی،

خبرنگارهایی که دارن روی اون موضوع کار می‌کنن رو پیدا کنی،

و برای برندت پوشش رسانه‌ای بگیری.


کل چیزی که توی این ویدیو می‌بینی هم Open Source شده و اینجاست:

newsjack.sh

داخل پوشه‌ی demo/ قرار داره و همراهش بیش از 30 تا skill هم هست که می‌تونن ایجنتت رو تبدیل کنن به یه جور تیم روابط عمومی (PR).

@Linuxor

مدل Jev واقعا سرو صدای زیادی کرده ولی مشکلی که داره اینه به احتمال خیلی زیاد فقط سرویس API پولی بده و مدل اوپن ویت برای ران کردن لوکال نده

دیروز چند نفر شروع کردن و با فاین تیون کردن Qwen نزدیک ترین چیز ممکن به Jev رو ساختن، لوکال میتونید روی سیستم خودتون رانش کنید :

github.com/Mapika/decider


@Linuxor

جدیدا حوصله اینو ندارم کسی بهم زنگ منگ بزنه میخوام توی بیو بنویسم:

I’m not a function. don’t call me.


@Linuxor

اگه با ترمینال داری برنامه می‌نویسی اینجارو از دست نده توش کلی انیمشین برای لودینک ترمینال هستش.

نکته جالبش اینه که spinnerها stateless طراحی شدن و برنامتون رو کند نمی‌کنن. خود کتابخونه thread یا event loop جدا راه نمی‌ندازه؛ تو با tick مشخص می‌کنی انیمیشن کِی جلو بره. این باعث می‌شه خیلی راحت با event loop و معماری برنامه‌ت هماهنگش کنی:

github.com/ratatui/ratatui-spinner

@Linuxor

مدیر فنی: نمیدونم چرا شبکه شرکت همیشه قطعه؟

+ ادمین های شبکه همون لحظه :


@Linuxor

می‌دونید تفاوت Jev با LLM‌های عادی چیه؟ تفاوت اصلی اینه که Jev اصلاً برای تولید متن ساخته نشده. یه LLM معمولی وقتی ورودی می‌گیره، جواب رو به‌صورت توکن‌به‌توکن تولید می‌کنه؛ اما Jev به‌جای تولید پاسخ، روی اطلاعات ورودی مجموعه‌ای از تصمیم‌های مشخص و از قبل تعریف‌شده رو ارزیابی می‌کنه و نتیجه رو به شکل ساختاریافته تحویل می‌ده.

مثلاً فرض کنید یه سیستم باید تشخیص بده یک تیکت باید به کدوم تیم بره، میزان ریسک یک درخواست چقدره و آیا یک شرط مشخص برقرار هست یا نه. توی Jev می‌تونید این سؤال‌ها رو از قبل تعریف کنین و مدل همزمان اون‌ها رو روی یه Context مشترک بررسی کنه. برای همین، وقتی تصمیم‌ها مستقل از هم باشن، می‌تونن به‌صورت موازی ارزیابی بشن و خروجی هم مستقیماً قابل استفاده توسط کد هستش.

برای این کار 3 نوع تصمیم اصلی داره: Choice برای انتخاب یک گزینه از بین چند گزینه مشخص، Score برای قرار دادن ورودی روی یک مقیاس مرتب‌شده مثل Low تا High، و Noul برای بررسی یک سؤال بله/خیر و برگردوندن احتمال درست بودن جواب. نکته جالب اینجاست که Jev فقط جواب نهایی نمی‌ده و احتمال گزینه‌ها رو هم برمی‌گردونه.



@Linuxor

چند روزه خبر مدل Jev از typesafeai حسابی سر و صدا کرده. گرچه بر حسب تجربه من بعد ثبت ایمیل در لیست انتظار، یکی دو روزه براتون دعوت رو می‌فرستند ولی اگر همین حالا بدون انتظار می‌خواهید مستقیم باهاش کار کنید از Vercel AI Gateway می‌شه حتی در پلن رایگان.
راهنما:

vercel.com/kb/guide/typesafe-jev-and-ai-sdk

@Linuxor ~ Hamed

مدل Jev که جدیدا سروصدای زیادی کرده به راحتی می‌تونه بازی هم کنه چون سرعتش بالاست! توی ویدیو در حال کنترل مار برای خوردن سیب.

شاید بگید زحمت کشیده این کارو با یه الگوریتم ساده هم می‌شد انجام داد! که درست هم می‌گید برای کنترل مار یه الگوریتم ساده بدون هوش مصنوعی پیچیده هم می‌شه نوشت ولی مزیت Jev اینه که می‌تونه هر بازی که بهش میدید رو با سرعت بالا بازی ‌کنه مهم نیست چه بازی باشه و نیازی نیست برای هر بازی ای الگوریتم جدا بنویسید یه جور تفکر عمومی به حساب می‌آد توی ویدیو هم ببینید بهینه ترین مسیر ممکن رو انتخاب نمی‌کنه.


@Linuxor