سازنده اش میگه این پروژه رو در ۴ تا ۵ روز ساخته، ۱۶ ساعت بعد از اینکه آنتروپیک مقاله Jacobian Lens رو منتشر کرد(بگذریم که ی ۴۰۷۰ داره و یه ۵۰۸۰!)
فرمت export هاش هم خوبه: full checkpoint، modified layers، LoRA، و حتی GGUF برای llama.cpp. برای شروع هم lense های آماده از Neuronpedia روی HuggingFace موجوده(همون که لینکش رو گذاشتیم) که لازم نیست خودتون J-lens رو train کنید.
و نکته جالب هم اینه که پیشنهاد میکنه با Qwen3-4B یا یه llama شروع کنید چون steer پذیرتر از GPT-OSS هستن؛ یعنی بهتر میتونن متفاوت فکرکنند و شخصیتشون عوض بشه!

لینک گیتهابش رو هم اینجا میتونید ببینید: https://github.com/Extraltodeus/J-Wash
@ai_src

این پست رو کمی با تاخیر میذاریم؛ چون زیاد از نتایج و کاربرد هاش باخبر نبودیم... prismml اومده و مدل 27 میلیاردی رو با یک بیت فشرده سازی منتشر کرده.

مدل روی پایه Qwen3.6-27B ساخته شده، همون مدل reasoning از علی بابا. prismml با تکنیک 1-bit quantization تونسته این مدل 54 گیگابایتی رو به حدود 3.9 گیگابایت برسونه(حدود ۱۴ برابر کمتر)؛ نه اینکه فقط وزن ها رو کم کرده باشه؛ کل معماری، از embedding تا attention و MLP، به صورت یک بیتی train شده. این یه تفاوت اساسی با کوانتیزاسیون معمولی داره، چون Quantization فقط در فرآیند post-training انجام میشه.

و اینکه تیم webml یه space روی HuggingFace ساختن که میتونید مستقیم توی مرورگر، با WebGPU، این مدل 27 میلیاردی رو اجرا کنید. یعنی بدون هیچ نصب برنامه ای، مستقیم توی کروم یا فایرفاکس(باید webgpu فعال باشه) این مدل لود و اجرا میشه (طبیعتا بهتره ۶ گیگ vram یا حداقل ۱۶ گیگ رم داشته باشید...) این کار از نظر فنی اتفاق جالبیه چون قبلا حتی مدل های 7 میلیاردی هم توی مرورگر سنگین بودن و به زور اجرا میشدن!

@ai_src

با اینکه این فشرده سازی بسیار بالا صورت گرفته(تقریبا ۱/۱۶ مدل full precision هست)، کاربران میگن که این مدل تقریبا هم رده با مدل های 8 میلیاردی عمل میکنه (که تعجبی هم نداره، تقریبا یک مدل 8 میلیاردی با فرمت فشرده سازی Q4،تقریبا حجمی برابر با این مدل داره). بیشتر میشه گفت که این مدل یه جورایی PoC و به نوعی prototype هست و راه طولانی در پیش داریم و نباید انتظار زیادی از این مدل داشت.

وبلاگ هاگینگ فیس و space اجرای مدل هم از این قراره:
https://huggingface.co/prism-ml/Bonsai-27B-gguf
https://huggingface.co/spaces/webml-community/bonsai-webgpu-kernels

@ai_src

از نظر بنچمارک هم در مقام جالبی هست! :
در coding، K3 واقعا خوب عمل کرده. روی Frontend Code Arena به جایگاه اول رسیده و از Fable 5 جلو زده،
روی Program Bench و SWE Marathon هم رتبه اوله.
ولی اگه تصویر کامل تر رو نگاه کنید، در 14 بنچمارک مشترک با Fable 5، نسبت 8 به 6 به نفع Fable 5 هست. یعنی K3 یه مدل قوی coding و agentic هست، ولی در reasoning عمیق، visual tasks و مسائل open-ended مدل Fable 5 هنوز جلوتره.
روی Artificial Analysis Intelligence Index هم K3 با امتیاز 57 در جایگاه چهارم نشسته، پشت Fable 5 (حدود 60) و GPT-5.6 Sol (حدود 59). یه نکته مهم اینه که همه این بنچمارک ها از طرف خود Moonshot گزارش شدن و ارزیابی مستقل هنوز کامل نشده.

یه چیزی که K3 رو از نظر عملی جذاب میکنه قیمت inference هاش هست: ورودی 3 دلار و خروجی 15 دلار به ازای هر میلیون توکن، در مقابل 10 و 50 دلار برای Fable 5. *یعنی تقریبا 3.3 برابر ارزون تر!* برای تیم هایی که workload سنگین دارن و اون حد از دقت Fable 5 رو لازم ندارن، این فرق قیمت خیلی معنی داره. البته یه نکته اینه که K3 در مقایسه با مدل های قبلی چینی مثل K2 خودش، دیگه اون ارزونی سابق رو نداره(خب از نظر حجم پارامتر طبیعیه!)

از DeepSeek R1 که در ژانویه 2025 که همه رو شوکه کرد تا الان، مدل های چینی open-weight به شکل جدی دارن گپ و فاصله با لابراتوار و مدل های آمریکایی رو پر میکنن. Qwen از Alibaba الان بیشترین دانلود رو در HuggingFace داره و از Llama جلو زده. روی OpenRouter، مدل های چینی الان بیش از 60% کل توکن های پردازش شده رو به خودشون اختصاص دادن. K3 ادامه همین روند هست ولی با یه تفاوت: اینجا دیگه صحبت از مدلی نیست که "نزدیک" به مدل های غربیه، بلکه در بعضی حوزه ها از اون ها داره جلو میزنه! این یه تغییر کیفی مهمه.

به عنوان مثال به فیلم بالا که نگاه کنید، kimi k3 تونسته یک بازی سه بعدی رو با three.js و با استفاده از gpu مرورگر بسازه که فوق العاده اس!
از طرفی تونسته در ویدیوی بعدی هم یک چیپ مخصوص خودش(خود مدلش!) طراحی کنه تا بتونه روی اون اجرا بشه و در واقع همه معماری های مدل رو به صورت سخت افزاری طراحی کرده... اگر درست طراحی کرده باشه، واقعا فوق العاده عمل کرده...!
و این مدل هم به حدی قوی بوده که مثل آنتروپیک، که از fable 5 برای برخی پژوهش ها استفاده میکنه، moonshot-ai هم اومده از این مدل برای گزارش خودش هم از این مدل استفاده کرده و به عنوان مثال گفته که artifact های HTML توی خود مقاله زیر رو هم خود مدل طراحی کرده!

در نهایت K3 یه مدل خیلی جدی و قابل توجهه، خصوصا برای کار های coding و agentic. ولی نباید با هیجان زیاد گولش رو خورد. بنچمارک ها vendor-reported هستن، Fable 5 در reasoning و visual tasks هنوز بهتره، و این که مدلی "اول" بشه روی یه leaderboard الزاما به معنی برتری در همه workload های واقعی نیست. وزن های open-weight هفته دیگه میان و اون موقعه که تست های مستقل میتونن تصویر واضح تری بدن.

وبلاگش رو هم میتونید بخونید و نمونه کار هایی که انجام داده رو هم بیشتر ببینید:
https://kimi.com/blog/kimi-k3

@ai_src

خیلی وقت بود پست نذاشته بودیم، و خبر های جالبی هم داریم!یکیش اینه:

کلود Opus 5 بالاخره اومد!
شرکت Anthropic بالاخره امروز از جدیدترین مدلش رونمایی کرد که هوش نزدیک به Fable 5 رو با نصف قیمت اون ارائه میده. توی بنچمارک های معروف مثل FrontierBench و CursorBench 3.2 حسابی خوب بوده و توی ARC-AGI 3 سه برابر بهتر از نزدیکترین رقیب عمل کرده.
جالب اینجاست که توی Zapier AutomationBench نرخ عبورش ۱.۵ برابر مدل های بعده(یعنی ۱.۵ برابر فاصله بیشتر داشته!)

چیزی که واقعا توی Opus 5 فرق داره قدرت inspection و تصحیح کار خودشه. مثلا توی یه تست بهش یه تصویر از یه قطعه ماشین دادن و ازش خواستن کد FreeCAD بنویسه اما درحالیکه از قصد و از عمد راه دیدن تصویر رو نداشت(بهش نداده بودن). Opus 5 خودش یه پایپلاین بینایی کامپیوتر ساخت تا ابعاد رو از پیکسل ها استخراج کنه!

@ai_src

یا اینکه یه باگ واقعی توی یه پکیج منیجر متن باز رو درست کرد و یه edge case رو هم گرفت که patch انجمن از قلم انداخته بود. شرکت های بزرگ مثل Cursor و Devin و Zapir هم توی تست هاشون ازش راضی بودن و میگن توی کارهای agentic طولانی مدت عملکردش واقعا بهتر شده.

از نظر امنیتی هم میگن منظم ترین مدل Anthropic تا الان هست و کمترین نرخ رفتار گول زننده(همون توهمات که مدل ها میزنند) رو داره. قیمتش مثل Opus 4.8 هست یعنی ۵ دلار به ازای میلیون توکن ورودی و ۲۵ دلار برای خروجی. یه حالت Fast Mode هم داره که حدود ۲.۵ برابر سریعتر اجرا میشه. از امروز توی کلود مکس و کلود پرو و API در دسترسه. اگر با مدل های قبلی Opus کار کرده باشید به نظرم تفاوتش رو حس میکنید...

لینک وبلاگشون:
https://www.anthropic.com/news/claude-opus-5

@ai_src

معمولا ما آخرهای هفته سرمون خلوت میشه و میتونیم پست بذاریم(بگذریم که روز هایی هم که پست نمیذاریم داریم مطلب جمع میکنیم و برنامه میچینیم که چکار کنیم!)

مثلا تصمیم گرفتیم که آموزش های هوش مصنوعی و ریاضی رو شروع کنیم، .ولی نه با کانال جداگانه و محتوای متنی!

تصمیم داریم ویدیوی آموزشی بسازیم و بذاریم و همونطور که حدس میزنید جمع آوری محتواها و تولید ویدیوها کار سختی هست!

واسه همین کمی طول میکشه تا اولین ویدیو رو تولید کنیم و قرار بدیم...


@ai_src

این هفته در حال تحقیق بودیم که به این وبلاگ پایینی برخوردیم:
https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-gemma-4


یه وبلاک عالی از Maarten Grootendorst که توی اون Gemma 4 رو از صفر تا صد با کلی تصویر و نمودار توضیح داده. خودش میگه یکی از دلایل اصلی پیوستنش به Google DeepMind همین انتشار Gemma 4 بوده. توی این راهنما چهار تا مدل رو معرفی کرده: E2B و E4B که مدل های dense کوچیک هستن با پارامتر effective (موثر) ۲ و ۴ میلیارد، 31B که تنها مدل dense بزرگشون هست، و 26B A4B که همون مدل MoE هست با ۴ میلیارد پارامتر فعال.
که همونطور که میدونید همه مدل ها چند حالته هستن و هم متن هم تصویر رو میفهمن. و حتی مدل های کوچیکتر مثل e2b و e4b صدا رو هم پشتیبانی میکنن.

@ai_src

چیزی که این وبلاگ رو خاص میکنه اینه که خیلی visual و مرحله به مرحله پیش رفته. از معماری داخلی مدل ها گرفته تا تکنیک هایی مثل interleaving attention لایه های محلی و سراسری، ترفند K=V برای کاهش حافظه، p-RoPE برای مدیریت بهتر هندلینگ متن های طولانی، و حتی 2D RoPE برای پردازش تصاویر با ابعاد مختلف. اگه کسی بخواد بفهمه پشت پرده Gemma 4 چی میگذره این وبلاگ یه منبع فوق العاده ست. هم برای تازه کارا خوب توضیح داده هم برای حرفه ای ها جزئیات فنی کافی داره. حتما یه نگاه بندازید.
@ai_src

شمارش معکوس واسه انتشار Kimi K3 شروع شده...
از لینک زیر میتونید ببینید و منتظرش باشید🔥:

https://huggingface.co/moonshotai/Kimi-K3

@ai_src

خب مدل Kimi K3 هم منتشر شد
این مدل که دارای ۲.۸ تریلیون(دو هزار و هشتصد میلیارد) پارامتر هست، دارای ۱۰۴ میلیارد پارامتر فعال هست و یک MoE محسوب میشه
جالبه بدونید در وزن Q8 این مدل حدود ۲.۸ ترابایت فضا اشغال می‌کنه(دقیق بخوایم بگیم میشه ۲۸۰۰/۱۰۲۴=۲.۷۳ ترابایت) و اگه Bonsai بخواد این مدل رو به 1bit ببره میشه حدود ۳۵۰ گیگ، با حدود ۱۳ گیگ پارامتر فعال که باید در حافظه یکپارچه لود بشن.
دلیل اینکه روی هاگینگ فیس در حجم ۱.۵ ترابایت و در حدود ۹۵ فایل ۱۶.۸ گیگی داره ارائه میشه واسه اینه که دارند نسخه ۴ بیتی/۸بیتی زیر روز ارئه میدن:

MXFP4 weights / MXFP8 activations

که کاملا طبیعیه، کی ۳ ترابایت مدل 8 بیتی رو دانلود می‌کنه! چه برسه به ۱۶ بیت که میشه ۶ ترابایت!

همونطور که گفتیم این مدل ۲.۸ تریلیون پارامتر داشت که اگه تقسیم بر ۸۹۶ expert داخلی بکنیم، میشه *تقریبا* هر اکسپرت ۳.۱۲۵ میلیون پارامتر و در کل ۱۰۴ میلیارد پارامتر فعال(لازم به ذکره این ۱۰۴ میلیارد و ۲.۸ تریلیون پارامتر، همه لزوما اکسپرت ها نیستن!)

خلاصه که، گنده تر از این نیستش


@ai_src