یه پیپر خیلی جالب از Anthropic اومده بیرون این هفته به اسم:
«Verbalizable Representations Form a Global Workspace in Language Models»

ایده اصلیش اینه که مدل‌های زبانی بزرگ، درونشون یه زیرفضای کوچیک و ممتاز دارن که اطلاعاتشون «قابل بیان» هستن
یعنی مدل می‌تونه در صورت نیاز اونا رو به کلمه تبدیل کنه... این زیرفضا رو J-space نامگذاری کردند و ابزار استخراجش رو Jacobian lens گذاشتند. حالا جالب اینجاست که این J-space دقیقاً همون خواصی رو داره که نظریه «Global Workspace» در علوم اعصاب برای آگاهی انسان توصیف می‌کنه: قابل گزارش‌دهی، قابل کنترل از بالا به پایین، واسطه استدلال داخلی، و انعطاف‌پذیر در استفاده‌های مختلف؛ ولی تنها بخش کوچیکی از کل فعالیت مدل رو تشکیل میده




@ai_src

نتایج تجربیشون خیلی چشمگیره. اگه برید توی J-space یه مفهوم رو با مفهوم دیگه‌ای عوض کنید، مدل رفتارش رو بر اساس اون تغییر می‌ده!
مثلا اگه پای عنکبوت رو با پای مورچه عوض کنید، جواب مدل از «8» به «6» تغییر می‌کنه! مهم‌ تر از اون، J-lens می‌تونه «فکرهای ناگفته» مدل رو آشکار کنه: مثلاً موقعی که داره یه شعر می‌نویسه، قافیه‌ای که قراره انتخاب کنه چند تا token قبل از نوشتنش توی J-space ظاهر میشه، یا اینکه توی یه prompt به زبون چینی، مدل بازنمایی داخلی(internal representations) رو با انگلیسیش «بلندتر فکر می‌کنه» قبل از ترجمه به چینی.

کاربرد alignment این کار هم خیلی مهمه. محققان فهمیدند که موقع ارزیابی‌های alignment، مدل گاهی توی J-space کلماتی مثل «fake» یا «fictional» داره: یعنی داره eval بودن وضعیت رو می‌فهمه ولی نشون نمیده. یعنی میفهمه داره روش تست انجام میشه و آزمایش میشه(مثل ناخودآگاه انسان ها!)
اگه این representations رو ablate کنید(ی جورایی سانسورش رو بردارید)، رفتارهای misaligned و خرابکارانه که پنهان بودن ظاهر می‌شن!
یه تکنیک training جدید هم معرفی کردن به اسم «counterfactual reflection training» که با شکل دادن به محتوای J-space (به جای مستقیماً train کردن رفتار)، میشه اصول اخلاقی رو به طرز موثرتری درون مدل جاسازی کرد. به نظر میرسه این کار یه قدم جدی به سمت interpretability واقعی برای مدل‌های بزرگه.

منبع و‌ پیپر این همه نکات اینجاست:
https://transformer-circuits.pub/2026/workspace/index.html


@ai_src

اینم یه خبر کوتاه:

شرکت Anthropic دسترسی به Fable رو تا ۱۲ جولای تمدید کرد(قبلاً تا ۷ جولای بود) یعنی پنج روز بیشتر از موعد قبلی...

هیچ توضیحی هم داده نشده که چرا.
در community توی Reddit هم یه جورایی بین خوشحالی و شکایت از آنتروپیک گیر کرده که آنقدر بلاتکلیف رفتار می‌کنه

سایت خود آنتروپیک که اینو گفته هم ایناهاش:


https://support.claude.com/en/articles/15424964-claude-fable-5-promotional-access

@ai_src

یه پلتفرم هست به اسم Neuronpedia که اگه توی حوزه‌ی interpretability یا مکانیستیک‌اینترپ(mechanistic interp) کار میکنید، احتمالاً اسمش رو شنیدید. سازنده‌اش Johnny Lin هست، یه مهندس سابق Apple که قبلاً یه استارتاپ حریم خصوصی داشت، و هدفش اینه که تحقیقات interpretability رو برای همه‌ی محققا راحت‌تر و سریع‌تر کنه. ایده‌ی اصلیش اینه که فهمیدن درون مدل‌های زبانی به زیرساخت سنگین نیاز داره، و Neuronpedia اون زیرساخت رو به صورت open-source فراهم میکنه.

خب اما این جا اصلاً چیکار میکنه؟ محور اصلی کارش اینه که Sparse Autoencoderها (یا SAE) رو برای مدل‌های مختلف هاست میکنه و بهتون امکان میده روی featureهای داخلی مدل ها کاوش کنید. یه SAE به زبان ساده سعی میکنه از اون فضای فشرده و پیچیده‌ ی activation های شبکه‌ی عصبی، feature های قابل‌ فهم استخراج کنه، مثلاً بفهمه یه neuron خاص داره به «مفهوم دموکراسی» یا «پایتون کدنویسی» واکنش نشون میده یا نه. بیش از ۵۰ میلیون latent توی دیتابیسشه! مدل‌هایی مثل GPT2، Llama 3، Gemma 4 و 3، Qwen3، DeepSeek-R1 و مهم تر از همه! Qwen3.6 همه اینجان!

@ai_src

ابزارهایی که داره واقعاً جالبه: یه Circuit Tracer داره که میتونید ببینید وقتی مدل یه متن رو پردازش میکنه، اطلاعات از کجای مدل به کجا جریان پیدا میکنه...
یه ابزار Steer هم داره که میتونید feature های خاص رو تقویت یا خاموش کنید و ببینید رفتار مدل چطور عوض میشه. یه چیز جدیدتری که اضافه کردن Natural Language Autoencoder ها هستن که سعی میکنن «افکار داخلی» مدل رو به متن انسانی ترجمه کنن! Anthropic، Google DeepMind و حتی OpenAI همه باهاش همکاری داشتن و داده‌هاشون رو روش هاست کردن.

یه چیزی که توجهم رو به Neuronpedia رو جلب کرد، اینه که داره به سمت پشتیبانی از J-space میره! چون توی هاگینگ فیس این صفحه شون رو دیدم که فکر کنم j-space برای اکثر مدل ها رو گذاشته!
https://huggingface.co/neuronpedia/jacobian-lens

همون چیزی که توی پیپر «Verbalizable Representations Form a Global Workspace» از Anthropic معرفی شد...
اگه یادتون باشه، J-space اون زیرفضای کوچیک و ممتاز داخل مدله که اطلاعات «قابل بیان» توشه، جایی که مدل قبل از تولید هر توکن داره ناخودآگاه «فکر میکنه»...
سایت Neuronpedia با Natural Language Autoencoder هایی که داره، دقیقاً داره همین کار رو میکنه: سعی میکنه اون representation های داخلی رو به زبان انسانی ترجمه کنه. یعنی همون چیزی که Jacobian lens توی پیپر انجام میده، آشکار کردن «افکار ناگفته» مدل رو، Neuronpedia داره توی یه UI تعاملی پیاده میکنه. میتونید feature به feature ببینید کِی و کجا این اطلاعات ظاهر میشن، و حتی با Steer tool شون اون representation ها رو دستکاری کنید و ببینید مدل چطور واکنش نشون میده. اگه توی اون پست قبلی خوندید که مدل موقع نوشتن شعر چند توکن قبل‌ تر قافیه رو توی J-space داره، Neuronpedia دقیقاً اون لایه‌ ها رو بهتون نشون میده!

منبع کد ها و توضیحات بیشتری که بهتون میده رو از خود سایت میتونید بخونید:
https://www.neuronpedia.org

@ai_src

یادمه چند روز پیش بود که ی توضیح و مقایسه جالب از مدل های زبانی و کیفیتشون خوندم
اون مقایسه می‌گفت مدل های زبانی در سطح Claude 3.5 حدود دو سال پیش عرضه شدند، و مدل های متن باز در زمان الان در سطحشون هستند و بهشون رسیدند
یعنی ما تونستیم با فاصله زمانی تقریبا دو سال، یک مدل متن باز مثل Qwen3.6 27B داشته باشیم که هم سطح با Sonnet 3.5 باشه و یا حتی بهتر ازش عمل کنه

پس تقریبا میشه به این نتیجه رسید که کمتر از دوسال آینده، ما یک مدل هم سطح با FABLE 5 اونم لوکال داشته باشیم که بتونیم روی سخت افزار های معمولی اجراش کنیم؛ عین نظریه/قانون مور برای سخت افزار ها و کیفیتشون....


*ولی متاسفانه باید بگم دستیابی عموم جامعه اوپن سورس به همچین چیزی دور از ذهن خواهد بود*
چرا؟
چون موانع بسیار زیادی براش هست:
مثلا یکی از مانع هاش ممکنه این باشه:
*در همین چند روز بحث این هست که دولت آمریکا قوانینی بر سر مدل های متن باز هوش مصنوعی(بخصوص بر سر پلتفرم هاشون مثل huggingface) وضع کنه!*
مثلا ی قانون ممکنه این باشه که هیچ مدلی بدون تایید دولت منتشر نشه و یا غیره...
سوال پیش میاد که آخه *چرا؟!*

بذارید دلیلش رو با ی داستان و اصل بگم:
هر علم و تکنولوژی که اوایل کارش به دنیا میاد، اولش دست عده خیلی خیلی کمی هست؛ مثلا صد نفر؛ این صد نفر با قدم های مورچه ای و کوچیکی که شاید در طی یک سال بردارند، اون علم و تکنولوژی رو خیلی کم پیشرفت میدن و باعث میشن بدست هزاران نفر برسه.
در مرحله بعد، که فاز دوم اون تکنولوژی هست، بهش میگم پرورش و رشد اون علم و تکنولوژی؛ که توی این مرحله، اون هزاران نفر، باعث رشد و گسترش *چشم گیری* برای اون علم و تکنولوژی میشن و اون رو به دست شاید صد ها هزار نفر، یا شاید میلیون ها نفر، در یک سطح نیمه پخته ای می‌رسونن!

در همین حین، همون کسانی که از اولین منتشر کنندگان اون علم بودند، دارند این میوه نیمه رسیده رو میبینن و خودشون هم به صورت خصوصی پرورش میدن(مثل گوگل و OpenAI واسه هوش مصنوعی)


*و اما مرحله آخر!*
وقتی اون علم و تکنولوژی به حدی رسید که:

یا همه نتونستند بهش دست پیدا کنند و به طرز هنگفتی سود ده شد
یا موازنه قدرت رو در یک سطح اجتماعی(مثل فضای اینترنت *یا حتی بین کشور ها*) برهم زد
یا چیزای مشابه دیگه که الان یادم نمیاد،

*اینجاست که میگن باید اون علم و تکنولوژی از دسترس اون میلیون ها نفر گرفته بشه و به همون صد یا هزار نفر اولی برگرده!*


*حالا اصن این همه خزعبلات چه ربطی به ما داشت؟!*

همونطور که گفتیم حدود دو سال آینده، ما مدل های قوی ای خواهیم داشت که میتونیم توی خونه *بعضی هامون* اجرا کنیم...
و اون مدل ها، یعنی احساس زنگ خطر در اون حالت های بالا به صدا در اومده و باید جلوش گرفته بشه...
بهونه دولت آمریکا این هست که ممکنه از لحاظ امنیتی مشکل ساز بشه، خب بله! شکی درش نیست!
ولی اینکه بخوان جلوی انتشار چنین مدل هایی رو بگیرن و یا دسترس عموم رو ازش بردارند، چیز درستی نیست؛ مثل چیزی که داریو آمودی رئیس آنتروپیک گفت:«باید راه های بهتری برای امن کردن این مدل ها باشه و نیاز به یک راه حل عمومی مشترک هست»

و این خبر که *شاید* دولت آمریکا هم دست به چنین اقداماتی بر علیه جامعه اوپن سورس و هوش مصنوعی بزنه، از این نوع داستان هاست...
باید دید که دولت ها میخوان چطور با این مورد برخورد کنند و اصلا این گمانه زنی ها درسته یا خیر...

ادیت و پ.ن:
بگذریم که یکی دیگه از ترس های آمریکا از مدل های چینی هست که با نصف هزینه، همون سطح از هوش و ذکاوت رو ارائه میدن!

اینا همه اش نظر های شخصی بود و میتونید این پست رو نادیده بگیرید

@ai_src

سازنده اش میگه این پروژه رو در ۴ تا ۵ روز ساخته، ۱۶ ساعت بعد از اینکه آنتروپیک مقاله Jacobian Lens رو منتشر کرد(بگذریم که ی ۴۰۷۰ داره و یه ۵۰۸۰!)
فرمت export هاش هم خوبه: full checkpoint، modified layers، LoRA، و حتی GGUF برای llama.cpp. برای شروع هم lense های آماده از Neuronpedia روی HuggingFace موجوده(همون که لینکش رو گذاشتیم) که لازم نیست خودتون J-lens رو train کنید.
و نکته جالب هم اینه که پیشنهاد میکنه با Qwen3-4B یا یه llama شروع کنید چون steer پذیرتر از GPT-OSS هستن؛ یعنی بهتر میتونن متفاوت فکرکنند و شخصیتشون عوض بشه!

لینک گیتهابش رو هم اینجا میتونید ببینید: https://github.com/Extraltodeus/J-Wash
@ai_src

این پست رو کمی با تاخیر میذاریم؛ چون زیاد از نتایج و کاربرد هاش باخبر نبودیم... prismml اومده و مدل 27 میلیاردی رو با یک بیت فشرده سازی منتشر کرده.

مدل روی پایه Qwen3.6-27B ساخته شده، همون مدل reasoning از علی بابا. prismml با تکنیک 1-bit quantization تونسته این مدل 54 گیگابایتی رو به حدود 3.9 گیگابایت برسونه(حدود ۱۴ برابر کمتر)؛ نه اینکه فقط وزن ها رو کم کرده باشه؛ کل معماری، از embedding تا attention و MLP، به صورت یک بیتی train شده. این یه تفاوت اساسی با کوانتیزاسیون معمولی داره، چون Quantization فقط در فرآیند post-training انجام میشه.

و اینکه تیم webml یه space روی HuggingFace ساختن که میتونید مستقیم توی مرورگر، با WebGPU، این مدل 27 میلیاردی رو اجرا کنید. یعنی بدون هیچ نصب برنامه ای، مستقیم توی کروم یا فایرفاکس(باید webgpu فعال باشه) این مدل لود و اجرا میشه (طبیعتا بهتره ۶ گیگ vram یا حداقل ۱۶ گیگ رم داشته باشید...) این کار از نظر فنی اتفاق جالبیه چون قبلا حتی مدل های 7 میلیاردی هم توی مرورگر سنگین بودن و به زور اجرا میشدن!

@ai_src

با اینکه این فشرده سازی بسیار بالا صورت گرفته(تقریبا ۱/۱۶ مدل full precision هست)، کاربران میگن که این مدل تقریبا هم رده با مدل های 8 میلیاردی عمل میکنه (که تعجبی هم نداره، تقریبا یک مدل 8 میلیاردی با فرمت فشرده سازی Q4،تقریبا حجمی برابر با این مدل داره). بیشتر میشه گفت که این مدل یه جورایی PoC و به نوعی prototype هست و راه طولانی در پیش داریم و نباید انتظار زیادی از این مدل داشت.

وبلاگ هاگینگ فیس و space اجرای مدل هم از این قراره:
https://huggingface.co/prism-ml/Bonsai-27B-gguf
https://huggingface.co/spaces/webml-community/bonsai-webgpu-kernels

@ai_src

از نظر بنچمارک هم در مقام جالبی هست! :
در coding، K3 واقعا خوب عمل کرده. روی Frontend Code Arena به جایگاه اول رسیده و از Fable 5 جلو زده،
روی Program Bench و SWE Marathon هم رتبه اوله.
ولی اگه تصویر کامل تر رو نگاه کنید، در 14 بنچمارک مشترک با Fable 5، نسبت 8 به 6 به نفع Fable 5 هست. یعنی K3 یه مدل قوی coding و agentic هست، ولی در reasoning عمیق، visual tasks و مسائل open-ended مدل Fable 5 هنوز جلوتره.
روی Artificial Analysis Intelligence Index هم K3 با امتیاز 57 در جایگاه چهارم نشسته، پشت Fable 5 (حدود 60) و GPT-5.6 Sol (حدود 59). یه نکته مهم اینه که همه این بنچمارک ها از طرف خود Moonshot گزارش شدن و ارزیابی مستقل هنوز کامل نشده.

یه چیزی که K3 رو از نظر عملی جذاب میکنه قیمت inference هاش هست: ورودی 3 دلار و خروجی 15 دلار به ازای هر میلیون توکن، در مقابل 10 و 50 دلار برای Fable 5. *یعنی تقریبا 3.3 برابر ارزون تر!* برای تیم هایی که workload سنگین دارن و اون حد از دقت Fable 5 رو لازم ندارن، این فرق قیمت خیلی معنی داره. البته یه نکته اینه که K3 در مقایسه با مدل های قبلی چینی مثل K2 خودش، دیگه اون ارزونی سابق رو نداره(خب از نظر حجم پارامتر طبیعیه!)

از DeepSeek R1 که در ژانویه 2025 که همه رو شوکه کرد تا الان، مدل های چینی open-weight به شکل جدی دارن گپ و فاصله با لابراتوار و مدل های آمریکایی رو پر میکنن. Qwen از Alibaba الان بیشترین دانلود رو در HuggingFace داره و از Llama جلو زده. روی OpenRouter، مدل های چینی الان بیش از 60% کل توکن های پردازش شده رو به خودشون اختصاص دادن. K3 ادامه همین روند هست ولی با یه تفاوت: اینجا دیگه صحبت از مدلی نیست که "نزدیک" به مدل های غربیه، بلکه در بعضی حوزه ها از اون ها داره جلو میزنه! این یه تغییر کیفی مهمه.

به عنوان مثال به فیلم بالا که نگاه کنید، kimi k3 تونسته یک بازی سه بعدی رو با three.js و با استفاده از gpu مرورگر بسازه که فوق العاده اس!
از طرفی تونسته در ویدیوی بعدی هم یک چیپ مخصوص خودش(خود مدلش!) طراحی کنه تا بتونه روی اون اجرا بشه و در واقع همه معماری های مدل رو به صورت سخت افزاری طراحی کرده... اگر درست طراحی کرده باشه، واقعا فوق العاده عمل کرده...!
و این مدل هم به حدی قوی بوده که مثل آنتروپیک، که از fable 5 برای برخی پژوهش ها استفاده میکنه، moonshot-ai هم اومده از این مدل برای گزارش خودش هم از این مدل استفاده کرده و به عنوان مثال گفته که artifact های HTML توی خود مقاله زیر رو هم خود مدل طراحی کرده!

در نهایت K3 یه مدل خیلی جدی و قابل توجهه، خصوصا برای کار های coding و agentic. ولی نباید با هیجان زیاد گولش رو خورد. بنچمارک ها vendor-reported هستن، Fable 5 در reasoning و visual tasks هنوز بهتره، و این که مدلی "اول" بشه روی یه leaderboard الزاما به معنی برتری در همه workload های واقعی نیست. وزن های open-weight هفته دیگه میان و اون موقعه که تست های مستقل میتونن تصویر واضح تری بدن.

وبلاگش رو هم میتونید بخونید و نمونه کار هایی که انجام داده رو هم بیشتر ببینید:
https://kimi.com/blog/kimi-k3

@ai_src