عزیزم ادامه بده، تو میتونی :)
ظاهراً برای جلو بردن مرز ریاضیات، گاهی فقط به ۶۰ تا AI Agent و یک نفر نیاز دارید که هر چند وقت یکبار بگوید: «عزیزم ادامه بده، تو میتونی!»
انتروپیک یک نسخهی research از Claude را گذاشته سراغ یکی از معروفترین مسائل حلنشدهی تاریخ ریاضیات: فرضیهی ریمن. کلود فرضیه ریمن را حل نکرد؛ اما در تلاش برای حلش، به نتیجهای رسید که خودش بهاندازهی کافی عجیب و مهم است: یک bound قدیمی که دههها ریاضیدانها روی آن کار کرده بودند را از حدود 41.6٪ به 67.25٪ رساند.
برای اینکه بفهمیم این عدد یعنی چه، باید خود فرضیه ریمن را خیلی ساده توضیح بدهیم. اعداد اول ظاهراً با نظمی عجیب بین اعداد پخش شدهاند. هرچه جلوتر میرویم میتوانیم تقریب بزنیم چند عدد اول باید وجود داشته باشد، اما دقیقاً اینکه این بینظمی چطور رفتار میکند یکی از عمیقترین سؤالهای نظریه اعداد است.
بیش از ۱۶۰ سال پیش ریمن نشان داد برای فهم بهتر این توزیع میشود سراغ تابعی به نام Riemann Zeta Function رفت. این تابع نقاطی دارد که مقدارش صفر میشود و بخش مهم ماجرا مجموعهای از همین صفرها در صفحهی اعداد مختلط است.
فرضیه ریمن میگوید تمام صفرهای non-trivial این تابع باید دقیقاً روی یک خط خاص به نام Critical Line قرار گرفته باشند. یعنی اگر خیلی ساده بگوییم، ریمن پیشبینی کرده نقاطی که در ظاهر میتوانند در یک ناحیه پخش باشند، در واقع همگی دقیقاً روی یک خط نشستهاند.
اهمیت ماجرا هم اینجاست که این صفرها ارتباط عمیقی با نحوهی توزیع اعداد اول دارند. اگر فرضیه ریمن اثبات شود، تعداد زیادی از نتایج نظریه اعداد که امروز بهشکل «اگر فرضیه ریمن درست باشد...» بیان میشوند، وضعیت بسیار محکمتری پیدا میکنند. به همین دلیل هم این مسئله یکی از Millennium Prize Problemهاست و برای اثباتش یک میلیون دلار جایزه گذاشتهاند.
مشکل اینجاست که بعد از بیش از یک قرن تلاش، هنوز کسی نتوانسته ثابت کند 100٪ این صفرها روی آن خط هستند. کاری که ریاضیدانها در این مدت کردهاند این بوده که حداقل درصدی از آنها را ثابت کنند و پیشرفت در این مسیر بسیار کند بوده است.
تا قبل از این کار، بهترین نتیجه در این مسیر حدود 41.6٪ بود؛ یعنی میتوانستیم با اثبات ریاضی تضمین کنیم حداقل این مقدار از صفرهای موردنظر روی Critical Line قرار دارند.
کلود این عدد را یکدفعه به حدود 67.25٪ رسانده است.
یعنی مسئلهی 100٪ هنوز سر جایش است؛ اما bound اثباتشده با یک جهش بسیار بزرگ از حدود ۴۲٪ به بیش از دو سوم رسیده.
اما چیزی که برای من حتی جالبتر از نتیجه است، نحوهی رسیدن به آن است.
یکی از کارکنان انتروپیک به نام Jarred Sumner، که خودش ریاضیدان هم نیست، اساساً به Claude گفته: «یک تلاش جدی برای حل فرضیه ریمن بکن.» کلود شروع کرده و حدود 650 ایده مختلف را امتحان کرده و همه شکست خوردهاند.
بعد Jarred دوباره ازش خواسته ادامه بدهد. این بار کلود حدود 60 subagent از خودش راه انداخته و نزدیک یکونیم روز روی مسئله کار کردهاند. در مجموع حدود 31 میلیون output token تولید شده، هزاران محاسبه و numerical check انجام شده، صدها Python script نوشته شده و agentها حتی ایدهها و نتایج یکدیگر را بررسی و نقد کردهاند.
و این وسط نقش انسان واقعاً بامزه است 🙂
خود انتروپیک نوشته که بخش زیادی از دخالت Jarred در این مرحله تقریباً محدود بوده به فرستادن پیامهایی مثل «keep going» و «believe in yourself». جالبتر اینکه در گزارش نوشتهاند همین encouragement ظاهراً کمک کرده کلود از بدبینی اولیهاش دربارهی اینکه اصلاً میتواند روی مسئله پیشرفت معناداری کند عبور کند!
یعنی نقش Human-in-the-loop در یکی از جالبترین experimentهای اخیر AI + Science عملاً شده:
«عزیزم ادامه بده، تو میتونی :)»
البته خروجی صرفاً یک عددی نیست که مدل با simulation پیدا کرده باشد. کلود در نهایت یک proof ریاضی ساخته، نتیجه توسط ریاضیدانها بررسی شده و بخشهایی از آن هم بهشکل formally verifiable در Lean نوشته شده است.
بعد داستان یک مرحلهی عجیبتر هم پیدا کرده.
یک کاربر paper حاصل از Claude را داده به GPT-5.6-Sol Pro و از آن خواسته ببیند آیا میتواند نتیجه را باز هم بهتر کند. این مدل همان نقطهای را که کلود به آن رسیده بود بهعنوان starting point گرفته و bound را کمی دیگر جلو برده: از حدود 67.25٪ به حدود 67.30٪.
ظاهراً برای جلو بردن مرز ریاضیات، گاهی فقط به ۶۰ تا AI Agent و یک نفر نیاز دارید که هر چند وقت یکبار بگوید: «عزیزم ادامه بده، تو میتونی!»
انتروپیک یک نسخهی research از Claude را گذاشته سراغ یکی از معروفترین مسائل حلنشدهی تاریخ ریاضیات: فرضیهی ریمن. کلود فرضیه ریمن را حل نکرد؛ اما در تلاش برای حلش، به نتیجهای رسید که خودش بهاندازهی کافی عجیب و مهم است: یک bound قدیمی که دههها ریاضیدانها روی آن کار کرده بودند را از حدود 41.6٪ به 67.25٪ رساند.
برای اینکه بفهمیم این عدد یعنی چه، باید خود فرضیه ریمن را خیلی ساده توضیح بدهیم. اعداد اول ظاهراً با نظمی عجیب بین اعداد پخش شدهاند. هرچه جلوتر میرویم میتوانیم تقریب بزنیم چند عدد اول باید وجود داشته باشد، اما دقیقاً اینکه این بینظمی چطور رفتار میکند یکی از عمیقترین سؤالهای نظریه اعداد است.
بیش از ۱۶۰ سال پیش ریمن نشان داد برای فهم بهتر این توزیع میشود سراغ تابعی به نام Riemann Zeta Function رفت. این تابع نقاطی دارد که مقدارش صفر میشود و بخش مهم ماجرا مجموعهای از همین صفرها در صفحهی اعداد مختلط است.
فرضیه ریمن میگوید تمام صفرهای non-trivial این تابع باید دقیقاً روی یک خط خاص به نام Critical Line قرار گرفته باشند. یعنی اگر خیلی ساده بگوییم، ریمن پیشبینی کرده نقاطی که در ظاهر میتوانند در یک ناحیه پخش باشند، در واقع همگی دقیقاً روی یک خط نشستهاند.
اهمیت ماجرا هم اینجاست که این صفرها ارتباط عمیقی با نحوهی توزیع اعداد اول دارند. اگر فرضیه ریمن اثبات شود، تعداد زیادی از نتایج نظریه اعداد که امروز بهشکل «اگر فرضیه ریمن درست باشد...» بیان میشوند، وضعیت بسیار محکمتری پیدا میکنند. به همین دلیل هم این مسئله یکی از Millennium Prize Problemهاست و برای اثباتش یک میلیون دلار جایزه گذاشتهاند.
مشکل اینجاست که بعد از بیش از یک قرن تلاش، هنوز کسی نتوانسته ثابت کند 100٪ این صفرها روی آن خط هستند. کاری که ریاضیدانها در این مدت کردهاند این بوده که حداقل درصدی از آنها را ثابت کنند و پیشرفت در این مسیر بسیار کند بوده است.
تا قبل از این کار، بهترین نتیجه در این مسیر حدود 41.6٪ بود؛ یعنی میتوانستیم با اثبات ریاضی تضمین کنیم حداقل این مقدار از صفرهای موردنظر روی Critical Line قرار دارند.
کلود این عدد را یکدفعه به حدود 67.25٪ رسانده است.
یعنی مسئلهی 100٪ هنوز سر جایش است؛ اما bound اثباتشده با یک جهش بسیار بزرگ از حدود ۴۲٪ به بیش از دو سوم رسیده.
اما چیزی که برای من حتی جالبتر از نتیجه است، نحوهی رسیدن به آن است.
یکی از کارکنان انتروپیک به نام Jarred Sumner، که خودش ریاضیدان هم نیست، اساساً به Claude گفته: «یک تلاش جدی برای حل فرضیه ریمن بکن.» کلود شروع کرده و حدود 650 ایده مختلف را امتحان کرده و همه شکست خوردهاند.
بعد Jarred دوباره ازش خواسته ادامه بدهد. این بار کلود حدود 60 subagent از خودش راه انداخته و نزدیک یکونیم روز روی مسئله کار کردهاند. در مجموع حدود 31 میلیون output token تولید شده، هزاران محاسبه و numerical check انجام شده، صدها Python script نوشته شده و agentها حتی ایدهها و نتایج یکدیگر را بررسی و نقد کردهاند.
و این وسط نقش انسان واقعاً بامزه است 🙂
خود انتروپیک نوشته که بخش زیادی از دخالت Jarred در این مرحله تقریباً محدود بوده به فرستادن پیامهایی مثل «keep going» و «believe in yourself». جالبتر اینکه در گزارش نوشتهاند همین encouragement ظاهراً کمک کرده کلود از بدبینی اولیهاش دربارهی اینکه اصلاً میتواند روی مسئله پیشرفت معناداری کند عبور کند!
یعنی نقش Human-in-the-loop در یکی از جالبترین experimentهای اخیر AI + Science عملاً شده:
«عزیزم ادامه بده، تو میتونی :)»
البته خروجی صرفاً یک عددی نیست که مدل با simulation پیدا کرده باشد. کلود در نهایت یک proof ریاضی ساخته، نتیجه توسط ریاضیدانها بررسی شده و بخشهایی از آن هم بهشکل formally verifiable در Lean نوشته شده است.
بعد داستان یک مرحلهی عجیبتر هم پیدا کرده.
یک کاربر paper حاصل از Claude را داده به GPT-5.6-Sol Pro و از آن خواسته ببیند آیا میتواند نتیجه را باز هم بهتر کند. این مدل همان نقطهای را که کلود به آن رسیده بود بهعنوان starting point گرفته و bound را کمی دیگر جلو برده: از حدود 67.25٪ به حدود 67.30٪.
🔥5❤2😁1
Dev Tweet
عزیزم ادامه بده، تو میتونی :) ظاهراً برای جلو بردن مرز ریاضیات، گاهی فقط به ۶۰ تا AI Agent و یک نفر نیاز دارید که هر چند وقت یکبار بگوید: «عزیزم ادامه بده، تو میتونی!» انتروپیک یک نسخهی research از Claude را گذاشته سراغ یکی از معروفترین مسائل حلنشدهی…
استفاده از روش تربیتی مادر ایرانی در harness مدل:)
😁12
الگوریتم Recommendation System توئیتر منتشر شده.
جالبه بیشترین چیزی که یک پست رو boost میکنه و رتبهش رو در پیشنهاد دهی ارتقا میده کپی کردن لینک برای share کردن پسته.
و به طور طبیعی بدترین تاثیر رو هم report کردن پست داره.
جالب اینکه لایک و کلیک روی پست خیلی تاثیر کمی دارند و در یک حد هستند.
و جالبتر اینکه سیستم بر حسب یک رابطه خطی وزن دار و ضرائب ثابت طراحی شده و یک مدل کاملا مبتنی بر وزنهای شبکهی عصبی نیست. این برای کسانی که Scoring Model کار کردند نکات فراوانی داره.
جالبه بیشترین چیزی که یک پست رو boost میکنه و رتبهش رو در پیشنهاد دهی ارتقا میده کپی کردن لینک برای share کردن پسته.
و به طور طبیعی بدترین تاثیر رو هم report کردن پست داره.
جالب اینکه لایک و کلیک روی پست خیلی تاثیر کمی دارند و در یک حد هستند.
و جالبتر اینکه سیستم بر حسب یک رابطه خطی وزن دار و ضرائب ثابت طراحی شده و یک مدل کاملا مبتنی بر وزنهای شبکهی عصبی نیست. این برای کسانی که Scoring Model کار کردند نکات فراوانی داره.
❤7👌2👍1👎1
زن داریو آمودی، مدیرعامل Anthropic، طبق ایمیلهای منتشرشده برای یک استارتآپ پورن لاکچری(طبق گفته خودش) از جفری اپستین درخواست فاند کرده بوده...
و بخش باورنکردنی داستان؟
اپستین ریجکتش کرده. 😳
یعنی یه ایدهای داشتی که بردیش پیش جفری اپستین و حتی اون گفته:
نه... من ترجیح میدم وارد این حوزه نشم. 😐
واقعاً بعضی خبرها رو اگر توی سریال میدیدی میگفتی نویسنده زیادی زیادهروی کرده.
چیزی که اسناد نشان میدهند این است که Cami Clark برای پروژهاش از اپستین درباره سرمایهگذاری پرسیده و پاسخ ثبتشده او «Can't do sex TV» بوده؛ از این پاسخ نمیشود نتیجه گرفت علت رد، محتوای پروژه یا ملاحظات اخلاقی بوده و انتشار نام او در Epstein Files نیز بهخودیخود به معنای مشارکت در جرایم اپستین نیست.
و بخش باورنکردنی داستان؟
اپستین ریجکتش کرده. 😳
یعنی یه ایدهای داشتی که بردیش پیش جفری اپستین و حتی اون گفته:
نه... من ترجیح میدم وارد این حوزه نشم. 😐
واقعاً بعضی خبرها رو اگر توی سریال میدیدی میگفتی نویسنده زیادی زیادهروی کرده.
چیزی که اسناد نشان میدهند این است که Cami Clark برای پروژهاش از اپستین درباره سرمایهگذاری پرسیده و پاسخ ثبتشده او «Can't do sex TV» بوده؛ از این پاسخ نمیشود نتیجه گرفت علت رد، محتوای پروژه یا ملاحظات اخلاقی بوده و انتشار نام او در Epstein Files نیز بهخودیخود به معنای مشارکت در جرایم اپستین نیست.
The Wall Street Journal
Even Claude Is in the Dark About Dario Amodei’s Wife—and Her Influence at Anthropic
Cami Clark—who started what she called a “revolutionary porn company”—keeps a low profile but is a key adviser to the AI chief. Its coming IPO could top trillions.
🤯4
ما دقیقاً Median آمریکا هستیم 😂
دادههای جدید Ramp از هزینهکرد AI در شرکتهای آمریکایی واقعاً عجیبه: یک درصد بالای شرکتها از نظر هزینهکرد AI، ماهانه بهازای هر کارمند حدود ۷۴۰۰ دلار خرج میکنند. در ۱۰ درصد بالایی این عدد حدود ۶۵۰ دلار است و شرکت میانه؟ فقط ۱۱.۹۵ دلار بهازای هر نفر در ماه! یعنی فاصلهی Top 1% با شرکت میانه الان به چیزی حدود ۶۲۰ برابر رسیده. 😐
بعد شرکت ما یک Cursor شصتدلاری گرفته، پنج شش نفری داریم ازش استفاده میکنیم. 😂😂 یعنی هزینه AI ما بهازای هر نفر میشود حدود ۱۰ تا ۱۲ دلار؛ عملاً با دقت خندهداری دقیقاً Median آمریکا هستیم. 😂
ولی قسمت مهم نمودار برای من حتی خود اعداد نیست؛ شکافی است که دارد با سرعت باز میشود. همه دارند بیشتر برای AI خرج میکنند، اما آن یک درصد بالایی با سرعت کاملاً متفاوتی در حال جداشدن از بقیهاند.
واقعاً گپ عجیبی دارد ایجاد میشود.
دادههای جدید Ramp از هزینهکرد AI در شرکتهای آمریکایی واقعاً عجیبه: یک درصد بالای شرکتها از نظر هزینهکرد AI، ماهانه بهازای هر کارمند حدود ۷۴۰۰ دلار خرج میکنند. در ۱۰ درصد بالایی این عدد حدود ۶۵۰ دلار است و شرکت میانه؟ فقط ۱۱.۹۵ دلار بهازای هر نفر در ماه! یعنی فاصلهی Top 1% با شرکت میانه الان به چیزی حدود ۶۲۰ برابر رسیده. 😐
بعد شرکت ما یک Cursor شصتدلاری گرفته، پنج شش نفری داریم ازش استفاده میکنیم. 😂😂 یعنی هزینه AI ما بهازای هر نفر میشود حدود ۱۰ تا ۱۲ دلار؛ عملاً با دقت خندهداری دقیقاً Median آمریکا هستیم. 😂
ولی قسمت مهم نمودار برای من حتی خود اعداد نیست؛ شکافی است که دارد با سرعت باز میشود. همه دارند بیشتر برای AI خرج میکنند، اما آن یک درصد بالایی با سرعت کاملاً متفاوتی در حال جداشدن از بقیهاند.
واقعاً گپ عجیبی دارد ایجاد میشود.
😁4❤2
سریعتر از GPU؛ اما چطور؟! — بخش اول
سربراس نسل جدید سیستمش، CS-4، را معرفی کرده و همزمان همکاریاش با OpenAI به مقیاس بسیار بزرگتری رسیده است. طبق گزارش رویترز، OpenAI متعهد شده طی سه سال بیش از ۲۰ میلیارد دلار برای استفاده از سرورهای مبتنی بر Cerebras هزینه کند؛ توسعهی قراردادی که در ابتدا تا ۷۵۰ مگاوات ظرفیت inference را پوشش میداد. این عدد بهخودیخود برتری فنی را ثابت نمیکند، اما نشان میدهد بحث دیگر یک benchmark آزمایشی نیست و OpenAI بخشی از ظرفیت inference آیندهاش را روی معماریای غیر از GPUهای متعارف میچیند.
برای فهم معماری Cerebras کافی است از CPU، GPU و RAM شروع کنیم. در یک کامپیوتر معمولی، پردازنده محاسبه میکند و داده را از حافظه میگیرد. در GPU هم مدل عمدتاً در حافظهی پرسرعت کنار GPU قرار دارد. در مدلهای بزرگ، مخصوصاً هنگام تولید token، مسئله فقط تعداد عملیات ریاضی نیست؛ برای ساخت هر token باید حجم بزرگی از وزنهای مدل دوباره در اختیار واحدهای محاسباتی قرار بگیرد. بنابراین سرعت جابهجایی داده میان حافظه و پردازنده میتواند به اندازهی قدرت خود پردازنده تعیینکننده باشد.
چیپهای معمولی ابتدا روی یک صفحهی بزرگ سیلیکونی به نام wafer ساخته و بعد از هم جدا میشوند؛ هر قطعهی جداشده میتواند به یک CPU یا GPU تبدیل شود. Cerebras مسیر متفاوتی رفت و بهجای بریدن wafer، تقریباً کل آن را به یک پردازندهی واحد تبدیل کرد. نتیجه یک چیپ بسیار بزرگ با صدها هزار هسته و مسیرهای ارتباطی داخلی کوتاهتر از یک خوشهی متشکل از تعداد زیادی GPU است.
مزیت دوم به حافظه برمیگردد. SRAM را میشود شبیه cache بسیار بزرگ و بسیار سریع داخل پردازنده تصور کرد؛ از RAM و حافظهی معمول GPU سریعتر است، اما فضای بیشتری روی سیلیکون میگیرد و گرانتر است، به همین دلیل در پردازندههای معمولی مقدار آن محدود است. هر Wafer Scale Engine سربراس ۴۴ گیگابایت SRAM روی خود چیپ دارد. این مقدار برای نگهداشتن همهی مدلهای بزرگ کافی نیست، اما اجازه میدهد بخش بزرگی از تبادل داده با پهنای باند بسیار بالا و بدون رفتوآمد مداوم به حافظه و شبکهی خارجی انجام شود.
نسل CS-4 این ایده را در سطح سیستم ادامه داده است. هر سیستم سه wafer دارد و سربراس latency ارتباط wafer-to-wafer را تا حدود ۲ میکروثانیه پایین آورده است. شرکت میگوید در مدلهای آزمایششده تا ۳۰ برابر سرعت inference بیشتر از سیستمهای GPU و تا ۱۰ برابر throughput بیشتر بهازای هر وات نسبت به CS-3 به دست آورده است. ادعای مدلهای بیش از ۱۰ تریلیون پارامتر با حدود ۱۰۰۰ token/s هم فعلاً extrapolation از benchmarkهای داخلی است، نه اجرای عمومی یک مدل ۱۰ تریلیون پارامتری.
خروجی عملیتر این معماری را در GPT-5.6 Sol میبینیم. حالت Ultrafast این مدل روی Cerebras تا حدود ۷۵۰ token در ثانیه خروجی میدهد؛ تا ۱۴ برابر سریعتر از processing استاندارد، و طبق OpenAI همان مدل Sol است نه نسخهای کوچکتر یا pruneشده. این تفاوت در coding agent یا research agent مهمتر میشود، چون مدل در یک کار بارها فراخوانی میشود، ابزار اجرا میکند و نتیجه را دوباره میخواند؛ latency هر مرحله روی مراحل بعدی جمع میشود.
بخش اقتصادی هم به همان اندازه مهم است. جابهجایی کمتر داده یعنی انرژی کمتر، شبکه و حافظهی خارجی کمتر و token بیشتر با همان توان دیتاسنتر. سربراس برای CS-4 تا ۱۰ برابر throughput بهازای هر وات نسبت به نسل قبلی اعلام کرده و در مقایسهای که خودش برای CS-3 و DGX B200 منتشر کرده، هزینهی کل سختافزار و انرژی را حدود ۳۲ درصد پایینتر محاسبه کرده است. این عدد مستقل نیست و باید برآورد خود شرکت تلقی شود، اما جهت رقابت روشن است: معیار فقط token/s نیست، بلکه token بهازای دلار و token بهازای وات است.
این روند به Cerebras محدود نیست. چند شرکت دیگر همان گلوگاه را دیدهاند، اما هرکدام بخش متفاوتی از معماری کامپیوتر را تغییر دادهاند. بخش دوم دربارهی همین alternativeهاست.
سربراس نسل جدید سیستمش، CS-4، را معرفی کرده و همزمان همکاریاش با OpenAI به مقیاس بسیار بزرگتری رسیده است. طبق گزارش رویترز، OpenAI متعهد شده طی سه سال بیش از ۲۰ میلیارد دلار برای استفاده از سرورهای مبتنی بر Cerebras هزینه کند؛ توسعهی قراردادی که در ابتدا تا ۷۵۰ مگاوات ظرفیت inference را پوشش میداد. این عدد بهخودیخود برتری فنی را ثابت نمیکند، اما نشان میدهد بحث دیگر یک benchmark آزمایشی نیست و OpenAI بخشی از ظرفیت inference آیندهاش را روی معماریای غیر از GPUهای متعارف میچیند.
برای فهم معماری Cerebras کافی است از CPU، GPU و RAM شروع کنیم. در یک کامپیوتر معمولی، پردازنده محاسبه میکند و داده را از حافظه میگیرد. در GPU هم مدل عمدتاً در حافظهی پرسرعت کنار GPU قرار دارد. در مدلهای بزرگ، مخصوصاً هنگام تولید token، مسئله فقط تعداد عملیات ریاضی نیست؛ برای ساخت هر token باید حجم بزرگی از وزنهای مدل دوباره در اختیار واحدهای محاسباتی قرار بگیرد. بنابراین سرعت جابهجایی داده میان حافظه و پردازنده میتواند به اندازهی قدرت خود پردازنده تعیینکننده باشد.
چیپهای معمولی ابتدا روی یک صفحهی بزرگ سیلیکونی به نام wafer ساخته و بعد از هم جدا میشوند؛ هر قطعهی جداشده میتواند به یک CPU یا GPU تبدیل شود. Cerebras مسیر متفاوتی رفت و بهجای بریدن wafer، تقریباً کل آن را به یک پردازندهی واحد تبدیل کرد. نتیجه یک چیپ بسیار بزرگ با صدها هزار هسته و مسیرهای ارتباطی داخلی کوتاهتر از یک خوشهی متشکل از تعداد زیادی GPU است.
مزیت دوم به حافظه برمیگردد. SRAM را میشود شبیه cache بسیار بزرگ و بسیار سریع داخل پردازنده تصور کرد؛ از RAM و حافظهی معمول GPU سریعتر است، اما فضای بیشتری روی سیلیکون میگیرد و گرانتر است، به همین دلیل در پردازندههای معمولی مقدار آن محدود است. هر Wafer Scale Engine سربراس ۴۴ گیگابایت SRAM روی خود چیپ دارد. این مقدار برای نگهداشتن همهی مدلهای بزرگ کافی نیست، اما اجازه میدهد بخش بزرگی از تبادل داده با پهنای باند بسیار بالا و بدون رفتوآمد مداوم به حافظه و شبکهی خارجی انجام شود.
نسل CS-4 این ایده را در سطح سیستم ادامه داده است. هر سیستم سه wafer دارد و سربراس latency ارتباط wafer-to-wafer را تا حدود ۲ میکروثانیه پایین آورده است. شرکت میگوید در مدلهای آزمایششده تا ۳۰ برابر سرعت inference بیشتر از سیستمهای GPU و تا ۱۰ برابر throughput بیشتر بهازای هر وات نسبت به CS-3 به دست آورده است. ادعای مدلهای بیش از ۱۰ تریلیون پارامتر با حدود ۱۰۰۰ token/s هم فعلاً extrapolation از benchmarkهای داخلی است، نه اجرای عمومی یک مدل ۱۰ تریلیون پارامتری.
خروجی عملیتر این معماری را در GPT-5.6 Sol میبینیم. حالت Ultrafast این مدل روی Cerebras تا حدود ۷۵۰ token در ثانیه خروجی میدهد؛ تا ۱۴ برابر سریعتر از processing استاندارد، و طبق OpenAI همان مدل Sol است نه نسخهای کوچکتر یا pruneشده. این تفاوت در coding agent یا research agent مهمتر میشود، چون مدل در یک کار بارها فراخوانی میشود، ابزار اجرا میکند و نتیجه را دوباره میخواند؛ latency هر مرحله روی مراحل بعدی جمع میشود.
بخش اقتصادی هم به همان اندازه مهم است. جابهجایی کمتر داده یعنی انرژی کمتر، شبکه و حافظهی خارجی کمتر و token بیشتر با همان توان دیتاسنتر. سربراس برای CS-4 تا ۱۰ برابر throughput بهازای هر وات نسبت به نسل قبلی اعلام کرده و در مقایسهای که خودش برای CS-3 و DGX B200 منتشر کرده، هزینهی کل سختافزار و انرژی را حدود ۳۲ درصد پایینتر محاسبه کرده است. این عدد مستقل نیست و باید برآورد خود شرکت تلقی شود، اما جهت رقابت روشن است: معیار فقط token/s نیست، بلکه token بهازای دلار و token بهازای وات است.
این روند به Cerebras محدود نیست. چند شرکت دیگر همان گلوگاه را دیدهاند، اما هرکدام بخش متفاوتی از معماری کامپیوتر را تغییر دادهاند. بخش دوم دربارهی همین alternativeهاست.
👍7
سریعتر از GPU؛ اما چطور؟! — بخش دوم
این روند فقط به Cerebras محدود نیست. چند شرکت دیگر به همان مسئلهی جابهجایی داده، latency و هزینهی inference حمله کردهاند، اما هرکدام از زاویهای متفاوت.
در رویکرد Groq، مسئله این است که GPU برای انعطافپذیری بالا طراحی شده و اجرای کارها را در لحظه زمانبندی میکند. Groq معماری را deterministicتر کرده؛ یعنی مسیر اجرای عملیات تا حد زیادی از قبل توسط compiler مشخص میشود و مقدار زیادی SRAM سریع هم نزدیک واحدهای پردازشی قرار دارد. حاصل، latency قابلپیشبینیتر و سرعت بالای تککاربر است، بدون اینکه برای throughput خوب الزاماً مجبور باشید تعداد زیادی درخواست را batch کنید. از نظر هزینه هم مهم است: batching معمولاً cost per token را پایین میآورد ولی latency را بالا میبرد؛ اگر سختافزار با batch کوچک هم utilization خوبی داشته باشد، این trade-off ضعیفتر میشود. البته برای مدلهای بسیار بزرگ باید تعداد زیادی LPU به هم متصل شوند و مزیت هزینهای در هر مقیاسی تضمینشده نیست. Nvidia هم فناوری Groq را license کرده و تعدادی از مدیران اصلی آن را جذب کرده است.
در معماری d-Matrix ایده رادیکالتر است. در سیستم عادی، داده از memory به واحد محاسباتی میرود، ضرب ماتریسی انجام میشود و نتیجه دوباره برمیگردد. d-Matrix با Digital In-Memory Compute بخشی از محاسبه را به محل نگهداری داده نزدیک میکند. انتقال داده یکی از بخشهای پرمصرف inference است، بنابراین کمکردن این رفتوآمد میتواند هم joule per token و هم cost per token را پایین بیاورد. خود شرکت برای Corsair در برخی مقایسهها چند برابر بهبود cost-performance و efficiency نسبت به H100 گزارش کرده، هرچند اینها عمدتاً benchmarkهای خود شرکتاند.
در رویکرد SambaNova فرض دیگری شکسته میشود: اینکه تمام مراحل inference باید روی یک نوع پردازنده اجرا شوند. مرحلهی prefill که prompt را میخواند محاسباتی و بسیار parallel است و GPU در آن خوب عمل میکند؛ اما decode که tokenها را یکییکی میسازد بیشتر به پهنای باند حافظه و latency حساس است. SambaNova در یک سیستم disaggregated، B200 را برای prefill و RDU خودش را برای decode استفاده کرده و Artificial Analysis سرعتی حدود دو برابر پیکربندی B200-only گزارش کرده است. از نظر اقتصادی هم هر مرحله میتواند روی سختافزاری اجرا شود که performance-per-dollar و performance-per-watt بهتری برای همان کار دارد.
در مسیر Etched، هزینهی general-purpose بودن هدف قرار گرفته است. GPU باید برای طیف بزرگی از برنامهها مناسب باشد، اما Sohu مشخصاً برای Transformer طراحی شده است. وقتی سختافزار فقط یک خانوادهی محدود از عملیات را لازم دارد، بخش بیشتری از سطح چیپ و توان مصرفی میتواند صرف همان محاسبات شود. نتیجهی بالقوه throughput بیشتر و هزینه و انرژی کمتر بهازای token است، اما flexibility کاهش مییابد؛ اگر معماری غالب مدلها عوض شود، ASIC تخصصی خیلی سختتر از GPU با آن سازگار میشود.
در نهایت Taalas این تخصصیسازی را تا مرز محوکردن فاصلهی software و hardware میبرد. بخشی از اطلاعات مدل مستقیماً وارد طراحی silicon میشود. نمونهی HC1 آنها Llama 3.1 8B را با حدود ۱۷ هزار token/s اجرا کرده است. شرکت ادعا میکند سیستمش حدود ۱۰ برابر انرژی کمتر و نزدیک ۲۰ برابر هزینهی ساخت پایینتر از راهحلهای متعارف دارد؛ اعدادی که هنوز ادعای خود شرکتاند. trade-off هم روشن است: اگر مدل عوض شود، سختافزار به اندازهی GPU قابل استفادهی مجدد نیست. این روش وقتی اقتصادیتر میشود که یک مدل ثابت در مقیاس بسیار بزرگ و برای مدت طولانی اجرا شود. AMD هم اخیراً Taalas را خریده تا فناوری آن را در کنار Instinct GPUها توسعه دهد.
بنابراین تفاوت این شرکتها فقط در تعداد token در ثانیه نیست. هرکدام بخشی از هزینهی معماری فعلی را هدف گرفتهاند: Cerebras ارتباط بین تعداد زیادی چیپ را، Groq scheduling و latency را، d-Matrix رفتوآمد memory را، SambaNova استفاده از یک سختافزار واحد برای دو مرحلهی متفاوت را، و Etched و Taalas general-purpose بودن را.
به همین دلیل احتمالاً آیندهی inference به جای «جایگزینی GPU با یک چیپ دیگر»، به سمت دیتاسنترهای heterogeneous میرود: GPU برای training و prefill، acceleratorهای memory-centric برای decode و شاید siliconهای بسیار تخصصی برای مدلهای پرتکرار. در چنین مدلی معیار مهم دیگر فقط FLOPS یا حتی token/s نیست؛ معیار واقعی این است که برای یک مقدار مشخص کار مفید، چند دلار هزینه میکنیم، چند ژول انرژی مصرف میشود و کاربر چقدر منتظر میماند.
این روند فقط به Cerebras محدود نیست. چند شرکت دیگر به همان مسئلهی جابهجایی داده، latency و هزینهی inference حمله کردهاند، اما هرکدام از زاویهای متفاوت.
در رویکرد Groq، مسئله این است که GPU برای انعطافپذیری بالا طراحی شده و اجرای کارها را در لحظه زمانبندی میکند. Groq معماری را deterministicتر کرده؛ یعنی مسیر اجرای عملیات تا حد زیادی از قبل توسط compiler مشخص میشود و مقدار زیادی SRAM سریع هم نزدیک واحدهای پردازشی قرار دارد. حاصل، latency قابلپیشبینیتر و سرعت بالای تککاربر است، بدون اینکه برای throughput خوب الزاماً مجبور باشید تعداد زیادی درخواست را batch کنید. از نظر هزینه هم مهم است: batching معمولاً cost per token را پایین میآورد ولی latency را بالا میبرد؛ اگر سختافزار با batch کوچک هم utilization خوبی داشته باشد، این trade-off ضعیفتر میشود. البته برای مدلهای بسیار بزرگ باید تعداد زیادی LPU به هم متصل شوند و مزیت هزینهای در هر مقیاسی تضمینشده نیست. Nvidia هم فناوری Groq را license کرده و تعدادی از مدیران اصلی آن را جذب کرده است.
در معماری d-Matrix ایده رادیکالتر است. در سیستم عادی، داده از memory به واحد محاسباتی میرود، ضرب ماتریسی انجام میشود و نتیجه دوباره برمیگردد. d-Matrix با Digital In-Memory Compute بخشی از محاسبه را به محل نگهداری داده نزدیک میکند. انتقال داده یکی از بخشهای پرمصرف inference است، بنابراین کمکردن این رفتوآمد میتواند هم joule per token و هم cost per token را پایین بیاورد. خود شرکت برای Corsair در برخی مقایسهها چند برابر بهبود cost-performance و efficiency نسبت به H100 گزارش کرده، هرچند اینها عمدتاً benchmarkهای خود شرکتاند.
در رویکرد SambaNova فرض دیگری شکسته میشود: اینکه تمام مراحل inference باید روی یک نوع پردازنده اجرا شوند. مرحلهی prefill که prompt را میخواند محاسباتی و بسیار parallel است و GPU در آن خوب عمل میکند؛ اما decode که tokenها را یکییکی میسازد بیشتر به پهنای باند حافظه و latency حساس است. SambaNova در یک سیستم disaggregated، B200 را برای prefill و RDU خودش را برای decode استفاده کرده و Artificial Analysis سرعتی حدود دو برابر پیکربندی B200-only گزارش کرده است. از نظر اقتصادی هم هر مرحله میتواند روی سختافزاری اجرا شود که performance-per-dollar و performance-per-watt بهتری برای همان کار دارد.
در مسیر Etched، هزینهی general-purpose بودن هدف قرار گرفته است. GPU باید برای طیف بزرگی از برنامهها مناسب باشد، اما Sohu مشخصاً برای Transformer طراحی شده است. وقتی سختافزار فقط یک خانوادهی محدود از عملیات را لازم دارد، بخش بیشتری از سطح چیپ و توان مصرفی میتواند صرف همان محاسبات شود. نتیجهی بالقوه throughput بیشتر و هزینه و انرژی کمتر بهازای token است، اما flexibility کاهش مییابد؛ اگر معماری غالب مدلها عوض شود، ASIC تخصصی خیلی سختتر از GPU با آن سازگار میشود.
در نهایت Taalas این تخصصیسازی را تا مرز محوکردن فاصلهی software و hardware میبرد. بخشی از اطلاعات مدل مستقیماً وارد طراحی silicon میشود. نمونهی HC1 آنها Llama 3.1 8B را با حدود ۱۷ هزار token/s اجرا کرده است. شرکت ادعا میکند سیستمش حدود ۱۰ برابر انرژی کمتر و نزدیک ۲۰ برابر هزینهی ساخت پایینتر از راهحلهای متعارف دارد؛ اعدادی که هنوز ادعای خود شرکتاند. trade-off هم روشن است: اگر مدل عوض شود، سختافزار به اندازهی GPU قابل استفادهی مجدد نیست. این روش وقتی اقتصادیتر میشود که یک مدل ثابت در مقیاس بسیار بزرگ و برای مدت طولانی اجرا شود. AMD هم اخیراً Taalas را خریده تا فناوری آن را در کنار Instinct GPUها توسعه دهد.
بنابراین تفاوت این شرکتها فقط در تعداد token در ثانیه نیست. هرکدام بخشی از هزینهی معماری فعلی را هدف گرفتهاند: Cerebras ارتباط بین تعداد زیادی چیپ را، Groq scheduling و latency را، d-Matrix رفتوآمد memory را، SambaNova استفاده از یک سختافزار واحد برای دو مرحلهی متفاوت را، و Etched و Taalas general-purpose بودن را.
به همین دلیل احتمالاً آیندهی inference به جای «جایگزینی GPU با یک چیپ دیگر»، به سمت دیتاسنترهای heterogeneous میرود: GPU برای training و prefill، acceleratorهای memory-centric برای decode و شاید siliconهای بسیار تخصصی برای مدلهای پرتکرار. در چنین مدلی معیار مهم دیگر فقط FLOPS یا حتی token/s نیست؛ معیار واقعی این است که برای یک مقدار مشخص کار مفید، چند دلار هزینه میکنیم، چند ژول انرژی مصرف میشود و کاربر چقدر منتظر میماند.
👍5
This media is not supported in your browser
VIEW IN TELEGRAM
برای اینکه حس بگیرید GPT-5.6 Sol با ۷۵۰ توکن بر ثانیه روی Cerebras توی بلند با چه سرعتی کار میکنه این گیف رو ببینید و بدونید سرعت ویدئو زیاد نشده سرعت واقعی خود مدله.
🔥8
قانون مور، این بار در مصرف توکنها؟
حجم توکنهای OpenRouter طی سه سال گذشته تقریباً هر ۱۱ هفته دو برابر شده؛ رشدی که روی نمودار لگاریتمی تقریباً یک خط صاف ساخته است.
از حدود ۱۰ میلیارد توکن در هفته در ابتدای ۲۰۲۴، به ۱ تریلیون در مارس ۲۰۲۵، ۱۰ تریلیون در فوریه ۲۰۲۶ و حالا بیش از ۸۷ تریلیون توکن در هفته رسیدهایم؛ یعنی اگر همین نرخ حفظ شود، بیش از ۴.۵ کوادریلیون توکن در سال.
این البته «قانون مور» به معنای دقیق کلمه نیست. قانون مور دربارهی رشد ظرفیت سختافزار بود؛ این نمودار رشد مصرف inference را نشان میدهد. با این حال شباهت جالب است: یک کمیت مهم در صنعت برای چند سال روی مسیر تقریباً نمایی حرکت کرده است.
و شاید مهمتر از تعداد کاربران، تغییر شکل استفاده از AI باشد. یک چت معمولی چند هزار توکن مصرف میکند، اما یک Agent برای انجام یک کار میتواند دهها بار مدل را صدا بزند، فایل بخواند، ابزار اجرا کند، خروجی را دوباره وارد context کند و چندین مرحله reasoning داشته باشد.
یعنی در دورهی Agentها لازم نیست تعداد کاربران ۱۰ برابر شود تا مصرف توکن ۱۰ برابر شود؛ مصرف محاسباتی هر کاربر هم در حال افزایش است.
حجم توکنهای OpenRouter طی سه سال گذشته تقریباً هر ۱۱ هفته دو برابر شده؛ رشدی که روی نمودار لگاریتمی تقریباً یک خط صاف ساخته است.
از حدود ۱۰ میلیارد توکن در هفته در ابتدای ۲۰۲۴، به ۱ تریلیون در مارس ۲۰۲۵، ۱۰ تریلیون در فوریه ۲۰۲۶ و حالا بیش از ۸۷ تریلیون توکن در هفته رسیدهایم؛ یعنی اگر همین نرخ حفظ شود، بیش از ۴.۵ کوادریلیون توکن در سال.
این البته «قانون مور» به معنای دقیق کلمه نیست. قانون مور دربارهی رشد ظرفیت سختافزار بود؛ این نمودار رشد مصرف inference را نشان میدهد. با این حال شباهت جالب است: یک کمیت مهم در صنعت برای چند سال روی مسیر تقریباً نمایی حرکت کرده است.
و شاید مهمتر از تعداد کاربران، تغییر شکل استفاده از AI باشد. یک چت معمولی چند هزار توکن مصرف میکند، اما یک Agent برای انجام یک کار میتواند دهها بار مدل را صدا بزند، فایل بخواند، ابزار اجرا کند، خروجی را دوباره وارد context کند و چندین مرحله reasoning داشته باشد.
یعنی در دورهی Agentها لازم نیست تعداد کاربران ۱۰ برابر شود تا مصرف توکن ۱۰ برابر شود؛ مصرف محاسباتی هر کاربر هم در حال افزایش است.
👍5
یک مدل بینام، بالاتر از Fable و GPT-5.6 Sol!
مدل ناشناس Ox Alpha فعلاً برای یک هفته روی OpenCode رایگان شده؛ با کانتکست ۱ میلیون توکنی، قابلیت multimodal، محدودیت استفاده بسیار بالا و Zero Data Retention.
چیزی که این مدل را جالب کرده، عملکرد اولیهاش در تستهای کدنویسی است. در یک نمونه ۱۰ تسکی از DeepSWE نتیجه این بوده:
Ox Alpha: 80٪
Fable 5: 65٪
GLM-5.3: 62٪
Grok 4.6: 62٪
GPT-5.6 Sol: 52٪
یعنی در همین تست محدود، Ox Alpha فاصله قابل توجهی با Fable و مخصوصاً GPT-5.6 Sol داشته. البته فقط ۱۰ تسک تست شده و هنوز نمیشود از آن یک ranking قطعی ساخت، ولی برای یک مدل ناشناس نتیجه خیلی قابل توجهی است.
هنوز سازنده مدل رسماً مشخص نشده، اما fingerprintهای فنی آن شدیداً به خانواده GLM-5.x اشاره میکنند.
نکته عجیبتر اینکه OpenCode گفته برای این مدل ظرفیت ۱۰۰ تریلیون توکن در روز در نظر گرفته و فعلاً استفاده از آن تقریباً بدون محدودیت جدی است.
اگر با coding agentها کار میکنید، این یک هفته احتمالاً ارزش تست کردن دارد.
مدل ناشناس Ox Alpha فعلاً برای یک هفته روی OpenCode رایگان شده؛ با کانتکست ۱ میلیون توکنی، قابلیت multimodal، محدودیت استفاده بسیار بالا و Zero Data Retention.
چیزی که این مدل را جالب کرده، عملکرد اولیهاش در تستهای کدنویسی است. در یک نمونه ۱۰ تسکی از DeepSWE نتیجه این بوده:
Ox Alpha: 80٪
Fable 5: 65٪
GLM-5.3: 62٪
Grok 4.6: 62٪
GPT-5.6 Sol: 52٪
یعنی در همین تست محدود، Ox Alpha فاصله قابل توجهی با Fable و مخصوصاً GPT-5.6 Sol داشته. البته فقط ۱۰ تسک تست شده و هنوز نمیشود از آن یک ranking قطعی ساخت، ولی برای یک مدل ناشناس نتیجه خیلی قابل توجهی است.
هنوز سازنده مدل رسماً مشخص نشده، اما fingerprintهای فنی آن شدیداً به خانواده GLM-5.x اشاره میکنند.
نکته عجیبتر اینکه OpenCode گفته برای این مدل ظرفیت ۱۰۰ تریلیون توکن در روز در نظر گرفته و فعلاً استفاده از آن تقریباً بدون محدودیت جدی است.
اگر با coding agentها کار میکنید، این یک هفته احتمالاً ارزش تست کردن دارد.
👍4
Dev Tweet
یک مدل بینام، بالاتر از Fable و GPT-5.6 Sol! مدل ناشناس Ox Alpha فعلاً برای یک هفته روی OpenCode رایگان شده؛ با کانتکست ۱ میلیون توکنی، قابلیت multimodal، محدودیت استفاده بسیار بالا و Zero Data Retention. چیزی که این مدل را جالب کرده، عملکرد اولیهاش در…
معمای Ox Alpha حل شد؛ تقریباً یک DeepSeek Flash مولتیمودال
مدلی که چند روز با نام ناشناس Ox Alpha روی OpenRouter و OpenCode میچرخید، پیشنمایش مدل جدید GLM-5.3-Flash از Z.ai بوده است. نسخهی رسمی امروز با وزنهای باز و لایسنس MIT منتشر شده و برای coding، استفادهی agentic و کارهای long-horizon طراحی شده است. خود Z.ai هم میگوید نسخهی ناشناس را عمداً قبل از انتشار روی ترافیک واقعی آزمایش کرده است.
برای تقریب به ذهن، به نظرم نزدیکترین مدل جاافتاده به آن DeepSeek V4 Flash 0731 است. این شباهت فقط از اسم Flash یا قیمت نمیآید؛ دو مدل از نظر design point تقریباً در یک کلاس قرار میگیرند.
مدل GLM-5.3-Flash یک MoE با ۳۲۰ میلیارد پارامتر و ۱۸ میلیارد پارامتر فعال در هر توکن است. مدل DeepSeek V4 Flash هم در مدل پایه ۲۸۴ میلیارد پارامتر و ۱۳ میلیارد پارامتر فعال دارد. هر دو context یکمیلیونتوکنی دارند، هر دو open-weight و MIT هستند و هر دو بخش بزرگی از معماریشان را حول ارزانکردن inference روی contextهای طولانی ساختهاند.
معماری GLM البته یک قدم متفاوت جلو رفته است. این مدل از ترکیب linear attention و sparse attention استفاده میکند و Z.ai میگوید نسبت به GLM-5.3، محاسبات attention را حدود ۳ برابر و KV cache را حدود ۴.۴ برابر کاهش داده است. جالب اینکه خود Z.ai در گزارش معماری، DeepSeek V4 Flash و Kimi K3 را مستقیماً بهعنوان مدلهای مقایسه آورده؛ یعنی انتخاب DeepSeek بهعنوان نزدیکترین تقریب ذهن، با positioning خود سازنده هم جور درمیآید.
تفاوت بزرگتر در ورودی مدل است. مدل DeepSeek V4 Flash 0731 فعلاً text-only است، در حالی که GLM-5.3-Flash از پایه روی corpus چندوجهی ۳۰ تریلیونتوکنی آموزش دیده و تصویر، ویدئو و فایل را مستقیماً میفهمد. برای coding agent این موضوع کاربرد عملی دارد: ایجنت میتواند screenshot رابط، خروجی render، محیط بازی یا رابط یک نرمافزار را ببیند و بعد کدش را بر اساس نتیجه اصلاح کند.
از نظر capability هم دادههای اولیه GLM را کمی بالاتر میگذارند. امتیاز اعلامشدهی آن در Artificial Analysis Intelligence Index v4.1.1 برابر ۵۷ است؛ امتیاز فعلی DeepSeek V4 Flash 0731 در همان خانوادهی ارزیابی حدود ۵۲ است. در تستهای agentic نیز GLM روی Terminal-Bench 2.1 امتیاز ۸۴.۳ و روی DeepSWE امتیاز ۶۳.۴ گرفته، در حالی که اعداد منتشرشده برای DeepSeek 0731 بهترتیب ۸۲.۷ و ۵۴.۴ هستند. مقایسهی این دو benchmark را باید با احتیاط خواند، چون harness و تنظیمات اجرای دو شرکت یکسان نیست.
قسمت جالبتر ماجرا قیمت است. قیمت عادی GLM-5.3-Flash برای هر یک میلیون توکن ۰.۱۵ دلار ورودی، ۰.۵۰ دلار خروجی و ۰.۰۳ دلار cached input است. تا ۹ سپتامبر هم تخفیف ۵۰ درصدی دارد و این اعداد به ۰.۰۷۵، ۰.۲۵ و ۰.۰۱۵ دلار میرسند.
مقایسه با DeepSeek حالا حتی جذابتر شده، چون دیپسیک از ۱۷ اوت قیمت V4 را افزایش داده است. نرخ فعلی V4 Flash در ساعات کمباری حدود ۰.۲۲ دلار ورودی و ۰.۶۶ دلار خروجی و در ساعات شلوغ ۰.۴۴ و ۱.۳۲ دلار است. یعنی حتی بعد از تمامشدن تخفیف Z.ai، قیمت معمول ورودی و خروجی GLM پایینتر از نرخ کمباری DeepSeek میماند.
یک استثنای مهم در caching وجود دارد. قیمت cached input دیپسیک در ساعات کمباری فقط ۰.۰۰۷ دلار و در ساعات شلوغ ۰.۰۱۴ دلار است؛ بنابراین برای coding agentهایی که بخش بزرگی از repository، system prompt و context قبلی دائماً cache hit میشود، DeepSeek هنوز مزیت اقتصادی جدی دارد. قیمت یک مدل را برای workloadهای agentic بهتر است فقط از روی ستون input/output معمولی قضاوت نکنیم.
در نتیجه اگر بخواهم GLM-5.3-Flash را در یک جمله برای کسی که بازار مدلها را دنبال میکند جا بیندازم، میگویم:
مدلی در کلاس DeepSeek V4 Flash 0731، با حدود ۳۰۰ میلیارد پارامتر MoE، یک میلیون context و تمرکز شدید روی agentic coding؛ با capability اولیه کمی بالاتر، مولتیمودالیتی native و API ارزانتر، در مقابل مزیت DeepSeek در cache ارزان و اکوسیستم سروینگ جاافتادهتر.
نکتهی مهمتر شاید خود این کلاس جدید مدلها باشد: حدود ۳۰۰ میلیارد پارامتر کل، چیزی نزدیک ۱۵ میلیارد پارامتر فعال، context یکمیلیونی و attention طراحیشده برای inference ارزان. به نظر میرسد «Flash» در نسل جدید مدلهای چینی کمکم دارد به یک design point مشخص برای ایجنتها تبدیل میشود.
مدلی که چند روز با نام ناشناس Ox Alpha روی OpenRouter و OpenCode میچرخید، پیشنمایش مدل جدید GLM-5.3-Flash از Z.ai بوده است. نسخهی رسمی امروز با وزنهای باز و لایسنس MIT منتشر شده و برای coding، استفادهی agentic و کارهای long-horizon طراحی شده است. خود Z.ai هم میگوید نسخهی ناشناس را عمداً قبل از انتشار روی ترافیک واقعی آزمایش کرده است.
برای تقریب به ذهن، به نظرم نزدیکترین مدل جاافتاده به آن DeepSeek V4 Flash 0731 است. این شباهت فقط از اسم Flash یا قیمت نمیآید؛ دو مدل از نظر design point تقریباً در یک کلاس قرار میگیرند.
مدل GLM-5.3-Flash یک MoE با ۳۲۰ میلیارد پارامتر و ۱۸ میلیارد پارامتر فعال در هر توکن است. مدل DeepSeek V4 Flash هم در مدل پایه ۲۸۴ میلیارد پارامتر و ۱۳ میلیارد پارامتر فعال دارد. هر دو context یکمیلیونتوکنی دارند، هر دو open-weight و MIT هستند و هر دو بخش بزرگی از معماریشان را حول ارزانکردن inference روی contextهای طولانی ساختهاند.
معماری GLM البته یک قدم متفاوت جلو رفته است. این مدل از ترکیب linear attention و sparse attention استفاده میکند و Z.ai میگوید نسبت به GLM-5.3، محاسبات attention را حدود ۳ برابر و KV cache را حدود ۴.۴ برابر کاهش داده است. جالب اینکه خود Z.ai در گزارش معماری، DeepSeek V4 Flash و Kimi K3 را مستقیماً بهعنوان مدلهای مقایسه آورده؛ یعنی انتخاب DeepSeek بهعنوان نزدیکترین تقریب ذهن، با positioning خود سازنده هم جور درمیآید.
تفاوت بزرگتر در ورودی مدل است. مدل DeepSeek V4 Flash 0731 فعلاً text-only است، در حالی که GLM-5.3-Flash از پایه روی corpus چندوجهی ۳۰ تریلیونتوکنی آموزش دیده و تصویر، ویدئو و فایل را مستقیماً میفهمد. برای coding agent این موضوع کاربرد عملی دارد: ایجنت میتواند screenshot رابط، خروجی render، محیط بازی یا رابط یک نرمافزار را ببیند و بعد کدش را بر اساس نتیجه اصلاح کند.
از نظر capability هم دادههای اولیه GLM را کمی بالاتر میگذارند. امتیاز اعلامشدهی آن در Artificial Analysis Intelligence Index v4.1.1 برابر ۵۷ است؛ امتیاز فعلی DeepSeek V4 Flash 0731 در همان خانوادهی ارزیابی حدود ۵۲ است. در تستهای agentic نیز GLM روی Terminal-Bench 2.1 امتیاز ۸۴.۳ و روی DeepSWE امتیاز ۶۳.۴ گرفته، در حالی که اعداد منتشرشده برای DeepSeek 0731 بهترتیب ۸۲.۷ و ۵۴.۴ هستند. مقایسهی این دو benchmark را باید با احتیاط خواند، چون harness و تنظیمات اجرای دو شرکت یکسان نیست.
قسمت جالبتر ماجرا قیمت است. قیمت عادی GLM-5.3-Flash برای هر یک میلیون توکن ۰.۱۵ دلار ورودی، ۰.۵۰ دلار خروجی و ۰.۰۳ دلار cached input است. تا ۹ سپتامبر هم تخفیف ۵۰ درصدی دارد و این اعداد به ۰.۰۷۵، ۰.۲۵ و ۰.۰۱۵ دلار میرسند.
مقایسه با DeepSeek حالا حتی جذابتر شده، چون دیپسیک از ۱۷ اوت قیمت V4 را افزایش داده است. نرخ فعلی V4 Flash در ساعات کمباری حدود ۰.۲۲ دلار ورودی و ۰.۶۶ دلار خروجی و در ساعات شلوغ ۰.۴۴ و ۱.۳۲ دلار است. یعنی حتی بعد از تمامشدن تخفیف Z.ai، قیمت معمول ورودی و خروجی GLM پایینتر از نرخ کمباری DeepSeek میماند.
یک استثنای مهم در caching وجود دارد. قیمت cached input دیپسیک در ساعات کمباری فقط ۰.۰۰۷ دلار و در ساعات شلوغ ۰.۰۱۴ دلار است؛ بنابراین برای coding agentهایی که بخش بزرگی از repository، system prompt و context قبلی دائماً cache hit میشود، DeepSeek هنوز مزیت اقتصادی جدی دارد. قیمت یک مدل را برای workloadهای agentic بهتر است فقط از روی ستون input/output معمولی قضاوت نکنیم.
در نتیجه اگر بخواهم GLM-5.3-Flash را در یک جمله برای کسی که بازار مدلها را دنبال میکند جا بیندازم، میگویم:
مدلی در کلاس DeepSeek V4 Flash 0731، با حدود ۳۰۰ میلیارد پارامتر MoE، یک میلیون context و تمرکز شدید روی agentic coding؛ با capability اولیه کمی بالاتر، مولتیمودالیتی native و API ارزانتر، در مقابل مزیت DeepSeek در cache ارزان و اکوسیستم سروینگ جاافتادهتر.
نکتهی مهمتر شاید خود این کلاس جدید مدلها باشد: حدود ۳۰۰ میلیارد پارامتر کل، چیزی نزدیک ۱۵ میلیارد پارامتر فعال، context یکمیلیونی و attention طراحیشده برای inference ارزان. به نظر میرسد «Flash» در نسل جدید مدلهای چینی کمکم دارد به یک design point مشخص برای ایجنتها تبدیل میشود.
❤4