امروز داشتم تو x میچرخیدم که چندتا ویدیو در رابطه با عملکرد ox alpha دیدم
در واقع به نظر میرسید که مدل بهتر از قبل شده
انگار‌جهش زده
بعضی کاربرها اومدن دقیقا پرامپت هایی که قبلا به مدل دادن رو، دوباره امروز به مدل دادن
ولی انگار نتیجه خیلی بهتری نسبت به قبل گرفتن

حالا چند حالت ممکنه که دوتا سناریو میتونه اینا باشه :
یا ممکنه دیتایی که این مدت به سرور ها رسیده رو استفاده کردن و مدل رو دقیق تر کردن

و یا اینکه مدل قدرت اینو داره که به مرور زمان از اشتباهاتش یادبگیره و خودش رو اصلاح کنه


در کل خیلی جالبه که بدون هیچ اعلام رسمی مدل تا این حد بهبود پیدا کرده باشه

و خب نگاها داره به سمتی میره که شاید اصلا قراره مدل کاملا جدیدی از کمپانی جدیدی معرفی بشه

خواهیم دید چه خواهد شد

@TheDeepTech

آقا چطوری هنوز جمنای میفروشن ۲۹۹ تومن

دلار ۲۰۰ تومنه

چطوریاس؟

نیاز دارم به همچین پارتنری 😂

اون بوس اخرش🤌🤌🤌🤌

امروز عمیقا خوشحال شدم که وایب کدینگ ها زیاد شدن

چون وقتی میان سمت کسایی که بلدن کارفرما ما گند وایب کدرها هم اوکی میکنیم و ۴ ۵ برابر میگیریم

خدایا وایب کدرارو زیاد کن برای ما کار بسازن کار پر پول😂

این چیپی که درست کرده open ai رو دارم نگاه میکنم

و خب جالبه

ox alpha
نسخه ای از سری GLM هست .

منبع : بلومبرگ

GLM-5.3-Flash (Z.ai)
اولین مدل natively multimodal از خانواده GLM-5 (با معماری dense single-stream)

· ۳۲۰B کل / ۱۸B فعال (از نوع MoE)

· معماری هیبریدی: ترکیبی از sparse attention + linear attention + IndexPool (که زمینه ۱M توکنی را سریع‌تر پردازش می‌کند) + mHC

· پیش‌آموزش چندوجهی روی ۳۰T توکن

بهبود عظیم در عامل‌ها (agentic) و کدنویسی:

· DeepSWE v1.1: ۶۳.۴ (در مقابل ۴۶.۲ در GLM-5.2)

· AutomationBench: ۴۸.۸ (در مقابل ۲۶.۲)

· Terminal Bench 2.1: ۸۴.۳ (بالاتر از Opus 4.8)

· Z.ai Code Bench: نزدیک به Claude Opus 4.8 در حالت max effort

مرز پارتو (Pareto frontier):
۵۷ امتیاز با هزینه ۰.۰۴۵ دلار به ازای هر تسک — یعنی ۱۰ برابر ارزان‌تر

0.15$ 0.50$

قابلیت‌های ویژه در ZCode:

Browser Use + Computer Use (با تأیید بصری visual verification)

دسترسی و استقرار:
وزن‌های مدل روی Hugging Face (HF) در دسترس است + پشتیبانی از SGLang، vLLM و TokenSpeed (که روی چیپ‌های چینی با ۳ برابر بازدهی بیشتر اجرا می‌شود)

سهمیه (quota) بیشتر:
کاربران Coding Plan، ۳ برابر سهمیه‌ی بیشتری نسبت به GLM-5.3 دریافت می‌کنند.
@TheDeepTech

شدیدا دوست دارم یه چیزی بیاد مثل
Moe
بترکه

خیلی دیگه داره تکراری میشه moe
البته جدیدا
Mamba2 با moe
چیزای دیگه داره ترکیب میشه خوشم میاد (یه زمانی میگفتیما اینا میان تو بازی)

ولی یکیتون چیز جدید بده حوصله سر بر شدید

این کامنت گذاشتنای Ai هم جالبه ها

داستان تعریف میکنه

😂

Qwen3.8-Flash-Next

مدل فلش multimodal MoE با معماری پیش‌نمایش Qwen4
125B پارامتر اصلی + 51B N-gram embeddings (۶B فعال/توکن)

وزن‌ها آزاد (HF + ModelScope)

قیمت 0.16$ 0.47$

کانتکست ۲۵۶ هزار قابل ارتقا به یک میلیون با yarn

@TheDeepTech

خیلی خب
اول از همه که میگن به نظر میرسه GLM 5.3 Flash خروجی هاش خیلی متفاوت تر از ox alpha هست و ox alpha خروجی های به مراتب بهتری رو میداد که معلوم نیست چرا

دوم اینکه اگه یادتون باشه قبلا هم qwen 3 next اومد بیرون با یک معماری متفاوت نسبت به qwen 3 و بعد توی qwen 3.5 از همون معماری استفاده کردن
الان گفتن این qwen 3.8 Flash next یک پیش نمایش از معماری qwen 4 هست که من خودم به شخصه خیلی منتظرم این مدل بیاد بیرون
چون احتمال داره در کنارش technical report کاملی بدن (مثل نسخه qwen 2.5 و اینای دیگه)، البته امیدوارم (علی بابا نامرد شده😭😭)

حالا بریم که معماری این دوتا مدل رو یک بررسی هم بکنیم

اول معماری qwen 3.8 flash next

اول از همه یه نگاه به attention بندازیم که تقریبا مشابه 3.5 هست
و در کنار GDN از QSA استفاده کردن (qwen sparse attention)
در واقع معماری هیبریدی داره که بجای gated attention از sparse attenion استفاده کردن
تقریبا شبیه به deepseek sparse attention هست، ولی با این تفاوت که indexer بجای token level میاد micro block level نگاه میکنه با یک indexer فشرده

و خب یعنی تو متن های طولانی تر، هزینه کمتری نسبت به DSA داره
برای اینکه دقت هم حفظ بشه، میاد روی block های منتخب، full attention میزنه

بعد اینکه یه ریزه هم کرم ریختن روی residual connection ها (GR - Gated Residual)
اینا اومدن مسیر residual stream رو عریض تر کردن (4 branch)
یدونه gate هم گذاشتن سر راهش

حالا اینو میشه با ایده mHC از deepseek هم مقایسه کرد
یه جورایی به نظر میرسه اینا همون ایده رو برداشتن، و سعی کردن optimize کنن و این کاملا مشخصه
چون یه مقدار محدود ترش کردن و سرعت و سربار هم خیلی کمتر شده
در نتیجه شاید در عملکرد یکم ضعیف تر از mHC باشه، ولی بازم efficiency بیشتری داره

جدای از اینا یه حرکت دیگم زدن که شاید یه مقدار مدل های زبانی به مرور زمان سراغ اینکار برن
اومدن از n-gram embeddingاستفاده کردن
که جدای از اینکه روی دقت مدل موثره، روی سرعت تولید توکن هم موثره
و خب البته کار منطقی هم هست (ولی زیادی parameter داره)
به هر حال token ها رو نمیشه که لایه های اول attention وقتشون رو صرف این کنن که این n تا توکن در کنار هم به معنی چیز خاصی هست یا هر کدوم مستقل هست و غیره ...

از muon optimizer هم استفاده کردن که چیز قدیمی نیست، ولی دیگه از alibaba بعید بود انقدر دیر بیاد سراغش

خب حالا GLM 5.3 Flash چیکارا کرده؟!

اول بریم بخش attention که این hybrid رو زدن
linear attn + sparse attn
برای linear attn از KDA استفاده کرده (مقاله Kimi linear رو که یادتونه؟ kimi delta attneion)
و خب یه لول بهتر از GDN توی qwen هست
پس اینجا که بهتر عمل کرده
بخش دوم هم sparse هست زدن که اینجا از index pool استفاده کردن که کارش اینه که n تا توکن رو به یک توکن فشرده کنه
که خب اینجا باز از qwen عقب تره

و برای بخش residual connection از mHC استفاده کردن

یه ذره هم hyper parameter های Moeش یجوریه
اومدن 288 تا expert ساختن با یک expert مشترک


در کل میشه گفت یه نقض هایی رو اینا دارن، و یه نقض هایی رو qwen
ولی از نظر خودم اگه بخوام معماری یکی از اینا رو انتخاب کنم، فک میکنم qwen یه قدم بهتر باشه در کل (خصوصا تو سرعت)

@TheDeepTech

بازار AI Engineering الان یکی از عجیب‌ترین و گیج‌کننده‌ترین بازارهای کاری تو سطج جهانیه. از یه طرف همه دارن میگن"کمبود نیرو تو AI داریم"، از طرف دیگه وقتی یه آگهی "Senior AI Engineer" می‌ذارن خودشون هم نمی‌دونن دقیقاً دنبال چی هستن

مشکل اینجاست که شرکت‌ها یه عنوان کلی مثل AI Engineer رو می‌نویسن، ولی واقعاً نمی‌دونن منظورشون از این نقش چیه. می‌خوان یکی مدل fine-tune کنه؟ یکی agentic system بسازه؟ یکی infrastructure و inference رو optimize کنه؟ یا یکی evaluation و governance انجام بده؟

این‌ها کارهای کاملاً متفاوتی‌ان با skill setهای متفاوت، ولی همه رو زیر یه چتر می‌ذارن . البته نه که بلد بودن همه اینا چیز بدی باشه، اتفاقا عالیه اما خب کسی که Agentic AI کار میکنه فرصت نمیکنه بیاد GPU optimization کار کنه و خیلی مثال های دیگه...
@silicon_brain | از هوش مصنوعی عقب نمانید

حقیقتا Ai engineering
خودش دقیقا مثل فیلد مهندسی نرم افزار

شاید بعد ها رشته بشه
دقیقا مثل مهندسی نرم افزار که
بکند داره
فرانت داره
شبکه و امنیت داره

سنیور ماجرا هم همون چیزی که گفتم بهتون باید Tمانند رفت جلو

اره خلاصه

این که تا الان سیگاری نشدمم جالبه برام

افسردگی رسما....

Hy4 Preview (Tencent Hy)

مدل فلگشیپ ۷۷۰B (۴۹B فعال MoE) با ۱M توکن context

گام جهشی بزرگ در مهندسی نرم‌افزار long-horizon، کارهای آفیس با اسناد زیاد و تحقیقات علمی

داده‌های واقعی از مهندسان Tencent، بازی‌سازان، تحلیل‌گران مالی و امنیت

بهبود قابل توجه در درک، برنامه‌ریزی، دیباگ و تأیید وظایف طولانی

بهبود taste بصری و کیفیت تعامل فونت‌ند

تبدیل اسناد پراکنده به artifacts قابل اشتراک (اسناد، صفحه‌گسترده، ارائه‌ها) با دقت بالا در تحلیل داده، معادلات و مدل‌های مالی

تبدیل پرامپت واحد به پروتوتایپ playable در Unity/Tuanjie

هماهنگی چندین session Codex همزمان و تنظیم جهت تحقیق در R&D

ارزیابی کور داخلی: ۲.۹۹ (بیشتر از GLM-5.3 و Kimi K3) روی ۲۰۳ task مهندسی


۰.۰۴۲ ۰.۸۳۴ ۲.۵۰۱ دلار

نسخه اولیه (headroom بالا، موارد شناخته‌شده: reasoning طولانی‌تر و over-verify)

@TheDeepTech

چقدر حاشیه دارن این موسسه های کنکور

یه پروژه یود باید میرفتم چک میکردم بند و بساطشون رو

کلاسینو و ماز خیلی دارن حاشیه درست میکنن

خداروشکر گذر کردم از این دلقک بازیا

یه چیزی فهمیدم و داشتم مطالعه میکردم به اسم

مهندسی اجتماعی پراکنده‌سازی توجه و بازتولید ناامنی

یعنی ایجاد یا حفظ مجموعه‌ای از دغدغه‌های اقتصادی، اجتماعی و روزمره به‌گونه‌ای که فرد دائماً درگیر تأمین نیازهای اولیه و حل بحران‌های کوتاه‌مدت باشد و در نتیجه فرصت، انرژی ذهنی و آزادی لازم برای تمرکز بر تخصص، خلاقیت، خودتحقق‌بخشی و اهداف بلندمدت را از دست بدهد.



خودتون دیگه حکایت ماجرارو بگیرید
که چرا نمیتونیم روی یک مهارت کار کنیم
همه دنیال راحت طلبین

برای مثال برنامه نویس دنبال اینخ زیر یه سال عالی بشه

پزشک کسی بخواد بشه میگه ۷ سال فقط دانشگاه و..

ربط بدید بهم

هیچ چیز با زمان گذشتن به تخصص تبدیل نمیشه و هر رشته هر چیزی زیر ۱۰ سال میانگین به شما بازخورد نمیده

ربط بدید اینارو من خیلی خوندم این دو روز و دیدم به شدت دارک شده


دوست داشتید مطالعه کنید