AI Engineers
دوستان نظرتون راجب پست ها چیه؟
دم همگی بابت مشارکت توی نظرسنجی
طبق آمار، ترجیح اکثریت (حدود ۶۰ درصد) روی پستهای کوتاهتر همراه با سورس اصلی بود.
از طرفی، بعضی موضوعات و مقالات فنی انقدر عمیق و مهم هستن که اگر جزئیات رو ازشون حذف کنیم، عملاً ارزش آموزشیشون رو از دست میدن. برای همین، از این به بعد پستها رو بسته به اهمیت و عمق محتوا به دو دسته تقسیم میکنیم:
۱. پستهای کوتاه و عکسدار: برای ابزارها یا موضوعاتی که سریع جمع میشن؛ به همراه یک تصویر (مثل بنچمارک یا دیاگرام) و لینک مطالعه بیشتر برای کسانی که میخوان عمیقتر بشن.
۲. پستهای عمیق و فنی: برای مقالات سنگین، تحلیلهای معماری و موضوعات حیاتی که نیاز به موشکافی دارن (مشابه روال قبل).
اینطوری هم وقت شما روی مطالب سادهتر تلف نمیشه، هم عمق فنی کانال روی مباحث اصلی حفظ میشه.
همچنین لازمه بگم، از همه دوستانی که لطف داشتن توی کامنت ها خیلی ممنونم،
درسته این کانال هیچگونه سودی برای من نداره و اینقلوئنسر هم نیستم اما همین که میدونم یکی این مطالبو میخونه دلگرمم میکنه 🙏🏻🤍
طبق آمار، ترجیح اکثریت (حدود ۶۰ درصد) روی پستهای کوتاهتر همراه با سورس اصلی بود.
از طرفی، بعضی موضوعات و مقالات فنی انقدر عمیق و مهم هستن که اگر جزئیات رو ازشون حذف کنیم، عملاً ارزش آموزشیشون رو از دست میدن. برای همین، از این به بعد پستها رو بسته به اهمیت و عمق محتوا به دو دسته تقسیم میکنیم:
۱. پستهای کوتاه و عکسدار: برای ابزارها یا موضوعاتی که سریع جمع میشن؛ به همراه یک تصویر (مثل بنچمارک یا دیاگرام) و لینک مطالعه بیشتر برای کسانی که میخوان عمیقتر بشن.
۲. پستهای عمیق و فنی: برای مقالات سنگین، تحلیلهای معماری و موضوعات حیاتی که نیاز به موشکافی دارن (مشابه روال قبل).
اینطوری هم وقت شما روی مطالب سادهتر تلف نمیشه، هم عمق فنی کانال روی مباحث اصلی حفظ میشه.
همچنین لازمه بگم، از همه دوستانی که لطف داشتن توی کامنت ها خیلی ممنونم،
درسته این کانال هیچگونه سودی برای من نداره و اینقلوئنسر هم نیستم اما همین که میدونم یکی این مطالبو میخونه دلگرمم میکنه 🙏🏻🤍
🔥24❤5👍2
مدل Qwopus 3.6-27B-Coder هم یه مدل جالب برای کدنویسه، خودم هنوز تست نکردم ولی با 67% در SWE-bench Verified بنظر مدل خوبی میاد، روی gpu شخصی و بهصورت لوکال میشه اجراش کرد (البته با gpu مناسب)
با استفاده از داده های لورفته claude opus برای agent workflow، tool use، debugging و روی ریپوزیتوری های گیت هاب فاین تیون شده.
قطعا به سطح مدلهای frontier نمیرسه، اما از نظر “عملکرد نسبت به هزینه” و اجرای محلی گزینه خوبی برای کدنویسیه
با استفاده از داده های لورفته claude opus برای agent workflow، tool use، debugging و روی ریپوزیتوری های گیت هاب فاین تیون شده.
قطعا به سطح مدلهای frontier نمیرسه، اما از نظر “عملکرد نسبت به هزینه” و اجرای محلی گزینه خوبی برای کدنویسیه
👍7
Forwarded from Shojaei
مدل GLM-5.2 با معماری MoE (توزیع تنک محاسبات) و کانتکست ۱ میلیون توکنی، منتشر شد.
تحلیل دادههای ارزیابی عملکرد این مدل:
- بهبود در بنچمارک DeepSWE با جهش چشمگیر از ۱۸.۰ به ۴۶.۲.
- ثبت امتیاز ۸۱.۰ در Terminal-Bench به عنوان قویترین مدل متنباز.
- برتری در MCP-Atlas با امتیاز ۷۷.۰ و عبور از رقبای تجاری.
- امتیاز ۱۳۶۰ در بنچمارک DesignArena و کسب رتبه اول بالاتر از Claude Fable 5.
- رتبه دوم در بخش فرانتاند Code Arena با ثبت امتیاز ۱۵۹۵.
- جایگاه دهم در لیدربورد رقابتی کارهای عاملمحور با بهبود عملکرد مثبت ۴.۴ درصدی.
- کسب رتبه دوم در بنچمارک PostTrainBench با ثبت دقت ۳۴.۲۹ درصدی.
Source: https://huggingface.co/zai-org/GLM-5.2
🛠 Join @LLMEngineers Community
تحلیل دادههای ارزیابی عملکرد این مدل:
- بهبود در بنچمارک DeepSWE با جهش چشمگیر از ۱۸.۰ به ۴۶.۲.
- ثبت امتیاز ۸۱.۰ در Terminal-Bench به عنوان قویترین مدل متنباز.
- برتری در MCP-Atlas با امتیاز ۷۷.۰ و عبور از رقبای تجاری.
- امتیاز ۱۳۶۰ در بنچمارک DesignArena و کسب رتبه اول بالاتر از Claude Fable 5.
- رتبه دوم در بخش فرانتاند Code Arena با ثبت امتیاز ۱۵۹۵.
- جایگاه دهم در لیدربورد رقابتی کارهای عاملمحور با بهبود عملکرد مثبت ۴.۴ درصدی.
- کسب رتبه دوم در بنچمارک PostTrainBench با ثبت دقت ۳۴.۲۹ درصدی.
Source: https://huggingface.co/zai-org/GLM-5.2
🛠 Join @LLMEngineers Community
❤5
سایت OpenRouter یه ابزار اضافه کرده به اسم Cost Simulator
این ابزار ۱۰۰ تا ریکوئست آخرت رو برمیداره و میندازه روی مدلهای دیگه مثل GPT-5.5 یا GLM 5.2 تا ببینی روی اون مدلا چقد هزینت میشد.
سیستمش بر اساس Median Endpoint Pricing کار میکنه؛ یعنی قیمت واقعی رو حساب میکنه نه اون قیمتهای اسمی که شرکتها توی داکیومنتهاشون میزنن. خروجی کار هم یه جدول مقایسهای و فایل CSV هست که برای گزارش دادن به تیم محصول یا مدیریت عالیه. مثلاً توی دمو نشون میده که سوییچ کردن از Claude Fable 5 به مدلهای اقتصادیتر میتونه تا ۷۰ درصد هزینههات رو کم کنه بدون اینکه لازم باشه حدس بزنی.
https://openrouter.ai/labs/simulate-price
🛠 Join @LLMEngineers Community
این ابزار ۱۰۰ تا ریکوئست آخرت رو برمیداره و میندازه روی مدلهای دیگه مثل GPT-5.5 یا GLM 5.2 تا ببینی روی اون مدلا چقد هزینت میشد.
سیستمش بر اساس Median Endpoint Pricing کار میکنه؛ یعنی قیمت واقعی رو حساب میکنه نه اون قیمتهای اسمی که شرکتها توی داکیومنتهاشون میزنن. خروجی کار هم یه جدول مقایسهای و فایل CSV هست که برای گزارش دادن به تیم محصول یا مدیریت عالیه. مثلاً توی دمو نشون میده که سوییچ کردن از Claude Fable 5 به مدلهای اقتصادیتر میتونه تا ۷۰ درصد هزینههات رو کم کنه بدون اینکه لازم باشه حدس بزنی.
https://openrouter.ai/labs/simulate-price
🛠 Join @LLMEngineers Community
👍9❤4
مدل VibeThinker-3B با ادعای شکست دادن غولهایی مثل Gemini 3 Pro و DeepSeek توی ریاضی و کدنویسی، دوباره بحث "فشردهسازی استدلال" رو داغ کرده. حرف اصلیشون اینه که برای Reasoning برخلافِ دانش عمومی (Knowledge)، لزوماً به صدها میلیارد پارامتر نیاز نداریم و میشه منطق رو توی یه هسته ۳ میلیاردی جا داد.
توی پایپلاین post-training از یه استراتژی به اسم Spectrum-to-Signal استفاده کردن که با RL سنگین و SFT مرحلهبندی شده، مدل رو روی تسکهای Verifiable (اونایی که جواب قطعی دارن) متمرکز میکنه. عددها روی AIME و LiveCodeBench خیرهکنندهست، ولی طبق معمول نباید فریب بنچمارک رو خورد.
واقعیت اینه که این مدلها معمولاً برای بنچمارک بهینه (Benchmax) میشن و توی سناریوهای واقعی یا دچار Overthinking میشن یا کلاً گیج میزنن. با این حال، اگه این فرضیه که استدلال یه قابلیت چگال و قابل فشردهسازیه واقعاً در عمل ثابت بشه، مسیر توسعه SLMها کلاً عوض میشه.
Source: https://arxiv.org/abs/2606.16140
🛠 Join @LLMEngineers Community
توی پایپلاین post-training از یه استراتژی به اسم Spectrum-to-Signal استفاده کردن که با RL سنگین و SFT مرحلهبندی شده، مدل رو روی تسکهای Verifiable (اونایی که جواب قطعی دارن) متمرکز میکنه. عددها روی AIME و LiveCodeBench خیرهکنندهست، ولی طبق معمول نباید فریب بنچمارک رو خورد.
واقعیت اینه که این مدلها معمولاً برای بنچمارک بهینه (Benchmax) میشن و توی سناریوهای واقعی یا دچار Overthinking میشن یا کلاً گیج میزنن. با این حال، اگه این فرضیه که استدلال یه قابلیت چگال و قابل فشردهسازیه واقعاً در عمل ثابت بشه، مسیر توسعه SLMها کلاً عوض میشه.
Source: https://arxiv.org/abs/2606.16140
🛠 Join @LLMEngineers Community
arXiv.org
VibeThinker-3B: Exploring the Frontier of Verifiable Reasoning in...
This technical report introduces VibeThinker-3B, a compact dense model with 3B parameters developed to investigate how far verifiable reasoning can be pushed within a strictly small-model regime....
👍11❤1
مدلهای لوکال تا همین چند ماه پیش بیشتر شبیه اسباببازی یا نهایتا یه سرچانجین شخصی بودن، اما الان واقعا میشه برای تسکهای agentic بهشون اعتماد کرد.
اجرای لوپهای کدنویسی با مدلی مثل Gemma 4 روی سختافزار شخصی، الان خیلی به پرفورمنس مدلهای frontier نزدیک شده، که دستاورد بزرگیه.
خوبی اصلیش هم اینجاست که برخلاف کار با APIها، کنترل کامل داری و میتونی ریز به ریز پروسه inference و پردازش توکنها روی GPU رو مانیتور کنی و با quantization های مختلف تست بگیری.
تجربه جالب یه کاربر از این ستاپ با LM Studio و داکر رو اینجا بخونید:
https://vickiboykis.com/2026/06/15/running-local-models-is-good-now/
🛠 Join @LLMEngineers Community
اجرای لوپهای کدنویسی با مدلی مثل Gemma 4 روی سختافزار شخصی، الان خیلی به پرفورمنس مدلهای frontier نزدیک شده، که دستاورد بزرگیه.
خوبی اصلیش هم اینجاست که برخلاف کار با APIها، کنترل کامل داری و میتونی ریز به ریز پروسه inference و پردازش توکنها روی GPU رو مانیتور کنی و با quantization های مختلف تست بگیری.
تجربه جالب یه کاربر از این ستاپ با LM Studio و داکر رو اینجا بخونید:
https://vickiboykis.com/2026/06/15/running-local-models-is-good-now/
🛠 Join @LLMEngineers Community
Vickiboykis
Running local models is good now
Local agentic coding has gotten great over the past few months
👍6❤4
مدل Gemma 4 26B-A4B برای تسکهای فارسی پتانسیل خیلی بالایی داره.
صرفاً «پشتیبانی از زبانهای مختلف» دیگه برای محصول واقعی کافی نیست؛ ما مدلی میخوایم که کثیفیِ دیتای فارسی، نیمفاصله و تفاوت ظریف لحن رسمی و محاوره رو بفهمه.
معماری MoE این مدل (۲۶ میلیارد پارامتر کل در مقابل ۴ میلیارد فعال) همون نقطه تعادلیه که همیشه دنبالش بودیم: کیفیت مدلهای بزرگ با latency و هزینه اینفرنس مدلهای کوچک.
میشه با یه SFT درست و حسابی روی دیتای فارسی تمیز و رعایت ریزهکاریها، یه سیستم RAG یا دستیار فارسی ساخت که واقعاً محیط بیزینس یا آکادمیک ما رو درک کنه.
فرصت اصلی اینجاست که به جای منتظر موندن برای مدلهای جهانی، لایه فارسی رو خودمون روی این بیسهای قوی و Open-weight بسازیم تا خروجی نهایی حس هوش مصنوعی مترجم رو به کاربر نده.
https://huggingface.co/google/gemma-4-26B-A4B
🛠 Join @LLMEngineers Community
صرفاً «پشتیبانی از زبانهای مختلف» دیگه برای محصول واقعی کافی نیست؛ ما مدلی میخوایم که کثیفیِ دیتای فارسی، نیمفاصله و تفاوت ظریف لحن رسمی و محاوره رو بفهمه.
معماری MoE این مدل (۲۶ میلیارد پارامتر کل در مقابل ۴ میلیارد فعال) همون نقطه تعادلیه که همیشه دنبالش بودیم: کیفیت مدلهای بزرگ با latency و هزینه اینفرنس مدلهای کوچک.
میشه با یه SFT درست و حسابی روی دیتای فارسی تمیز و رعایت ریزهکاریها، یه سیستم RAG یا دستیار فارسی ساخت که واقعاً محیط بیزینس یا آکادمیک ما رو درک کنه.
فرصت اصلی اینجاست که به جای منتظر موندن برای مدلهای جهانی، لایه فارسی رو خودمون روی این بیسهای قوی و Open-weight بسازیم تا خروجی نهایی حس هوش مصنوعی مترجم رو به کاربر نده.
https://huggingface.co/google/gemma-4-26B-A4B
🛠 Join @LLMEngineers Community
huggingface.co
google/gemma-4-26B-A4B · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
👍9❤1
واقعیت اینه که توی دنیای Agentها، مدل فقط حکم موتور رو داره؛ اون چیزی که واقعاً محصول نهایی رو میسازه Harness یا همون اسکلتبندی دور مدله. مثلا Claude 4.5 روی یه بنچمارک با یه Harness مشخص ۴۲٪ میگیره و با یه معماری دیگه به ۷۸٪ میرسه، بدون اینکه خود مدل ذرهای تغییری کرده باشه.
بزرگترین اشتباه اینه که فکر کنیم هرچی ابزار و Context بیشتری به مدل بدیم باهوشتر عمل میکنه. برعکس، تجربهی تیمهای موفقی مثل Cursor و Anthropic نشون میده که الگوهایی مثل Progressive Disclosure (نمایش تدریجی اطلاعات) چقدر حیاتیان. یعنی به جای خفه کردن مدل با حجم عظیمی از دیتا، باید اطلاعات رو فقط وقتی که واقعاً لازم شد و بهصورت لایهای به خوردش داد تا دچار Attention fragmentation نشه.
توی سیستمهایی مثل Claude Code، تمرکز روی سادگی لوپ و استفاده از ابزارهای ساده (مثل Grep و Bash) به جای پکیجهای سنگین و انتزاعی، هم هزینهی Token رو پایین آورده و هم دقت رو بالا برده. مدلها دارن به سمت "جایگزینپذیر" شدن میرن و فرق محصولی که واقعاً کار میکنه با یه دموی جذاب، توی همون مهندسی ظریفیه که دور مدل چیده شده.
Source: https://x.com/himanshutwtxs/article/2028116431876116660
🛠 Join @LLMEngineers Community
بزرگترین اشتباه اینه که فکر کنیم هرچی ابزار و Context بیشتری به مدل بدیم باهوشتر عمل میکنه. برعکس، تجربهی تیمهای موفقی مثل Cursor و Anthropic نشون میده که الگوهایی مثل Progressive Disclosure (نمایش تدریجی اطلاعات) چقدر حیاتیان. یعنی به جای خفه کردن مدل با حجم عظیمی از دیتا، باید اطلاعات رو فقط وقتی که واقعاً لازم شد و بهصورت لایهای به خوردش داد تا دچار Attention fragmentation نشه.
توی سیستمهایی مثل Claude Code، تمرکز روی سادگی لوپ و استفاده از ابزارهای ساده (مثل Grep و Bash) به جای پکیجهای سنگین و انتزاعی، هم هزینهی Token رو پایین آورده و هم دقت رو بالا برده. مدلها دارن به سمت "جایگزینپذیر" شدن میرن و فرق محصولی که واقعاً کار میکنه با یه دموی جذاب، توی همون مهندسی ظریفیه که دور مدل چیده شده.
Source: https://x.com/himanshutwtxs/article/2028116431876116660
🛠 Join @LLMEngineers Community
👌10❤3🔥2
AI_Engineering_Building_Applications_with_Foundation_Models_Chip.pdf
31.9 MB
کتاب AI Engineering چیپ هوین رو نباید به چشم یه آموزش برنامهنویسی دید؛ این کتاب بیشتر شبیه یه نقشه راه برای فرار از دوران" دمو" ساختن هاست. اگه پروژههاتون توی MVP خوب کار میکنن ولی توی Production وا میرن، مشکلتون احتمالاً کد نیست، بلکه System Design هست.
بیشترین نقدی که به کتاب میشه اینه که کد کمه و تئوری زیاده، ولی به نظرم این بزرگترین نقطه قوت کتابه. کدها و فریمورکها چند ماهه دِمُدِه میشن، اما چیزی که کتاب روش دست گذاشته یعنی طراحی Eval، مدیریت Latency و بالانس بین RAG و Fine-tuning، همون نقطه قوته که یه AI Engineer واقعی رو از بقیه جدا میکنه. در واقع کتاب به جای ماهی دادن، داره ماهیگبری یاد میده : چطور یه سیستم بسازیم که وقتی مدل عوض شد یا فریمورک جدید اومد، کل معماریمون نپاشه.
بیشترین نقدی که به کتاب میشه اینه که کد کمه و تئوری زیاده، ولی به نظرم این بزرگترین نقطه قوت کتابه. کدها و فریمورکها چند ماهه دِمُدِه میشن، اما چیزی که کتاب روش دست گذاشته یعنی طراحی Eval، مدیریت Latency و بالانس بین RAG و Fine-tuning، همون نقطه قوته که یه AI Engineer واقعی رو از بقیه جدا میکنه. در واقع کتاب به جای ماهی دادن، داره ماهیگبری یاد میده : چطور یه سیستم بسازیم که وقتی مدل عوض شد یا فریمورک جدید اومد، کل معماریمون نپاشه.
❤18👍1
رقابت توی مدلهای امبدینگ زیر ۳۰۰ میلیون پارامتر خیلی جذاب شده. با اینکه گوگل با EmbeddingGemma-300m سر و صدای زیادی کرد، ولی جینا با مدل V5 Nano نشون داد که توی Production برنده کیه.
چند تا دلیل فنی که چرا جینا برای کارهای عملیاتی و RAG بهتره:
کانتکست ۸ هزارتایی در مقابل ۲ هزارتای گوگل، دست آدم رو برای پردازش داکیومنتهای طولانی و … میذاره.
استفاده از LoRA adapterهای اختصاصی برای تسکهای مختلف مثل retrieval یا classification باعث میشه دقت خروجی توی سناریوهای واقعی خیلی بالاتر از یه مدل عمومی باشه.
قابلیت Binary Quantization جینا هم حجم ایندکسهای دیتابیس رو به شدت میاره پایین بدون اینکه افت کیفیت محسوسی داشته باشیم. برای کسی که دنبال پرفورمنس بالا با هزینه inference و نگهداری کمه، این مدل جینا فعلاً بهترین گزینهست.
https://huggingface.co/jinaai/jina-embeddings-v5-text-nano
چند تا دلیل فنی که چرا جینا برای کارهای عملیاتی و RAG بهتره:
کانتکست ۸ هزارتایی در مقابل ۲ هزارتای گوگل، دست آدم رو برای پردازش داکیومنتهای طولانی و … میذاره.
استفاده از LoRA adapterهای اختصاصی برای تسکهای مختلف مثل retrieval یا classification باعث میشه دقت خروجی توی سناریوهای واقعی خیلی بالاتر از یه مدل عمومی باشه.
قابلیت Binary Quantization جینا هم حجم ایندکسهای دیتابیس رو به شدت میاره پایین بدون اینکه افت کیفیت محسوسی داشته باشیم. برای کسی که دنبال پرفورمنس بالا با هزینه inference و نگهداری کمه، این مدل جینا فعلاً بهترین گزینهست.
https://huggingface.co/jinaai/jina-embeddings-v5-text-nano
👍8❤4
امروز یه پست توی توییتر یکی از مهندسای Baseten خوندم درباره اینکه چطوری سریعترین API رو برای GLM-5.2 ساختن. اعداد Baseten و تکنیکهایی که پیاده کردن واقعاً جای بررسی داره.
کوانتیزاسیون NVFP4 روی گرافیکهای Blackwell کلید اصلیشون بوده. با NVIDIA ModelOpt اومدن مدل رو از FP8 آوردن روی ۴ بیت. نکته فنیش این dual scale factor هاست که اجازه میده dynamic range حفظ بشه. من خودم همیشه توی پروژهها نگران افت کیفیت مدل توی کارهای agentic بودم، اما تستهای اینا روی بنچمارک BFCL نشون میده دقت تقریباً ثابت مونده... یعنی عملاً VRAM کمتر مصرف میشه و سرعت میره بالا بدون اینکه مدل خنگ بشه.
تفکیک فازهای Prefill و Decode یا همون PD Disaggregation بیشترین تاثیر رو توی TPS داشته. توزیع بار و نیازهای سختافزاری بین این دو تا فاز کاملاً متفاوته؛ اولی compute-bound هست و دومی memory-bound. وقتی اینا رو روی انجینهای جداگونه با کانفیگهای متفاوت اجرا کردن، ۲ برابر پرفورمنس بهتر گرفتن. به نظرم ما هم تو زیرساختهای سنگین باید به این سمت بریم، چون توی contextهای بالا، تداخل این دو تا فاز latency رو داغون میکنه.
سیستم KV-aware routing با استفاده از ابزارهای NVIDIA Dynamo هم برای کم کردن TTFT عالی عمل کرده. وقتی مدل ۱ میلیون توکن context window داره، کش کردن پرفیکسها و فرستادن هوشمند درخواست به رپلیکایی که قبلاً اون دیتا رو پردازش کرده، واجبه. مخصوصاً برای agentهایی که هیستوری طولانی دارن و مدام دارن روی یه کانتکست مشترک کار میکنن.
استفاده از Multi-Token Prediction برای speculation هم تیر آخر بوده. تولید چند توکن در هر forward pass که با لایههای MTP خودِ GLM بهینهتر شده و نرخ تایید توکنهای درفت رو بالا برده. به نظرم معماری GLM-5.2 و این ستاپ اینفرنس نشون میده که دیگه دوران استکهای ساده اینفرنس تموم شده. اگه میخوایم توی اسکیل بالا و هزینه پایین کار کنیم، باید سراغ disaggregated inference و کوانتیزاسیونهای نیتیوِ Blackwell بریم.
🛠 Join @LLMEngineers Community
کوانتیزاسیون NVFP4 روی گرافیکهای Blackwell کلید اصلیشون بوده. با NVIDIA ModelOpt اومدن مدل رو از FP8 آوردن روی ۴ بیت. نکته فنیش این dual scale factor هاست که اجازه میده dynamic range حفظ بشه. من خودم همیشه توی پروژهها نگران افت کیفیت مدل توی کارهای agentic بودم، اما تستهای اینا روی بنچمارک BFCL نشون میده دقت تقریباً ثابت مونده... یعنی عملاً VRAM کمتر مصرف میشه و سرعت میره بالا بدون اینکه مدل خنگ بشه.
تفکیک فازهای Prefill و Decode یا همون PD Disaggregation بیشترین تاثیر رو توی TPS داشته. توزیع بار و نیازهای سختافزاری بین این دو تا فاز کاملاً متفاوته؛ اولی compute-bound هست و دومی memory-bound. وقتی اینا رو روی انجینهای جداگونه با کانفیگهای متفاوت اجرا کردن، ۲ برابر پرفورمنس بهتر گرفتن. به نظرم ما هم تو زیرساختهای سنگین باید به این سمت بریم، چون توی contextهای بالا، تداخل این دو تا فاز latency رو داغون میکنه.
سیستم KV-aware routing با استفاده از ابزارهای NVIDIA Dynamo هم برای کم کردن TTFT عالی عمل کرده. وقتی مدل ۱ میلیون توکن context window داره، کش کردن پرفیکسها و فرستادن هوشمند درخواست به رپلیکایی که قبلاً اون دیتا رو پردازش کرده، واجبه. مخصوصاً برای agentهایی که هیستوری طولانی دارن و مدام دارن روی یه کانتکست مشترک کار میکنن.
استفاده از Multi-Token Prediction برای speculation هم تیر آخر بوده. تولید چند توکن در هر forward pass که با لایههای MTP خودِ GLM بهینهتر شده و نرخ تایید توکنهای درفت رو بالا برده. به نظرم معماری GLM-5.2 و این ستاپ اینفرنس نشون میده که دیگه دوران استکهای ساده اینفرنس تموم شده. اگه میخوایم توی اسکیل بالا و هزینه پایین کار کنیم، باید سراغ disaggregated inference و کوانتیزاسیونهای نیتیوِ Blackwell بریم.
🛠 Join @LLMEngineers Community
❤10
امروز داشتم گزارش فنی جدید Baidu رو ورق میزدم که کلاً دیدم رو نسبت به هندل کردن داکیومنتهای طولانی عوض کرد. اسمش رو گذاشتن Unlimited OCR و برخلاف مدلهای فعلی که برای پردازش چند صفحه پشتسرهم لنگ میزنن، این یکی خیلی خوب عمل میکنه.
مشکل چیه؟ مدلهای خفن مثل DeepSeek OCR از LLM برای دیکود کردن استفاده میکنن. هر چی متن طولانیتر بشه، KV Cache بزرگتر میشه، رم رو میبلعه و سرعت تولید توکن (TPS) میاد پایین. به خاطر همین همیشه مجبوریم داکیومنت رو صفحه به صفحه بدیم به مدل که باعث میشه زمینه (Context) از دست بره.
بایدو اومده یه حرکت هوشمندانه زده و Reference Sliding Window Attention یا همون R-SWA رو معرفی کرده. ایدهاش اینه: هر توکنی که داره تولید میشه، به «تمام» توکنهای تصویری (Reference Tokens) دسترسی داره ولی فقط به «یه پنجره محدود» (مثلاً ۱۲۸ تا) از توکنهای متنی قبلی نگاه میکنه. دقیقاً مثل وقتی که داریم از روی یک کتاب مشق مینویسیم؛ کل صفحه جلو چشممونه ولی فقط چند کلمه آخری که نوشتیم رو تو ذهنمون نگه میداریم که یادمون نره کجاییم.
توی این معماری، برخلاف MHA معمولی که مصرف حافظهاش خطی بالا میره، اینجا KV Cache کاملاً ثابته. یعنی چه صفحه اول باشی چه صفحه چهلم، سرعت و مصرف گرافیک فرقی نمیکنه. با همون Context Window معمول ۳۲ هزارتایی، تونستن دهها صفحه رو توی یک Forward Pass پردازش کنن که برای پروژههای آرشیو و پردازش کتاب یه نعمته.
به نظر من جذابترین بخشش اینه که دقتش نه تنها کم نشده، بلکه توی بنچمارک OmniDocBench از خودِ DeepSeek هم جلو زده (حدود ۹۳ درصد). این نشون میده که برای کارهای Parsing، لازم نیست مدل تمام تاریخچه متنی رو یادش باشه؛ فقط کافیه تصویر رو درست ببینه و ترتیب رو گم نکنه.
حتمالاً به زودی این تکنیک رو توی ASR و ترجمه هم میبینیم چون اونجا هم وابستگی به مرجع (Reference) ثابته ولی خروجی هی طولانیتر میشه.
🛠 Join @LLMEngineers Community
مشکل چیه؟ مدلهای خفن مثل DeepSeek OCR از LLM برای دیکود کردن استفاده میکنن. هر چی متن طولانیتر بشه، KV Cache بزرگتر میشه، رم رو میبلعه و سرعت تولید توکن (TPS) میاد پایین. به خاطر همین همیشه مجبوریم داکیومنت رو صفحه به صفحه بدیم به مدل که باعث میشه زمینه (Context) از دست بره.
بایدو اومده یه حرکت هوشمندانه زده و Reference Sliding Window Attention یا همون R-SWA رو معرفی کرده. ایدهاش اینه: هر توکنی که داره تولید میشه، به «تمام» توکنهای تصویری (Reference Tokens) دسترسی داره ولی فقط به «یه پنجره محدود» (مثلاً ۱۲۸ تا) از توکنهای متنی قبلی نگاه میکنه. دقیقاً مثل وقتی که داریم از روی یک کتاب مشق مینویسیم؛ کل صفحه جلو چشممونه ولی فقط چند کلمه آخری که نوشتیم رو تو ذهنمون نگه میداریم که یادمون نره کجاییم.
توی این معماری، برخلاف MHA معمولی که مصرف حافظهاش خطی بالا میره، اینجا KV Cache کاملاً ثابته. یعنی چه صفحه اول باشی چه صفحه چهلم، سرعت و مصرف گرافیک فرقی نمیکنه. با همون Context Window معمول ۳۲ هزارتایی، تونستن دهها صفحه رو توی یک Forward Pass پردازش کنن که برای پروژههای آرشیو و پردازش کتاب یه نعمته.
به نظر من جذابترین بخشش اینه که دقتش نه تنها کم نشده، بلکه توی بنچمارک OmniDocBench از خودِ DeepSeek هم جلو زده (حدود ۹۳ درصد). این نشون میده که برای کارهای Parsing، لازم نیست مدل تمام تاریخچه متنی رو یادش باشه؛ فقط کافیه تصویر رو درست ببینه و ترتیب رو گم نکنه.
حتمالاً به زودی این تکنیک رو توی ASR و ترجمه هم میبینیم چون اونجا هم وابستگی به مرجع (Reference) ثابته ولی خروجی هی طولانیتر میشه.
🛠 Join @LLMEngineers Community
❤15👍6
AI Engineers
امروز داشتم گزارش فنی جدید Baidu رو ورق میزدم که کلاً دیدم رو نسبت به هندل کردن داکیومنتهای طولانی عوض کرد. اسمش رو گذاشتن Unlimited OCR و برخلاف مدلهای فعلی که برای پردازش چند صفحه پشتسرهم لنگ میزنن، این یکی خیلی خوب عمل میکنه. مشکل چیه؟ مدلهای خفن…
This media is not supported in your browser
VIEW IN TELEGRAM
❤1
یه مقاله ترسناک امروز خوندم پشمام ریخت، به تیم اومدن ۱۱۱ میلیون رفرنس رو توی ۲.۵ میلیون مقاله بررسی کردن و دیدن از ۲۰۲۳ به این ور، آمار Citationهای فیک عجیب رفته بالا... فقط واسه سال ۲۰۲۵ تخمین میزنن ۱۴۶ هزار تا رفرنس غیرواقعی تولید شده.
نکتهش اینه که این یه مورد "چند تا آدم متقلب" نیست؛ Hallucination توی کل مقالات پخش شده. یعنی طرف مقاله رو نوشته، آخرش واسه رفرنسها داده یه LLM براش لیست ردیف کرده، اونم از خودش اسم کتاب و مقاله درآورده. بیشترین نفوذ هم توی کامپیوتر و علوم اجتماعی بوده؛ جاهایی که AI-assisted writing بیشتر استفاده میشه. جالبه که نویسندههای تازهکار و تیمهای کوچیک بیشتر از همه توی این تله افتادن.
من خودم وقتی داشتم یه Agent واسه Research خودکار میساختم، دقیقاً به همین خوردم. مدلها مخصوصاً مدلهای کوچیکتر، وقتی تحت فشار قرار میگیرن یا ابزار جستجو دم دستشون نیست، شروع میکنن به ساختن رفرنسهایی که خیلی "منطقی" به نظر میان ولی اصلاً وجود ندارن. بدتر اینکه این رفرنسهای فیک بیشتر به نفع آدمهای معروف و مردهای پرکار تموم شده؛ یعنی AI داره Biasهای قبلی رو توی سیستم اعتباردهی علم هم بازتولید میکنه.
فاجعه اصلی کجاست؟ اینکه سیستمهای بازبینی و داوری مجلات اصلاً متوجه این موضوع نمیشن. یعنی این دیتای سمی داره وارد پایگاه دادههای دائمی میشه. از اون طرف، ما داریم مدلهای جدید رو روی همین مقالات Train میکنیم. این یعنی یه Feedback Loop سمی؛ یعنی مدل از روی توهمات مدل قبلی یاد میگیره.
لینک مقاله:
https://arxiv.org/abs/2605.07723
🛠 Join @LLMEngineers Community
نکتهش اینه که این یه مورد "چند تا آدم متقلب" نیست؛ Hallucination توی کل مقالات پخش شده. یعنی طرف مقاله رو نوشته، آخرش واسه رفرنسها داده یه LLM براش لیست ردیف کرده، اونم از خودش اسم کتاب و مقاله درآورده. بیشترین نفوذ هم توی کامپیوتر و علوم اجتماعی بوده؛ جاهایی که AI-assisted writing بیشتر استفاده میشه. جالبه که نویسندههای تازهکار و تیمهای کوچیک بیشتر از همه توی این تله افتادن.
من خودم وقتی داشتم یه Agent واسه Research خودکار میساختم، دقیقاً به همین خوردم. مدلها مخصوصاً مدلهای کوچیکتر، وقتی تحت فشار قرار میگیرن یا ابزار جستجو دم دستشون نیست، شروع میکنن به ساختن رفرنسهایی که خیلی "منطقی" به نظر میان ولی اصلاً وجود ندارن. بدتر اینکه این رفرنسهای فیک بیشتر به نفع آدمهای معروف و مردهای پرکار تموم شده؛ یعنی AI داره Biasهای قبلی رو توی سیستم اعتباردهی علم هم بازتولید میکنه.
فاجعه اصلی کجاست؟ اینکه سیستمهای بازبینی و داوری مجلات اصلاً متوجه این موضوع نمیشن. یعنی این دیتای سمی داره وارد پایگاه دادههای دائمی میشه. از اون طرف، ما داریم مدلهای جدید رو روی همین مقالات Train میکنیم. این یعنی یه Feedback Loop سمی؛ یعنی مدل از روی توهمات مدل قبلی یاد میگیره.
لینک مقاله:
https://arxiv.org/abs/2605.07723
🛠 Join @LLMEngineers Community
arXiv.org
LLM hallucinations in the wild: Large-scale evidence from...
Large language models (LLMs) are known to generate plausible but false information across a wide range of contexts, yet the real-world magnitude and consequences of this hallucination problem...
👍15❤3👨💻1
AI Engineers
GPT-5.6 is here… (Limited Access)
امروز OpenAI رسماً پیشنمایش محدود سری GPT-5.6 رو منتشر کرد. این بار به جای یک مدل واحد، سه مدل تخصصی معرفی کردن که هر کدوم برای نوع خاصی از کارها بهینه شدن. به نظرم این رویکرد خیلی هوشمندانه و حرفهایه.
مدلهای جدید:
GPT-5.6 Sol
پرچمدار واقعی و مدل frontier نسل بعدی. برای کارهای پیچیده، بلندمدت و agentic طراحی شده. در بنچمارکهای سخت مثل Terminal-Bench 2.1 (اتوماسیون خط فرمان، برنامهریزی و ابزارها) امتیاز فوقالعاده ۹۱.۹٪ (حالت Ultra) گرفته. تو حوزه امنیت سایبری و ExploitBench هم عالی عمل کرده و با توکن خیلی کمتر از مدلهای قبلی، نتایج رقابتی به دست آورده. مخصوص پروژههای تحقیق آسیبپذیری، کارهای تحقیقاتی طولانی و workflowهای پیچیده.
GPT-5.6 Terra
مدل متعادل و همهکاره. عملکرد نزدیک به GPT-5.5 رو با هزینه تقریباً نصف ارائه میده. برای کارهای روزمره حرفهای، تحلیل، تحقیق و استفادههای عمومی عالیه.
GPT-5.6 Luna
سریع، سبک و اقتصادی. مناسب پروژههای حجیم، چتباتها، اتوماسیون و جاهایی که سرعت و قیمت مهمه.
جزئیات بنچمارک و کارایی:
سول در کارهای agentic و long-horizon واقعاً میدرخشه. تو GeneBench (زیستشناسی و ژنومیکس) هم دقت
بالاتری با مصرف توکن کمتر نشون داده.
قیمتگذاری هم به این صورته (به ازای هر میلیون توکن):
Sol:
۵ دلار ورودی / ۳۰ دلار خروجی
Terra:
۲.۵ دلار ورودی / ۱۵ دلار خروجی
Luna:
۱ دلار ورودی / ۶ دلار خروجی
علاوه بر این، prompt caching بهینهتری هم اضافه کردن و حتی روی سختافزار Cerebras (تا ۷۵۰ توکن در ثانیه) در دسترس خواهد بود.
تمرکز روی ایمنی:
مث همیشه OpenAI روی ایمنی خیلی تأکید کرده. طبقهبندهای misuse realtime و red-teaming گسترده و محدودیت اولیه برای شرکای مورد اعتماد (به درخواست دولت آمریکا).
دسترسی عمومی گستردهتر احتمالاً طی هفتههای آینده باز میشه.
مدلهای جدید:
GPT-5.6 Sol
پرچمدار واقعی و مدل frontier نسل بعدی. برای کارهای پیچیده، بلندمدت و agentic طراحی شده. در بنچمارکهای سخت مثل Terminal-Bench 2.1 (اتوماسیون خط فرمان، برنامهریزی و ابزارها) امتیاز فوقالعاده ۹۱.۹٪ (حالت Ultra) گرفته. تو حوزه امنیت سایبری و ExploitBench هم عالی عمل کرده و با توکن خیلی کمتر از مدلهای قبلی، نتایج رقابتی به دست آورده. مخصوص پروژههای تحقیق آسیبپذیری، کارهای تحقیقاتی طولانی و workflowهای پیچیده.
GPT-5.6 Terra
مدل متعادل و همهکاره. عملکرد نزدیک به GPT-5.5 رو با هزینه تقریباً نصف ارائه میده. برای کارهای روزمره حرفهای، تحلیل، تحقیق و استفادههای عمومی عالیه.
GPT-5.6 Luna
سریع، سبک و اقتصادی. مناسب پروژههای حجیم، چتباتها، اتوماسیون و جاهایی که سرعت و قیمت مهمه.
جزئیات بنچمارک و کارایی:
سول در کارهای agentic و long-horizon واقعاً میدرخشه. تو GeneBench (زیستشناسی و ژنومیکس) هم دقت
بالاتری با مصرف توکن کمتر نشون داده.
قیمتگذاری هم به این صورته (به ازای هر میلیون توکن):
Sol:
۵ دلار ورودی / ۳۰ دلار خروجی
Terra:
۲.۵ دلار ورودی / ۱۵ دلار خروجی
Luna:
۱ دلار ورودی / ۶ دلار خروجی
علاوه بر این، prompt caching بهینهتری هم اضافه کردن و حتی روی سختافزار Cerebras (تا ۷۵۰ توکن در ثانیه) در دسترس خواهد بود.
تمرکز روی ایمنی:
مث همیشه OpenAI روی ایمنی خیلی تأکید کرده. طبقهبندهای misuse realtime و red-teaming گسترده و محدودیت اولیه برای شرکای مورد اعتماد (به درخواست دولت آمریکا).
دسترسی عمومی گستردهتر احتمالاً طی هفتههای آینده باز میشه.
👍2💯2
امروز داشتم یه سری داکیومنت و پست درباره AI Agents و تعاملشون با دیتابیس رو بالا و پایین میکردم... واقعیت اینه که خروجی مستقیم LLM به SQL یا همون NL2SQL توی محیط Production هنوز خیلی ریسکی و ترسناکه. ت
استفاده از استراتژی Hybrid. یعنی از LLM فقط برای Labeling و استخراج Intent استفاده کنیم (مثلاً وقتی کاربر میگه «فروش دو هفته آخر مرداد»، مدل فقط بیاد این رو به پارامترهای زمانی مشخص تبدیل کنه) و بعدش با Logic کد خودمون، Query نهایی رو بسازیم.
تجربه شخصی منم توی پروژههای قبلی همینه... سپردن کل پروسه Join زدن و Query نوشتن به Agent، مخصوصاً روی دیتابیسهای شلوغ و پیچیده، تهش به Hallucination و کندی ختم میشه. توی Reddit هم بحثهای زیادی بود که Agentها بدون Guardrailهای درست، ممکنه حتی دستورات مخرب بزنن یا دیتای کاملاً اشتباه تحویل بدن که فاجعهست.
برای پیادهسازی، فریمورکهایی مثل LangChain و LlamaIndex ابزارهای خوبی مثل SQLDatabaseToolkit دارن، ولی به نظرم برای کارهای جدیتر باید سراغ LangGraph رفت تا کنترل بیشتری روی Loopهای تصحیح خطا داشته باشیم. حتماً قبل اجرا باید از پکیجهایی مثل sqlglot برای Validate کردن استفاده بشه تا مطمئن شیم فقط SELECT انجام میشه و ساختار کوئری سالمه.
امنیت اینجا حرف اول رو میزنه. همیشه باید از Read-only User استفاده کرد و Row-level security رو جدی گرفت (اعمال LIMIT اجباری و Timeout هم برای جلوگیری از Runaway Queries واجبه) وگرنه Agent با یه Query سنگین ممکنه کل زیرساخت رو بخوابونه.
بیشترین ارزش افزوده این Agentها فعلاً برای دموها و Internal Tools هست که آدمهای غیرفنی بتونن راحتتر با دیتا کار کنن... ولی برای سیستمهای حساس، حتماً باید خروجی رو قبل اجرا به کاربر نشون داد تا تایید نهایی رو بگیره.
🛠 Join @LLMEngineers Community
استفاده از استراتژی Hybrid. یعنی از LLM فقط برای Labeling و استخراج Intent استفاده کنیم (مثلاً وقتی کاربر میگه «فروش دو هفته آخر مرداد»، مدل فقط بیاد این رو به پارامترهای زمانی مشخص تبدیل کنه) و بعدش با Logic کد خودمون، Query نهایی رو بسازیم.
تجربه شخصی منم توی پروژههای قبلی همینه... سپردن کل پروسه Join زدن و Query نوشتن به Agent، مخصوصاً روی دیتابیسهای شلوغ و پیچیده، تهش به Hallucination و کندی ختم میشه. توی Reddit هم بحثهای زیادی بود که Agentها بدون Guardrailهای درست، ممکنه حتی دستورات مخرب بزنن یا دیتای کاملاً اشتباه تحویل بدن که فاجعهست.
برای پیادهسازی، فریمورکهایی مثل LangChain و LlamaIndex ابزارهای خوبی مثل SQLDatabaseToolkit دارن، ولی به نظرم برای کارهای جدیتر باید سراغ LangGraph رفت تا کنترل بیشتری روی Loopهای تصحیح خطا داشته باشیم. حتماً قبل اجرا باید از پکیجهایی مثل sqlglot برای Validate کردن استفاده بشه تا مطمئن شیم فقط SELECT انجام میشه و ساختار کوئری سالمه.
امنیت اینجا حرف اول رو میزنه. همیشه باید از Read-only User استفاده کرد و Row-level security رو جدی گرفت (اعمال LIMIT اجباری و Timeout هم برای جلوگیری از Runaway Queries واجبه) وگرنه Agent با یه Query سنگین ممکنه کل زیرساخت رو بخوابونه.
بیشترین ارزش افزوده این Agentها فعلاً برای دموها و Internal Tools هست که آدمهای غیرفنی بتونن راحتتر با دیتا کار کنن... ولی برای سیستمهای حساس، حتماً باید خروجی رو قبل اجرا به کاربر نشون داد تا تایید نهایی رو بگیره.
🛠 Join @LLMEngineers Community
👍11❤2