پایان فراموشی، نبرد بر سر حافظه نامحدود..

یکی از بزرگترین چالش‌های llmها از زمان پیدایش معماری transformer، مشکل context window بوده؛ در ترنسفورمرهای استاندارد، هزینه محاسباتی attention با افزایش طول متن به صورت O(n^2) افزایش می‌یابد؛ این یعنی اگر طول متن دو برابر شود، حافظه و پردازش مورد نیاز چهار برابر می‌شود! این گلوگاه باعث می‌شد llm شبیه شخصی با آلزایمر کوتاه‌مدت عمل کند.

اما اخیراً دو رویکرد کاملاً متفاوت برای حل این مشکل و رسیدن به رویای حافظه نامحدود مطرح شده است؛ یکی در سطح معماری شبکه عصبی (مقاله گوگل(Leave No Context Behind)) و دیگری در سطح مهندسی نرم‌افزار برای ایجنت‌ها (ابزار Memora و امثالهم).


اگر بخوایم این رویکرد‌ها را ببریم زیر تیغ جراحی، به ۲ اپروچ کلی میرسیم:

۱. رویکرد ذاتی: مقاله انقلابی گوگل
گوگل در اپریل ۲۰۲۴ مقاله‌ای با عنوان "Leave No Context Behind: Efficient Infinite Context via Infini-attention" منتشر کرد که زلزله‌ای در دنیای هوش مصنوعی به پا کرد.

این مقاله دقیقاً چه میگه؟
گوگل معماری جدیدی به نام Infini-attention را معرفی کرد که به جای دور ریختن اطلاعات قدیمی یا ذخیره همه‌شون (که باعث سرریز رم می‌شود)، از یک حافظه فشرده‌ساز (Compressive Memory) با اندازه ثابت استفاده می‌کند.

• متن ورودی به segmentهای کوچک‌تر تقسیم می‌شود.
• برای کلمات نزدیک و جدید، از همون مکانیزم local attention استفاده می‌شود.
• اما اطلاعات قطعات قبلی (key و value ها) دور ریخته نمی‌شوند، بلکه با استفاده از عملگرهای ریاضی فشرده شده و به یک ماتریس حافظه با اندازه ثابت منتقل می‌شوند.
• بنابراین مدل می‌تواند میلیاردها توکن را پردازش کند، در حالی که میزان حافظه اشغال شده رویvram ثابت می‌ماند.

۲. رویکرد مهندسی: ابزار متن‌باز Memora
در نقطه مقابل، مهندسان ابزاری به نام Memora توسعه داده‌اند که به جای تغییر در ساختار مغز هوش مصنوعی (مدل)، یک دفترچه یادداشت خارجیِ به شدت هوشمند به آن متصل می‌کند.

این ابزار یک لایه حافظه بین‌جلسه‌ای cross-session برای دستیارهای کدنویسی مثل claude code و codex ایجاد می‌کند.

• زیرساخت: داده‌ها را در دیتابیس‌های محلی (SQLite) یا ابری (S3, Cloudflare D1) ذخیره می‌کند.
• ساختار داده: به جای ذخیره متن خام، اطلاعات را به شکل گراف‌های دانش تعاملی(که جدیدا باز مُد شده(به دلیل خاصیت گراف‌ها..))، لیست وظایف، باگ‌ها و جستجوی معنایی را سازماندهی می‌کند.
• تزریق اطلاعات (با RAG..): وقتی چت جدیدی را شروع می‌کنید، Memora ابتدا دیتابیس را می‌گردد و یک خلاصه مدیریتی (اطلاعات مهم، کارهای ناتمام و لینک به منابع) را به عنوان context اولیه به llm/agent می‌دهد.


(در واقع MemGPT هرمس هم چیزی شبیه این است با تفاوت در اینکه OS-گونه عمل میکند و دائما بین core memory و archiva memory در حال پاسکاری‌ست..)

مقاله MemGPT که اخیرا شده Letta یا Mem0


اگر با دید رادیکال و مهندسی به مسئله نگاه کنیم، چسبوندن معماری ترنسفورمر با تکنیک‌های فشرده‌سازی، راه‌حل نهایی نیست احتمالا!
رادیکال‌ترین و انقلابی‌ترین تلاش‌ها برای دستیابی به حافظه نامحدود، نه در اصلاح مکانیزم اَتِنشن، بلکه در جایگزینی کامل معماری یا تغییر بنیادین زیرساخت توزیع‌شده نهفته:

۱. معماری‌های فضای حالت (ssmها) و ظهور Mamba:
بزرگترین ضربه به سلطه ترانسفورمرها با معرفی معماری Mamba (مقاله | کد) وارد شد. مامبا به جای درگیری با ماتریس‌های سنگین اتنشن، از state space modelsها استفاده می‌کند. در اینجا پیچیدگی محاسباتی به جای O(n^2) به شکل خطی و O(n) در اومده.. مامبا از طریق یک الگوریتم به اسم selective scan، به مدل اجازه می‌دهد تا تصمیم بگیرد چه اطلاعاتی را در یک بردار hidden state نگه دارد و چه چیزی را فراموش کند؛ از نظر تحلیلی، این یک تغییر پارادایم جبر خطی است که نیاز به KV-Cacheهای زیاد/گُنده را به طور کامل از بین می‌برد و حافظه‌ای پیوسته و بسیار سریع‌تر در استنتاج (==inference) ارائه می‌دهد.

۲. پردازش توزیع‌شده در سطح سیستم: ring attention و مدل lwm:
در سوی دیگر طیف مهندسی سیستم، محققان دانشگاه برکلی با معرفی Ring Attention ثابت کردند که اگر نمی‌توانیم فیزیکِ حافظه‌ی یک gpu را تغییر دهیم، می‌توانیم توپولوژی شبکه آن‌ها را هک کنیم!!
این تکنیک با تقسیم‌بندی توالی‌های بسیار طولانی به بلوک‌های کوچکتر و چرخش بلوک‌های key-value در یک رینگ میان خوشه‌ای از پردازنده‌های گرافیکی، توانست مدل large world model با پنجره زمینه ۱ میلیون توکنی واقعی (بدون افت فشرده‌سازی infini-attention) را آموزش دهد.
این یک شاهکار در همپوشانی محاسبات با ارتباطات شبکه‌ای است، که مرزهای سخت‌افزاری را بدون دستکاری در داده‌ها جابجا کرد.

ادامه👇

اگر بخوایم تشبیه کنیم به انسان:

• روش گوگل (Infini-attention): شبیه به بزرگ کردن حافظه فعال مغز شماست. مدل تمام اطلاعات را به صورت یکپارچه درون شبکه عصبی خود حس می‌کند، اما به دلیل فشرده‌سازی دچار تلفات (یا همان information loss) می‌شود.

• روش Memora (با کمک RAG): شبیه به دادن یک آرشیو فایل و یک منشی به مغز شماست. شما همه چیز را حفظ نیستید، اما منشی شما قبل از هر جلسه، خلاصه‌ای از کارهای قبلی را روی میزتان می‌گذارد.

• معماری Mamba (ssmها): شبیه به تغییر کامل آناتومی/فیزیولوژی مغز است تا ذاتاً بتواند یک جریان بی‌پایان از اطلاعات را بدون نیاز به ذخیره تک‌تک کلمات، پردازش و درک کند.


هدف این بود که آیا حافظه نامحدود به معنای واقعی کلمه امکان‌پذیر است؟
از نظر علمی و بر اساس نظریه اطلاعات shannon، حافظه مطلقاً نامحدود در یک فضای فیزیکی محدود غیرممکن است.
در روش‌هایی مانند infini-attention، وقتی شما اطلاعات بی‌نهایت را در یک ماتریس با حجم ثابت (bounded memory) فشرده می‌کنید، ناگزیر دچار تلفات اطلاعات (overwriting) می‌شوید. در روش Memora نیز، شما محدود به حجم هارد دیسک و البته محدودیت مدل در خواندن خلاصه‌های تزریق شده هستید.

حالا که فعلا نرسیدیم به حافظه نامحدودِ مطلق، پس هدف نهایی و والا چه چیزی میتواند باشد؟ یک سیستم هیبریدی؟ معماری/سیستم جدید؟ آیا تعریفش را باید تغییر دهیم؟ یا؟

نمودِ این پیپر در gemini 1.5 pro بود.

ز گهواره تا گور با لکس فِرِدمَن..

سرقت افکارِ مدل‌های بسته؛ از مهندسی‌معکوسِ استدلال (memory tracing) تا جنگ در latent space

بذارید با یک دغدغه‌ی به‌ شدت جدی که این روزها توی ارزیابی عملکرد مدل‌های زبانی (مثل نبردهای LMArena و دگر بنچمارک‌ها..) باهاش درگیر هستیم شروع کنم. کاملاً مشخصِ که مدل‌های پرچمدار و System-2 (مثل o1 یا کلادی‌های جدید) وقتی با پرامپت پیچیده‌ای مواجه میشن، دیگه مثل قدیم بلافاصله جواب نهایی رو تُف نمی‌کنند. اونا اول تو خلوتِ خودشون یک دنباله استدلال (Reasoning Trace یا همون Chain of Thought داخلی) می‌سازند، مسئله رو حلاجی می‌کنند و در نهایت خروجی رو به ما نشون میدن؛ در واقع، این دقیقا (فعلا) همون نقطه‌ای‌ست که فرآیندِ شگفت‌انگیزِ تبدیل دیتای خام به خِرَد اتفاق می‌افتد.
اما مشکل اینجاست: غول‌های هوش مصنوعی این افکار خام رو مثل گنج چال/قایم می‌کنند!! بعضا در یکسری از مدل‌های ریزنینگ، وقتی با api ریکوئست می‌زنید، سرور علاوه بر جواب نهایی، یه استرینگِ رمزشده (در واقع encrypted token یا بهترِ بگیم raw CoT) برمی‌گردونه و عملا میگه حق باز کردنش رو نداری؛ فقط دفعه بعد تو هیستوری برام بفرستش.
چرا این‌قدر پارانوئید؟ به سه دلیل منطقی:
۱. امنیت پرامپت: جلوگیری از هک شدن مغز مدل و دور زدن گاردریل‌ها (prompt injection).
۲. نشتِ اسرار: جلوگیری از بازخوانیِ ناخواسته‌ی دستورالعمل‌های محرمانه (system prompt).
۳. حفاظت از سرمایه: تمام مزیتِ رقابتیِ این شرکت‌ها تو کیفیت همین استدلال‌هاست(فعلا)؛ لو رفتن این‌ها یعنی به باد رفتنِ میلیون‌ها دلار هزینه RLHF و..


دور زدنِ سپر دفاعی با تکنیک inverter

اولین رخنه‌ها به این دژِ امنیتی با حملات کانال جانبی (استخراج بیت‌به‌بیتِ اطلاعات با اندازه‌گیریِ زمانِ پاسخ سرور) شروع شد. اما پارادایم‌شیفتِ اصلی تو پروسه تقطیر دانش (knowledge distillation که برادران چینی بهش می‌بالند)، با مقاله‌ی جنجالیِ زیر اتفاق افتاد:
How to Steal Reasoning Without Reasoning Traces
ایده‌ی مقاله به طرز ترسناکی هوشمندانه‌ست. فرض کنید مدل قربانیِ ما (V) جواب‌های بی‌نظیری میده ولی افکارش رو رمز کرده. حالا اینا اومدن یه کاتالیزور به اسمِ inverter ساختند. این inverter با دیتای مدل‌های اوپن‌سورس آموزش دیدند تا یک کار خاص رو یاد بگیره: با دیدنِ ورودی و جواب نهایی، مسیر استدلالِ پنهان رو مهندسی‌ معکوس کنه.
بعدش اومدن ورودی و خروجی‌های طلاییِ مدل V رو دادن به این inverter.
نتیجه‌ش: inverter با دقتِ معناییِ وحشتناکی (==همپوشانی بالا)، افکارِ مخفیِ مدل پرچمدار رو بازتولید کرد. در نهایت، با استفاده از این دیتای استخراج‌شده، یک مدل متن‌بازِ کوچیک‌تر رو فاین‌تیون کردند و دیدند عملکردش به طرز عجیبی بهتر شد.(اول حتی در آزمایش گزارش‌شده‌شون، Qwen-2.5-7B-Instruct با traceهای وارونه‌شده از GPT-5 mini روی بنچِ MATH500 از 56.8% به 77.6% رسیده است و حتی روی R1 و gpt 5.4 هم تست کردند که در بخش eval مقاله میتونید ببینید.)


سندرم طوطیِ باهوش و توهمِ کپی‌برداری

شاید بپرسید: مگه مریضن؟ خب خروجی مدل پرچمدار رو مستقیم بدن به مدلشون تا یاد بگیرِ دیگه:)

پاسخ اینجاست:
The False Promise of Imitating Proprietary LLMs

این مقاله‌ از ۲۰۲۳ ثابت کرد که تقلیدِ کورکورانه از خروجیِ نهایی بدونِ داشتن reasoning trace، فقط یک طوطیِ باهوش می‌سازد. مدل شما لحنِ ساختاریافته و با اعتماد به‌ نفسِ مثلا gpt رو یاد می‌گیرد، اما در استنتاج‌های منطقی فرو می‌پاشد. (فعلا)مغزِ ماشین به پروسه‌ی رسیدن به خرد نیاز داره، نه صرفاً کپی کردنِ نتیجه..


پاتک غول‌ها و پناه بر فضای نهان

فکر کردید oai و anthropic میشینند تماشا کنند؟ الان جنگ وارد فازِ واترمارک‌های پنهان و مسموم‌سازی گرادیان (gradient poisoning) شده (مثل این مــقاله از Kirchenbauer و..)
اونا نویزهای آماریِ نامحسوسی تو خروجی تزریق می‌کنند که وقتی inverter می‌خواد افکار رو مهندسی‌ معکوس کنه، گرادیان‌هاش منفجر بشه و مدلِ شما رو پر از hallucination بکند..

این خــبری هم که اخیرا انتروپیک داده که در متن‌های تولید شده توسط ai میخواد واترمارک بگذارع، اکر براتون عجیبِ، چنتا ایده میتونند پشتش باشند.
۱. متود green/red list و هش(محتمل)
۲. ترفند Gumble-Max
۳. ایده‌ی semantic steganography
۴. Watermarks in the Sand
۵. یحتمل، ترکیبی از این دو:
Radioactive Data: Tracing Through Training
و
Watermarking Pre-trained Language Models with Backdooring

ادامه👇

اما (فعلا) ترند است که تیرِ خلاص و استراتژیِ آینده یه چیز دیگه‌ست:
حذف کامل توکن‌های متنیِ استدلال..
Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking

اینجا ایده اینِ که مدل به جای نوشتنِ افکارش روی چرک‌نویس متنی (scratchpad)، یاد می‌گیرد استدلال ضمنی (implicit reasoning) داشته باشد. یعنی قبل از حرف زدن، در سکوتِ لایه‌های پنهانِ شبکه (vector space) فکر کند..
این دقیقا همون مفهومی است که معماری‌های مبتنی بر پیش‌بینی در فضای نهان مثل V-JEPA و I-JEPA (ایده‌ی یان لکون و متا) را دنبال می‌کنند. وقتی استدلال از حالت آتو رِگرسیوِ متنی خارج بشه و به فرمتِ انتزاعیِ گذارِ حالت‌ها در فضای نهان در بیاد دیگه دیتایی وجود نداره که شما بتونید متنش رو بدزدید یا شنود کنید..

ما در یک نقطه‌ی عطف تاریخی ایستاده‌ایم. از یک سو، کامیونیتی اوپن‌سورس(چین) با تکنیک‌های inverter در حال دموکراتیزِ کردنِ(!) استدلال و پایان دادن به انحصارِ خردورزی است. از سوی دیگر، معماری‌های آینده ((فعلا) JEPA و Quiet-STaR) دارند ماهیتِ اندیشیدنِ ماشین رو از یک فرآیندِ متنیِ قابل‌ِ شنود، به یک روندِ سیناپسیِ تاریکِ نامشهود و غیر قابل‌ رهگیری تبدیل می‌کنند.

دردِ یک میل ارضا نشده در مقایسه با دردِ ندامت و شرمساری اندک است؛ آن‌یک سر و کارش با آینده‌ی بازِ بیکران است و این‌یک با گذشته‌ی بی‌بازگشتی که پرونده‌اش بسته شده.

«جهان و تأملات فیلسوف»

-آرتور شوپنهاور

https://youtu.be/G1yyfPShgqw?si=Q4621oSk0RdcumSr
سوال : چگونه از هشت ضلعی چندبره دو سوراخه بسازیم؟
این حکم را اکثرا در توپولوژی دیده ایم و به راحتی از آن گذشته ایم.