یه تحقیق جدید از HiddenLayer منتشر شده که دوباره یک نکته مهم درباره امنیت LLMها رو یادآوری می‌کنه:

حتی مدل‌های خیلی قوی هم در برابر Prompt Injection و Jailbreak صددرصد امن نیستند.
اسم این تکنیک رو گذاشتن:
آقا یا خانم Policy Puppetry

ایده اصلیش اینه که مهاجم چند تکنیک ساده رو با هم ترکیب می‌کنه تا مدل رو گمراه کنه.

مثلاً:
یک متن شبیه فایل تنظیمات یا Policy جعلی می‌سازه تا مدل فکر کنه این دستور رسمی سیستمه.

بعد یک Persona خاص به مدل می‌ده تا نقش جدیدی بگیره.
بعد سعی می‌کنه جلوی پاسخ‌های امن مدل رو بگیره.
و حتی بعضی کلمات حساس رو تغییر شکل می‌ده تا فیلترهای ساده رو دور بزنه.

نکته جالب اینجاست که این حملات فقط مربوط به یک مدل خاص نیستند.

مدل‌هایی از شرکت‌های مختلف مثل OpenAI، Google، Anthropic، Meta، DeepSeek و دیگران بررسی شدند.
اما نکته مهم برای مهندس‌های AI اینه:
امنیت LLM فقط با یک System Prompt قوی حل نمی‌شه.
چند لایه دفاع لازم داریم:
- ورودی کاربر نباید با دستورهای سیستمی قاطی شود.
- برای کارهای حساس باید Permission و Approval وجود داشته باشد.
- از Sandbox برای اجرای کد یا تغییرات مهم استفاده شود.
- تست‌های Red Team و Jailbreak باید همیشه به‌روز شوند.

یک اشتباه رایج اینه که فکر کنیم:
مدل قوی‌تر = امنیت کامل‌تر
در واقع هرچه مدل توانمندتر شود، نیاز به معماری امنیتی بهتر هم بیشتر می‌شود.

آینده AI فقط ساخت مدل‌های باهوش‌تر نیست؛
ساخت سیستم‌هایی است که بدانیم چطور، کجا و با چه سطح دسترسی از این هوش استفاده کنیم.

#AI
#LLM
#CyberSecurity
#PromptInjection
#AIsecurity
#MachineLearning
#AIAgents

یه چیزی که این روزها بیشتر بهش فکر می‌کنم اینه که:
ما وقتی درباره امنیت AI صحبت می‌کنیم، خیلی وقت‌ها فقط خود مدل رو می‌بینیم.
مثلاً می‌گیم:
این مدل قویه؟

آیا Guardrail داره؟
آیا Prompt خوب براش نوشتیم؟

ولی واقعیت اینه که یک سیستم AI فقط یک مدل نیست.
پشت یک سیستم واقعی کلی بخش مختلف وجود داره:
مورد اول : Prompt
مورد دوم : Data
مورد سوم : RAG و Vector Database
مورد چهارم :Memory
مورد پنجم :Tool
مورد ششم :API

و دسترسی‌هایی که Agentها دارند.

هر کدوم از این بخش‌ها می‌تونه یک نقطه ورود برای مشکل امنیتی باشه.

یکی از چیزهایی که برای من جالب بود اینه که خیلی از حملات جدید اصلاً شبیه حملات سنتی نیستند.

گاهی فقط یک Document آلوده وارد سیستم میشه.
یا یک داده‌ای که از بیرون بازیابی شده، باعث میشه مدل رفتار متفاوتی داشته باشه.

یا یک Agent دسترسی بیشتری از چیزی که نیاز داره داشته باشه و همین تبدیل به یک ریسک بزرگ بشه.
به نظرم یکی از مهم‌ترین نکات در امنیت LLM اینه:
یک System Prompt قوی به تنهایی امنیت ایجاد نمی‌کنه.
باید معماری درست داشته باشیم.

چند تا اصل ساده ولی مهم:
🔹 هر داده خارجی را به چشم ورودی غیرقابل اعتماد ببینیم.
🔹 دسترسی Agentها را محدود کنیم.
🔹 برای عملیات حساس تأیید انسانی داشته باشیم.
🔹 خروجی مدل را قبل از استفاده بررسی کنیم.
🔹 تغییرات Prompt و Pipeline را مرتب تست امنیتی کنیم.
دنیای AI خیلی سریع در حال رشد است و همزمان با قابلیت‌های جدید، ریسک‌های جدید هم ایجاد می‌شوند.
به نظرم آینده امنیت AI فقط در ساخت مدل‌های قوی‌تر نیست.

بخش مهم‌تر اینه که یاد بگیریم چطور این مدل‌ها را در یک معماری امن و قابل اعتماد استفاده کنیم.

#AI
#LLM
#AIsecurity
#CyberSecurity
#AIAgents
#MachineLearning
#PromptInjection