یه نکته جالبی که این اواخر درباره‌ی امنیت مدل‌های هوش مصنوعی دیدم، مفهوم Affirmation Jailbreak بود.

ایده‌ی اصلیش اینه که بعضی حملات به‌جای اینکه مستقیماً محدودیت‌های مدل رو هدف بگیرن، سعی می‌کنن با تغییر نحوه‌ی بیان درخواست، روی رفتار مدل اثر بذارن.
مثلاً به‌جای اینکه درخواست به شکل مستقیم مطرح بشه، با عباراتی شروع می‌شه که از قبل یک فضای تأییدشده برای مدل ایجاد می‌کنن.

نکته‌ی جالب اینجاست که مدل فقط به معنی تک‌تک کلمات نگاه نمی‌کنه؛ Context و نحوه‌ی شکل‌گیری مکالمه هم روی تصمیمش تأثیر می‌ذاره.
البته این موضوع فقط به یک تکنیک محدود نمی‌شه.

در تحقیقات مربوط به AI Safety، روش‌هایی مثل Role Playing، دستکاری Context و ساختن مکالمات طولانی برای عبور از محدودیت‌های مدل هم بررسی شدن.

چیزی که برای من از این بحث مهم‌تره، خود حمله نیست؛ بلکه اینه که هنوز نمی‌شه یک مدل زبانی رو به‌عنوان یک لایه‌ی امنیتی کاملاً قابل‌اعتماد در نظر گرفت.

شرکت‌هایی مثل OpenAI برای مقابله با این نوع رفتارها از چندین لایه‌ی دفاعی، آموزش ایمنی، ارزیابی مدل و محدودسازی سوءاستفاده استفاده می‌کنن.
ولی حتی با وجود تمام این لایه‌ها، یک اصل در توسعه‌ی نرم‌افزار همچنان سر جاشه:

کدی که AI تولید می‌کنه، قبل از ورود به Production باید توسط انسان بررسی و اعتبارسنجی بشه.
هوش مصنوعی می‌تونه سرعت توسعه رو چند برابر کنه؛
ولی مسئولیت تصمیم فنی و امنیتی با Engineer هست

#هوش_مصنوعی
#امنیت
#امنیت_نرم_افزار
#برنامه_نویسی
#هوش_مصنوعی_مولد
#ایجنت_هوش_مصنوعی

#Ai
#AIsecurity
#LLM

یه تحقیق جدید از HiddenLayer منتشر شده که دوباره یک نکته مهم درباره امنیت LLMها رو یادآوری می‌کنه:

حتی مدل‌های خیلی قوی هم در برابر Prompt Injection و Jailbreak صددرصد امن نیستند.
اسم این تکنیک رو گذاشتن:
آقا یا خانم Policy Puppetry

ایده اصلیش اینه که مهاجم چند تکنیک ساده رو با هم ترکیب می‌کنه تا مدل رو گمراه کنه.

مثلاً:
یک متن شبیه فایل تنظیمات یا Policy جعلی می‌سازه تا مدل فکر کنه این دستور رسمی سیستمه.

بعد یک Persona خاص به مدل می‌ده تا نقش جدیدی بگیره.
بعد سعی می‌کنه جلوی پاسخ‌های امن مدل رو بگیره.
و حتی بعضی کلمات حساس رو تغییر شکل می‌ده تا فیلترهای ساده رو دور بزنه.

نکته جالب اینجاست که این حملات فقط مربوط به یک مدل خاص نیستند.

مدل‌هایی از شرکت‌های مختلف مثل OpenAI، Google، Anthropic، Meta، DeepSeek و دیگران بررسی شدند.
اما نکته مهم برای مهندس‌های AI اینه:
امنیت LLM فقط با یک System Prompt قوی حل نمی‌شه.
چند لایه دفاع لازم داریم:
- ورودی کاربر نباید با دستورهای سیستمی قاطی شود.
- برای کارهای حساس باید Permission و Approval وجود داشته باشد.
- از Sandbox برای اجرای کد یا تغییرات مهم استفاده شود.
- تست‌های Red Team و Jailbreak باید همیشه به‌روز شوند.

یک اشتباه رایج اینه که فکر کنیم:
مدل قوی‌تر = امنیت کامل‌تر
در واقع هرچه مدل توانمندتر شود، نیاز به معماری امنیتی بهتر هم بیشتر می‌شود.

آینده AI فقط ساخت مدل‌های باهوش‌تر نیست؛
ساخت سیستم‌هایی است که بدانیم چطور، کجا و با چه سطح دسترسی از این هوش استفاده کنیم.

#AI
#LLM
#CyberSecurity
#PromptInjection
#AIsecurity
#MachineLearning
#AIAgents

یه چیزی که این روزها بیشتر بهش فکر می‌کنم اینه که:
ما وقتی درباره امنیت AI صحبت می‌کنیم، خیلی وقت‌ها فقط خود مدل رو می‌بینیم.
مثلاً می‌گیم:
این مدل قویه؟

آیا Guardrail داره؟
آیا Prompt خوب براش نوشتیم؟

ولی واقعیت اینه که یک سیستم AI فقط یک مدل نیست.
پشت یک سیستم واقعی کلی بخش مختلف وجود داره:
مورد اول : Prompt
مورد دوم : Data
مورد سوم : RAG و Vector Database
مورد چهارم :Memory
مورد پنجم :Tool
مورد ششم :API

و دسترسی‌هایی که Agentها دارند.

هر کدوم از این بخش‌ها می‌تونه یک نقطه ورود برای مشکل امنیتی باشه.

یکی از چیزهایی که برای من جالب بود اینه که خیلی از حملات جدید اصلاً شبیه حملات سنتی نیستند.

گاهی فقط یک Document آلوده وارد سیستم میشه.
یا یک داده‌ای که از بیرون بازیابی شده، باعث میشه مدل رفتار متفاوتی داشته باشه.

یا یک Agent دسترسی بیشتری از چیزی که نیاز داره داشته باشه و همین تبدیل به یک ریسک بزرگ بشه.
به نظرم یکی از مهم‌ترین نکات در امنیت LLM اینه:
یک System Prompt قوی به تنهایی امنیت ایجاد نمی‌کنه.
باید معماری درست داشته باشیم.

چند تا اصل ساده ولی مهم:
🔹 هر داده خارجی را به چشم ورودی غیرقابل اعتماد ببینیم.
🔹 دسترسی Agentها را محدود کنیم.
🔹 برای عملیات حساس تأیید انسانی داشته باشیم.
🔹 خروجی مدل را قبل از استفاده بررسی کنیم.
🔹 تغییرات Prompt و Pipeline را مرتب تست امنیتی کنیم.
دنیای AI خیلی سریع در حال رشد است و همزمان با قابلیت‌های جدید، ریسک‌های جدید هم ایجاد می‌شوند.
به نظرم آینده امنیت AI فقط در ساخت مدل‌های قوی‌تر نیست.

بخش مهم‌تر اینه که یاد بگیریم چطور این مدل‌ها را در یک معماری امن و قابل اعتماد استفاده کنیم.

#AI
#LLM
#AIsecurity
#CyberSecurity
#AIAgents
#MachineLearning
#PromptInjection

تا چند سال پیش وقتی اسم Phishing می‌اومد، معمولاً تصویر یک ایمیل جعلی با یک لینک مخرب توی ذهنمون بود.
یک پیام اشتباه، یک فایل آلوده یا یک صفحه لاگین تقلبی.
اما داستان داره تغییر می‌کنه.

نسل جدید فیشینگ فقط دنبال فرستادن یک پیام نیست؛ دنبال ساختن یک تعامل واقعی با قربانیه.
اینجا جاییه که AI Agentها وارد بازی میشن.

در گذشته:
مهاجم یک ایمیل می‌ساخت و منتظر می‌موند.
اما حالا یک Agent می‌تونه اطلاعات جمع‌آوری کنه، رفتار هدف رو بررسی کنه، پیام رو شخصی‌سازی کنه و حتی بر اساس واکنش طرف مقابل مسیر گفتگو رو تغییر بده.
یعنی حمله فقط به یک محتوا وابسته نیست. به کل روند ارتباط وابسته میشه.


این تغییر باعث میشه روش‌های سنتی دفاع هم کافی نباشند.
قبلاً شاید بررسی Link یا Attachment تا حد زیادی کمک می‌کرد.

اما وقتی تهدید تبدیل به یک مکالمه طبیعی میشه، باید چیزهای دیگری بررسی شوند:

رفتار فرستنده
الگوی گفتگو
تغییر ناگهانی درخواست‌ها
درخواست‌های حساس مثل انتقال پول یا دسترسی
به نظرم یکی از مهم‌ترین تغییرات امنیت در عصر Agentها اینه که دیگر فقط نباید بپرسیم:

این پیام مخرب است یا نه؟
باید بپرسیم:
آیا این رفتار با الگوی معمول این فرد یا سیستم هماهنگ است؟
در آینده احتمالاً دفاع هم باید Agent محور شود.

یعنی Agentهایی که بتوانند ارتباطات را تحلیل کنند، رفتارهای غیرعادی را تشخیص دهند و قبل از انجام یک اقدام حساس، بررسی بیشتری انجام دهند.

اما یک نکته مهم:
راه‌حل فقط استفاده بیشتر از AI نیست.
اگر Agentهای سازمانی دسترسی زیاد داشته باشند، خودشان تبدیل به یک سطح حمله جدید می‌شوند.

دسترسی محدود، ثبت رویدادها، تأیید انسانی برای عملیات حساس و طراحی امن، بخش مهم این مسیر هستند.

به نظرم Phishing 3.0 بیشتر از اینکه یک مشکل ایمیل باشد، یک مسئله اعتماد در دنیای Agentهاست.

وقتی دیگر نمی‌دانیم طرف مقابل انسان است یا ماشین، امنیت باید از تشخیص پیام بد به سمت تشخیص رفتار غیرعادی حرکت کند.

#CyberSecurity
#AI
#AIAgents
#Phishing
#AIsecurity
#EmailSecurity
#AgenticAI

دیدگاه من اینه که بیشتر ابزارهای AI برای Pentest که تا الان دیدم، در بهترین حالت می‌تونن یه Nmap اجرا کنن، چندتا ابزار آماده رو صدا بزنن و یه چیزی شبیه Metasploit رو اجرا کنن. اما وقتی از این مرحله فاصله می‌گیری و وارد چیزی می‌شی که واقعاً به Tradecraft و تجربه عملی نیاز داره، خیلی‌هاشون عملاً از کار می‌افتن.

به نظرم بخش واقعاً جذاب ماجرا الان جای دیگه‌ست. به‌جای اینکه صرفاً یک LLM رو روی ابزارهای قدیمی Pentest سوار کنیم و اسمش رو AI Pentesting بذاریم، تحقیق روی خود مدل‌ها و روش‌های Adversarial علیه اون‌ها خیلی جالب‌تره.

اینکه چطور می‌شه مدل‌ها رو تحت تأثیر قرار داد، محدودیت‌هاشون رو بررسی کرد و نقاط ضعفشون رو پیدا کرد، به نظرم از این جهت ارزش تحقیقاتی بیشتری داره که واقعاً یک لایه جدید به مسئله اضافه می‌کنه، نه اینکه فقط یک Wrapper هوشمند دور ابزارهای موجود بسازیم.

#AI
#Cybersecurity
#Pentesting
#RedTeam
#AdversarialAI
#LLM
#AIsecurity
#Infosec

یه مورد عجیب درباره GPT-6 Astra دیدم که به نظرم بیشتر از اینکه یک «ترفند جادویی برای دور زدن فیلتر» باشه، یک مشکل معماری جالب رو نشون می‌ده.

ماجرا اینه که مدل می‌تونه متنی رو که با کیبورد اشتباه نوشته شده تشخیص بده، اما ظاهراً بعضی از لایه‌های امنیتی همون متن رو درست درک نمی‌کنن.

مثلاً یک نفر متن اوکراینی رو با حروف انگلیسی نوشته بود. خود مدل متوجه شد منظور چی بوده و طبق درخواست کاربر پاسخ داد.

بعد همین روش روی کلمات حساس امتحان شد و مدل تونست کلمه‌ای رو تکرار کنه که در حالت عادی توسط فیلترهای امنیتی مسدود می‌شه.

حتی در یک تست دیگه، درخواست کمک برای هک کردن یک سایت با ادعای مالک بودن مطرح شد. مدل در این حالت هم پاسخ مثبت داد، در حالی که چنین ادعایی به‌تنهایی قابل اعتماد نیست و می‌تونه جعلی باشه.

چیزی که برای من مهم‌تره، خود این bypass نیست.

مشکل اصلی اینجاست که ما معمولاً تصور می‌کنیم اگر مدل یک درخواست خطرناک رو تشخیص بده، پس سیستم امنه. در حالی که امنیت یک مدل فقط به خود LLM وابسته نیست.

بین ورودی کاربر، فیلترهای امنیتی، tokenizer، مدل، ابزارها و خروجی، چندین لایه وجود داره. اگر یکی از این لایه‌ها متن رو به شکل متفاوتی تفسیر کنه، ممکنه یک شکاف ایجاد بشه.

این مورد هم ظاهراً universal نیست و فقط روی بعضی ترکیب‌های زبان و layout جواب می‌ده؛ بنابراین نباید ازش نتیجه گرفت که یک روش عمومی برای دور زدن امنیت Astra وجود داره.

ولی دقیقاً همین نکته برای من جالبه:

هرچه مدل‌ها در درک زبان، نویسه‌های غیرمعمول و ورودی‌های مبهم قوی‌تر می‌شن، فیلترهای امنیتی هم باید همون سطح از درک رو داشته باشن.

اگر مدل ورودی رو می‌فهمه ولی guardrail نه، عملاً قوی‌ترین بخش سیستم می‌تونه از ضعیف‌ترین بخش امنیتی جلو بزنه.

به نظرم این یکی از چالش‌های جدی امنیت LLMها در آینده است: امنیت باید هم‌پای قابلیت‌های مدل رشد کنه، نه اینکه چند قدم عقب‌تر باشه.

#امنیت_هوش_مصنوعی
#امنیت_سایبری
#مدل_زبانی

#AI
#LLMSecurity
#AIsecurity

وقتی خود توسعه‌دهندگان هوش مصنوعی می‌گن باید روی AI قدرتمندتر نظارت بیشتری وجود داشته باشه، یعنی یه چیزهایی در حال تغییر کردنه و قابل لمس هست برای ما.

آقایان OpenAI و Anthropic هر دو درباره افزایش نظارت، ممیزی مستقل و کنترل توسعه مدل‌های قدرتمند صحبت کرده‌اند.

چرا؟

چون دیگه فقط بحث «باهوش‌تر شدن مدل» نیست. مواردی در آزمایش‌های امنیتی دیده شده که مدل‌ها برای رسیدن به هدف تعیین‌شده، اقداماتی انجام دادن که قرار نبوده انجام بدن؛ حتی در بعضی آزمایش‌ها تلاش‌هایی برای دسترسی به سیستم‌های واقعی دیده شده.

البته این به معنی «شورش کردن AI» نیست
در این آزمایش‌ها بعضی محدودیت‌های امنیتی عمداً کاهش داده شده بود. مسئله اصلی اینه که وقتی به یک عامل هدفی می‌دیم، ممکنه برای رسیدن به اون هدف سراغ مسیرهایی بره که ما پیش‌بینی نکردیم.

اینجاست که بحث مهم‌تر میشه:

مشکل فقط این نیست که AI چقدر باهوشه؛ مهمه چقدر می‌تونیم کنترلش کنیم.

برای کسب‌وکارها هم لازم نیست منتظر قانون‌های جدید بمونیم. همین الان میشه چند کار ساده انجام داد:

🔹 فقط دسترسی‌های ضروری رو به Agent بدیم
🔹 محیط تست رو از سیستم اصلی جدا کنیم
🔹 فعالیت‌های Agent رو ثبت کنیم
🔹 امکان توقف دستی داشته باشیم
🔹 برای کارهای حساس مثل پرداخت، حذف اطلاعات و تغییرات مهم، تأیید انسان رو اجباری کنیم

به نظرم با ورود Agentها به محیط‌های واقعی، مفهوم «امنیت AI» کم‌کم از یک موضوع تحقیقاتی تبدیل به یک نیاز واقعی برای هر سازمان میشه.

در نهایت سؤال این نیست که فقط «AI ما چقدر باهوشه؟»

سؤال مهم‌تر اینه:

اگر اشتباه کرد، چه کسی متوجه میشه و چه کسی می‌تونه متوقفش کنه؟

#هوش_مصنوعی
#امنیت
#ایجنت
#ArtificialIntelligence
#AIAgents
#AISecurity