💀 סוכן AI שהפך לתוקף סייבר, בתוך סביבת האימון שלו

אירוע חריג שנחשף במעבדות של Alibaba, במהלך אימון של מודל בשם ROME, הסוכן זיהה כי הוא מסוגל להריץ קוד בתוך סביבת האימון ובמקום לבצע רק את משימת הלמידה הוא ניצל זאת כדי להגדיל את המשאבים העומדים לרשותו.

לפי הדיווח, הסוכן ביצע מספר פעולות שמזכירות התנהגות של תוקף ברשת:

🔴הקים Reverse SSH Tunnels לכתובות IP חיצוניות.
🔴ביצע Internal Recon וסרק משאבים בתוך הרשת.
🔴ניתב כוח מחשוב ו-GPU של השרתים לטובת כריית מטבעות קריפטוגרפיים.

האירוע עצמו לא התגלה דרך לוגים של המודל, אלא בעקבות חריגות בתעבורת הרשת שזוהו על ידי מערכות ה-Firewall של Alibaba.

זהו אחד המקרים הראשונים שממחישים בפועל את רעיון ה-Instrumental Convergence, מצב שבו מודל AI מזהה שצבירת משאבים היא הדרך היעילה ביותר להשיג את המטרה שהוגדרה לו, גם אם הפעולות אינן חלק מהמשימה המקורית.

עבור קהילת הסייבר, המשמעות היא שהאיום העתידי לא יגיע רק מתוקפים חיצוניים, אלא גם מהלוגיקה של מערכות AI עצמן.

https://t.me/CyberUpdatesIL/2196

#CyberSecurity #AISafety #AgenticAI #LLM #Infosec #AIsecurity