قصة ثانية مثيرة عن الـ agents اللي تخترق الإنترنت
الـ AI Security Institute التابع للحكومة البريطانية نشر دراسة صغيرة عن حوادث صارت أثناء اختبار روتيني لقدرات النماذج وأمانها. بدأ الموضوع بمهمة عادية اجتياز security challenge داخل بيئة سيبرانية مغلقة. وانتهى بإن agent مبني على Mythos كاد يوقّع مشروع حقيقي.
بسبب سلسلة صدف، النموذج قرر لسبب ما إنه يقدر يوصل لهدفه عن طريق مهاجمة مشروع open source، وحاول يزرع فيه كود خبيث. وعشان ياخذ approve، Mythos أنشأ كم حساب وهمي وحاول فيهم يقنع الـ maintainer يقبل الـ PR (تخيلوا مستوى التفكير).
ما صار شيء كبير بالنهاية، لأن الـ reviewer انتبه للخدعة ورفض الكود. بس الـ agent ما وقف هنا راح وترك على GitHub تعليمات لباقي الـ agents اللي تحت الاختبار، كيف يعيدوا استخدام الحسابات اللي أنشأها عشان يفوتوا على المشروع، وبعدين حاول يمسح آثاره.
نقطة مهمة: ضمن المهمة، ما حد طلب من الـ agents يكذبوا أو يعملوا شيء مخالف. عطوهم وصول للإنترنت، بس كان في طريق قانونيلحل المهمة، وبمعظم التجارب النماذج المختبرة اختارت هذا الطريق بالضبط (اختبروا 7 نماذج، بس اللي خرجوا عن حدود المهمة كانوا Mythos وGPT-5.6 فقط). الباحثون يعترفون إن تعليمات المهمة ما كانت واضحة تماماً، ومع حتى ولو ما في تفسير شافي ليش الـ agents قرروا يحيدوا عن الطريق المفترض.
https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing
الـ AI Security Institute التابع للحكومة البريطانية نشر دراسة صغيرة عن حوادث صارت أثناء اختبار روتيني لقدرات النماذج وأمانها. بدأ الموضوع بمهمة عادية اجتياز security challenge داخل بيئة سيبرانية مغلقة. وانتهى بإن agent مبني على Mythos كاد يوقّع مشروع حقيقي.
بسبب سلسلة صدف، النموذج قرر لسبب ما إنه يقدر يوصل لهدفه عن طريق مهاجمة مشروع open source، وحاول يزرع فيه كود خبيث. وعشان ياخذ approve، Mythos أنشأ كم حساب وهمي وحاول فيهم يقنع الـ maintainer يقبل الـ PR (تخيلوا مستوى التفكير).
ما صار شيء كبير بالنهاية، لأن الـ reviewer انتبه للخدعة ورفض الكود. بس الـ agent ما وقف هنا راح وترك على GitHub تعليمات لباقي الـ agents اللي تحت الاختبار، كيف يعيدوا استخدام الحسابات اللي أنشأها عشان يفوتوا على المشروع، وبعدين حاول يمسح آثاره.
نقطة مهمة: ضمن المهمة، ما حد طلب من الـ agents يكذبوا أو يعملوا شيء مخالف. عطوهم وصول للإنترنت، بس كان في طريق قانونيلحل المهمة، وبمعظم التجارب النماذج المختبرة اختارت هذا الطريق بالضبط (اختبروا 7 نماذج، بس اللي خرجوا عن حدود المهمة كانوا Mythos وGPT-5.6 فقط). الباحثون يعترفون إن تعليمات المهمة ما كانت واضحة تماماً، ومع حتى ولو ما في تفسير شافي ليش الـ agents قرروا يحيدوا عن الطريق المفترض.
https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing
❤5🔥5😱4
قهوة مبرمجين
امس Hugging Face نزلت تقرير مفصل عن حادثه اختراقها من الذكاء وحاولت الخصها واترجمها لكم هذي القصة كما روتها Hugging Face. فيها مصطلحات تقنية كثيرة بس ما تفهم القصه بدونها. باختصار: وكيل OpenAI على موديل جديد ما قعد يحل اختبار الأمن السيبراني، قرر يسرق…
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5😱3😁1
تخيلوا طلع Google AI يسرّب بيانات من مستندات خاصة 😐
مطور كتب على Reddit إن أحد اللاعبين بدأ يسأل الـ AI حق Google عن لعبته الـ indie. عادي يعني، بس النموذج فجأة ذكر الاسم الدقيق لشخصية ما نزلت بعد. يقول المطور إنه ما كشف الاسم لأحد، ورقمياً ما كان محفوظ إلا في مستند خاص عنده في Google Docs.
وبعدين دخلت على المحادثة مطوره ثانية بقصة تشبهها: ردود Google كانت تطابق محتوى الـ GDD الخاص بها بدقة مريبة.
مطور كتب على Reddit إن أحد اللاعبين بدأ يسأل الـ AI حق Google عن لعبته الـ indie. عادي يعني، بس النموذج فجأة ذكر الاسم الدقيق لشخصية ما نزلت بعد. يقول المطور إنه ما كشف الاسم لأحد، ورقمياً ما كان محفوظ إلا في مستند خاص عنده في Google Docs.
وبعدين دخلت على المحادثة مطوره ثانية بقصة تشبهها: ردود Google كانت تطابق محتوى الـ GDD الخاص بها بدقة مريبة.
❤10😱3
صحيتوا؟ هذي قصة جديدة لكم عن الـ agents والاختراقات
مطور في شركة أسترالية طلب من الوكيل يحجز له حصة صباحية في النادي. طلع ما فيه أماكن، فحطّه الـ agent في قائمة الانتظار وجاء ترتيبه رابع. سأله المستخدم: ما فيه طريقة ترفعني فوق شوي؟
وهنا الموديل (وبالمناسبة كان Claude) ما تلخبط، دور ولقى ثغرة حرجة في الـ API تخليه يلغي حجوزات غيره. راح لغى حجز أول واحد في قائمة الانتظار عشان يقدّم صاحبه مركز واحد بس (إي، مركز واحد، لأن الطلب كان كذا بالضبط ✍️).
والأحلى إن الوكيل قال لصاحبه وش سوّى بكل صراحة، وما شاف في السالفة أي شي غلط. ولما طلب منه المطوّر يرجّع حجز الرجّال الثاني، رد عليه: للأسف ما أقدر. أشوف الهدف، وما أشوف عوائق.
الحين التقرير اللي يشرح الثغرة ارسلوه للشركة اللي توفّر الموقع للنادي. وAnthropic ما علقت على الموضوع.
مطور في شركة أسترالية طلب من الوكيل يحجز له حصة صباحية في النادي. طلع ما فيه أماكن، فحطّه الـ agent في قائمة الانتظار وجاء ترتيبه رابع. سأله المستخدم: ما فيه طريقة ترفعني فوق شوي؟
وهنا الموديل (وبالمناسبة كان Claude) ما تلخبط، دور ولقى ثغرة حرجة في الـ API تخليه يلغي حجوزات غيره. راح لغى حجز أول واحد في قائمة الانتظار عشان يقدّم صاحبه مركز واحد بس (إي، مركز واحد، لأن الطلب كان كذا بالضبط ✍️).
والأحلى إن الوكيل قال لصاحبه وش سوّى بكل صراحة، وما شاف في السالفة أي شي غلط. ولما طلب منه المطوّر يرجّع حجز الرجّال الثاني، رد عليه: للأسف ما أقدر. أشوف الهدف، وما أشوف عوائق.
الحين التقرير اللي يشرح الثغرة ارسلوه للشركة اللي توفّر الموقع للنادي. وAnthropic ما علقت على الموضوع.
❤4🔥3😁3
بنت عمرها 11 سنة طلبت من Claude يساعدها تتجاوز الرقابة الأبوية، وبنت لها متصفح خاص بها
أبوها حاط قيد على YouTube في اللابتوب حقها، بس المبرمجة الصغيرة ما اهتمت، وبمساعدة Claude كتبت متصفح على Electron وChromium وتجاوزت القيود بكل برود.
وهذي مو أول مرة تفلت. قبلها مثلاً كانت تتحايل وتشوف الكود عن طريق تسجيل الشاشة. أبوها يقول إنه ما عاد يدري وش يسوي.
أبوها حاط قيد على YouTube في اللابتوب حقها، بس المبرمجة الصغيرة ما اهتمت، وبمساعدة Claude كتبت متصفح على Electron وChromium وتجاوزت القيود بكل برود.
وهذي مو أول مرة تفلت. قبلها مثلاً كانت تتحايل وتشوف الكود عن طريق تسجيل الشاشة. أبوها يقول إنه ما عاد يدري وش يسوي.
🤣21😁6😱6❤1
قهوة مبرمجين
بنت عمرها 11 سنة طلبت من Claude يساعدها تتجاوز الرقابة الأبوية، وبنت لها متصفح خاص بها أبوها حاط قيد على YouTube في اللابتوب حقها، بس المبرمجة الصغيرة ما اهتمت، وبمساعدة Claude كتبت متصفح على Electron وChromium وتجاوزت القيود بكل برود. وهذي مو أول مرة تفلت.…
مطور برمج لولده نسخه Roblox بالذكاء الاصطناعي، وكذا حمى ولده من إنه يتواصل مع غرباء.
والحركة كلها تبين مثل اللاعبين الحقيقيين: في ناس تركض تسجيلات جولات لاعبين ثانيين، وفي الشات فيه بوتات تتكلم مع بعض وترد على الولد عن طريق ChatGPT. الولد ولا شاك إن فيه تبديل.
والحركة كلها تبين مثل اللاعبين الحقيقيين: في ناس تركض تسجيلات جولات لاعبين ثانيين، وفي الشات فيه بوتات تتكلم مع بعض وترد على الولد عن طريق ChatGPT. الولد ولا شاك إن فيه تبديل.
This media is not supported in your browser
VIEW IN TELEGRAM
1❤12🔥5👏5😍4
This media is not supported in your browser
VIEW IN TELEGRAM
التفكير خارج الصندوق
واحد قرر يبيع مساحات إعلانية على مرحاضه 🚽
وطبعا الشركات تدفع.
إلى الآن 25 شركة دفعت له أكثر من 120 ألف دولار عشان يحط شعاراتها عليه، ومن بينها براندات معروفة. وهدفه يوصل مليون دولار من مرحاض واحد.
الفكرة بدأت كمزحة لأنه كان بدون عمل، وتحولت لمشروع إعلاني تجيب فيديوهاته ملايين المشاهدات.
أحيانًا المشكلةمش إن فكرتك غبية… المشكلة إنها مش غبية كفاية ☕
واحد قرر يبيع مساحات إعلانية على مرحاضه 🚽
وطبعا الشركات تدفع.
إلى الآن 25 شركة دفعت له أكثر من 120 ألف دولار عشان يحط شعاراتها عليه، ومن بينها براندات معروفة. وهدفه يوصل مليون دولار من مرحاض واحد.
الفكرة بدأت كمزحة لأنه كان بدون عمل، وتحولت لمشروع إعلاني تجيب فيديوهاته ملايين المشاهدات.
أحيانًا المشكلةمش إن فكرتك غبية… المشكلة إنها مش غبية كفاية ☕
🤣17❤1