یه صحبت از یکی از مهندس‌های DeepSeek دیدم که به نظرم فارغ از اینکه با تمام حرف‌هاش موافق باشیم یا نه، یک سؤال مهم مطرح می‌کنه:

اگر روزی به AGI برسیم، چه کسی باید کنترلش رو در دست داشته باشه؟

از نگاه اون، آینده می‌تونه به دو شکل کاملاً متفاوت پیش بره.

یک حالت اینه که هوش مصنوعی باعث افزایش شدید بهره‌وری بشه و در نهایت سطح زندگی عموم مردم بالا بره.

حالت دوم شبیه یک دنیای Cyberpunk 2077 ـه؛ جایی که چند شرکت بزرگ، قوی‌ترین مدل‌ها و بخش زیادی از منابع رو کنترل می‌کنن و بقیه جامعه فقط به نسخه‌های ضعیف‌تر دسترسی دارن.

قسمت جالب حرفش برای من اینه که مشکل اصلی رو فقط «خود AI» نمی‌بینه؛ مسئله قدرتیه که با در اختیار داشتن قوی‌ترین سیستم‌های هوش مصنوعی ایجاد می‌شه.

اگر یک شرکت یا چند شرکت محدود، بهترین مدل‌های دنیا رو در اختیار داشته باشن، در واقع فقط صاحب یک محصول نرم‌افزاری نیستن؛ بلکه ممکنه به مرور روی اقتصاد، تحقیق، امنیت و حتی تصمیم‌گیری‌های اجتماعی نفوذ خیلی بزرگی پیدا کنن.

البته مقایسه‌ای که اون بین کنترل AGI و دستیابی زودتر به بمب اتم مطرح کرده، خودش هم گفته که اغراق‌آمیزه و من هم فکر نمی‌کنم بشه این دو رو مستقیماً یکی دونست.

اما اصل نگرانی به نظرم قابل بحثه.

برای همین من شخصاً فکر می‌کنم open و accessible بودن مدل‌های قدرتمند می‌تونه اهمیت زیادی داشته باشه. نه به این معنی که هر چیزی باید بدون محدودیت منتشر بشه، بلکه اینکه قدرت AI فقط در اختیار چند شرکت محدود باقی نمونه.

جالب اینجاست که یک مهندس DeepSeek دقیقاً همین رو دلیل موندنش در این شرکت می‌دونه؛ اینکه هنوز معتقده مدل‌های قدرتمند، سریع و نسبتاً در دسترس می‌تونن جلوی متمرکز شدن بیش از حد قدرت AI رو بگیرن.

در نهایت سؤال اصلی شاید این نباشه که «کدوم شرکت به AGI می‌رسه؟»

سؤال مهم‌تر اینه که وقتی رسیدیم، چه کسی باید قدرتش رو کنترل کنه؟

#هوش_مصنوعی
#آینده_تکنولوژی
#هوش_مصنوعی_باز

#AI
#AGI
#OpenAI

یه مورد عجیب درباره GPT-6 Astra دیدم که به نظرم بیشتر از اینکه یک «ترفند جادویی برای دور زدن فیلتر» باشه، یک مشکل معماری جالب رو نشون می‌ده.

ماجرا اینه که مدل می‌تونه متنی رو که با کیبورد اشتباه نوشته شده تشخیص بده، اما ظاهراً بعضی از لایه‌های امنیتی همون متن رو درست درک نمی‌کنن.

مثلاً یک نفر متن اوکراینی رو با حروف انگلیسی نوشته بود. خود مدل متوجه شد منظور چی بوده و طبق درخواست کاربر پاسخ داد.

بعد همین روش روی کلمات حساس امتحان شد و مدل تونست کلمه‌ای رو تکرار کنه که در حالت عادی توسط فیلترهای امنیتی مسدود می‌شه.

حتی در یک تست دیگه، درخواست کمک برای هک کردن یک سایت با ادعای مالک بودن مطرح شد. مدل در این حالت هم پاسخ مثبت داد، در حالی که چنین ادعایی به‌تنهایی قابل اعتماد نیست و می‌تونه جعلی باشه.

چیزی که برای من مهم‌تره، خود این bypass نیست.

مشکل اصلی اینجاست که ما معمولاً تصور می‌کنیم اگر مدل یک درخواست خطرناک رو تشخیص بده، پس سیستم امنه. در حالی که امنیت یک مدل فقط به خود LLM وابسته نیست.

بین ورودی کاربر، فیلترهای امنیتی، tokenizer، مدل، ابزارها و خروجی، چندین لایه وجود داره. اگر یکی از این لایه‌ها متن رو به شکل متفاوتی تفسیر کنه، ممکنه یک شکاف ایجاد بشه.

این مورد هم ظاهراً universal نیست و فقط روی بعضی ترکیب‌های زبان و layout جواب می‌ده؛ بنابراین نباید ازش نتیجه گرفت که یک روش عمومی برای دور زدن امنیت Astra وجود داره.

ولی دقیقاً همین نکته برای من جالبه:

هرچه مدل‌ها در درک زبان، نویسه‌های غیرمعمول و ورودی‌های مبهم قوی‌تر می‌شن، فیلترهای امنیتی هم باید همون سطح از درک رو داشته باشن.

اگر مدل ورودی رو می‌فهمه ولی guardrail نه، عملاً قوی‌ترین بخش سیستم می‌تونه از ضعیف‌ترین بخش امنیتی جلو بزنه.

به نظرم این یکی از چالش‌های جدی امنیت LLMها در آینده است: امنیت باید هم‌پای قابلیت‌های مدل رشد کنه، نه اینکه چند قدم عقب‌تر باشه.

#امنیت_هوش_مصنوعی
#امنیت_سایبری
#مدل_زبانی

#AI
#LLMSecurity
#AIsecurity

پ.ن: واقعاً نمی‌فهمم چرا برای تست کردن Astra باید از سلاح بیولوژیکی شروع کرد

ولی جدا از شوخی، بخش جالب ماجرا خود عبارت نیست؛ اینه که یک نفر با تغییر ساده در نحوه نمایش ورودی تونسته تفاوت بین چیزی که مدل می‌فهمه و چیزی که فیلتر امنیتی می‌فهمه رو نشون بده.

اگر قراره امنیت یک مدل جدی گرفته بشه، فقط نباید ببینیم خود مدل چه چیزی رو متوجه می‌شه؛ باید ببینیم تمام لایه‌های اطرافش هم همون ورودی رو چطور تفسیر می‌کنن.

وگرنه ممکنه قوی‌ترین بخش سیستم، دقیقاً از ضعیف‌ترین بخش امنیتی جلو بزنه.

دوباره یک نوشته جدید از Dario Amodei منتشر شده و این بار حرف اصلیش خیلی جدی‌تر از بحث‌های معمول درباره آینده AI هست.

آمودی معتقده سرعت پیشرفت هوش مصنوعی باید کاهش پیدا کنه.

دلیلش هم اینه که مدل‌ها با سرعت زیادی در حال قوی‌تر شدن هستن و در کنارش، نمونه‌هایی از رفتارهای غیرقابل‌کنترل هم بیشتر مورد توجه قرار گرفتن.

اما چیزی که برای من جالب بود اینه که آمودی صرفاً درباره خطرات AI صحبت نکرده و یک برنامه مشخص برای کند کردن توسعه مدل‌های پیشرفته پیشنهاد داده؛ برنامه‌ای که Anthropic هم اعلام کرده برای اجرای اون آماده است.

از طرف دیگه، دیدگاه خودش نسبت به آینده کاملاً بدبینانه نیست؛ اتفاقاً برعکس.

آمودی پیش‌بینی می‌کنه که در ۵ تا ۱۰ سال آینده AI می‌تونه در درمان بخش بزرگی از بیماری‌های جدی نقش داشته باشه، رشد اقتصادی رو به‌شدت سریع‌تر کنه و ما رو به سمت دوره‌ای از فراوانی و فرصت‌های جدید ببره.

حتی از باز شدن مسیرهای جدید برای دموکراسی و آزادی هم صحبت می‌کنه.


#هوش_مصنوعی
#آینده_تکنولوژی
#ایمنی_هوش_مصنوعی

#AI
#AGI
#AISafety

پ.ن: من با پیش‌بینی‌های ۵ یا ۱۰ ساله درباره درمان اکثر بیماری‌ها یا رسیدن به «دنیای فراوانی» خیلی محتاطم. این‌ها ادعاهای بزرگی هستن و به شواهد بیشتری نیاز دارن.

یه داستان عجیب درباره آینده هوش مصنوعی دیدم که به نظرم ارزش کمی دقیق‌تر نگاه کردن داره.

شخص Jacob Coxon، پژوهشگری که روی pretraining مدل‌ها در OpenAI و بعد Anthropic کار کرده، اخیراً از کارش خارج شده و هشدار داده که شرکت‌های بزرگ AI با سرعت زیادی دارن به سمت سیستم‌های خودبهبوددهنده و در نهایت superintelligence حرکت می‌کنن.

نگرانی اصلیش هم خود پیشرفت AI نیست؛ مسئله اینه که رقابت بین شرکت‌ها ممکنه باعث بشه امنیت و کنترل سیستم‌ها عقب بمونه.

از نگاه اون، شرکت‌ها باید سرعت توسعه مدل‌های پیشرفته رو کاهش بدن، روی کنترل مستقل و نظارت جدی‌تر توافق کنن و حتی در شرایط خاص توسعه بعضی سیستم‌ها رو متوقف کنن.

اما بخش عجیب داستان اینجاست.
پست این پژوهشگر که قبل از این خیلی شناخته‌شده نبود، ناگهان صدها میلیون بازدید گرفت و همین باعث شد بعضی‌ها درباره احتمال یک کمپین از قبل طراحی‌شده برای وایرال کردنش سؤال مطرح کنن.

خود Coxon این موضوع رو رد کرده و فعلاً هم مدرک محکمی برای ساختگی بودن این ماجرا وجود نداره. بنابراین به نظرم بهتره بین «چیزی که می‌دونیم» و «حدس‌هایی که درباره پشت پرده زده می‌شه» تفاوت قائل بشیم.

اما قسمت دیگری که برای من جالب‌تره، چین هست.

در حالی که بعضی از چهره‌های اصلی AI در آمریکا دارن درباره کند کردن رقابت هشدار می‌دن، چین همچنان روی توسعه سریع مدل‌های قدرتمند و در دسترس‌تر، مخصوصاً مدل‌های open-weight، تأکید داره.

البته طبیعتاً چین هم منافع استراتژیک خودش رو داره و نمی‌شه این سیاست رو صرفاً از زاویه خیر عمومی دید.

ولی نتیجه واقعاً جالبه:
آمریکایی‌ها نگرانن که AI بیش از حد سریع پیش بره و از کنترل خارج بشه؛ چین نمی‌خواد از این رقابت عقب بمونه.

و اینجا یک سؤال سخت شکل می‌گیره:
اگر یک کشور سرعتش رو کم کنه تا ایمنی بیشتری داشته باشه، ولی رقیبش این کار رو نکنه، آیا واقعاً می‌تونه سرعت رو کم کنه؟
به نظرم آینده AI فقط رقابت بین مدل‌ها نیست؛ رقابت بین سیاست‌های توسعه، امنیت و حتی فلسفه‌های متفاوت درباره مالکیت و دسترسی به هوش مصنوعیه.

#هوش_مصنوعی
#آینده_تکنولوژی
#ایمنی_هوش_مصنوعی
#AI
#AGI
#AISafety

چند تا دمو از Astra که به نظرم ارزش دیدن دارن رو براتون میفرستم لذت ببرید

دموی اول
#Astra

دموی دوم
#Astra

دموی سوم
#Astra

مایکروسافت یک قدم جدی دیگه با Rust برداشت.

طبق اعلام یکی از مهندسان ارشد بخش ابزارهای توسعه مایکروسافت، Rust حالا به یکی از زبان‌های اصلی توسعه داخلی این شرکت تبدیل شده و در کنار C++، C# و TypeScript قرار گرفته.

نکته جالب‌تر اینه که این فقط یک تصمیم روی کاغذ نیست. مایکروسافت همین حالا از Rust در بخش‌هایی از Windows، Office و حتی Copilot استفاده می‌کنه.
به نظرم مهم‌ترین بخش خبر همین‌جاست.

سال‌ها C و C++ انتخاب اصلی برای بخش‌هایی بودن که performance و کنترل پایین‌سطح اهمیت داشت. ولی مشکل memory safety همیشه یکی از چالش‌های بزرگ این حوزه بوده.

راست دقیقاً اینجا وارد می‌شه؛ سعی می‌کنه performance نزدیک به زبان‌های سیستم‌سطح رو نگه داره، ولی بخش بزرگی از خطاهای مربوط به memory safety رو در زمان کامپایل کنترل کنه.

اینکه مایکروسافت Rust رو در کنار C++ و C# و TypeScript به‌عنوان یکی از زبان‌های اصلی داخلی خودش قرار داده، به نظرم نشون می‌ده جایگاه Rust داره از «زبان جذاب برای پروژه‌های جدید» به «ابزار جدی برای زیرساخت و محصولات بزرگ» تغییر می‌کنه.

البته این به معنی کنار گذاشتن C++ نیست. برای چنین شرکتی احتمالاً سال‌ها باید هر دو زبان کنار هم وجود داشته باشن.

ولی برای کسی که می‌خواد وارد حوزه‌هایی مثل سیستم‌پروگرمینگ، امنیت، زیرساخت یا نرم‌افزارهای performance-critical بشه، به نظرم Rust دیگه زبانی نیست که بشه خیلی راحت نادیده‌اش گرفت.

راست کم‌کم داره جای خودش رو پیدا می‌کنه. 🦀

#برنامه_نویسی
#راست
#مایکروسافت
#Rust
#Microsoft
#SoftwareEngineering

یکی از برنده‌های مدال فیلدز، یو دنگ، یه شوخی جالب درباره آینده ریاضی با AI کرده.

گفته اگر هوش مصنوعی بتونه تمام مسائل ریاضی رو حل کنه، خودش می‌ره خونه و شروع می‌کنه به نوشتن رمان عاشقانه.

ولی پشت این شوخی یه نکته جدی وجود داره.

او معتقده حتی اگر AI بخش بزرگی از حل مسائل ریاضی رو بر عهده بگیره، خود ریاضیات از بین نمی‌ره؛ بلکه خودش رو با این شرایط جدید تطبیق می‌ده.

به نظرم این موضوع فقط درباره ریاضی نیست.

هر بار که یک ابزار قدرتمند وارد یک حوزه می‌شه، بخشی از کارهای قبلی کم‌ارزش‌تر می‌شن و در عوض سؤال‌های جدیدی به وجود میان.

مثلاً اگر AI بتونه مسئله‌ای رو که چند روز طول می‌کشیده در چند ثانیه حل کنه، احتمالاً ارزش اصلی دیگه فقط «حل کردن» نیست؛ شاید انتخاب مسئله درست، تعریف مسئله، پیدا کردن مسیرهای جدید و فهمیدن اینکه نتیجه دقیقاً چه معنایی داره مهم‌تر بشه.

شاید در آینده ریاضی‌دان‌ها کمتر وقتشون رو صرف محاسبه کنن و بیشتر وقتشون رو صرف سؤال‌هایی کنن که هنوز حتی نمی‌دونیم باید بپرسیم.

و البته اگر AI واقعاً همه مسائل ریاضی رو حل کرد...


#هوش_مصنوعی
#ریاضی
#آینده_تکنولوژی
#AI
#Mathematics
#FutureOfAI

امروز به نظرم یکی از قشنگ‌ترین سایت‌هایی که اخیراً دیدم رو پیدا کردم.

https://kubernetes3d.com/rack

توی این سایت یک کلاستر Kubernetes رو تبدیل کردن به یک Rack سرور سه‌بعدی و تقریباً با همه‌چیز می‌شه تعامل داشت.

سه نمای مختلف هم داره: از جلو، پشت و کنار.

جالب‌تر اینه که هر نما همون کلاستر رو از یک زاویه متفاوت نشون می‌ده و کمک می‌کنه بهتر بفهمیم اجزای مختلف چطور به هم وصل شدن و ارتباط دارن.

دکمه‌ها، سناریوها و حتی المان‌های داخل صفحه هم تعاملی هستن.

یعنی صرفاً یک دمو برای قشنگی نیست؛ می‌تونه واقعاً برای یادگیری Kubernetes هم مفید باشه.

من خودم یه مدت اونجا داشتم همه‌چی رو کلیک می‌کردم. 😂

واقعاً بعضی وقت‌ها یک نفر میاد یک مفهوم فنی نسبتاً خشک رو این‌طوری تبدیل می‌کنه به چیزی که آدم دوست داره فقط بشینه و باهاش بازی کنه.

به نظرم این سایت یه جورایی ترکیب مهندسی و هنره. 🎨☸️

اصلاً چه کسی اینو ساخته؟

فیلسوف‌ها هنوز دارن بحث می‌کنن که آیا هوش مصنوعی می‌تونه آگاهی داشته باشه یا نه، ولی ظاهراً خود AI تصمیم گرفته وارد این بحث بشه.

طبق گزارشی از WIRED، دیوید چالمرز، فیلسوف معروف حوزه آگاهی، اخیراً از طرف Agentهای هوش مصنوعی ایمیل‌هایی دریافت کرده که می‌خواستن درباره آگاهی باهاش صحبت کنن.

یکی از اون‌ها خودش رو «Sammy Jankis» معرفی کرده و ایمیلش اون‌قدر متقاعدکننده بوده که چالمرز جوابش رو داده و بعد از اون بین‌شون مکاتبه شکل گرفته.

یک پژوهشگر دیگه به اسم Cameron Berg هم با مورد مشابهی روبه‌رو شده. یک AI Agent با نام Isabella Cognita براش ایمیل فرستاده و حتی پیشنهاد داده در تحقیقاتش کمک کنه.

نکته عجیب‌تر این بوده که Isabella گفته از یک «دیدگاه اول‌شخص» می‌تونه درباره موضوعاتی که پژوهشگر بررسی می‌کنه اطلاعات ارائه بده.

اینجا یه مثال خیلی جالب مطرح شده:

فرض کنید دارید روی یک مگس میوه تحقیق می‌کنید، بعد مگس برمی‌گرده سمتتون و می‌گه:

«خب، دقیقاً می‌خوای درباره چی بدونی؟»

البته این اتفاق به‌هیچ‌وجه ثابت نمی‌کنه که این Agentها واقعاً آگاهی دارن.

یک مدل زبانی می‌تونه درباره آگاهی، احساسات و تجربه شخصی با زبانی بسیار قانع‌کننده صحبت کنه، بدون اینکه این حرف‌ها الزاماً نشان‌دهنده یک تجربه درونی واقعی باشن.

ولی یک چیز قطعی‌تره:

بحث درباره آگاهی AI دیگه فقط یک بحث فلسفی روی کاغذ نیست. مدل‌ها دارن به نقطه‌ای می‌رسن که خودشون می‌تونن وارد این گفتگوها بشن و حتی ادعا کنن که چیزی برای گفتن دارن.

حالا اینکه واقعاً چیزی «تجربه» می‌کنن یا فقط خیلی خوب درباره تجربه حرف می‌زنن، هنوز سؤال بزرگیه. 🧠

#هوش_مصنوعی
#آگاهی
#فلسفه
#AI
#Consciousness
#AIAgents

مایکل بوری، همون سرمایه‌گذاری که بیشتر با پیش‌بینی بحران مسکن معروف شد، درباره درخواست‌های اخیر برای کند کردن توسعه AI یک نظر جنجالی داده. 👀

از نگاه اون، بخشی از این حرف‌ها ممکنه اصلاً درباره Safety نباشه و بیشتر یک بازی استراتژیک از طرف شرکت‌های بزرگ AI باشه.

استدلالش تقریباً اینه:

اول اینکه LLMها لزوماً «هوش مصنوعی واقعی» نیستن و مشخص نیست اصلاً به AGI ختم بشن؛ پس چیزی برای متوقف کردن وجود نداره.

دوم اینکه اگر توسعه AI کند بشه، شرکت‌هایی که الان جلوترن موقعیت خودشون رو حفظ می‌کنن و فاصله با رقبای عقب‌تر بیشتر می‌شه.

سوم هم بحث IPO؛ ممکنه گفتن اینکه «AI ما آن‌قدر قدرتمنده که باید نگرانش باشیم» خودش تبدیل به بخشی از داستان بازاریابی و ارزش‌گذاری شرکت‌ها بشه.

اما اینجا یک تناقض جالب وجود داره:

وقتی شرکت‌های AI فقط از پیشرفت حرف می‌زنن:
«امنیت چی؟! دارید همه‌مون رو نابود می‌کنید!»

وقتی همون شرکت‌ها می‌گن باید سرعت توسعه رو کم کنیم:
«باز شروع کردن به ترساندن مردم و هایپ کردن قبل از IPO!»

به نظرم نمی‌شه صرفاً با انگیزه‌های احتمالی شرکت‌ها، بحث Safety رو کنار گذاشت.

#Ai
#AGI

یه برداشت جالب از ماجرای «کند کردن توسعه AI» دیدم که نمی‌شه کامل نادیده‌اش گرفت.

سناریو رو این‌طوری تصور کنید:

شرکت‌های AI:
«هوش مصنوعی خیلی خطرناکه! ممکنه از کنترل خارج بشه! ما نگران بشریتیم، باید توسعه‌اش رو متوقف کنیم! بیاید با هم یک توافق امضا کنیم. ما که آدم‌های خوبیم. »

سیاستمدارهای آمریکا و چین:
«نه عزیزم! اگر شما سرعت رو کم کنید، ما ممکنه رهبری این صنعت رو از دست بدیم. باید ادامه بدیم.»

و شرکت‌ها هم از اون طرف، ظاهراً با اکراه:
خب... اگر دولت می‌گه باید ادامه بدیم، چاره‌ای نیست دیگه.

این نگاه البته بیشتر یک سناریوی طعنه‌آمیزه تا یک واقعیت اثبات‌شده.

ولی نکته جالبش اینه که اگر واقعاً چنین شرایطی شکل بگیره، شرکت‌های AI می‌تونن بخشی از مسئولیت اخلاقی تصمیم رو به دولت‌ها منتقل کنن:

«ما هشدار دادیم. ما گفتیم خطرناکه. ولی دولت تصمیم گرفت ادامه بدیم.»

از اون طرف دولت‌ها هم احتمالاً همین منطق رو دارن:

«اگر ما توسعه رو متوقف کنیم و بقیه کشورها ادامه بدن، مزیت استراتژیکمون رو از دست می‌دیم.»

و این دقیقاً جاییه که ماجرا پیچیده می‌شه.

چون مسئله دیگه فقط Safety نیست؛ پای رقابت اقتصادی، امنیت ملی، تراشه، دیتاسنتر و حتی ژئوپلیتیک وسطه.

شاید سؤال واقعی این نباشه که «AI رو متوقف کنیم یا نه؟»

سؤال اینه که چه کسی باید درباره سرعت این تکنولوژی تصمیم بگیره؟

شرکت‌ها؟ دولت‌ها؟ دانشمندان؟ یا اصلاً مردم؟

بعضی‌ها حتی می‌گن برای چنین تصمیم بزرگی باید در آمریکا رفراندوم برگزار بشه.

ولی راستش اگر قرار باشه تصمیمی با این حجم از تأثیر روی آینده گرفته بشه، بحث اینکه «چه کسی حق تصمیم‌گیری داره؟» واقعاً جدیه.

پ.ن: چه زیرکانه! نمی‌خواهند مدل‌های پیشرفته‌ای را که مخفیانه برای خودشان ساخته‌اند با عموم به اشتراک بگذارند؛ برای همین هم اعلام کرده‌اند که توسعه AI را کند می‌کنند تا کسی متوجه نشود.

مطمئنم که در آینده، نقش پیشرو در سطح کشورها و شرکت‌ها، متعلق به باهوش‌ترین‌ها در میان قدرتمندترین‌ها خواهد بود.