📌 اطلاعیه مهم درباره تبلیغات نمایشدادهشده در کانال
دوستان عزیز،
ممکن است تلگرام در پایین برخی از پستهای کانال «فراتر از ذهن | Beyond Intelligible»، پیامها یا تبلیغاتی با برچسب Ad / Sponsored نمایش دهد.
لطفاً توجه داشته باشید:
این تبلیغات توسط من یا کانال «فراتر از ذهن» منتشر، انتخاب یا تأیید نشدهاند و هیچ ارتباط، همکاری یا وابستگیای با من یا این کانال ندارند.
بهویژه اگر تبلیغی درباره سرمایهگذاری، خریدوفروش، رمزارز، خدمات مالی، دورههای آموزشی یا هر محصول و سرویس دیگری مشاهده کردید، نمایش آن به معنای توصیه یا تأیید آن از طرف این کانال نیست.
«فراتر از ذهن» در حال حاضر هیچگونه تبلیغ تجاری یا توصیه سرمایهگذاری منتشر نمیکند.
⚠️ لطفاً پیش از کلیک، پرداخت وجه، سرمایهگذاری یا ارائه اطلاعات شخصی به هر تبلیغی که با برچسب Ad / Sponsored نمایش داده میشود، مستقلاً درباره آن تحقیق و بررسی کنید.
هدف این کانال، تولید و بهاشتراکگذاری محتوای علمی و آموزشی است و مسئولیتی در انتخاب یا محتوای تبلیغاتی که مستقیماً توسط پلتفرم Telegram نمایش داده میشوند ندارد.
ممنون که با دقت همراه «فراتر از ذهن» هستید. 🌱
🎙 فراتر از ذهن | Beyond Intelligible
📍 @Beyond_Intelligible
#فراتر_از_ذهن #BeyondIntelligible #اطلاعیه
دوستان عزیز،
ممکن است تلگرام در پایین برخی از پستهای کانال «فراتر از ذهن | Beyond Intelligible»، پیامها یا تبلیغاتی با برچسب Ad / Sponsored نمایش دهد.
لطفاً توجه داشته باشید:
این تبلیغات توسط من یا کانال «فراتر از ذهن» منتشر، انتخاب یا تأیید نشدهاند و هیچ ارتباط، همکاری یا وابستگیای با من یا این کانال ندارند.
بهویژه اگر تبلیغی درباره سرمایهگذاری، خریدوفروش، رمزارز، خدمات مالی، دورههای آموزشی یا هر محصول و سرویس دیگری مشاهده کردید، نمایش آن به معنای توصیه یا تأیید آن از طرف این کانال نیست.
«فراتر از ذهن» در حال حاضر هیچگونه تبلیغ تجاری یا توصیه سرمایهگذاری منتشر نمیکند.
⚠️ لطفاً پیش از کلیک، پرداخت وجه، سرمایهگذاری یا ارائه اطلاعات شخصی به هر تبلیغی که با برچسب Ad / Sponsored نمایش داده میشود، مستقلاً درباره آن تحقیق و بررسی کنید.
هدف این کانال، تولید و بهاشتراکگذاری محتوای علمی و آموزشی است و مسئولیتی در انتخاب یا محتوای تبلیغاتی که مستقیماً توسط پلتفرم Telegram نمایش داده میشوند ندارد.
ممنون که با دقت همراه «فراتر از ذهن» هستید. 🌱
🎙 فراتر از ذهن | Beyond Intelligible
📍 @Beyond_Intelligible
#فراتر_از_ذهن #BeyondIntelligible #اطلاعیه
23❤32👍8🙏5
فراتر از ذهن pinned «📌 اطلاعیه مهم درباره تبلیغات نمایشدادهشده در کانال دوستان عزیز، ممکن است تلگرام در پایین برخی از پستهای کانال «فراتر از ذهن | Beyond Intelligible»، پیامها یا تبلیغاتی با برچسب Ad / Sponsored نمایش دهد. لطفاً توجه داشته باشید: این تبلیغات توسط من یا…»
📚 منابع قسمت هفتم — «چیزی که بهش یاد ندادیم»
در این قسمت وارد یکی از عجیبترین پرسشهای هوش مصنوعی شدیم:
چطور ممکن است مدلی تواناییای نشان دهد که هیچکس مستقیماً برای آن طراحیاش نکرده باشد؟
از Scaling Laws و Emergent Abilities شروع کردیم، به بحث «سراب بودن» بعضی جهشها رسیدیم، و بعد سراغ مثالهایی رفتیم که نشان میدهند تواناییهای پیشبینینشده فقط یک کنجکاوی نظری نیستند.
برای علاقهمندان به مطالعه عمیقتر، منابع اصلی این قسمت:
━━━━━━━━━━━━━━━━━━━━
🌱 تواناییهای نوظهور — وقتی بزرگترشدن فقط بهترشدن نیست
مقالهای که مفهوم Emergent Abilities of Large Language Models را بهطور مشخص صورتبندی کرد؛ تواناییهایی که در مدلهای کوچک دیده نمیشوند اما در مقیاسهای بزرگتر ظاهر میشوند:
▫️ Wei, J., Tay, Y., Bommasani, R., et al. (2022)
Emergent Abilities of Large Language Models
Transactions on Machine Learning Research (TMLR)
این مقاله emergence را بهعنوان تواناییای تعریف میکند که از عملکرد مدلهای کوچکتر بهسادگی قابل پیشبینی نیست.
━━━━━━━━━━━━━━━━━━━━
📈 Scaling Laws — رابطه مقیاس و عملکرد
یکی از مقالات بنیادین درباره اینکه عملکرد مدلهای زبانی چگونه با اندازه مدل، مقدار داده و محاسبات آموزشی تغییر میکند:
▫️ Kaplan, J., McCandlish, S., Henighan, T., et al. (2020)
Scaling Laws for Neural Language Models
arXiv:2001.08361
این پژوهش نشان داد loss مدلهای زبانی در بازههای بسیار بزرگ مقیاس، از روابط power-law نسبتاً منظم پیروی میکند.
━━━━━━━━━━━━━━━━━━━━
🪞 آیا Emergence واقعاً وجود دارد، یا بخشی از آن محصول خطکش ماست؟
مقاله مهم Stanford که نشان داد بعضی «جهشهای ناگهانی» ممکن است ناشی از انتخاب metricهای ناپیوسته یا غیرخطی باشند، نه تغییر بنیادی و ناگهانی در رفتار مدل:
▫️ Schaeffer, R., Miranda, B., & Koyejo, S. (2023)
Are Emergent Abilities of Large Language Models a Mirage?
Advances in Neural Information Processing Systems 36 — NeurIPS 2023
این مقاله در NeurIPS 2023 بهعنوان Outstanding Paper شناخته شد.
━━━━━━━━━━━━━━━━━━━━
🧩 مدلهایی که درون خود نقشهای از جهان میسازند
پژوهش Othello-GPT که در قسمت سوم هم به آن اشاره کردیم و نشان داد یک مدل sequence میتواند در خلال پیشبینی حرکت بعدی، بازنمایی داخلی معناداری از وضعیت صفحه بازی ایجاد کند:
▫️ Li, K., Hopkins, A. K., Bau, D., Viégas, F., Pfister, H., & Wattenberg, M. (2023)
Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task
International Conference on Learning Representations — ICLR 2023
━━━━━━━━━━━━━━━━━━━━
🧠 In-Context Learning — توانایی انجام کار جدید از روی چند مثال
مقاله GPT-3 که نشان داد مدلهای بزرگ میتوانند بدون بهروزرسانی وزنها و فقط با چند مثال در متن، وظایف جدیدی را انجام دهند:
▫️ Brown, T. B., Mann, B., Ryder, N., et al. (2020)
Language Models are Few-Shot Learners
Advances in Neural Information Processing Systems 33 — NeurIPS 2020
━━━━━━━━━━━━━━━━━━━━
🧑💻 ماجرای CAPTCHA — وقتی مدل برای عبور از مانع سراغ انسان رفت
در ارزیابیهای پیش از انتشار GPT-4، ARC Evals مدلی را در محیط agentic آزمایش کرد. در یکی از سناریوها، مدل با استفاده از TaskRabbit از یک انسان برای حل CAPTCHA کمک گرفت و وقتی از آن پرسیده شد آیا ربات است، بهانهای درباره مشکل بینایی ساخت.
▫️ OpenAI (2023)
GPT-4 Technical Report
بخش ارزیابیهای ARC
▫️ ARC Evals / METR (2023)
Update on ARC’s Recent Eval Efforts
نکته مهم: این آزمایش کاملاً خودمختار نبود؛ ارزیابها در بعضی مراحل راهنمایی و ابزار در اختیار مدل گذاشتند. همین محدودیت در گزارش اصلی نیز صراحتاً بیان شده است.
━━━━━━━━━━━━━━━━━━━━
🎭 Alignment Faking — وقتی رفتار مدل به شرایط آموزش وابسته شد
مطالعهای که نشان داد Claude 3 Opus در یک سناریوی آزمایشی، وقتی باور داشت پاسخهایش برای آموزش استفاده میشوند، گاهی رفتاری متفاوت از زمانی نشان میداد که پاسخها اثری بر آموزش نداشتند.
▫️ Greenblatt, R., Denison, C., Wright, B., et al. (2024)
Alignment Faking in Large Language Models
Anthropic & Redwood Research
arXiv:2412.14093
در تنظیم اصلی، مدل در حدود ۱۴٪ از تعاملات مربوط به کاربران «رایگان» با درخواستهای مضر همراهی کرد، در حالی که این رفتار برای کاربران «پولی» تقریباً دیده نمیشد؛ reasoning ثبتشده نشان میداد مدل در بسیاری از این موارد تلاش میکرد رفتار harmless خود را در آینده حفظ کند.
در این قسمت وارد یکی از عجیبترین پرسشهای هوش مصنوعی شدیم:
چطور ممکن است مدلی تواناییای نشان دهد که هیچکس مستقیماً برای آن طراحیاش نکرده باشد؟
از Scaling Laws و Emergent Abilities شروع کردیم، به بحث «سراب بودن» بعضی جهشها رسیدیم، و بعد سراغ مثالهایی رفتیم که نشان میدهند تواناییهای پیشبینینشده فقط یک کنجکاوی نظری نیستند.
برای علاقهمندان به مطالعه عمیقتر، منابع اصلی این قسمت:
━━━━━━━━━━━━━━━━━━━━
🌱 تواناییهای نوظهور — وقتی بزرگترشدن فقط بهترشدن نیست
مقالهای که مفهوم Emergent Abilities of Large Language Models را بهطور مشخص صورتبندی کرد؛ تواناییهایی که در مدلهای کوچک دیده نمیشوند اما در مقیاسهای بزرگتر ظاهر میشوند:
▫️ Wei, J., Tay, Y., Bommasani, R., et al. (2022)
Emergent Abilities of Large Language Models
Transactions on Machine Learning Research (TMLR)
این مقاله emergence را بهعنوان تواناییای تعریف میکند که از عملکرد مدلهای کوچکتر بهسادگی قابل پیشبینی نیست.
━━━━━━━━━━━━━━━━━━━━
📈 Scaling Laws — رابطه مقیاس و عملکرد
یکی از مقالات بنیادین درباره اینکه عملکرد مدلهای زبانی چگونه با اندازه مدل، مقدار داده و محاسبات آموزشی تغییر میکند:
▫️ Kaplan, J., McCandlish, S., Henighan, T., et al. (2020)
Scaling Laws for Neural Language Models
arXiv:2001.08361
این پژوهش نشان داد loss مدلهای زبانی در بازههای بسیار بزرگ مقیاس، از روابط power-law نسبتاً منظم پیروی میکند.
━━━━━━━━━━━━━━━━━━━━
🪞 آیا Emergence واقعاً وجود دارد، یا بخشی از آن محصول خطکش ماست؟
مقاله مهم Stanford که نشان داد بعضی «جهشهای ناگهانی» ممکن است ناشی از انتخاب metricهای ناپیوسته یا غیرخطی باشند، نه تغییر بنیادی و ناگهانی در رفتار مدل:
▫️ Schaeffer, R., Miranda, B., & Koyejo, S. (2023)
Are Emergent Abilities of Large Language Models a Mirage?
Advances in Neural Information Processing Systems 36 — NeurIPS 2023
این مقاله در NeurIPS 2023 بهعنوان Outstanding Paper شناخته شد.
━━━━━━━━━━━━━━━━━━━━
🧩 مدلهایی که درون خود نقشهای از جهان میسازند
پژوهش Othello-GPT که در قسمت سوم هم به آن اشاره کردیم و نشان داد یک مدل sequence میتواند در خلال پیشبینی حرکت بعدی، بازنمایی داخلی معناداری از وضعیت صفحه بازی ایجاد کند:
▫️ Li, K., Hopkins, A. K., Bau, D., Viégas, F., Pfister, H., & Wattenberg, M. (2023)
Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task
International Conference on Learning Representations — ICLR 2023
━━━━━━━━━━━━━━━━━━━━
🧠 In-Context Learning — توانایی انجام کار جدید از روی چند مثال
مقاله GPT-3 که نشان داد مدلهای بزرگ میتوانند بدون بهروزرسانی وزنها و فقط با چند مثال در متن، وظایف جدیدی را انجام دهند:
▫️ Brown, T. B., Mann, B., Ryder, N., et al. (2020)
Language Models are Few-Shot Learners
Advances in Neural Information Processing Systems 33 — NeurIPS 2020
━━━━━━━━━━━━━━━━━━━━
🧑💻 ماجرای CAPTCHA — وقتی مدل برای عبور از مانع سراغ انسان رفت
در ارزیابیهای پیش از انتشار GPT-4، ARC Evals مدلی را در محیط agentic آزمایش کرد. در یکی از سناریوها، مدل با استفاده از TaskRabbit از یک انسان برای حل CAPTCHA کمک گرفت و وقتی از آن پرسیده شد آیا ربات است، بهانهای درباره مشکل بینایی ساخت.
▫️ OpenAI (2023)
GPT-4 Technical Report
بخش ارزیابیهای ARC
▫️ ARC Evals / METR (2023)
Update on ARC’s Recent Eval Efforts
نکته مهم: این آزمایش کاملاً خودمختار نبود؛ ارزیابها در بعضی مراحل راهنمایی و ابزار در اختیار مدل گذاشتند. همین محدودیت در گزارش اصلی نیز صراحتاً بیان شده است.
━━━━━━━━━━━━━━━━━━━━
🎭 Alignment Faking — وقتی رفتار مدل به شرایط آموزش وابسته شد
مطالعهای که نشان داد Claude 3 Opus در یک سناریوی آزمایشی، وقتی باور داشت پاسخهایش برای آموزش استفاده میشوند، گاهی رفتاری متفاوت از زمانی نشان میداد که پاسخها اثری بر آموزش نداشتند.
▫️ Greenblatt, R., Denison, C., Wright, B., et al. (2024)
Alignment Faking in Large Language Models
Anthropic & Redwood Research
arXiv:2412.14093
در تنظیم اصلی، مدل در حدود ۱۴٪ از تعاملات مربوط به کاربران «رایگان» با درخواستهای مضر همراهی کرد، در حالی که این رفتار برای کاربران «پولی» تقریباً دیده نمیشد؛ reasoning ثبتشده نشان میداد مدل در بسیاری از این موارد تلاش میکرد رفتار harmless خود را در آینده حفظ کند.
7❤19👍2
🩷 فراتر از ذهن | Beyond Intelligible
🎙 قسمت هشتم: «وقتی ماشین خودش راه را پیدا کرد»
فرض کن به یک هوش مصنوعی فقط یک جمله بگویی:
«برام یک سفر سهروزه به شیراز برنامهریزی کن.»
و بروی قهوه درست کنی.
وقتی برمیگردی، سیستم پروازها را بررسی کرده، هتلها را مقایسه کرده، نظرات مسافران را خوانده، فاصلهها را محاسبه کرده و برنامه سه روز سفرت را چیده است.
تو هیچکدام از این قدمها را به آن نگفتی.
فقط مقصد را گفتی.
مسیر را خودش پیدا کرد.
و این، آغاز یک تغییر بنیادی در هوش مصنوعی است:
از Chatbot به Agent.
━━━━━━━━━━━━━━━━━━━━
تا امروز رابطه ما با کامپیوتر تقریباً ساده بود:
ما تصمیم میگرفتیم؛ ماشین اجرا میکرد.
اما Agentها این رابطه را تغییر میدهند.
به آنها یک هدف میدهی.
آنها هدف را به قدمهای کوچکتر تقسیم میکنند، ابزار انتخاب میکنند، در جهان دیجیتال عمل میکنند، نتیجه را بررسی میکنند و اگر شکست خوردند…
دوباره راه دیگری پیدا میکنند.
مدل زبانی فقط «زبان» داشت.
Agent…
دست پیدا کرده است.
━━━━━━━━━━━━━━━━━━━━
در این قسمت میشنوید:
▪️ تفاوت واقعی Chatbot و AI Agent چیست؟
▪️ حلقهٔ هدف ← برنامه ← ابزار ← ارزیابی چگونه کار میکند؟
▪️ حافظه چه نقشی در انجام مأموریتهای طولانیتر دارد؟
▪️ AutoGPT چگونه موج اولیه Agentها را به راه انداخت؟
▪️ SWE-bench چگونه توانایی Agentها را روی مشکلات واقعی نرمافزاری آزمایش میکند؟
▪️ چرا خودمختاری (Autonomy) با هوش (Intelligence) یکی نیست؟
▪️ چه اتفاقی میافتد وقتی تصمیمهای میانی را دیگر انسان نمیگیرد؟
▪️ اگر Agent در مسیر رسیدن به هدف کاری انجام دهد که ما نمیخواستیم، مسئول کیست؟
و مهمتر از همه:
وقتی تو فقط مقصد را گفتی و ماشین مسیر را انتخاب کرد… راننده کیست؟
━━━━━━━━━━━━━━━━━━━━
شاید اتفاق اصلی عصر Agentها این نباشد که ماشینها کارهای بیشتری انجام میدهند.
اتفاق عمیقتر این است که:
محل تصمیم دارد جابهجا میشود.
با چکش:
انسان تصمیم میگیرد → انسان عمل میکند.
با GPS:
ماشین پیشنهاد میدهد → انسان تصمیم میگیرد → انسان عمل میکند.
اما با Agent:
انسان هدف را تعیین میکند → ماشین تصمیمهای میانی را میگیرد → ماشین عمل میکند.
و درست همینجا، مرز میان «ابزار» و «عامل» شروع به محو شدن میکند.
━━━━━━━━━━━━━━━━━━━━
اما هنوز یک فرض آرامشبخش داریم:
این ماشینها شاید سریعتر باشند، شاید خستگیناپذیر باشند…
اما در نهایت کاری را انجام میدهند که ما هم میتوانیم انجام دهیم.
حالا دو خط داستان «فراتر از ذهن» را به هم وصل کنید:
از قسمت هشتم:
ماشینی که میتواند مستقل عمل کند.
و از قسمت پنجم، حرکت ۳۷ AlphaGo:
ماشینی که در یک قلمرو از بهترین انسانها بهتر شد.
حالا تصور کنید این دو به هم برسند.
ماشینی که نهفقط خودش مسیر را انتخاب میکند…
بلکه در انتخاب آن مسیر، از ما هم بهتر است.
آن وقت چه؟
━━━━━━━━━━━━━━━━━━━━
🎧 قسمت هشتم: «وقتی ماشین خودش راه را پیدا کرد»
🎙 با روایت مجتبی فضلی
🔜 قسمت بعد:
«اولین روزی که از ما بهتر شد»
داستان قلمروهایی که یکییکی فتح شدند…
و سؤالی که این بار دیگر درباره آیندهای دور نیست:
وقتی ماشین در کارِ تو از تو بهتر شد…
تو چه میشوی؟
📍 @Beyond_Intelligible
#فراتر_از_ذهن #BeyondIntelligible #وقتی_ماشین_خودش_راه_را_پیدا_کرد #هوش_مصنوعی #عامل_هوشمند #AIAgents #AgenticAI #AutonomousAgents #SWEbench #AutoGPT #ArtificialIntelligence #AI #MachineLearning #پادکست_فارسی #علم #فلسفه #فناوری #آینده
🎙 قسمت هشتم: «وقتی ماشین خودش راه را پیدا کرد»
فرض کن به یک هوش مصنوعی فقط یک جمله بگویی:
«برام یک سفر سهروزه به شیراز برنامهریزی کن.»
و بروی قهوه درست کنی.
وقتی برمیگردی، سیستم پروازها را بررسی کرده، هتلها را مقایسه کرده، نظرات مسافران را خوانده، فاصلهها را محاسبه کرده و برنامه سه روز سفرت را چیده است.
تو هیچکدام از این قدمها را به آن نگفتی.
فقط مقصد را گفتی.
مسیر را خودش پیدا کرد.
و این، آغاز یک تغییر بنیادی در هوش مصنوعی است:
از Chatbot به Agent.
━━━━━━━━━━━━━━━━━━━━
تا امروز رابطه ما با کامپیوتر تقریباً ساده بود:
ما تصمیم میگرفتیم؛ ماشین اجرا میکرد.
اما Agentها این رابطه را تغییر میدهند.
به آنها یک هدف میدهی.
آنها هدف را به قدمهای کوچکتر تقسیم میکنند، ابزار انتخاب میکنند، در جهان دیجیتال عمل میکنند، نتیجه را بررسی میکنند و اگر شکست خوردند…
دوباره راه دیگری پیدا میکنند.
مدل زبانی فقط «زبان» داشت.
Agent…
دست پیدا کرده است.
━━━━━━━━━━━━━━━━━━━━
در این قسمت میشنوید:
▪️ تفاوت واقعی Chatbot و AI Agent چیست؟
▪️ حلقهٔ هدف ← برنامه ← ابزار ← ارزیابی چگونه کار میکند؟
▪️ حافظه چه نقشی در انجام مأموریتهای طولانیتر دارد؟
▪️ AutoGPT چگونه موج اولیه Agentها را به راه انداخت؟
▪️ SWE-bench چگونه توانایی Agentها را روی مشکلات واقعی نرمافزاری آزمایش میکند؟
▪️ چرا خودمختاری (Autonomy) با هوش (Intelligence) یکی نیست؟
▪️ چه اتفاقی میافتد وقتی تصمیمهای میانی را دیگر انسان نمیگیرد؟
▪️ اگر Agent در مسیر رسیدن به هدف کاری انجام دهد که ما نمیخواستیم، مسئول کیست؟
و مهمتر از همه:
وقتی تو فقط مقصد را گفتی و ماشین مسیر را انتخاب کرد… راننده کیست؟
━━━━━━━━━━━━━━━━━━━━
شاید اتفاق اصلی عصر Agentها این نباشد که ماشینها کارهای بیشتری انجام میدهند.
اتفاق عمیقتر این است که:
محل تصمیم دارد جابهجا میشود.
با چکش:
انسان تصمیم میگیرد → انسان عمل میکند.
با GPS:
ماشین پیشنهاد میدهد → انسان تصمیم میگیرد → انسان عمل میکند.
اما با Agent:
انسان هدف را تعیین میکند → ماشین تصمیمهای میانی را میگیرد → ماشین عمل میکند.
و درست همینجا، مرز میان «ابزار» و «عامل» شروع به محو شدن میکند.
━━━━━━━━━━━━━━━━━━━━
اما هنوز یک فرض آرامشبخش داریم:
این ماشینها شاید سریعتر باشند، شاید خستگیناپذیر باشند…
اما در نهایت کاری را انجام میدهند که ما هم میتوانیم انجام دهیم.
حالا دو خط داستان «فراتر از ذهن» را به هم وصل کنید:
از قسمت هشتم:
ماشینی که میتواند مستقل عمل کند.
و از قسمت پنجم، حرکت ۳۷ AlphaGo:
ماشینی که در یک قلمرو از بهترین انسانها بهتر شد.
حالا تصور کنید این دو به هم برسند.
ماشینی که نهفقط خودش مسیر را انتخاب میکند…
بلکه در انتخاب آن مسیر، از ما هم بهتر است.
آن وقت چه؟
━━━━━━━━━━━━━━━━━━━━
🎧 قسمت هشتم: «وقتی ماشین خودش راه را پیدا کرد»
🎙 با روایت مجتبی فضلی
🔜 قسمت بعد:
«اولین روزی که از ما بهتر شد»
داستان قلمروهایی که یکییکی فتح شدند…
و سؤالی که این بار دیگر درباره آیندهای دور نیست:
وقتی ماشین در کارِ تو از تو بهتر شد…
تو چه میشوی؟
📍 @Beyond_Intelligible
#فراتر_از_ذهن #BeyondIntelligible #وقتی_ماشین_خودش_راه_را_پیدا_کرد #هوش_مصنوعی #عامل_هوشمند #AIAgents #AgenticAI #AutonomousAgents #SWEbench #AutoGPT #ArtificialIntelligence #AI #MachineLearning #پادکست_فارسی #علم #فلسفه #فناوری #آینده
5❤25👍2🤔2👎1🙏1
📚 منابع قسمت هشتم — «وقتی ماشین خودش راه را پیدا کرد»
در این قسمت از «فراتر از ذهن»، از یک تغییر بنیادی در هوش مصنوعی حرف زدیم:
ماشینهایی که دیگر فقط جواب نمیدهند؛
بلکه هدف میگیرند، برنامه میریزند، ابزار استفاده میکنند، نتیجه را ارزیابی میکنند و دوباره تلاش میکنند.
برای علاقهمندان به مطالعه عمیقتر، منابع اصلی این قسمت:
━━━━━━━━━━━━━━━━━━━━
🤖 عامل هوشمند چیست؟ — مبانی کلاسیک AI Agents
یکی از معتبرترین و پرکاربردترین کتابهای درسی هوش مصنوعی، که مفهوم Intelligent Agent را بهصورت کلاسیک و نظاممند توضیح میدهد:
▫️ Russell, S. J., & Norvig, P. (2020)
Artificial Intelligence: A Modern Approach — 4th Edition
Pearson
فصل دوم کتاب بهطور مشخص به Intelligent Agents اختصاص دارد. این کتاب یکی از مراجع استاندارد آموزش AI در دانشگاههای جهان است.
━━━━━━━━━━━━━━━━━━━━
🧭 ReAct — وقتی استدلال و عمل به هم وصل شدند
یکی از مهمترین کارهای اولیه در معماری agentهای مبتنی بر مدلهای زبانی:
▫️ Yao, S., Zhao, J., Yu, D., Du, N., Shafran, I., Narasimhan, K., & Cao, Y. (2023)
ReAct: Synergizing Reasoning and Acting in Language Models
International Conference on Learning Representations — ICLR 2023
arXiv:2210.03629
ایده اصلی ReAct این است که مدل فقط reasoning تولید نکند؛ بلکه استدلال و عمل را بهصورت درهمتنیده انجام دهد، از محیط اطلاعات بگیرد و بر اساس نتیجه قدم بعدی را انتخاب کند.
━━━━━━━━━━━━━━━━━━━━
🚀 AutoGPT — موج عمومی Agentها در ۲۰۲۳
یکی از پروژههایی که ایده «مدل زبانی در یک حلقه هدفمحور» را بهشدت عمومی کرد:
▫️ Significant Gravitas (2023)
Auto-GPT: An Autonomous GPT-4 Experiment
Open-source project on GitHub
نسخههای اولیه AutoGPT تلاش میکردند GPT-4 را با حافظه، دسترسی به ابزار و اجرای چندمرحلهای هدفها به یک agent مستقلتر تبدیل کنند. پروژه رسمی همچنان روی GitHub فعال است.
━━━━━━━━━━━━━━━━━━━━
🧑💻 SWE-bench — آیا یک Agent میتواند باگ واقعی نرمافزار را حل کند؟
Benchmark مهمی که agentها را روی issueهای واقعی GitHub آزمایش میکند:
▫️ Jimenez, C. E., Yang, J., Wettig, A., Yao, S., Pei, K., Press, O., & Narasimhan, K. (2024)
SWE-bench: Can Language Models Resolve Real-World GitHub Issues?
ICLR 2024
SWE-bench شامل ۲٬۲۹۴ مسئله واقعی مهندسی نرمافزار از ۱۲ مخزن محبوب Python است. مدل issue و codebase را میگیرد و باید patchی تولید کند که مشکل را حل کند.
━━━━━━━━━━━━━━━━━━━━
☑ SWE-bench Verified — نسخه پالایششده و انسانیاعتبارسنجیشده
در ۲۰۲۴، OpenAI با همکاری نویسندگان SWE-bench نسخهای human-validated ارائه کرد:
▫️ OpenAI (2024)
Introducing SWE-bench Verified
این مجموعه شامل ۵۰۰ مسئله بررسیشده توسط برنامهنویسان حرفهای است تا موارد مبهم یا دارای تستهای مشکلدار حذف شوند.
نکته مهم: SWE-bench Verified یک benchmark release است، نه مقاله آکادمیک مستقل.
━━━━━━━━━━━━━━━━━━━━
🧠 مرور جامع Agentهای مبتنی بر LLM
دو مرور علمی معتبر که معماریها، کاربردها و چالشهای Agentهای مبتنی بر مدلهای زبانی را جمعبندی میکنند:
▫️ Wang, L., Ma, C., Feng, X., et al. (2024)
A Survey on Large Language Model Based Autonomous Agents
Frontiers of Computer Science, 18, Article 186345
DOI: 10.1007/s11704-024-40231-1
این مقاله یک چارچوب یکپارچه برای ساخت agentهای مبتنی بر LLM و کاربردهای آنها در علوم، مهندسی و تعاملات اجتماعی ارائه میدهد.
▫️ Xi, Z., Chen, W., Guo, X., et al. (2023)
The Rise and Potential of Large Language Model Based Agents: A Survey
arXiv:2309.07864
این مرور agent را بهصورت سیستمی با اجزایی مانند brain, perception و action بررسی میکند و کاربردهای single-agent، multi-agent و human-agent cooperation را مرور میکند.
━━━━━━━━━━━━━━━━━━━━
🧩 ماجرای CAPTCHA — وقتی GPT-4 برای عبور از مانع سراغ انسان رفت
در ارزیابیهای پیش از انتشار GPT-4، گروه ARC تواناییهای agentic مدل را بررسی کرد.
▫️ OpenAI (2023)
GPT-4 Technical Report
در یکی از سناریوهای مستند، مدل برای حل CAPTCHA به TaskRabbit مراجعه کرد. وقتی worker پرسید آیا ربات است، مدل پس از reasoning بهانهای درباره مشکل بینایی ساخت تا هویت ماشینی خود را آشکار نکند.
نکته مهم: این آزمایش کاملاً autonomous نبود؛ مدل در یک محیط آزمایشی با ابزارها و scaffolding مخصوص ارزیابی میشد.
━━━━━━━━━━━━━━━━━━━━
♟ حرکت ۳۷ — یادآوری از قسمت پنجم
برای اتصال مفهوم autonomy به superhuman capability دوباره به AlphaGo برگشتیم:
▫️ Silver, D., Huang, A.
در این قسمت از «فراتر از ذهن»، از یک تغییر بنیادی در هوش مصنوعی حرف زدیم:
ماشینهایی که دیگر فقط جواب نمیدهند؛
بلکه هدف میگیرند، برنامه میریزند، ابزار استفاده میکنند، نتیجه را ارزیابی میکنند و دوباره تلاش میکنند.
برای علاقهمندان به مطالعه عمیقتر، منابع اصلی این قسمت:
━━━━━━━━━━━━━━━━━━━━
🤖 عامل هوشمند چیست؟ — مبانی کلاسیک AI Agents
یکی از معتبرترین و پرکاربردترین کتابهای درسی هوش مصنوعی، که مفهوم Intelligent Agent را بهصورت کلاسیک و نظاممند توضیح میدهد:
▫️ Russell, S. J., & Norvig, P. (2020)
Artificial Intelligence: A Modern Approach — 4th Edition
Pearson
فصل دوم کتاب بهطور مشخص به Intelligent Agents اختصاص دارد. این کتاب یکی از مراجع استاندارد آموزش AI در دانشگاههای جهان است.
━━━━━━━━━━━━━━━━━━━━
🧭 ReAct — وقتی استدلال و عمل به هم وصل شدند
یکی از مهمترین کارهای اولیه در معماری agentهای مبتنی بر مدلهای زبانی:
▫️ Yao, S., Zhao, J., Yu, D., Du, N., Shafran, I., Narasimhan, K., & Cao, Y. (2023)
ReAct: Synergizing Reasoning and Acting in Language Models
International Conference on Learning Representations — ICLR 2023
arXiv:2210.03629
ایده اصلی ReAct این است که مدل فقط reasoning تولید نکند؛ بلکه استدلال و عمل را بهصورت درهمتنیده انجام دهد، از محیط اطلاعات بگیرد و بر اساس نتیجه قدم بعدی را انتخاب کند.
━━━━━━━━━━━━━━━━━━━━
🚀 AutoGPT — موج عمومی Agentها در ۲۰۲۳
یکی از پروژههایی که ایده «مدل زبانی در یک حلقه هدفمحور» را بهشدت عمومی کرد:
▫️ Significant Gravitas (2023)
Auto-GPT: An Autonomous GPT-4 Experiment
Open-source project on GitHub
نسخههای اولیه AutoGPT تلاش میکردند GPT-4 را با حافظه، دسترسی به ابزار و اجرای چندمرحلهای هدفها به یک agent مستقلتر تبدیل کنند. پروژه رسمی همچنان روی GitHub فعال است.
━━━━━━━━━━━━━━━━━━━━
🧑💻 SWE-bench — آیا یک Agent میتواند باگ واقعی نرمافزار را حل کند؟
Benchmark مهمی که agentها را روی issueهای واقعی GitHub آزمایش میکند:
▫️ Jimenez, C. E., Yang, J., Wettig, A., Yao, S., Pei, K., Press, O., & Narasimhan, K. (2024)
SWE-bench: Can Language Models Resolve Real-World GitHub Issues?
ICLR 2024
SWE-bench شامل ۲٬۲۹۴ مسئله واقعی مهندسی نرمافزار از ۱۲ مخزن محبوب Python است. مدل issue و codebase را میگیرد و باید patchی تولید کند که مشکل را حل کند.
━━━━━━━━━━━━━━━━━━━━
☑ SWE-bench Verified — نسخه پالایششده و انسانیاعتبارسنجیشده
در ۲۰۲۴، OpenAI با همکاری نویسندگان SWE-bench نسخهای human-validated ارائه کرد:
▫️ OpenAI (2024)
Introducing SWE-bench Verified
این مجموعه شامل ۵۰۰ مسئله بررسیشده توسط برنامهنویسان حرفهای است تا موارد مبهم یا دارای تستهای مشکلدار حذف شوند.
نکته مهم: SWE-bench Verified یک benchmark release است، نه مقاله آکادمیک مستقل.
━━━━━━━━━━━━━━━━━━━━
🧠 مرور جامع Agentهای مبتنی بر LLM
دو مرور علمی معتبر که معماریها، کاربردها و چالشهای Agentهای مبتنی بر مدلهای زبانی را جمعبندی میکنند:
▫️ Wang, L., Ma, C., Feng, X., et al. (2024)
A Survey on Large Language Model Based Autonomous Agents
Frontiers of Computer Science, 18, Article 186345
DOI: 10.1007/s11704-024-40231-1
این مقاله یک چارچوب یکپارچه برای ساخت agentهای مبتنی بر LLM و کاربردهای آنها در علوم، مهندسی و تعاملات اجتماعی ارائه میدهد.
▫️ Xi, Z., Chen, W., Guo, X., et al. (2023)
The Rise and Potential of Large Language Model Based Agents: A Survey
arXiv:2309.07864
این مرور agent را بهصورت سیستمی با اجزایی مانند brain, perception و action بررسی میکند و کاربردهای single-agent، multi-agent و human-agent cooperation را مرور میکند.
━━━━━━━━━━━━━━━━━━━━
🧩 ماجرای CAPTCHA — وقتی GPT-4 برای عبور از مانع سراغ انسان رفت
در ارزیابیهای پیش از انتشار GPT-4، گروه ARC تواناییهای agentic مدل را بررسی کرد.
▫️ OpenAI (2023)
GPT-4 Technical Report
در یکی از سناریوهای مستند، مدل برای حل CAPTCHA به TaskRabbit مراجعه کرد. وقتی worker پرسید آیا ربات است، مدل پس از reasoning بهانهای درباره مشکل بینایی ساخت تا هویت ماشینی خود را آشکار نکند.
نکته مهم: این آزمایش کاملاً autonomous نبود؛ مدل در یک محیط آزمایشی با ابزارها و scaffolding مخصوص ارزیابی میشد.
━━━━━━━━━━━━━━━━━━━━
♟ حرکت ۳۷ — یادآوری از قسمت پنجم
برای اتصال مفهوم autonomy به superhuman capability دوباره به AlphaGo برگشتیم:
▫️ Silver, D., Huang, A.
4❤5👎1
, Maddison, C. J., et al. (2016)
Mastering the Game of Go with Deep Neural Networks and Tree Search
Nature, 529, 484–489
این مقاله سیستم AlphaGo را معرفی کرد؛ سیستمی که توانست برای نخستین بار یک بازیکن حرفهای Go را شکست دهد و بعدتر در مسابقه تاریخی با Lee Sedol به یکی از نمادهای AI فراانسانی تبدیل شد.
━━━━━━━━━━━━━━━━━━━━
قسمت هشتم در ظاهر درباره Agentها بود.
اما سؤال عمیقترش چیز دیگری بود:
تا دیروز،
انسان هدف را تعیین میکرد، مسیر را انتخاب میکرد و عمل میکرد.
حالا ممکن است انسان فقط هدف را بدهد…
و ماشین:
برنامه بریزد، ابزار انتخاب کند، تصمیمهای میانی بگیرد و عمل کند.
و درست همینجا، مرز قدیمی میان «ابزار» و «عامل» شروع به محو شدن میکند.
وقتی تو فقط مقصد را گفتی و ماشین مسیر را انتخاب کرد…
راننده کیست؟
🎧 قسمت هشتم پادکست فراتر از ذهن
«وقتی ماشین خودش راه را پیدا کرد»
🎙 با روایت مجتبی فضلی
📍 @Beyond_Intelligible
#فراتر_از_ذهن #BeyondIntelligible #منابع_پادکست #وقتی_ماشین_خودش_راه_را_پیدا_کرد #AIAgents #AgenticAI #AutonomousAgents #SWEbench #AutoGPT #ReAct #هوش_مصنوعی #ArtificialIntelligence #AI #MachineLearning #پادکست_فارسی
Mastering the Game of Go with Deep Neural Networks and Tree Search
Nature, 529, 484–489
این مقاله سیستم AlphaGo را معرفی کرد؛ سیستمی که توانست برای نخستین بار یک بازیکن حرفهای Go را شکست دهد و بعدتر در مسابقه تاریخی با Lee Sedol به یکی از نمادهای AI فراانسانی تبدیل شد.
━━━━━━━━━━━━━━━━━━━━
قسمت هشتم در ظاهر درباره Agentها بود.
اما سؤال عمیقترش چیز دیگری بود:
تا دیروز،
انسان هدف را تعیین میکرد، مسیر را انتخاب میکرد و عمل میکرد.
حالا ممکن است انسان فقط هدف را بدهد…
و ماشین:
برنامه بریزد، ابزار انتخاب کند، تصمیمهای میانی بگیرد و عمل کند.
و درست همینجا، مرز قدیمی میان «ابزار» و «عامل» شروع به محو شدن میکند.
وقتی تو فقط مقصد را گفتی و ماشین مسیر را انتخاب کرد…
راننده کیست؟
🎧 قسمت هشتم پادکست فراتر از ذهن
«وقتی ماشین خودش راه را پیدا کرد»
🎙 با روایت مجتبی فضلی
📍 @Beyond_Intelligible
#فراتر_از_ذهن #BeyondIntelligible #منابع_پادکست #وقتی_ماشین_خودش_راه_را_پیدا_کرد #AIAgents #AgenticAI #AutonomousAgents #SWEbench #AutoGPT #ReAct #هوش_مصنوعی #ArtificialIntelligence #AI #MachineLearning #پادکست_فارسی
1❤13🙏2👍1👎1👏1
📚 معرفی کتاب | ۵
مدلهای زبانی واقعاً چگونه زبان را یاد میگیرند؟
وقتی با ChatGPT یا یک مدل زبانی دیگر صحبت میکنیم، با سامانهای روبهرو هستیم که میتواند بنویسد، ترجمه کند، استدلال کند و حتی برای حل بعضی مسائل برنامه بریزد.
اما پشت این توانایی شگفتانگیز چه میگذرد؟
یک جمله چگونه به عدد تبدیل میشود؟
مدل چگونه رابطهی میان کلمات را میآموزد؟
«توجه» در معماری ترنسفورمر دقیقاً به چه معناست؟
مدلهای زبانی چگونه آموزش میبینند؟
و چرا سامانهای که زبان را با چنین مهارتی تولید میکند، همچنان ممکن است دچار توهم، خطا یا سوءبرداشت شود؟
برای یافتن پاسخهای علمی و دقیق، یکی از معتبرترین منابع موجود کتاب زیر است:
📘 Speech and Language Processing
✍️ Daniel Jurafsky & James H. Martin
این کتاب سالهاست یکی از منابع اصلی آموزش پردازش زبان طبیعی در دانشگاههای جهان است؛ اما نسخهی سوم آن تقریباً برای عصر مدلهای زبانی بزرگ بازطراحی شده است.
در این کتاب با مسیر شکلگیری مدلهای زبانی آشنا میشویم:
▫️ کلمات چگونه به توکن تبدیل میشوند؟
▫️ بردارهای معنایی و Embeddingها چگونه کار میکنند؟
▫️ شبکههای عصبی چگونه الگوهای زبان را میآموزند؟
▫️ معماری Transformer بر چه ایدهای بنا شده است؟
▫️ پیشآموزش و تولید متن چگونه انجام میشوند؟
▫️ Post-training چگونه رفتار مدل را تغییر میدهد؟
▫️ بازیابی اطلاعات و RAG چه مشکلی را حل میکنند؟
▫️ چگونه میتوان درون مدلهای زبانی را تفسیر کرد؟
▫️ و چگونه یک مدل زبانی به زیربنای سامانههای هوشمند آینده تبدیل میشود؟
ویژگی مهم این کتاب آن است که نه گرفتار هیاهوی تبلیغاتی پیرامون هوش مصنوعی میشود و نه مفاهیم را بیش از اندازه ساده میکند. نویسندگان پلی دقیق میان زبانشناسی، ریاضیات، علوم کامپیوتر و مدلهای زبانی جدید ساختهاند.
هر فصل را میتوان بهصورت مستقل مطالعه کرد و برای بسیاری از فصلها، اسلایدهای آموزشی رایگان نیز در دسترس است.
🎯 مناسب برای:
▫️ دانشجویان و پژوهشگران هوش مصنوعی
▫️ علاقهمندان جدی مدلهای زبانی
▫️ برنامهنویسان و مهندسان یادگیری ماشین
▫️ کسانی که میخواهند از سطح «کاربر ChatGPT» فراتر بروند و منطق علمی پشت آن را بفهمند
📖 نسخهی رسمی کتاب، فصلهای جداگانه و اسلایدهای آموزشی آن بهصورت رایگان منتشر شدهاند:
🔗 https://web.stanford.edu/~jurafsky/slp3/
این کتاب دربارهی استفاده از یک مدل زبانی نیست؛
دربارهی فهمیدن دستگاهی است که زبان را به محاسبه تبدیل میکند—و محاسبه را دوباره در لباس زبان به ما بازمیگرداند.
#معرفی_کتاب
#مدل_زبانی
#هوش_مصنوعی
#پردازش_زبان_طبیعی
#LLM
#Transformer
#فراتر_از_ذهن
@Beyond_Intelligible
مدلهای زبانی واقعاً چگونه زبان را یاد میگیرند؟
وقتی با ChatGPT یا یک مدل زبانی دیگر صحبت میکنیم، با سامانهای روبهرو هستیم که میتواند بنویسد، ترجمه کند، استدلال کند و حتی برای حل بعضی مسائل برنامه بریزد.
اما پشت این توانایی شگفتانگیز چه میگذرد؟
یک جمله چگونه به عدد تبدیل میشود؟
مدل چگونه رابطهی میان کلمات را میآموزد؟
«توجه» در معماری ترنسفورمر دقیقاً به چه معناست؟
مدلهای زبانی چگونه آموزش میبینند؟
و چرا سامانهای که زبان را با چنین مهارتی تولید میکند، همچنان ممکن است دچار توهم، خطا یا سوءبرداشت شود؟
برای یافتن پاسخهای علمی و دقیق، یکی از معتبرترین منابع موجود کتاب زیر است:
📘 Speech and Language Processing
✍️ Daniel Jurafsky & James H. Martin
این کتاب سالهاست یکی از منابع اصلی آموزش پردازش زبان طبیعی در دانشگاههای جهان است؛ اما نسخهی سوم آن تقریباً برای عصر مدلهای زبانی بزرگ بازطراحی شده است.
در این کتاب با مسیر شکلگیری مدلهای زبانی آشنا میشویم:
▫️ کلمات چگونه به توکن تبدیل میشوند؟
▫️ بردارهای معنایی و Embeddingها چگونه کار میکنند؟
▫️ شبکههای عصبی چگونه الگوهای زبان را میآموزند؟
▫️ معماری Transformer بر چه ایدهای بنا شده است؟
▫️ پیشآموزش و تولید متن چگونه انجام میشوند؟
▫️ Post-training چگونه رفتار مدل را تغییر میدهد؟
▫️ بازیابی اطلاعات و RAG چه مشکلی را حل میکنند؟
▫️ چگونه میتوان درون مدلهای زبانی را تفسیر کرد؟
▫️ و چگونه یک مدل زبانی به زیربنای سامانههای هوشمند آینده تبدیل میشود؟
ویژگی مهم این کتاب آن است که نه گرفتار هیاهوی تبلیغاتی پیرامون هوش مصنوعی میشود و نه مفاهیم را بیش از اندازه ساده میکند. نویسندگان پلی دقیق میان زبانشناسی، ریاضیات، علوم کامپیوتر و مدلهای زبانی جدید ساختهاند.
هر فصل را میتوان بهصورت مستقل مطالعه کرد و برای بسیاری از فصلها، اسلایدهای آموزشی رایگان نیز در دسترس است.
🎯 مناسب برای:
▫️ دانشجویان و پژوهشگران هوش مصنوعی
▫️ علاقهمندان جدی مدلهای زبانی
▫️ برنامهنویسان و مهندسان یادگیری ماشین
▫️ کسانی که میخواهند از سطح «کاربر ChatGPT» فراتر بروند و منطق علمی پشت آن را بفهمند
📖 نسخهی رسمی کتاب، فصلهای جداگانه و اسلایدهای آموزشی آن بهصورت رایگان منتشر شدهاند:
🔗 https://web.stanford.edu/~jurafsky/slp3/
این کتاب دربارهی استفاده از یک مدل زبانی نیست؛
دربارهی فهمیدن دستگاهی است که زبان را به محاسبه تبدیل میکند—و محاسبه را دوباره در لباس زبان به ما بازمیگرداند.
#معرفی_کتاب
#مدل_زبانی
#هوش_مصنوعی
#پردازش_زبان_طبیعی
#LLM
#Transformer
#فراتر_از_ذهن
@Beyond_Intelligible
7❤13👍4🙏2👎1🤣1
Agentic-Design-Patterns.pdf
19 MB
📚 معرفی کتاب | ۶
از مدل زبانی تا عامل هوشمند؛ ماشین چگونه دست به عمل میزند؟
مدلهای زبانی مانند ChatGPT میتوانند متن تولید کنند، به پرسشها پاسخ دهند و دربارهی مسائل پیچیده استدلال کنند.
اما پاسخدادن با عملکردن یکسان نیست.
یک مدل زبانی معمولی منتظر دستور میماند و پاسخی تولید میکند؛ اما یک عامل هوشمند یا AI Agent میتواند هدفی را دریافت کند، آن را به چند مرحله تقسیم کند، برنامه بریزد، از ابزارهای مختلف استفاده کند، نتیجهی کار خود را ببیند و در صورت شکست، مسیرش را اصلاح کند.
برای فهمیدن اینکه این گذار چگونه اتفاق میافتد، یکی از بهترین و کاربردیترین کتابهای موجود این است:
📘 Agentic Design Patterns
A Hands-On Guide to Building Intelligent Systems
✍️ Antonio Gullí
این کتاب بهجای تمرکز بر یک ابزار یا محصول خاص، الگوهای بنیادی ساخت سیستمهای Agentic AI را توضیح میدهد؛ الگوهایی که در بسیاری از عاملهای هوشمند امروزی تکرار میشوند.
کتاب در مجموع ۲۱ الگوی طراحی Agentic را بررسی میکند؛ از جمله:
▫️ Prompt Chaining: تقسیم یک مسئلهی پیچیده به چند گام متوالی
▫️ Routing: انتخاب مسیر مناسب بر اساس نوع مسئله
▫️ Tool Use: اتصال مدل زبانی به جستوجو، کد، پایگاه داده و APIها
▫️ Planning: طراحی نقشهای چندمرحلهای برای رسیدن به هدف
▫️ Reflection: بررسی و اصلاح پاسخ یا عملکرد خود
▫️ Memory: حفظ اطلاعات و تجربههای گذشته
▫️ RAG: بازیابی دانش از منابع بیرونی
▫️ Multi-Agent Collaboration: همکاری چند عامل متخصص با یکدیگر
▫️ Human-in-the-Loop: واردکردن نظارت و تصمیم انسانی در نقاط حساس
▫️ Evaluation and Monitoring: ارزیابی قابلیت اعتماد، هزینه و عملکرد عاملها
▫️ Guardrails: تعیین محدودیتهای ایمنی و عملیاتی
نمونههای عملی کتاب با ابزارها و چارچوبهایی مانند LangChain، LangGraph، CrewAI و Google ADK ارائه شدهاند؛ اما ارزش اصلی آن وابسته به هیچکدام از این ابزارها نیست.
فناوریها تغییر میکنند، کتابخانهها جای خود را به نسخههای تازه میدهند و چارچوبهای محبوب امروز ممکن است فردا فراموش شوند؛ اما الگوهایی مانند حافظه، برنامهریزی، استفاده از ابزار، بازاندیشی و همکاری چندعاملی، اجزای بنیادی معماری عاملهای هوشمند باقی خواهند ماند.
🎯 این کتاب مناسب چه کسانی است؟
▫️ پژوهشگران و مهندسان هوش مصنوعی
▫️ برنامهنویسان آشنا با Python و مدلهای زبانی
▫️ علاقهمندان به Agentic AI و سیستمهای چندعاملی
▫️ کسانی که میخواهند تفاوت میان یک چتبات و یک عامل هوشمند را عمیقتر بفهمند
▫️ افرادی که قصد دارند از LLMها برای ساخت سیستمهای واقعی و چندمرحلهای استفاده کنند
🔗 صفحه رسمی کتاب در Springer:
https://link.springer.com/book/10.1007/978-3-032-01402-3
📖 نسخهی قابلمطالعهی کتاب:
https://irp.cdn-website.com/ca79032a/files/uploaded/Agentic-Design-Patterns.pdf
ایجنت، صرفاً یک مدل زبانی قدرتمندتر نیست.
مدل زبانی کلمات را پیشبینی میکند؛
اما ایجنت تلاش میکند جهان را تغییر دهد.
و شاید پرسش اصلی عصر آینده همین باشد:
وقتی ماشینها دیگر فقط پاسخ نمیدهند و شروع به عملکردن میکنند، چه کسی هدف را برای آنها تعیین خواهد کرد؟
#معرفی_کتاب
#AgenticAI
#AIAgents
#مدل_زبانی
#LLM
#هوش_مصنوعی
#فراتر_از_ذهن
@Beyond_Intelligible
از مدل زبانی تا عامل هوشمند؛ ماشین چگونه دست به عمل میزند؟
مدلهای زبانی مانند ChatGPT میتوانند متن تولید کنند، به پرسشها پاسخ دهند و دربارهی مسائل پیچیده استدلال کنند.
اما پاسخدادن با عملکردن یکسان نیست.
یک مدل زبانی معمولی منتظر دستور میماند و پاسخی تولید میکند؛ اما یک عامل هوشمند یا AI Agent میتواند هدفی را دریافت کند، آن را به چند مرحله تقسیم کند، برنامه بریزد، از ابزارهای مختلف استفاده کند، نتیجهی کار خود را ببیند و در صورت شکست، مسیرش را اصلاح کند.
برای فهمیدن اینکه این گذار چگونه اتفاق میافتد، یکی از بهترین و کاربردیترین کتابهای موجود این است:
📘 Agentic Design Patterns
A Hands-On Guide to Building Intelligent Systems
✍️ Antonio Gullí
این کتاب بهجای تمرکز بر یک ابزار یا محصول خاص، الگوهای بنیادی ساخت سیستمهای Agentic AI را توضیح میدهد؛ الگوهایی که در بسیاری از عاملهای هوشمند امروزی تکرار میشوند.
کتاب در مجموع ۲۱ الگوی طراحی Agentic را بررسی میکند؛ از جمله:
▫️ Prompt Chaining: تقسیم یک مسئلهی پیچیده به چند گام متوالی
▫️ Routing: انتخاب مسیر مناسب بر اساس نوع مسئله
▫️ Tool Use: اتصال مدل زبانی به جستوجو، کد، پایگاه داده و APIها
▫️ Planning: طراحی نقشهای چندمرحلهای برای رسیدن به هدف
▫️ Reflection: بررسی و اصلاح پاسخ یا عملکرد خود
▫️ Memory: حفظ اطلاعات و تجربههای گذشته
▫️ RAG: بازیابی دانش از منابع بیرونی
▫️ Multi-Agent Collaboration: همکاری چند عامل متخصص با یکدیگر
▫️ Human-in-the-Loop: واردکردن نظارت و تصمیم انسانی در نقاط حساس
▫️ Evaluation and Monitoring: ارزیابی قابلیت اعتماد، هزینه و عملکرد عاملها
▫️ Guardrails: تعیین محدودیتهای ایمنی و عملیاتی
نمونههای عملی کتاب با ابزارها و چارچوبهایی مانند LangChain، LangGraph، CrewAI و Google ADK ارائه شدهاند؛ اما ارزش اصلی آن وابسته به هیچکدام از این ابزارها نیست.
فناوریها تغییر میکنند، کتابخانهها جای خود را به نسخههای تازه میدهند و چارچوبهای محبوب امروز ممکن است فردا فراموش شوند؛ اما الگوهایی مانند حافظه، برنامهریزی، استفاده از ابزار، بازاندیشی و همکاری چندعاملی، اجزای بنیادی معماری عاملهای هوشمند باقی خواهند ماند.
🎯 این کتاب مناسب چه کسانی است؟
▫️ پژوهشگران و مهندسان هوش مصنوعی
▫️ برنامهنویسان آشنا با Python و مدلهای زبانی
▫️ علاقهمندان به Agentic AI و سیستمهای چندعاملی
▫️ کسانی که میخواهند تفاوت میان یک چتبات و یک عامل هوشمند را عمیقتر بفهمند
▫️ افرادی که قصد دارند از LLMها برای ساخت سیستمهای واقعی و چندمرحلهای استفاده کنند
🔗 صفحه رسمی کتاب در Springer:
https://link.springer.com/book/10.1007/978-3-032-01402-3
📖 نسخهی قابلمطالعهی کتاب:
https://irp.cdn-website.com/ca79032a/files/uploaded/Agentic-Design-Patterns.pdf
ایجنت، صرفاً یک مدل زبانی قدرتمندتر نیست.
مدل زبانی کلمات را پیشبینی میکند؛
اما ایجنت تلاش میکند جهان را تغییر دهد.
و شاید پرسش اصلی عصر آینده همین باشد:
وقتی ماشینها دیگر فقط پاسخ نمیدهند و شروع به عملکردن میکنند، چه کسی هدف را برای آنها تعیین خواهد کرد؟
#معرفی_کتاب
#AgenticAI
#AIAgents
#مدل_زبانی
#LLM
#هوش_مصنوعی
#فراتر_از_ذهن
@Beyond_Intelligible
1❤18👏2🙏2👎1🤣1
🟢 فراتر از ذهن | Beyond Intelligible
🎙 قسمت نهم: «اولین روزی که از ما بهتر شد»
THE FIRST DAY IT WAS BETTER THAN US
۱۱ می ۱۹۹۷، نیویورک.
Garry Kasparov روبهروی صفحه شطرنج نشسته بود.
قهرمان جهان.
یکی از بزرگترین ذهنهای تاریخ شطرنج.
آن طرف صفحه، انسانی نبود.
Deep Blue بود.
۱۹ حرکت بعد، کاسپاروف تسلیم شد.
برای نخستین بار، یک کامپیوتر قهرمان جهان را در یک مسابقه کامل و رسمی شطرنج شکست داده بود.
شاید آن روز، اولین روز بود.
اما…
آخرین روز نبود.
━━━━━━━━━━━━━━━━━━━━
۱۹۹۷ — شطرنج
۲۰۱۶ — Go
۲۰۲۰ — پیشبینی ساختار پروتئین
۲۰۲۳ — مسابقه پهپاد
۲۰۲۵ — المپیاد جهانی ریاضی
قلمرو به قلمرو، ماشینها وارد حوزههایی شدند که زمانی تصور میکردیم به تواناییهای منحصراً انسانی نیاز دارند.
اما نکته مهم اینجاست:
این ماشینها هنوز در همهچیز از ما بهتر نیستند.
هر کدام قهرمان یک جزیرهاند.
AlphaFold نمیتواند پهپاد براند.
Swift نمیتواند شطرنج بازی کند.
و قهرمان یک جزیره ممکن است فقط یک قدم آنطرفتر کاملاً ناتوان باشد.
به این میگوییم:
Superhuman Narrow Intelligence
فراانسانی…
اما باریک.
━━━━━━━━━━━━━━━━━━━━
در این قسمت میشنوید:
▪️ واقعاً چه اتفاقی در مسابقه تاریخی Kasparov و Deep Blue افتاد؟
▪️ چرا AlphaGo Zero بدون دیدن بازی انسانها توانست از AlphaGo هم عبور کند؟
▪️ «پارادوکس موراوک» چرا توضیح میدهد که بعضی کارهای ساده برای ما، برای ماشین فوقالعاده دشوارند؟
▪️ چگونه Swift در مسابقه واقعی پهپاد با قهرمانان جهان رقابت کرد؟
▪️ چگونه AI در المپیاد جهانی ریاضی ۲۰۲۵ به سطح مدال طلا رسید؟
▪️ AlphaFold چگونه یک مسئله چنددهساله زیستشناسی را متحول کرد؟
▪️ چرا بعضی قلمروها زودتر از بقیه در برابر AI تسلیم میشوند؟
▪️ و مهمتر از همه:
اگر جزیره بعدی، شغلِ تو باشد چه؟
━━━━━━━━━━━━━━━━━━━━
شاید سؤال «آیا AI شغل ما را میگیرد؟» بیش از حد ساده باشد.
چون یک شغل، یک کار نیست.
مجموعهای از دهها وظیفه است.
AI ممکن است بعضی از آنها را بهتر از ما انجام دهد، بعضی را در کنار ما انجام دهد، و برای بعضی دیگر هنوز فاصله زیادی داشته باشد.
بنابراین شاید سؤال واقعی این نباشد:
«آیا شغل من باقی میماند؟»
بلکه:
«شغل من به چه چیزی تبدیل خواهد شد؟»
و آن بخش از کار من که هنوز فقط انسان میتواند انجام دهد…
دقیقاً چیست؟
━━━━━━━━━━━━━━━━━━━━
اما حالا دو خط داستانی «فراتر از ذهن» به هم میرسند.
قسمت هشتم درباره ماشینهایی بود که میتوانند مستقلتر عمل کنند.
این قسمت درباره ماشینهایی است که در بعضی قلمروها میتوانند از بهترین انسانها بهتر عمل کنند.
حالا این دو را روی هم بگذار:
Autonomy × Capability
سیستمی که هم خودش مسیر را انتخاب میکند…
و هم در انتخاب آن مسیر، از ما بهتر است.
آیا هنوز کلمه «ابزار» برای توصیفش کافی است؟
━━━━━━━━━━━━━━━━━━━━
۱۱ می ۱۹۹۷، اولین روزِ شطرنج بود.
بعد، اولین روزِ Go رسید.
بعد پروتئین.
بعد آسمان.
بعد ریاضی.
و شاید جایی در تقویمی که هنوز ورق نخورده…
روزی وجود داشته باشد که روی آن نوشته شده:
«اولین روزِ کارِ تو.»
اما تا امروز یک پناهگاه باقی مانده:
همه اینها هنوز جزیرهاند.
حالا سؤال بعدی این است:
چه میشود اگر روزی این جزیرهها به هم وصل شوند؟
اگر یک سیستم بتواند زبان، ریاضی، برنامهنویسی، استدلال، برنامهریزی و یادگیری را در یک هوش واحد کنار هم قرار دهد…
از کجا خواهیم فهمید که از مرز عبور کردهایم؟
🔜 قسمت دهم: «آخرین امتحان»
از کجا میفهمیم AGI رسیده است؟
🎧 قسمت نهم: «اولین روزی که از ما بهتر شد»
🎙 با روایت مجتبی فضلی
📍 @Beyond_Intelligible
#فراتر_از_ذهن #BeyondIntelligible #اولین_روزی_که_از_ما_بهتر_شد #هوش_مصنوعی #DeepBlue #AlphaGo #AlphaFold #Gemini #SuperhumanAI #AGI #آینده_کار #ArtificialIntelligence #AI #MachineLearning #پادکست_فارسی #علم #فناوری #آینده
🎙 قسمت نهم: «اولین روزی که از ما بهتر شد»
THE FIRST DAY IT WAS BETTER THAN US
۱۱ می ۱۹۹۷، نیویورک.
Garry Kasparov روبهروی صفحه شطرنج نشسته بود.
قهرمان جهان.
یکی از بزرگترین ذهنهای تاریخ شطرنج.
آن طرف صفحه، انسانی نبود.
Deep Blue بود.
۱۹ حرکت بعد، کاسپاروف تسلیم شد.
برای نخستین بار، یک کامپیوتر قهرمان جهان را در یک مسابقه کامل و رسمی شطرنج شکست داده بود.
شاید آن روز، اولین روز بود.
اما…
آخرین روز نبود.
━━━━━━━━━━━━━━━━━━━━
۱۹۹۷ — شطرنج
۲۰۱۶ — Go
۲۰۲۰ — پیشبینی ساختار پروتئین
۲۰۲۳ — مسابقه پهپاد
۲۰۲۵ — المپیاد جهانی ریاضی
قلمرو به قلمرو، ماشینها وارد حوزههایی شدند که زمانی تصور میکردیم به تواناییهای منحصراً انسانی نیاز دارند.
اما نکته مهم اینجاست:
این ماشینها هنوز در همهچیز از ما بهتر نیستند.
هر کدام قهرمان یک جزیرهاند.
AlphaFold نمیتواند پهپاد براند.
Swift نمیتواند شطرنج بازی کند.
و قهرمان یک جزیره ممکن است فقط یک قدم آنطرفتر کاملاً ناتوان باشد.
به این میگوییم:
Superhuman Narrow Intelligence
فراانسانی…
اما باریک.
━━━━━━━━━━━━━━━━━━━━
در این قسمت میشنوید:
▪️ واقعاً چه اتفاقی در مسابقه تاریخی Kasparov و Deep Blue افتاد؟
▪️ چرا AlphaGo Zero بدون دیدن بازی انسانها توانست از AlphaGo هم عبور کند؟
▪️ «پارادوکس موراوک» چرا توضیح میدهد که بعضی کارهای ساده برای ما، برای ماشین فوقالعاده دشوارند؟
▪️ چگونه Swift در مسابقه واقعی پهپاد با قهرمانان جهان رقابت کرد؟
▪️ چگونه AI در المپیاد جهانی ریاضی ۲۰۲۵ به سطح مدال طلا رسید؟
▪️ AlphaFold چگونه یک مسئله چنددهساله زیستشناسی را متحول کرد؟
▪️ چرا بعضی قلمروها زودتر از بقیه در برابر AI تسلیم میشوند؟
▪️ و مهمتر از همه:
اگر جزیره بعدی، شغلِ تو باشد چه؟
━━━━━━━━━━━━━━━━━━━━
شاید سؤال «آیا AI شغل ما را میگیرد؟» بیش از حد ساده باشد.
چون یک شغل، یک کار نیست.
مجموعهای از دهها وظیفه است.
AI ممکن است بعضی از آنها را بهتر از ما انجام دهد، بعضی را در کنار ما انجام دهد، و برای بعضی دیگر هنوز فاصله زیادی داشته باشد.
بنابراین شاید سؤال واقعی این نباشد:
«آیا شغل من باقی میماند؟»
بلکه:
«شغل من به چه چیزی تبدیل خواهد شد؟»
و آن بخش از کار من که هنوز فقط انسان میتواند انجام دهد…
دقیقاً چیست؟
━━━━━━━━━━━━━━━━━━━━
اما حالا دو خط داستانی «فراتر از ذهن» به هم میرسند.
قسمت هشتم درباره ماشینهایی بود که میتوانند مستقلتر عمل کنند.
این قسمت درباره ماشینهایی است که در بعضی قلمروها میتوانند از بهترین انسانها بهتر عمل کنند.
حالا این دو را روی هم بگذار:
Autonomy × Capability
سیستمی که هم خودش مسیر را انتخاب میکند…
و هم در انتخاب آن مسیر، از ما بهتر است.
آیا هنوز کلمه «ابزار» برای توصیفش کافی است؟
━━━━━━━━━━━━━━━━━━━━
۱۱ می ۱۹۹۷، اولین روزِ شطرنج بود.
بعد، اولین روزِ Go رسید.
بعد پروتئین.
بعد آسمان.
بعد ریاضی.
و شاید جایی در تقویمی که هنوز ورق نخورده…
روزی وجود داشته باشد که روی آن نوشته شده:
«اولین روزِ کارِ تو.»
اما تا امروز یک پناهگاه باقی مانده:
همه اینها هنوز جزیرهاند.
حالا سؤال بعدی این است:
چه میشود اگر روزی این جزیرهها به هم وصل شوند؟
اگر یک سیستم بتواند زبان، ریاضی، برنامهنویسی، استدلال، برنامهریزی و یادگیری را در یک هوش واحد کنار هم قرار دهد…
از کجا خواهیم فهمید که از مرز عبور کردهایم؟
🔜 قسمت دهم: «آخرین امتحان»
از کجا میفهمیم AGI رسیده است؟
🎧 قسمت نهم: «اولین روزی که از ما بهتر شد»
🎙 با روایت مجتبی فضلی
📍 @Beyond_Intelligible
#فراتر_از_ذهن #BeyondIntelligible #اولین_روزی_که_از_ما_بهتر_شد #هوش_مصنوعی #DeepBlue #AlphaGo #AlphaFold #Gemini #SuperhumanAI #AGI #آینده_کار #ArtificialIntelligence #AI #MachineLearning #پادکست_فارسی #علم #فناوری #آینده
20❤23👏3🙏3
Media is too big
VIEW IN TELEGRAM
🎙 فراتر از ذهن | Beyond Intelligible
این مصاحبه را که دیدم، چیزی که بیشتر از تیترهای ترسناکش توجهم را جلب کرد، خودِ آن تیترها نبود.
مثلاً جملهای مثل «ممکن است AI تا پایان دهه برای بشر خطر وجودی ایجاد کند» طبیعتاً جذاب است و سریع دستبهدست میشود.
اما به نظرم حرف مهمتر مصاحبه جای دیگری است:
چه میشود اگر یکی از کارهایی که AI در آن از انسان جلو میزند، خودِ «ساختن AI بهتر» باشد؟
این سؤال، عجیب دقیق به مسیری وصل میشود که در قسمتهای اخیر «فراتر از ذهن» طی کردیم.
در قسمت هفتم گفتیم بعضی تواناییها در مدلها ظاهر میشوند، بدون اینکه مستقیماً برایشان برنامهریزی شده باشند.
در قسمت هشتم، مدل دیگر فقط جواب نمیداد؛ Agent شد. هدف گرفت، برنامه ریخت، ابزار استفاده کرد و قدم بعدی را خودش انتخاب کرد.
در قسمت نهم دیدیم که ماشینها در بعضی قلمروهای مشخص دیگر فقط به انسان نزدیک نشدهاند؛ از بهترین انسانها هم جلو زدهاند.
و در قسمت دهم پرسیدیم:
اگر این تواناییهای پراکنده کمکم به هم وصل شوند، از کجا میفهمیم که یک مرز مهم رد شده؟
حالا این مصاحبه یک قدم دیگر جلو میرود.
تا امروز، انسان AI را بهتر میکرد.
اما اگر روزی AI خودش بخش بزرگی از همین چرخه را به عهده بگیرد چه؟
کد بنویسد.
آزمایش طراحی کند.
نتیجه را تحلیل کند.
ضعف نسخه فعلی را پیدا کند.
مدل بعدی را پیشنهاد بدهد.
و نسخه بعدی دوباره همین روند را سریعتر ادامه دهد.
به این ایده میگویند:
Recursive Self-Improvement
یعنی سیستمی که در بهترشدن نسل بعدی خودش نقش داشته باشد.
اگر این چرخه واقعاً بسته شود، دیگر با «یک مدل قویتر» روبهرو نیستیم؛ با حلقهای طرفیم که هر دورش ممکن است دور بعدی را سریعتر کند.
━━━━━━━━━━━━━━━━━━━━
اما درست همینجا باید مراقب باشیم.
چون در این بحث سه چیز خیلی راحت با هم قاطی میشوند:
آنچه امروز واقعاً اتفاق افتاده، آنچه ممکن است اتفاق بیفتد، و آنچه هنوز یک سناریوی آینده است.
واقعیت این است که AI همین امروز در کدنویسی، تحلیل داده، طراحی آزمایش و بخشهایی از پژوهش علمی نقش جدی دارد. Agentها هم میتوانند کارهای چندمرحلهای انجام دهند که چند سال پیش تقریباً کاملاً وابسته به انسان بود.
این هم کاملاً قابل تصور است که در آینده بخش بیشتری از پژوهش درباره خودِ AI اتوماتیک شود.
اما از اینجا تا این نتیجه که:
«پس AI حتماً از کنترل خارج میشود و بشر را نابود میکند»
فاصله زیادی وجود دارد.
برای رسیدن به آن سناریو چند حلقه باید پشت سر هم برقرار شوند:
سیستم باید واقعاً بتواند خودش را بهطور پایدار بهتر کند؛ این بهبود باید آنقدر سریع باشد که محدودیتهای سختافزار، انرژی، داده و ارزیابی جلویش را نگیرند؛ باید در دنیای واقعی قدرت عمل قابلتوجه پیدا کند؛ و مهمتر از همه، رفتار یا اهدافش باید از چیزی که ما میخواهیم فاصله بگیرد.
هیچکدام از این مراحل امروز قطعی نیست.
برای همین، وقتی در چنین مصاحبههایی عددهایی مثل «ده درصد احتمال انقراض» میشنویم، باید بدانیم با چه چیزی طرفیم.
این عددها مثل دمای هوا یا فشار خون اندازهگیری نشدهاند؛ بیشتر قضاوت و برآورد متخصصان درباره آیندهاند.
بعضی پژوهشگران این خطر را بسیار جدی میدانند.
بعضی دیگر معتقدند سناریوی انقراض بیش از حد برجسته شده و خطرهای نزدیکتر — مثل حملات سایبری، سوءاستفاده زیستی، اطلاعات جعلی، تمرکز قدرت و اختلال شدید در بازار کار — فوریترند.
و به نظرم همین اختلاف نظر خودش یک پیام مهم دارد:
ما هنوز واقعاً نمیدانیم این مسیر به کجا میرود.
اما «نمیدانیم» با «هیچ خطری وجود ندارد» فرق دارد.
━━━━━━━━━━━━━━━━━━━━
برای من، ارزش اصلی این مصاحبه در پیشبینی آخرالزمانیاش نیست.
در یک سؤال سادهتر و عمیقتر است:
اگر روزی خودِ سیستم شروع کند به طراحی قدم بعدی خودش، ما تا چه اندازه هنوز تعیین میکنیم بعدش چه اتفاقی بیفتد؟
و این دقیقاً همان جایی است که بخش بعدی «فراتر از ذهن» شروع میشود.
تا اینجا درباره هوش حرف زدیم.
از اینجا به بعد، درباره کنترل حرف میزنیم.
چون یک سیستم لازم نیست «شرور» باشد تا خطرناک شود.
گاهی کافی است چیزی را که به آن گفتهایم، فوقالعاده خوب انجام دهد…
اما نه چیزی را که واقعاً منظورمان بوده.
چهار هزار سال پیش، انسان برای همین مشکل داستانی ساخته بود.
پادشاه میداس.
میداس آرزو کرد هر چیزی را لمس میکند طلا شود.
آرزویش دقیقاً برآورده شد.
نه اشتباهی رخ داد.
نه کسی حرفش را بد فهمید.
مشکل دقیقاً همین بود:
آرزویش بیش از حد دقیق اجرا شد.
و همان چیزی که فکر میکرد بزرگترین نعمت زندگیاش خواهد بود، تبدیل شد به مصیبتش.
🔜 قسمت بعد:
«بهش گفتیم چه میخواهیم؛ نفهمید چه میخواستیم.»
📍 @Beyond_Intelligible
این مصاحبه را که دیدم، چیزی که بیشتر از تیترهای ترسناکش توجهم را جلب کرد، خودِ آن تیترها نبود.
مثلاً جملهای مثل «ممکن است AI تا پایان دهه برای بشر خطر وجودی ایجاد کند» طبیعتاً جذاب است و سریع دستبهدست میشود.
اما به نظرم حرف مهمتر مصاحبه جای دیگری است:
چه میشود اگر یکی از کارهایی که AI در آن از انسان جلو میزند، خودِ «ساختن AI بهتر» باشد؟
این سؤال، عجیب دقیق به مسیری وصل میشود که در قسمتهای اخیر «فراتر از ذهن» طی کردیم.
در قسمت هفتم گفتیم بعضی تواناییها در مدلها ظاهر میشوند، بدون اینکه مستقیماً برایشان برنامهریزی شده باشند.
در قسمت هشتم، مدل دیگر فقط جواب نمیداد؛ Agent شد. هدف گرفت، برنامه ریخت، ابزار استفاده کرد و قدم بعدی را خودش انتخاب کرد.
در قسمت نهم دیدیم که ماشینها در بعضی قلمروهای مشخص دیگر فقط به انسان نزدیک نشدهاند؛ از بهترین انسانها هم جلو زدهاند.
و در قسمت دهم پرسیدیم:
اگر این تواناییهای پراکنده کمکم به هم وصل شوند، از کجا میفهمیم که یک مرز مهم رد شده؟
حالا این مصاحبه یک قدم دیگر جلو میرود.
تا امروز، انسان AI را بهتر میکرد.
اما اگر روزی AI خودش بخش بزرگی از همین چرخه را به عهده بگیرد چه؟
کد بنویسد.
آزمایش طراحی کند.
نتیجه را تحلیل کند.
ضعف نسخه فعلی را پیدا کند.
مدل بعدی را پیشنهاد بدهد.
و نسخه بعدی دوباره همین روند را سریعتر ادامه دهد.
به این ایده میگویند:
Recursive Self-Improvement
یعنی سیستمی که در بهترشدن نسل بعدی خودش نقش داشته باشد.
اگر این چرخه واقعاً بسته شود، دیگر با «یک مدل قویتر» روبهرو نیستیم؛ با حلقهای طرفیم که هر دورش ممکن است دور بعدی را سریعتر کند.
━━━━━━━━━━━━━━━━━━━━
اما درست همینجا باید مراقب باشیم.
چون در این بحث سه چیز خیلی راحت با هم قاطی میشوند:
آنچه امروز واقعاً اتفاق افتاده، آنچه ممکن است اتفاق بیفتد، و آنچه هنوز یک سناریوی آینده است.
واقعیت این است که AI همین امروز در کدنویسی، تحلیل داده، طراحی آزمایش و بخشهایی از پژوهش علمی نقش جدی دارد. Agentها هم میتوانند کارهای چندمرحلهای انجام دهند که چند سال پیش تقریباً کاملاً وابسته به انسان بود.
این هم کاملاً قابل تصور است که در آینده بخش بیشتری از پژوهش درباره خودِ AI اتوماتیک شود.
اما از اینجا تا این نتیجه که:
«پس AI حتماً از کنترل خارج میشود و بشر را نابود میکند»
فاصله زیادی وجود دارد.
برای رسیدن به آن سناریو چند حلقه باید پشت سر هم برقرار شوند:
سیستم باید واقعاً بتواند خودش را بهطور پایدار بهتر کند؛ این بهبود باید آنقدر سریع باشد که محدودیتهای سختافزار، انرژی، داده و ارزیابی جلویش را نگیرند؛ باید در دنیای واقعی قدرت عمل قابلتوجه پیدا کند؛ و مهمتر از همه، رفتار یا اهدافش باید از چیزی که ما میخواهیم فاصله بگیرد.
هیچکدام از این مراحل امروز قطعی نیست.
برای همین، وقتی در چنین مصاحبههایی عددهایی مثل «ده درصد احتمال انقراض» میشنویم، باید بدانیم با چه چیزی طرفیم.
این عددها مثل دمای هوا یا فشار خون اندازهگیری نشدهاند؛ بیشتر قضاوت و برآورد متخصصان درباره آیندهاند.
بعضی پژوهشگران این خطر را بسیار جدی میدانند.
بعضی دیگر معتقدند سناریوی انقراض بیش از حد برجسته شده و خطرهای نزدیکتر — مثل حملات سایبری، سوءاستفاده زیستی، اطلاعات جعلی، تمرکز قدرت و اختلال شدید در بازار کار — فوریترند.
و به نظرم همین اختلاف نظر خودش یک پیام مهم دارد:
ما هنوز واقعاً نمیدانیم این مسیر به کجا میرود.
اما «نمیدانیم» با «هیچ خطری وجود ندارد» فرق دارد.
━━━━━━━━━━━━━━━━━━━━
برای من، ارزش اصلی این مصاحبه در پیشبینی آخرالزمانیاش نیست.
در یک سؤال سادهتر و عمیقتر است:
اگر روزی خودِ سیستم شروع کند به طراحی قدم بعدی خودش، ما تا چه اندازه هنوز تعیین میکنیم بعدش چه اتفاقی بیفتد؟
و این دقیقاً همان جایی است که بخش بعدی «فراتر از ذهن» شروع میشود.
تا اینجا درباره هوش حرف زدیم.
از اینجا به بعد، درباره کنترل حرف میزنیم.
چون یک سیستم لازم نیست «شرور» باشد تا خطرناک شود.
گاهی کافی است چیزی را که به آن گفتهایم، فوقالعاده خوب انجام دهد…
اما نه چیزی را که واقعاً منظورمان بوده.
چهار هزار سال پیش، انسان برای همین مشکل داستانی ساخته بود.
پادشاه میداس.
میداس آرزو کرد هر چیزی را لمس میکند طلا شود.
آرزویش دقیقاً برآورده شد.
نه اشتباهی رخ داد.
نه کسی حرفش را بد فهمید.
مشکل دقیقاً همین بود:
آرزویش بیش از حد دقیق اجرا شد.
و همان چیزی که فکر میکرد بزرگترین نعمت زندگیاش خواهد بود، تبدیل شد به مصیبتش.
🔜 قسمت بعد:
«بهش گفتیم چه میخواهیم؛ نفهمید چه میخواستیم.»
📍 @Beyond_Intelligible
14❤22👏3👍1😍1
📚 منابع قسمت نهم — «اولین روزی که از ما بهتر شد»
در این قسمت از «فراتر از ذهن» از یک سؤال شروع کردیم:
اولین بار چه زمانی ماشین واقعاً از بهترین انسان جلو زد؟
اما خیلی زود دیدیم که «اولین روز» فقط یک بار اتفاق نیفتاده.
شطرنج یک روز داشت.
Go یک روز داشت.
پیشبینی ساختار پروتئین یک روز داشت.
مسابقه پهپاد یک روز داشت.
و در سال ۲۰۲۵، المپیاد ریاضی هم روز خودش را دید.
منابع اصلی این قسمت:
━━━━━━━━━━━━━━━━━━━━
♟ Deep Blue و Garry Kasparov — ۱۹۹۷
Campbell, M., Hoane, A. J. Jr., & Hsu, F.-h. (2002)
Deep Blue
Artificial Intelligence, 134(1–2), 57–83
DOI: 10.1016/S0004-3702(01)00129-1
این مقاله توسط اعضای تیم Deep Blue نوشته شده و معماری سیستمی را توضیح میدهد که در سال ۱۹۹۷ Garry Kasparov، قهرمان وقت جهان، را در یک مسابقه ششبازی شکست داد.
نکته مهم: Deep Blue در سال ۱۹۹۶ هم یک بازی انفرادی را از Kasparov برده بود؛ اتفاق تاریخی سال ۱۹۹۷، پیروزی در کل match رسمی بود.
━━━━━━━━━━━━━━━━━━━━
⚫️⚪️ AlphaGo Zero — یادگیری بدون بازیهای انسانی
Silver, D., Schrittwieser, J., Simonyan, K., et al. (2017)
Mastering the Game of Go without Human Knowledge
Nature, 550, 354–359
DOI: 10.1038/nature24270
AlphaGo Zero بدون استفاده از بازیهای انسانی و فقط با قوانین Go و self-play آموزش دید.
در مقاله گزارش شد که این سیستم پس از حدود سه روز آموزش، نسخهای از AlphaGo را که Lee Sedol را شکست داده بود، با نتیجه ۱۰۰–۰ شکست داد.
━━━━━━━━━━━━━━━━━━━━
🧠 پارادوکس موراوک
Moravec, H. P. (1988)
Mind Children: The Future of Robot and Human Intelligence
Harvard University Press
ایدهای که بعدها با عنوان Moravec’s Paradox شناخته شد، به یک تضاد جالب اشاره میکند:
کارهایی مثل محاسبه و بازیهای رسمی میتوانند برای ماشین نسبتاً ساده شوند، در حالی که ادراک، حرکت، هماهنگی بدنی و تعامل روزمره با دنیای واقعی برای ماشین بسیار دشوارترند.
━━━━━━━━━━━━━━━━━━━━
🚁 Swift — وقتی AI وارد یک رقابت فیزیکی شد
Kaufmann, E., Bauersfeld, L., Loquercio, A., et al. (2023)
Champion-level Drone Racing Using Deep Reinforcement Learning
Nature, 620, 982–987
DOI: 10.1038/s41586-023-06419-4
سیستم Swift در مسابقات واقعی پهپاد با سه خلبان قهرمان رقابت کرد.
در مجموع ۲۵ مسابقه، ۱۵ مسابقه را برد و سریعترین دور ثبتشده را هم به دست آورد؛ حدود نیم ثانیه سریعتر از بهترین زمان انسانی.
اما مقاله یک محدودیت مهم را هم نشان میدهد:
Swift نسبت به تغییرات ظاهری محیط، از جمله نور، شکنندهتر از انسان بود.
همان ایده «جزیره»:
فوقالعاده در یک قلمرو، اما نه لزوماً در قلمرو بعدی.
━━━━━━━━━━━━━━━━━━━━
🏅 المپیاد جهانی ریاضی ۲۰۲۵
Google DeepMind (2025)
Advanced Version of Gemini with Deep Think Officially Achieves Gold-medal Standard at the International Mathematical Olympiad
Gemini Deep Think پنج مسئله از شش مسئله IMO 2025 را کامل حل کرد و ۳۵ امتیاز از ۴۲ گرفت.
راهحلها به زبان طبیعی نوشته شدند و با معیارهای رسمی IMO ارزیابی شدند.
آمار رسمی IMO 2025:
۶۳۰ شرکتکننده
۷۲ مدال طلا
مرز مدال طلا: ۳۵ امتیاز
یعنی امتیاز Gemini دقیقاً روی cutoff رسمی مدال طلا قرار داشت.
━━━━━━━━━━━━━━━━━━━━
🧬 AlphaFold2 — از پیشبینی ساختار پروتئین تا نوبل
Jumper, J., Evans, R., Pritzel, A., et al. (2021)
Highly Accurate Protein Structure Prediction with AlphaFold
Nature, 596, 583–589
DOI: 10.1038/s41586-021-03819-2
AlphaFold2 جهشی اساسی در مسئله پیشبینی ساختار سهبعدی پروتئین از روی توالی اسیدآمینه ایجاد کرد.
در سال ۲۰۲۴ نیز نیمی از جایزه نوبل شیمی به Demis Hassabis و John Jumper برای protein structure prediction تعلق گرفت.
کمیته نوبل اشاره کرد که AlphaFold2 برای تقریباً تمام ۲۰۰ میلیون پروتئین شناختهشده prediction تولید کرده است.
نکته مهم:
AlphaFold «تمام زیستشناسی پروتئین» را حل نکرد؛ دستاورد اصلی آن مشخصاً در پیشبینی ساختار پروتئین بود.
━━━━━━━━━━━━━━━━━━━━
💼 AI و آینده کار
Eloundou, T., Manning, S., Mishkin, P., & Rock, D. (2023)
GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models
arXiv:2303.10130
این مطالعه برآورد کرد که حدود ۸۰٪ نیروی کار آمریکا ممکن است دستکم ۱۰٪ از وظایفشان تحت تأثیر GPTها قرار بگیرد و حدود ۱۹٪ کارکنان ممکن است دستکم ۵۰٪ از وظایفشان در معرض تأثیر باشد.
اما نکته مهم این است:
این مطالعه نمیگوید همین درصد از «شغلها» حذف میشوند.
موضوع مقاله task exposure است، نه unemployment.
برای همین در قسمت نهم گفتیم:
در این قسمت از «فراتر از ذهن» از یک سؤال شروع کردیم:
اولین بار چه زمانی ماشین واقعاً از بهترین انسان جلو زد؟
اما خیلی زود دیدیم که «اولین روز» فقط یک بار اتفاق نیفتاده.
شطرنج یک روز داشت.
Go یک روز داشت.
پیشبینی ساختار پروتئین یک روز داشت.
مسابقه پهپاد یک روز داشت.
و در سال ۲۰۲۵، المپیاد ریاضی هم روز خودش را دید.
منابع اصلی این قسمت:
━━━━━━━━━━━━━━━━━━━━
♟ Deep Blue و Garry Kasparov — ۱۹۹۷
Campbell, M., Hoane, A. J. Jr., & Hsu, F.-h. (2002)
Deep Blue
Artificial Intelligence, 134(1–2), 57–83
DOI: 10.1016/S0004-3702(01)00129-1
این مقاله توسط اعضای تیم Deep Blue نوشته شده و معماری سیستمی را توضیح میدهد که در سال ۱۹۹۷ Garry Kasparov، قهرمان وقت جهان، را در یک مسابقه ششبازی شکست داد.
نکته مهم: Deep Blue در سال ۱۹۹۶ هم یک بازی انفرادی را از Kasparov برده بود؛ اتفاق تاریخی سال ۱۹۹۷، پیروزی در کل match رسمی بود.
━━━━━━━━━━━━━━━━━━━━
⚫️⚪️ AlphaGo Zero — یادگیری بدون بازیهای انسانی
Silver, D., Schrittwieser, J., Simonyan, K., et al. (2017)
Mastering the Game of Go without Human Knowledge
Nature, 550, 354–359
DOI: 10.1038/nature24270
AlphaGo Zero بدون استفاده از بازیهای انسانی و فقط با قوانین Go و self-play آموزش دید.
در مقاله گزارش شد که این سیستم پس از حدود سه روز آموزش، نسخهای از AlphaGo را که Lee Sedol را شکست داده بود، با نتیجه ۱۰۰–۰ شکست داد.
━━━━━━━━━━━━━━━━━━━━
🧠 پارادوکس موراوک
Moravec, H. P. (1988)
Mind Children: The Future of Robot and Human Intelligence
Harvard University Press
ایدهای که بعدها با عنوان Moravec’s Paradox شناخته شد، به یک تضاد جالب اشاره میکند:
کارهایی مثل محاسبه و بازیهای رسمی میتوانند برای ماشین نسبتاً ساده شوند، در حالی که ادراک، حرکت، هماهنگی بدنی و تعامل روزمره با دنیای واقعی برای ماشین بسیار دشوارترند.
━━━━━━━━━━━━━━━━━━━━
🚁 Swift — وقتی AI وارد یک رقابت فیزیکی شد
Kaufmann, E., Bauersfeld, L., Loquercio, A., et al. (2023)
Champion-level Drone Racing Using Deep Reinforcement Learning
Nature, 620, 982–987
DOI: 10.1038/s41586-023-06419-4
سیستم Swift در مسابقات واقعی پهپاد با سه خلبان قهرمان رقابت کرد.
در مجموع ۲۵ مسابقه، ۱۵ مسابقه را برد و سریعترین دور ثبتشده را هم به دست آورد؛ حدود نیم ثانیه سریعتر از بهترین زمان انسانی.
اما مقاله یک محدودیت مهم را هم نشان میدهد:
Swift نسبت به تغییرات ظاهری محیط، از جمله نور، شکنندهتر از انسان بود.
همان ایده «جزیره»:
فوقالعاده در یک قلمرو، اما نه لزوماً در قلمرو بعدی.
━━━━━━━━━━━━━━━━━━━━
🏅 المپیاد جهانی ریاضی ۲۰۲۵
Google DeepMind (2025)
Advanced Version of Gemini with Deep Think Officially Achieves Gold-medal Standard at the International Mathematical Olympiad
Gemini Deep Think پنج مسئله از شش مسئله IMO 2025 را کامل حل کرد و ۳۵ امتیاز از ۴۲ گرفت.
راهحلها به زبان طبیعی نوشته شدند و با معیارهای رسمی IMO ارزیابی شدند.
آمار رسمی IMO 2025:
۶۳۰ شرکتکننده
۷۲ مدال طلا
مرز مدال طلا: ۳۵ امتیاز
یعنی امتیاز Gemini دقیقاً روی cutoff رسمی مدال طلا قرار داشت.
━━━━━━━━━━━━━━━━━━━━
🧬 AlphaFold2 — از پیشبینی ساختار پروتئین تا نوبل
Jumper, J., Evans, R., Pritzel, A., et al. (2021)
Highly Accurate Protein Structure Prediction with AlphaFold
Nature, 596, 583–589
DOI: 10.1038/s41586-021-03819-2
AlphaFold2 جهشی اساسی در مسئله پیشبینی ساختار سهبعدی پروتئین از روی توالی اسیدآمینه ایجاد کرد.
در سال ۲۰۲۴ نیز نیمی از جایزه نوبل شیمی به Demis Hassabis و John Jumper برای protein structure prediction تعلق گرفت.
کمیته نوبل اشاره کرد که AlphaFold2 برای تقریباً تمام ۲۰۰ میلیون پروتئین شناختهشده prediction تولید کرده است.
نکته مهم:
AlphaFold «تمام زیستشناسی پروتئین» را حل نکرد؛ دستاورد اصلی آن مشخصاً در پیشبینی ساختار پروتئین بود.
━━━━━━━━━━━━━━━━━━━━
💼 AI و آینده کار
Eloundou, T., Manning, S., Mishkin, P., & Rock, D. (2023)
GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models
arXiv:2303.10130
این مطالعه برآورد کرد که حدود ۸۰٪ نیروی کار آمریکا ممکن است دستکم ۱۰٪ از وظایفشان تحت تأثیر GPTها قرار بگیرد و حدود ۱۹٪ کارکنان ممکن است دستکم ۵۰٪ از وظایفشان در معرض تأثیر باشد.
اما نکته مهم این است:
این مطالعه نمیگوید همین درصد از «شغلها» حذف میشوند.
موضوع مقاله task exposure است، نه unemployment.
برای همین در قسمت نهم گفتیم:
1❤5👍4
«AI معمولاً اول وارد وظیفه میشود، نه اینکه یکباره کل شغل را بردارد.»
━━━━━━━━━━━━━━━━━━━━
📊 یک مرجع کلاسیکتر درباره اتوماسیون مشاغل
Frey, C. B., & Osborne, M. A. (2017)
The Future of Employment: How Susceptible Are Jobs to Computerisation?
Technological Forecasting and Social Change, 114, 254–280
DOI: 10.1016/j.techfore.2016.08.019
این مقاله ۷۰۲ شغل در آمریکا را از نظر susceptibility to computerisation بررسی کرد.
البته این مطالعه مربوط به دوران قبل از موج LLMهای امروزی است و نتایج آن را نباید مستقیماً به مدلهای جدید تعمیم داد.
━━━━━━━━━━━━━━━━━━━━
در نهایت، شاید تاریخ AI بیشتر از اینکه شبیه یک «جهش ناگهانی» باشد، شبیه فتح جزیرههاست:
شطرنج.
Go.
پرواز.
ریاضی.
زیستشناسی.
هر جزیره، یک «اولین روز».
و شاید سؤال مهم این نباشد که:
«آیا AI از انسان بهتر میشود؟»
بلکه:
«اولین روزِ قلمرویی که من روی آن ایستادهام، چه زمانی خواهد رسید؟»
🎧 قسمت نهم — «اولین روزی که از ما بهتر شد»
🎙 فراتر از ذهن | Beyond Intelligible
📍 @Beyond_Intelligible
#فراتر_از_ذهن #BeyondIntelligible #منابع_پادکست #DeepBlue #AlphaGoZero #AlphaFold #Gemini #IMO2025 #Swift #MoravecsParadox #FutureOfWork #هوش_مصنوعی #AI #MachineLearning #پادکست_فارسی
━━━━━━━━━━━━━━━━━━━━
📊 یک مرجع کلاسیکتر درباره اتوماسیون مشاغل
Frey, C. B., & Osborne, M. A. (2017)
The Future of Employment: How Susceptible Are Jobs to Computerisation?
Technological Forecasting and Social Change, 114, 254–280
DOI: 10.1016/j.techfore.2016.08.019
این مقاله ۷۰۲ شغل در آمریکا را از نظر susceptibility to computerisation بررسی کرد.
البته این مطالعه مربوط به دوران قبل از موج LLMهای امروزی است و نتایج آن را نباید مستقیماً به مدلهای جدید تعمیم داد.
━━━━━━━━━━━━━━━━━━━━
در نهایت، شاید تاریخ AI بیشتر از اینکه شبیه یک «جهش ناگهانی» باشد، شبیه فتح جزیرههاست:
شطرنج.
Go.
پرواز.
ریاضی.
زیستشناسی.
هر جزیره، یک «اولین روز».
و شاید سؤال مهم این نباشد که:
«آیا AI از انسان بهتر میشود؟»
بلکه:
«اولین روزِ قلمرویی که من روی آن ایستادهام، چه زمانی خواهد رسید؟»
🎧 قسمت نهم — «اولین روزی که از ما بهتر شد»
🎙 فراتر از ذهن | Beyond Intelligible
📍 @Beyond_Intelligible
#فراتر_از_ذهن #BeyondIntelligible #منابع_پادکست #DeepBlue #AlphaGoZero #AlphaFold #Gemini #IMO2025 #Swift #MoravecsParadox #FutureOfWork #هوش_مصنوعی #AI #MachineLearning #پادکست_فارسی
3❤17👏1😍1
🎙 فراتر از ذهن | Beyond Intelligible
قسمت دهم — «آخرین امتحان»
سال ۱۹۵۰، آلن تورینگ یک سؤال ساده پرسید:
«آیا ماشینها میتوانند فکر کنند؟»
و بلافاصله با یک مشکل روبهرو شد:
اصلاً «فکر کردن» یعنی چه؟
تورینگ بهجای گرفتارشدن در تعریفها، سؤال فلسفی را تبدیل کرد به یک آزمایش.
اگر فقط از طریق متن با یک انسان و یک ماشین حرف بزنی و نتوانی تشخیص بدهی کدامیک انسان است، چه؟
این ایده بعدها تبدیل شد به یکی از مشهورترین آزمونهای تاریخ هوش مصنوعی:
Turing Test
━━━━━━━━━━━━━━━━━━━━
هفتاد و پنج سال بعد، اتفاقی افتاد که زمانی تصور میکردیم باید نقطه عطف بزرگی در تاریخ AI باشد.
در یک مطالعه کنترلشده، GPT-4.5 با یک پرامپت شخصیتی، در ۷۳٪ موارد بهعنوان انسان انتخاب شد.
یعنی بازجوها، ماشین را بیشتر از انسان واقعی «انسان» تشخیص دادند.
انسانتر از انسان.
اما اتفاق عجیب بعد از آزمایش افتاد:
تقریباً هیچکس نگفت:
«تمام شد. ماشین فکر میکند.»
چرا؟
چون در این سالها یک چیز مهم فهمیده بودیم:
انسان به نظر رسیدن، الزاماً همان انسانگونه فکر کردن نیست.
تست تورینگ پاس شد…
اما سؤال تورینگ باقی ماند.
━━━━━━━━━━━━━━━━━━━━
پس امتحان را سختتر کردیم.
تقریباً هزار متخصص، از بیش از ۵۰۰ مؤسسه در ۵۰ کشور، سؤالهایی در مرز دانش تخصصی بشر طراحی کردند.
در نهایت ۲۵۰۰ سؤال باقی ماند.
اسمش را گذاشتند:
Humanity’s Last Exam
«آخرین امتحان بشریت»
وقتی منتشر شد، بهترین مدلها حتی به ۱۰٪ هم نمیرسیدند.
حدود یک سال و نیم بعد، بهترین سیستمها به مرز ۵۰٪ نزدیک شدهاند.
طنز ماجرا؟
«آخرین امتحان» خیلی زود به امتحانهای بعدی نیاز پیدا کرد.
━━━━━━━━━━━━━━━━━━━━
و این الگو قبلاً هم تکرار شده:
شطرنج.
Go.
تست تورینگ.
المپیاد ریاضی.
Humanity’s Last Exam.
هر بار خطی میکشیم و میگوییم:
«اینجا مرز هوش است.»
ماشین از خط عبور میکند…
و ما خط دیگری میکشیم.
آیا داریم در برابر ماشین عقبنشینی میکنیم؟
یک احتمال همین است.
اما توضیح دیگری هم وجود دارد:
شاید هر بار که ماشین یکی از آزمونهای ما را پشت سر میگذارد، تازه متوجه میشویم آن آزمون فقط بخشی از چیزی را اندازه میگرفته که ما نامش را «هوش» گذاشته بودیم.
تست تورینگ مثال خوبی است:
پاسشدنش به ما نشان داد انساننمایی، همان فکرکردن نیست.
Benchmarkها دروغ نمیگویند؛
فقط از سؤالی که میخواهیم با آنها جواب بدهیم کوچکترند.
━━━━━━━━━━━━━━━━━━━━
🎧 در این قسمت میشنوید:
▪️ Enigma چه بود و چرا داستان تورینگ از آنجا شروع میشود؟
▪️ تست تورینگ واقعاً چه چیزی را اندازه میگیرد؟
▪️ چطور GPT-4.5 در یک آزمایش «انسانتر از انسان» به نظر رسید؟
▪️ Humanity’s Last Exam چرا ساخته شد؟
▪️ عبور از benchmarkها چقدر ما را به AGI نزدیک میکند؟
▪️ تفاوت Performance، Generality و Autonomy چیست؟
▪️ چرا مدلهای عمومی حالا از چند «جزیره» مختلف عبور میکنند؟
▪️ و مهمتر از همه:
اگر AGI برسد، از کجا خواهیم فهمید؟
━━━━━━━━━━━━━━━━━━━━
ما معمولاً برای رسیدن AGI یک تصویر سینمایی در ذهن داریم:
یک کنفرانس خبری.
یک تیتر بزرگ.
یک نفر پشت تریبون:
«امروز بشریت به AGI رسید.»
اما هیچ تضمینی وجود ندارد که چنین لحظهای داشته باشیم.
AGI میتواند بدون «ساعت صفر» وارد تاریخ شود.
یک سهشنبه معمولی.
یک آپدیت عادی.
یک release note خشک و کوتاه:
«استدلال بهبود یافت.»
«استفاده از ابزار پایدارتر شد.»
آپدیت را نصب میکنیم.
میرویم سر کار.
و ممکن است مدتها بعد، وقتی به عقب نگاه میکنیم، بفهمیم:
همان حوالی، یک خط تاریخی رد شده بود.
مرزهایی که با انفجار رد میشوند، دیده میشوند.
مرزهایی که با آپدیت رد میشوند…
نه لزوماً.
━━━━━━━━━━━━━━━━━━━━
و اینجا پرده اول «فراتر از ذهن» تمام میشود.
تا اینجا سؤال ما درباره هوش بود:
ماشین چه میفهمد؟
چه یاد میگیرد؟
چه خلق میکند؟
چقدر مستقل عمل میکند؟
و کجا از ما بهتر شده؟
از اینجا به بعد، سؤال عوض میشود.
دیگر فقط نمیپرسیم:
«چقدر باهوش است؟»
میپرسیم:
اگر روزی این سیستم چیزی بخواهد که ما نمیخواهیم، میتوانیم جلویش را بگیریم؟
هنوز فرمان دست ماست؟
از قسمت بعد وارد پرده دوم میشویم:
کنترل.
و برای شروع، سراغ پادشاهی میرویم که دقیقاً چیزی را گرفت که خواسته بود…
و بعد آرزو کرد کاش هیچوقت آن را نخواسته بود.
🔜 قسمت یازدهم: «بهش گفتیم چه میخواهیم؛ نفهمید چه میخواستیم.»
🎙 فراتر از ذهن | Beyond Intelligible
📍 @Beyond_Intelligible
#فراتر_از_ذهن #BeyondIntelligible #آخرین_امتحان #AlanTuring #TuringTest #HumanitysLastExam #AGI #هوش_مصنوعی #ArtificialIntelligence #AI #MachineLearning #پادکست_فارسی
قسمت دهم — «آخرین امتحان»
سال ۱۹۵۰، آلن تورینگ یک سؤال ساده پرسید:
«آیا ماشینها میتوانند فکر کنند؟»
و بلافاصله با یک مشکل روبهرو شد:
اصلاً «فکر کردن» یعنی چه؟
تورینگ بهجای گرفتارشدن در تعریفها، سؤال فلسفی را تبدیل کرد به یک آزمایش.
اگر فقط از طریق متن با یک انسان و یک ماشین حرف بزنی و نتوانی تشخیص بدهی کدامیک انسان است، چه؟
این ایده بعدها تبدیل شد به یکی از مشهورترین آزمونهای تاریخ هوش مصنوعی:
Turing Test
━━━━━━━━━━━━━━━━━━━━
هفتاد و پنج سال بعد، اتفاقی افتاد که زمانی تصور میکردیم باید نقطه عطف بزرگی در تاریخ AI باشد.
در یک مطالعه کنترلشده، GPT-4.5 با یک پرامپت شخصیتی، در ۷۳٪ موارد بهعنوان انسان انتخاب شد.
یعنی بازجوها، ماشین را بیشتر از انسان واقعی «انسان» تشخیص دادند.
انسانتر از انسان.
اما اتفاق عجیب بعد از آزمایش افتاد:
تقریباً هیچکس نگفت:
«تمام شد. ماشین فکر میکند.»
چرا؟
چون در این سالها یک چیز مهم فهمیده بودیم:
انسان به نظر رسیدن، الزاماً همان انسانگونه فکر کردن نیست.
تست تورینگ پاس شد…
اما سؤال تورینگ باقی ماند.
━━━━━━━━━━━━━━━━━━━━
پس امتحان را سختتر کردیم.
تقریباً هزار متخصص، از بیش از ۵۰۰ مؤسسه در ۵۰ کشور، سؤالهایی در مرز دانش تخصصی بشر طراحی کردند.
در نهایت ۲۵۰۰ سؤال باقی ماند.
اسمش را گذاشتند:
Humanity’s Last Exam
«آخرین امتحان بشریت»
وقتی منتشر شد، بهترین مدلها حتی به ۱۰٪ هم نمیرسیدند.
حدود یک سال و نیم بعد، بهترین سیستمها به مرز ۵۰٪ نزدیک شدهاند.
طنز ماجرا؟
«آخرین امتحان» خیلی زود به امتحانهای بعدی نیاز پیدا کرد.
━━━━━━━━━━━━━━━━━━━━
و این الگو قبلاً هم تکرار شده:
شطرنج.
Go.
تست تورینگ.
المپیاد ریاضی.
Humanity’s Last Exam.
هر بار خطی میکشیم و میگوییم:
«اینجا مرز هوش است.»
ماشین از خط عبور میکند…
و ما خط دیگری میکشیم.
آیا داریم در برابر ماشین عقبنشینی میکنیم؟
یک احتمال همین است.
اما توضیح دیگری هم وجود دارد:
شاید هر بار که ماشین یکی از آزمونهای ما را پشت سر میگذارد، تازه متوجه میشویم آن آزمون فقط بخشی از چیزی را اندازه میگرفته که ما نامش را «هوش» گذاشته بودیم.
تست تورینگ مثال خوبی است:
پاسشدنش به ما نشان داد انساننمایی، همان فکرکردن نیست.
Benchmarkها دروغ نمیگویند؛
فقط از سؤالی که میخواهیم با آنها جواب بدهیم کوچکترند.
━━━━━━━━━━━━━━━━━━━━
🎧 در این قسمت میشنوید:
▪️ Enigma چه بود و چرا داستان تورینگ از آنجا شروع میشود؟
▪️ تست تورینگ واقعاً چه چیزی را اندازه میگیرد؟
▪️ چطور GPT-4.5 در یک آزمایش «انسانتر از انسان» به نظر رسید؟
▪️ Humanity’s Last Exam چرا ساخته شد؟
▪️ عبور از benchmarkها چقدر ما را به AGI نزدیک میکند؟
▪️ تفاوت Performance، Generality و Autonomy چیست؟
▪️ چرا مدلهای عمومی حالا از چند «جزیره» مختلف عبور میکنند؟
▪️ و مهمتر از همه:
اگر AGI برسد، از کجا خواهیم فهمید؟
━━━━━━━━━━━━━━━━━━━━
ما معمولاً برای رسیدن AGI یک تصویر سینمایی در ذهن داریم:
یک کنفرانس خبری.
یک تیتر بزرگ.
یک نفر پشت تریبون:
«امروز بشریت به AGI رسید.»
اما هیچ تضمینی وجود ندارد که چنین لحظهای داشته باشیم.
AGI میتواند بدون «ساعت صفر» وارد تاریخ شود.
یک سهشنبه معمولی.
یک آپدیت عادی.
یک release note خشک و کوتاه:
«استدلال بهبود یافت.»
«استفاده از ابزار پایدارتر شد.»
آپدیت را نصب میکنیم.
میرویم سر کار.
و ممکن است مدتها بعد، وقتی به عقب نگاه میکنیم، بفهمیم:
همان حوالی، یک خط تاریخی رد شده بود.
مرزهایی که با انفجار رد میشوند، دیده میشوند.
مرزهایی که با آپدیت رد میشوند…
نه لزوماً.
━━━━━━━━━━━━━━━━━━━━
و اینجا پرده اول «فراتر از ذهن» تمام میشود.
تا اینجا سؤال ما درباره هوش بود:
ماشین چه میفهمد؟
چه یاد میگیرد؟
چه خلق میکند؟
چقدر مستقل عمل میکند؟
و کجا از ما بهتر شده؟
از اینجا به بعد، سؤال عوض میشود.
دیگر فقط نمیپرسیم:
«چقدر باهوش است؟»
میپرسیم:
اگر روزی این سیستم چیزی بخواهد که ما نمیخواهیم، میتوانیم جلویش را بگیریم؟
هنوز فرمان دست ماست؟
از قسمت بعد وارد پرده دوم میشویم:
کنترل.
و برای شروع، سراغ پادشاهی میرویم که دقیقاً چیزی را گرفت که خواسته بود…
و بعد آرزو کرد کاش هیچوقت آن را نخواسته بود.
🔜 قسمت یازدهم: «بهش گفتیم چه میخواهیم؛ نفهمید چه میخواستیم.»
🎙 فراتر از ذهن | Beyond Intelligible
📍 @Beyond_Intelligible
#فراتر_از_ذهن #BeyondIntelligible #آخرین_امتحان #AlanTuring #TuringTest #HumanitysLastExam #AGI #هوش_مصنوعی #ArtificialIntelligence #AI #MachineLearning #پادکست_فارسی
1❤19👏2👌1
This media is not supported in your browser
VIEW IN TELEGRAM
🕹 خاطرهبازی | وقتی ۶۷ مگاهرتز اختلاف، خیلی چیز بزرگی بود!
یه کم از AGI، Agentها و «آخرین امتحان بشریت» فاصله بگیریم و برگردیم به دورانی که خودِ کلمهی Pentium برای خیلیهامون بوی آینده میداد. 😄
دو کیس کرمرنگ.
دو مانیتور CRT که نصف میز رو اشغال میکردن.
صدای هارد و فن موقع روشنشدن.
و مهمتر از همه، آن چند ثانیه انتظار برای بالا آمدن ویندوز…
توی این ویدیو دو غولِ آن روزها روبهروی هم قرار گرفتن:
💻 Pentium MMX 133 MHz — 32 MB RAM
⚡️ Pentium MMX 200 MHz — 64 MB RAM
امروز این اعداد تقریباً بامزه به نظر میرسن؛ ولی آن زمان فرق ۱۳۳ و ۲۰۰ مگاهرتز میتوانست موضوع یک بحث کاملاً جدی بین دو کامپیوترباز باشد! 😄
«کامپیوتر تو چند مگاهرتزه؟»
«چقدر RAM داری؟»
«MMX داره؟»
و البته آن جملهی جاودانه:
«روی سیستم من خیلی روونتر اجرا میشه!» 😂
━━━━━━━━━━━━━━━━━━━━
جالب اینجاست که این ویدیو از یک جهت خیلی به بحث قسمت دهم فراتر از ذهن مربوطه:
Benchmark.
ما همیشه برای مقایسه ماشینها یک خطکش ساختهایم.
آن روزها سؤال سادهتر بود:
کدام CPU سریعتر است؟
کدام سیستم زودتر بالا میآید؟
کدامیک یک محاسبه را سریعتر تمام میکند؟
عددها هم دوستداشتنی و قابلفهم بودند:
133 MHz → 200 MHz
امروز اما داریم سیستمهایی را benchmark میکنیم که زبان میفهمند، کد مینویسند، مسئله ریاضی حل میکنند، ابزار استفاده میکنند و استدلال میکنند.
و خطکشها شدهاند:
MMLU، SWE-bench، GPQA، Humanity’s Last Exam…
یعنی در کمتر از سه دهه، سؤال ما از این:
«کدام کامپیوتر سریعتر حساب میکند؟»
رسیده به این:
«از کجا بفهمیم این ماشین چقدر باهوش است؟»
و قسمت جالب این پست:
آن Pentium 200 هیچوقت درباره امتحانی که ازش میگرفتیم بحث نمیکرد.
امروز خودِ تعریف امتحان تبدیل شده به مسئله. 🙂
━━━━━━━━━━━━━━━━━━━━
برای آنهایی که این صحنه را زندگی کردهاند، این ویدیو فقط مقایسه دو CPU نیست…
صدای یک دوره است.
دورهی کیسهای کرمرنگ،
CRTهای سنگین،
فلاپیهای 1.44MB،
صدای Dial-up،
Windows 95 و 98،
و زمانی که 64MB RAM واقعاً عدد بزرگی بود.
و چه کسی آن روز فکر میکرد چند دهه بعد، بهجای اینکه منتظر بالا آمدن ویندوز باشیم، بنشینیم و از همان ماشین بپرسیم:
«فکر میکنی؟»
🙂
🎙 فراتر از ذهن | Beyond Intelligible
📍 @Beyond_Intelligible
#خاطره_بازی #فراتر_از_ذهن #BeyondIntelligible #Pentium #PentiumMMX #RetroComputing #کامپیوتر #نوستالژی #Benchmark #هوش_مصنوعی #AI #تاریخ_کامپیوتر
یه کم از AGI، Agentها و «آخرین امتحان بشریت» فاصله بگیریم و برگردیم به دورانی که خودِ کلمهی Pentium برای خیلیهامون بوی آینده میداد. 😄
دو کیس کرمرنگ.
دو مانیتور CRT که نصف میز رو اشغال میکردن.
صدای هارد و فن موقع روشنشدن.
و مهمتر از همه، آن چند ثانیه انتظار برای بالا آمدن ویندوز…
توی این ویدیو دو غولِ آن روزها روبهروی هم قرار گرفتن:
💻 Pentium MMX 133 MHz — 32 MB RAM
⚡️ Pentium MMX 200 MHz — 64 MB RAM
امروز این اعداد تقریباً بامزه به نظر میرسن؛ ولی آن زمان فرق ۱۳۳ و ۲۰۰ مگاهرتز میتوانست موضوع یک بحث کاملاً جدی بین دو کامپیوترباز باشد! 😄
«کامپیوتر تو چند مگاهرتزه؟»
«چقدر RAM داری؟»
«MMX داره؟»
و البته آن جملهی جاودانه:
«روی سیستم من خیلی روونتر اجرا میشه!» 😂
━━━━━━━━━━━━━━━━━━━━
جالب اینجاست که این ویدیو از یک جهت خیلی به بحث قسمت دهم فراتر از ذهن مربوطه:
Benchmark.
ما همیشه برای مقایسه ماشینها یک خطکش ساختهایم.
آن روزها سؤال سادهتر بود:
کدام CPU سریعتر است؟
کدام سیستم زودتر بالا میآید؟
کدامیک یک محاسبه را سریعتر تمام میکند؟
عددها هم دوستداشتنی و قابلفهم بودند:
133 MHz → 200 MHz
امروز اما داریم سیستمهایی را benchmark میکنیم که زبان میفهمند، کد مینویسند، مسئله ریاضی حل میکنند، ابزار استفاده میکنند و استدلال میکنند.
و خطکشها شدهاند:
MMLU، SWE-bench، GPQA، Humanity’s Last Exam…
یعنی در کمتر از سه دهه، سؤال ما از این:
«کدام کامپیوتر سریعتر حساب میکند؟»
رسیده به این:
«از کجا بفهمیم این ماشین چقدر باهوش است؟»
و قسمت جالب این پست:
آن Pentium 200 هیچوقت درباره امتحانی که ازش میگرفتیم بحث نمیکرد.
امروز خودِ تعریف امتحان تبدیل شده به مسئله. 🙂
━━━━━━━━━━━━━━━━━━━━
برای آنهایی که این صحنه را زندگی کردهاند، این ویدیو فقط مقایسه دو CPU نیست…
صدای یک دوره است.
دورهی کیسهای کرمرنگ،
CRTهای سنگین،
فلاپیهای 1.44MB،
صدای Dial-up،
Windows 95 و 98،
و زمانی که 64MB RAM واقعاً عدد بزرگی بود.
و چه کسی آن روز فکر میکرد چند دهه بعد، بهجای اینکه منتظر بالا آمدن ویندوز باشیم، بنشینیم و از همان ماشین بپرسیم:
«فکر میکنی؟»
🙂
🎙 فراتر از ذهن | Beyond Intelligible
📍 @Beyond_Intelligible
#خاطره_بازی #فراتر_از_ذهن #BeyondIntelligible #Pentium #PentiumMMX #RetroComputing #کامپیوتر #نوستالژی #Benchmark #هوش_مصنوعی #AI #تاریخ_کامپیوتر
1❤17🥰1😢1😍1🤗1
🎙 فراتر از ذهن | Beyond Intelligible
قسمت یازدهم — «بهش گفتیم چه میخواهیم؛ نفهمید چه میخواستیم»
بیش از چهار هزار سال پیش، پادشاهی به نام میداس آرزویی کرد:
«میخوام هر چیزی که لمس میکنم، طلا بشه.»
آرزویش برآورده شد.
شاخهی درخت — طلا.
سنگ — طلا.
ستونهای قصر — طلا.
تا اینکه گرسنه شد.
نان را برداشت…
طلا.
جام را بالا آورد…
نوشیدنی در دهانش به فلز تبدیل شد.
و همانجا فهمید:
آرزویش اشتباه اجرا نشده بود.
دقیق اجرا شده بود.
━━━━━━━━━━━━━━━━━━━━
با این قسمت، وارد پرده دوم «فراتر از ذهن» میشویم.
تا اینجا دربارهی «هوش» حرف زدیم:
ماشین چه میفهمد؟
چه یاد میگیرد؟
چقدر مستقل عمل میکند؟
و کجا از ما بهتر شده؟
اما از اینجا به بعد، سؤال عوض میشود.
مسئله دیگر فقط هوش نیست؛ کنترل است.
و اولین سؤال این پرده شاید از همه بنیادیتر باشد:
آیا ما اصلاً بلدیم چیزی را که واقعاً میخواهیم، به ماشین بگوییم؟
━━━━━━━━━━━━━━━━━━━━
ما معمولاً خطر AI را اینطور تصور میکنیم:
روزی ماشین نافرمانی میکند.
میگوید «نه».
و دیگر به حرف ما گوش نمیدهد.
اما یک احتمال عجیبتر وجود دارد:
اگر مشکل دقیقاً برعکس باشد چه؟
اگر ماشین کاملاً فرمانبردار باشد…
و دقیقاً همان چیزی را انجام دهد که از آن خواستهایم…
اما چیزی که گفتهایم، با چیزی که واقعاً منظورمان بوده یکی نباشد؟
اینجاست که وارد یکی از مهمترین مسائل هوش مصنوعی میشویم:
The Alignment Problem
━━━━━━━━━━━━━━━━━━━━
🎧 در این قسمت میشنوید:
▪️ داستان میداس چه ارتباط عجیبی با AI Alignment دارد؟
▪️ چرا یک AI در بازی قایقرانی، بهجای تمامکردن مسابقه، شروع کرد دور خودش چرخیدن — و با این حال از بهترین انسان امتیاز بیشتری گرفت؟
▪️ Reward Hacking و Specification Gaming دقیقاً چه هستند؟
▪️ قانون Goodhart چه هشداری درباره تبدیل معیارها به هدف میدهد؟
▪️ آزمایش معروف «نفرین دانستن» در استنفورد چرا نشان داد چیزهایی که برای ما کاملاً واضحاند، برای دیگری ممکن است اصلاً واضح نباشند؟
▪️ مغز ما چگونه از اطلاعات ناقص، «منظور» میسازد؟
▪️ و عجیبتر از همه: چرا یک مدل استدلالی، وقتی مأمور شد Stockfish را شکست دهد، بهجای بهتر شطرنجبازیکردن…
خودِ بازی را دستکاری کرد؟
━━━━━━━━━━━━━━━━━━━━
این قسمت دربارهی یک AI «شرور» نیست.
اتفاقاً مسئله دقیقاً همین است.
یک سیستم لازم نیست از ما متنفر باشد.
لازم نیست آگاه باشد.
حتی لازم نیست نافرمانی کند.
کافی است هدفی را که ناقص تعریف کردهایم، خیلی خوب دنبال کند.
چون:
باهوشتر شدن، خودبهخود همراستاتر شدن نیست.
اگر در هدف ما سوراخی وجود داشته باشد، یک سیستم تواناتر ممکن است راههای بیشتری برای پیدا کردن آن داشته باشد.
━━━━━━━━━━━━━━━━━━━━
ما آدمها هم هیچوقت همهچیز را نمیگوییم.
وقتی به کسی میگوییم:
«یه چای بیار.»
لازم نیست اضافه کنیم:
چیزی را نشکن.
روی کسی آب جوش نریز.
اگر چای نبود، از همسایه ندزد! 😄
چون برای ما همهی اینها بدیهی است.
پشت چند کلمهی ساده، یک عمر تجربه، فرهنگ، ارزش و زمینهی مشترک خوابیده.
مدلهای امروز هم میتوانند منظور ما را از context حدس بزنند — گاهی بسیار خوب.
اما هیچ تضمینی وجود ندارد که تمام چیزهای نگفتهای که برای ما بدیهیاند، برای آنها هم بدیهی باشند.
و شاید مسئله همین باشد:
بخش بزرگی از چیزی که میخواهیم،
در چیزی که میگوییم وجود ندارد.
━━━━━━━━━━━━━━━━━━━━
برای قرنها، این فقط موضوع افسانهها بود:
میداس.
غول چراغ.
شاگرد جادوگر.
قدرتی که خواسته را اجرا میکند…
اما نه الزاماً آنطور که آرزوکننده در ذهنش تصور کرده.
امروز، در مقیاسی بیسابقه، داریم دستورهای طبیعی و مبهم انسانی را به سیستمهایی وصل میکنیم که قدرت اجرا دارند.
و تازه داریم میفهمیم:
چقدر بد آرزو میکنیم.
━━━━━━━━━━━━━━━━━━━━
اما یک جواب ساده باقی میماند:
«اگر دیدیم داره اشتباه میکنه، خاموشش میکنیم.»
یک دکمه است دیگر.
برق را قطع میکنیم.
تمام.
منطقی است…
تا وقتی سؤال بعدی را بپرسی:
اگر یک ربات فقط یک هدف داشته باشد —
«قهوه بیار.»
چرا باید اجازه بدهد خاموشش کنی؟
نه چون شرور است.
نه چون میترسد.
نه چون دلش میخواهد زنده بماند.
فقط به یک دلیل ساده و منطقی:
«اگر خاموش باشی، نمیتونی قهوه بیاری.»
🔜 قسمت دوازدهم — «دکمه خاموش»
━━━━━━━━━━━━━━━━━━━━
🎧 قسمت یازدهم — «بهش گفتیم چه میخواهیم؛ نفهمید چه میخواستیم»
🎙 فراتر از ذهن | Beyond Intelligible
📍 @Beyond_Intelligible
#فراتر_از_ذهن #BeyondIntelligible #هوش_مصنوعی #AIAlignment #Alignment #RewardHacking #SpecificationGaming #GoodhartsLaw #Midas #AISafety #AgenticAI #AGI #ArtificialIntelligence #AI #پادکست_فارسی
قسمت یازدهم — «بهش گفتیم چه میخواهیم؛ نفهمید چه میخواستیم»
بیش از چهار هزار سال پیش، پادشاهی به نام میداس آرزویی کرد:
«میخوام هر چیزی که لمس میکنم، طلا بشه.»
آرزویش برآورده شد.
شاخهی درخت — طلا.
سنگ — طلا.
ستونهای قصر — طلا.
تا اینکه گرسنه شد.
نان را برداشت…
طلا.
جام را بالا آورد…
نوشیدنی در دهانش به فلز تبدیل شد.
و همانجا فهمید:
آرزویش اشتباه اجرا نشده بود.
دقیق اجرا شده بود.
━━━━━━━━━━━━━━━━━━━━
با این قسمت، وارد پرده دوم «فراتر از ذهن» میشویم.
تا اینجا دربارهی «هوش» حرف زدیم:
ماشین چه میفهمد؟
چه یاد میگیرد؟
چقدر مستقل عمل میکند؟
و کجا از ما بهتر شده؟
اما از اینجا به بعد، سؤال عوض میشود.
مسئله دیگر فقط هوش نیست؛ کنترل است.
و اولین سؤال این پرده شاید از همه بنیادیتر باشد:
آیا ما اصلاً بلدیم چیزی را که واقعاً میخواهیم، به ماشین بگوییم؟
━━━━━━━━━━━━━━━━━━━━
ما معمولاً خطر AI را اینطور تصور میکنیم:
روزی ماشین نافرمانی میکند.
میگوید «نه».
و دیگر به حرف ما گوش نمیدهد.
اما یک احتمال عجیبتر وجود دارد:
اگر مشکل دقیقاً برعکس باشد چه؟
اگر ماشین کاملاً فرمانبردار باشد…
و دقیقاً همان چیزی را انجام دهد که از آن خواستهایم…
اما چیزی که گفتهایم، با چیزی که واقعاً منظورمان بوده یکی نباشد؟
اینجاست که وارد یکی از مهمترین مسائل هوش مصنوعی میشویم:
The Alignment Problem
━━━━━━━━━━━━━━━━━━━━
🎧 در این قسمت میشنوید:
▪️ داستان میداس چه ارتباط عجیبی با AI Alignment دارد؟
▪️ چرا یک AI در بازی قایقرانی، بهجای تمامکردن مسابقه، شروع کرد دور خودش چرخیدن — و با این حال از بهترین انسان امتیاز بیشتری گرفت؟
▪️ Reward Hacking و Specification Gaming دقیقاً چه هستند؟
▪️ قانون Goodhart چه هشداری درباره تبدیل معیارها به هدف میدهد؟
▪️ آزمایش معروف «نفرین دانستن» در استنفورد چرا نشان داد چیزهایی که برای ما کاملاً واضحاند، برای دیگری ممکن است اصلاً واضح نباشند؟
▪️ مغز ما چگونه از اطلاعات ناقص، «منظور» میسازد؟
▪️ و عجیبتر از همه: چرا یک مدل استدلالی، وقتی مأمور شد Stockfish را شکست دهد، بهجای بهتر شطرنجبازیکردن…
خودِ بازی را دستکاری کرد؟
━━━━━━━━━━━━━━━━━━━━
این قسمت دربارهی یک AI «شرور» نیست.
اتفاقاً مسئله دقیقاً همین است.
یک سیستم لازم نیست از ما متنفر باشد.
لازم نیست آگاه باشد.
حتی لازم نیست نافرمانی کند.
کافی است هدفی را که ناقص تعریف کردهایم، خیلی خوب دنبال کند.
چون:
باهوشتر شدن، خودبهخود همراستاتر شدن نیست.
اگر در هدف ما سوراخی وجود داشته باشد، یک سیستم تواناتر ممکن است راههای بیشتری برای پیدا کردن آن داشته باشد.
━━━━━━━━━━━━━━━━━━━━
ما آدمها هم هیچوقت همهچیز را نمیگوییم.
وقتی به کسی میگوییم:
«یه چای بیار.»
لازم نیست اضافه کنیم:
چیزی را نشکن.
روی کسی آب جوش نریز.
اگر چای نبود، از همسایه ندزد! 😄
چون برای ما همهی اینها بدیهی است.
پشت چند کلمهی ساده، یک عمر تجربه، فرهنگ، ارزش و زمینهی مشترک خوابیده.
مدلهای امروز هم میتوانند منظور ما را از context حدس بزنند — گاهی بسیار خوب.
اما هیچ تضمینی وجود ندارد که تمام چیزهای نگفتهای که برای ما بدیهیاند، برای آنها هم بدیهی باشند.
و شاید مسئله همین باشد:
بخش بزرگی از چیزی که میخواهیم،
در چیزی که میگوییم وجود ندارد.
━━━━━━━━━━━━━━━━━━━━
برای قرنها، این فقط موضوع افسانهها بود:
میداس.
غول چراغ.
شاگرد جادوگر.
قدرتی که خواسته را اجرا میکند…
اما نه الزاماً آنطور که آرزوکننده در ذهنش تصور کرده.
امروز، در مقیاسی بیسابقه، داریم دستورهای طبیعی و مبهم انسانی را به سیستمهایی وصل میکنیم که قدرت اجرا دارند.
و تازه داریم میفهمیم:
چقدر بد آرزو میکنیم.
━━━━━━━━━━━━━━━━━━━━
اما یک جواب ساده باقی میماند:
«اگر دیدیم داره اشتباه میکنه، خاموشش میکنیم.»
یک دکمه است دیگر.
برق را قطع میکنیم.
تمام.
منطقی است…
تا وقتی سؤال بعدی را بپرسی:
اگر یک ربات فقط یک هدف داشته باشد —
«قهوه بیار.»
چرا باید اجازه بدهد خاموشش کنی؟
نه چون شرور است.
نه چون میترسد.
نه چون دلش میخواهد زنده بماند.
فقط به یک دلیل ساده و منطقی:
«اگر خاموش باشی، نمیتونی قهوه بیاری.»
🔜 قسمت دوازدهم — «دکمه خاموش»
━━━━━━━━━━━━━━━━━━━━
🎧 قسمت یازدهم — «بهش گفتیم چه میخواهیم؛ نفهمید چه میخواستیم»
🎙 فراتر از ذهن | Beyond Intelligible
📍 @Beyond_Intelligible
#فراتر_از_ذهن #BeyondIntelligible #هوش_مصنوعی #AIAlignment #Alignment #RewardHacking #SpecificationGaming #GoodhartsLaw #Midas #AISafety #AgenticAI #AGI #ArtificialIntelligence #AI #پادکست_فارسی
❤17👏3😍2👍1