داشتم با هوش مصنوعی بحث میکردم، سر یک ایده، و همش منفی بافی میکردم که ارزشش رو نداره و.. ـ
یه جملهای گفت که جالب بود برام.
"روی ساختن جامعهای تمرکز کن که مغز دارند، نه فقط دو تا انگشت برای لایک زدن."
یه جملهای گفت که جالب بود برام.
"روی ساختن جامعهای تمرکز کن که مغز دارند، نه فقط دو تا انگشت برای لایک زدن."
👍2
بازه باز
داشتم با هوش مصنوعی بحث میکردم، سر یک ایده، و همش منفی بافی میکردم که ارزشش رو نداره و.. ـ یه جملهای گفت که جالب بود برام. "روی ساختن جامعهای تمرکز کن که مغز دارند، نه فقط دو تا انگشت برای لایک زدن."
یک چیزی داریم در ماشین لرنینگ به نام سوگیری استقرایی،
Inductive Bias
همه پیشفرضها، لیمیتها و فرضیاتی که یک الگوریتم ML به کار میگیره تا در مورد آیندهای که نمیدونه چیه قضاوت کنه
Inductive Bias
همه پیشفرضها، لیمیتها و فرضیاتی که یک الگوریتم ML به کار میگیره تا در مورد آیندهای که نمیدونه چیه قضاوت کنه
بازه باز
یک چیزی داریم در ماشین لرنینگ به نام سوگیری استقرایی، Inductive Bias همه پیشفرضها، لیمیتها و فرضیاتی که یک الگوریتم ML به کار میگیره تا در مورد آیندهای که نمیدونه چیه قضاوت کنه
به معنای دیگه مدل برای پر کردن شکاف بین چیزی که آموزش دیده
و چیزی که در واقعیت اتفاق میافته به یک سری فرضهای اولیه راجع به جهان نیاز داره.
تا بتونه فرض جدید ببافه
و چیزی که در واقعیت اتفاق میافته به یک سری فرضهای اولیه راجع به جهان نیاز داره.
تا بتونه فرض جدید ببافه
بازه باز
به معنای دیگه مدل برای پر کردن شکاف بین چیزی که آموزش دیده و چیزی که در واقعیت اتفاق میافته به یک سری فرضهای اولیه راجع به جهان نیاز داره. تا بتونه فرض جدید ببافه
بدون فرض اولیه مدل صرفا یه طوطی حفظ کننده میشه
نمیتونه قوانین پایه رو درک کنه.
نمیتونه قوانین پایه رو درک کنه.
بازه باز
بدون فرض اولیه مدل صرفا یه طوطی حفظ کننده میشه نمیتونه قوانین پایه رو درک کنه.
مشکل اینجاست که اگر فرض زیاد بدی مدل تنبل میشه و دنبال فرض جدید نمیره به نوعی لیمیت فرضی میخوره.
اما اگر هم فرض ندی، مدل خیلی گنجایش یادگیری داره ولی برای درک بدیهیترین چیزها کلی انرژی و مطلب بهش بدی بخوره.
اما اگر هم فرض ندی، مدل خیلی گنجایش یادگیری داره ولی برای درک بدیهیترین چیزها کلی انرژی و مطلب بهش بدی بخوره.
بازه باز
مشکل اینجاست که اگر فرض زیاد بدی مدل تنبل میشه و دنبال فرض جدید نمیره به نوعی لیمیت فرضی میخوره. اما اگر هم فرض ندی، مدل خیلی گنجایش یادگیری داره ولی برای درک بدیهیترین چیزها کلی انرژی و مطلب بهش بدی بخوره.
توی شبکههای CNN چالش این بود که
مثلا میگفتن یک تصویر با تمام پیکسلها کنار هم یک تصویر رو تشکیل میدن
پیش فرض مدل این بود.
بعد میومدن برای تشخیص مثلا خر، مدل رو روی کلی تصویر خر آموزش میدادن
چالش این بود مدل تا فرض خالقش بالا میومد نه بیشتر.
مثلا میگفتن یک تصویر با تمام پیکسلها کنار هم یک تصویر رو تشکیل میدن
پیش فرض مدل این بود.
بعد میومدن برای تشخیص مثلا خر، مدل رو روی کلی تصویر خر آموزش میدادن
چالش این بود مدل تا فرض خالقش بالا میومد نه بیشتر.
بازه باز
توی شبکههای CNN چالش این بود که مثلا میگفتن یک تصویر با تمام پیکسلها کنار هم یک تصویر رو تشکیل میدن پیش فرض مدل این بود. بعد میومدن برای تشخیص مثلا خر، مدل رو روی کلی تصویر خر آموزش میدادن چالش این بود مدل تا فرض خالقش بالا میومد نه بیشتر.
حالا این قضیش طولانیه
ترنسفورمرها اومدن مکانیزم توجه رو پیاده کردن تا مدل از این قید و بندها آزاد بشه.
البته سوگیری حل کامل نشده ولی خب خیلی رهاترش کرد.
ترنسفورمرها اومدن مکانیزم توجه رو پیاده کردن تا مدل از این قید و بندها آزاد بشه.
البته سوگیری حل کامل نشده ولی خب خیلی رهاترش کرد.
بازه باز
حالا این قضیش طولانیه ترنسفورمرها اومدن مکانیزم توجه رو پیاده کردن تا مدل از این قید و بندها آزاد بشه. البته سوگیری حل کامل نشده ولی خب خیلی رهاترش کرد.
کانت فیلسوف، در کتابهاش میگه که ذهن انسان هرگز واقعیت خام رو درک نمیکنه،
بلکه دیتای حسی از فیلتر چارچوبهای پیشینی مثل زمان و علیت، رد میکنه تا تجربه شکل بگیره.
کانت میگه هیچ موجود هوشمند مطلقی بدون سوگیری استقرایی وجود نداره
حذف کامل این سوگیری به معنای دستیابی به هوش برتر نیست، بلکه به معنای نابودی در میان نویز تصادفی جهان هست.
بلکه دیتای حسی از فیلتر چارچوبهای پیشینی مثل زمان و علیت، رد میکنه تا تجربه شکل بگیره.
کانت میگه هیچ موجود هوشمند مطلقی بدون سوگیری استقرایی وجود نداره
حذف کامل این سوگیری به معنای دستیابی به هوش برتر نیست، بلکه به معنای نابودی در میان نویز تصادفی جهان هست.
بازه باز
کانت فیلسوف، در کتابهاش میگه که ذهن انسان هرگز واقعیت خام رو درک نمیکنه، بلکه دیتای حسی از فیلتر چارچوبهای پیشینی مثل زمان و علیت، رد میکنه تا تجربه شکل بگیره. کانت میگه هیچ موجود هوشمند مطلقی بدون سوگیری استقرایی وجود نداره حذف کامل این سوگیری به…
در مقابل کانت، فیلسوف هیوم هم سوال جالبی مطرح میکنه.
هیوم میگه فرض کنیم تو راست میگی
ولی با چه منطقی مطمئنی که فردا خورشید طلوع میکنه؟
فقط چون در گذشته همیشه طلوع کرده؟
این استدلال اساسا دور باطله؛
چون برای اثبات اینکه آینده شبیه گذشته خواهد بود، از این فرض استفاده میشه که در گذشته، آینده شبیه گذشته بوده است.
هیوم میگه فرض کنیم تو راست میگی
ولی با چه منطقی مطمئنی که فردا خورشید طلوع میکنه؟
فقط چون در گذشته همیشه طلوع کرده؟
این استدلال اساسا دور باطله؛
چون برای اثبات اینکه آینده شبیه گذشته خواهد بود، از این فرض استفاده میشه که در گذشته، آینده شبیه گذشته بوده است.
بازه باز
در مقابل کانت، فیلسوف هیوم هم سوال جالبی مطرح میکنه. هیوم میگه فرض کنیم تو راست میگی ولی با چه منطقی مطمئنی که فردا خورشید طلوع میکنه؟ فقط چون در گذشته همیشه طلوع کرده؟ این استدلال اساسا دور باطله؛ چون برای اثبات اینکه آینده شبیه گذشته خواهد بود، از…
این غیرمنطقی به نظر میاد
ولی به طرز جالبی هوش مصنوعی رو این استدلالها ریشه کرده
و جدا از اینا نیست
ولی به طرز جالبی هوش مصنوعی رو این استدلالها ریشه کرده
و جدا از اینا نیست
بازه باز
این غیرمنطقی به نظر میاد ولی به طرز جالبی هوش مصنوعی رو این استدلالها ریشه کرده و جدا از اینا نیست
مثلا اینکه توی ml فرض میکنیم توزیع دیتاهای آموزش با توزیع دیتاهای تستی از یک منبع اومده،
اگر توزیع بهم بخوره، مدل فرو میپاشه.
اگر توزیع بهم بخوره، مدل فرو میپاشه.
بازه باز
مثلا اینکه توی ml فرض میکنیم توزیع دیتاهای آموزش با توزیع دیتاهای تستی از یک منبع اومده، اگر توزیع بهم بخوره، مدل فرو میپاشه.
توی دهه 70 و اینا
که یه سری الگوریتم خیلی خیلی ساده یادگیری میساختن
که بهش میگیم دوران هوش مصنوعی کلاسیک
این الگوریتم ها عمدتا با شکست فجیعی مواجه میشدن
بعد مک کارتی و یکی دو فیلسوف دیگه قضیه رو بررسی کردن
که یه سری الگوریتم خیلی خیلی ساده یادگیری میساختن
که بهش میگیم دوران هوش مصنوعی کلاسیک
این الگوریتم ها عمدتا با شکست فجیعی مواجه میشدن
بعد مک کارتی و یکی دو فیلسوف دیگه قضیه رو بررسی کردن
بازه باز
توی دهه 70 و اینا که یه سری الگوریتم خیلی خیلی ساده یادگیری میساختن که بهش میگیم دوران هوش مصنوعی کلاسیک این الگوریتم ها عمدتا با شکست فجیعی مواجه میشدن بعد مک کارتی و یکی دو فیلسوف دیگه قضیه رو بررسی کردن
گفتن که
ماشین نمیدونه چه چیزهایی تغییر نمیکنن
اگر یه رباتی لیوان قهوه رو جا به جا کنه آیا رنگ دیوار هم تغییر کرده؟ آیا جاذبه هنوز کار میکنه؟
ماشین نمیدونه چه چیزهایی تغییر نمیکنن
اگر یه رباتی لیوان قهوه رو جا به جا کنه آیا رنگ دیوار هم تغییر کرده؟ آیا جاذبه هنوز کار میکنه؟
بازه باز
گفتن که ماشین نمیدونه چه چیزهایی تغییر نمیکنن اگر یه رباتی لیوان قهوه رو جا به جا کنه آیا رنگ دیوار هم تغییر کرده؟ آیا جاذبه هنوز کار میکنه؟
در این حالت ماشین باید بی نهایت گزاره رو چکاب میکرد تا بتونه عمل کنه.
که خب شکست میخورد مشخصا
که خب شکست میخورد مشخصا
بازه باز
در این حالت ماشین باید بی نهایت گزاره رو چکاب میکرد تا بتونه عمل کنه. که خب شکست میخورد مشخصا
معماری ترنسفورمرها،
این چالشو حل کرد
به الگوریتم میگه به 99.99 درصد جهان توجه نکن فقط به چیزی که جلوته توجه کن.
این چالشو حل کرد
به الگوریتم میگه به 99.99 درصد جهان توجه نکن فقط به چیزی که جلوته توجه کن.
بازه باز
در مقابل کانت، فیلسوف هیوم هم سوال جالبی مطرح میکنه. هیوم میگه فرض کنیم تو راست میگی ولی با چه منطقی مطمئنی که فردا خورشید طلوع میکنه؟ فقط چون در گذشته همیشه طلوع کرده؟ این استدلال اساسا دور باطله؛ چون برای اثبات اینکه آینده شبیه گذشته خواهد بود، از…
خب برگردیم به هیوم
هیوم میگه ما هیچوقت رابطه علت و معلولی رو در جهان مشاهده نمیکنیم،
ما فقط توالی زمان و همبستگی وقایع رو میبینیم،
مثلا اول سنگ به شیشه میخوره بعد شیشه میشکنه.
ما شکستن رو میبینیم
اما اون نخ نامرئی
یعنی "علیت" رو حس نمیکنیم.
هیوم میگه ما هیچوقت رابطه علت و معلولی رو در جهان مشاهده نمیکنیم،
ما فقط توالی زمان و همبستگی وقایع رو میبینیم،
مثلا اول سنگ به شیشه میخوره بعد شیشه میشکنه.
ما شکستن رو میبینیم
اما اون نخ نامرئی
یعنی "علیت" رو حس نمیکنیم.
بازه باز
خب برگردیم به هیوم هیوم میگه ما هیچوقت رابطه علت و معلولی رو در جهان مشاهده نمیکنیم، ما فقط توالی زمان و همبستگی وقایع رو میبینیم، مثلا اول سنگ به شیشه میخوره بعد شیشه میشکنه. ما شکستن رو میبینیم اما اون نخ نامرئی یعنی "علیت" رو حس نمیکنیم.
جودیا پرل برنده جایزه تورینگ
میگه هوش بدون توانایی درک روابط علت و معلولی اساسا شکل نمیگیره.
و ماشینهای امروزی در پایین ترین سطح از ادراک گیر کردن.
میگه هوش بدون توانایی درک روابط علت و معلولی اساسا شکل نمیگیره.
و ماشینهای امروزی در پایین ترین سطح از ادراک گیر کردن.
بازه باز
جودیا پرل برنده جایزه تورینگ میگه هوش بدون توانایی درک روابط علت و معلولی اساسا شکل نمیگیره. و ماشینهای امروزی در پایین ترین سطح از ادراک گیر کردن.
یعنی میفتن توی همون لوپی که هیوم مطرح کرد
از کجا مطمئنی خورشید فردا طلوع میکنه فقط چون دیروز طلوع کرده؟
از کجا مطمئنی خورشید فردا طلوع میکنه فقط چون دیروز طلوع کرده؟
بازه باز
جودیا پرل برنده جایزه تورینگ میگه هوش بدون توانایی درک روابط علت و معلولی اساسا شکل نمیگیره. و ماشینهای امروزی در پایین ترین سطح از ادراک گیر کردن.
در واقع جولیا میگه که هوش مصنوعی امروزی اساسا هوش واقعی نیستن
چون این ai ها میان معناهای مختلفو کنار هم قرار میدن و چیز جدیدی از دلشون میکشن بیرون
ولی نمیتونن رابطه علیت رو حس کنن، درکش نمیکنن.
چون این ai ها میان معناهای مختلفو کنار هم قرار میدن و چیز جدیدی از دلشون میکشن بیرون
ولی نمیتونن رابطه علیت رو حس کنن، درکش نمیکنن.
بازه باز
در واقع جولیا میگه که هوش مصنوعی امروزی اساسا هوش واقعی نیستن چون این ai ها میان معناهای مختلفو کنار هم قرار میدن و چیز جدیدی از دلشون میکشن بیرون ولی نمیتونن رابطه علیت رو حس کنن، درکش نمیکنن.
حالا جولیا یه نردبان علیت میاد معرفی کنه و..
بحثش طولانیه
الان حضور ذهن ندارم بگم(پیچیدس نمیفهمم😂)
بحثش طولانیه
الان حضور ذهن ندارم بگم(پیچیدس نمیفهمم😂)