Machine Learning NLP + CV
OpenAI Unveils 175 Billion Parameter GPT-3 Language Model https://medium.com/@Synced/openai-unveils-175-billion-parameter-gpt-3-language-model-3d3f453124cd #NLP #GPT-3 @ml_nlp_cv
نکته دیگری در مورد مدل GPT3 OpenAI:
قدرت مدل در درک common sense از بهترین مدل های آموزش داده شده قبلی بسیار بهتر است. Common sense یکی از دشوار ترین مسایل در هوش مصنوعی (یا شاید دشوار ترین مساله هوش مصنوعی) باشد و فهم روزمره ما از جهان است به طور مثال اگر یک تخم مرغ روی زمین بیفتد میشکند یا اگر نان در آب خیس شود دیگر قابل خوردن نیست یا اینکه اگر به کسی سیلی بزنید درد احساس می کند و ممکن است گریه کند! چنین چیزهایی را ما به کودک آموزش نمی دهیم بلکه خود کودک در تعامل با جهان اطرافش درک میکند. پژوهشگران هوش مصنوعی از چندین دهه پیش و در اوایل متوجه شدند برای آنکه یک سیستم هوشمند داشته باشیم باید بتوانیم چنین نوع دانشی (که در کتاب ها و ویکی پدیا و غیره پیدا نمی شود) را به سیستم ها یاد بدهیم. اگرچه شاید سخت بنظر نرسد اما در عمل مشخص شد چنین دانشی بسیار بسیار بزرگتر از دانش های مکتوب معمول است! امروزه دیتاست هایی برای سنجش common sense ساخته شده اند که هر کدام به یک جنبه ان می پردازند. GPT3 توانسته به بالا ترین دقت یک سیستم در آن برسد (هرچند هنوز از انسان بسیار عقب است)
تنها علت موفقیت این مدل بزرگ بودن آن است! هیچ تغییر ساختاری یا معماری در آن انجام نشده است. همین باعث شده سوال های مهمی در مورد آینده هوش مصنوعی مطرح شود. آیا برای رسیدن به هوش انسانی صرفا کافی ست مدلها را بزرگتر و بزرگتر کنیم؟ یا اینکه نیاز داریم متدهای جدیدی را بررسی کنیم. اگر بزرگ کردن مدل تنها راه حل است چنین چیزی برای بسیاری از پژوهشگران غیر قابل دسترس است. یک تخمین نشان داده است هزینه آموزش GPT3 به اضافه هزینه حقوق افراد دخیل در پروژه حداقل ۱۸ میلیون دلار بوده است!! ( ۱۲ میلیون دلار آموزش بر روی سرور های مایکروسافت و ۶ میلیون دلار حقوق و بقیه هزینه ها) چنین عددی با بودجه یک فیلم هالیوودی متوسط برابری میکند!
#nlp #common_sense
@ml_nlp_cv
قدرت مدل در درک common sense از بهترین مدل های آموزش داده شده قبلی بسیار بهتر است. Common sense یکی از دشوار ترین مسایل در هوش مصنوعی (یا شاید دشوار ترین مساله هوش مصنوعی) باشد و فهم روزمره ما از جهان است به طور مثال اگر یک تخم مرغ روی زمین بیفتد میشکند یا اگر نان در آب خیس شود دیگر قابل خوردن نیست یا اینکه اگر به کسی سیلی بزنید درد احساس می کند و ممکن است گریه کند! چنین چیزهایی را ما به کودک آموزش نمی دهیم بلکه خود کودک در تعامل با جهان اطرافش درک میکند. پژوهشگران هوش مصنوعی از چندین دهه پیش و در اوایل متوجه شدند برای آنکه یک سیستم هوشمند داشته باشیم باید بتوانیم چنین نوع دانشی (که در کتاب ها و ویکی پدیا و غیره پیدا نمی شود) را به سیستم ها یاد بدهیم. اگرچه شاید سخت بنظر نرسد اما در عمل مشخص شد چنین دانشی بسیار بسیار بزرگتر از دانش های مکتوب معمول است! امروزه دیتاست هایی برای سنجش common sense ساخته شده اند که هر کدام به یک جنبه ان می پردازند. GPT3 توانسته به بالا ترین دقت یک سیستم در آن برسد (هرچند هنوز از انسان بسیار عقب است)
تنها علت موفقیت این مدل بزرگ بودن آن است! هیچ تغییر ساختاری یا معماری در آن انجام نشده است. همین باعث شده سوال های مهمی در مورد آینده هوش مصنوعی مطرح شود. آیا برای رسیدن به هوش انسانی صرفا کافی ست مدلها را بزرگتر و بزرگتر کنیم؟ یا اینکه نیاز داریم متدهای جدیدی را بررسی کنیم. اگر بزرگ کردن مدل تنها راه حل است چنین چیزی برای بسیاری از پژوهشگران غیر قابل دسترس است. یک تخمین نشان داده است هزینه آموزش GPT3 به اضافه هزینه حقوق افراد دخیل در پروژه حداقل ۱۸ میلیون دلار بوده است!! ( ۱۲ میلیون دلار آموزش بر روی سرور های مایکروسافت و ۶ میلیون دلار حقوق و بقیه هزینه ها) چنین عددی با بودجه یک فیلم هالیوودی متوسط برابری میکند!
#nlp #common_sense
@ml_nlp_cv
می بینیم که اخیراً با مدل زبانی GPT_3 (و سایر مدلهای زبانی) دارند هوش مصنوعی های فوق العاده ای رو توسعه می دهند. هوش مصنوعی هایی که حائز AGI هستن (عملکردشون قابل تمایز از انسان نیست) و...
اما زمانی که بخواهیم هوش مصنوعی مان بهره ای از common sense (عقل سلیم) هم برده باشد، زبان جای مناسبی برای شروع نیست. در مقالهٔ زیر که در مجلهٔ Cell چاپ شده، نویسندگان بحث کرده اند که بر اساس تعامل یک هوشمندیِ دارای بدن، با یک محیط سه بعدیِ حاوی اشیاء است که می توان عقل سلیم را تعریف کرد!
https://www.cell.com/trends/cognitive-sciences/fulltext/S1364-6613(20)30216-3
#AI #Common_Sense #cognitive_science #Reasoning
#GPT_3 #AGI
@ml_nlp_cv
اما زمانی که بخواهیم هوش مصنوعی مان بهره ای از common sense (عقل سلیم) هم برده باشد، زبان جای مناسبی برای شروع نیست. در مقالهٔ زیر که در مجلهٔ Cell چاپ شده، نویسندگان بحث کرده اند که بر اساس تعامل یک هوشمندیِ دارای بدن، با یک محیط سه بعدیِ حاوی اشیاء است که می توان عقل سلیم را تعریف کرد!
https://www.cell.com/trends/cognitive-sciences/fulltext/S1364-6613(20)30216-3
#AI #Common_Sense #cognitive_science #Reasoning
#GPT_3 #AGI
@ml_nlp_cv