MatlabTips
🔥مدل زبانی جدید OpenAI موسوم به GPT-3🔥 دیروز OpenAI سومین مدل زبانی خود به نام GPT-3 را منتشر کرد. این غول ۱۷۵ میلیارد پارامتری بزرگترین مدل زبانی ساخته شده تا کنون است. بزرگترین مدل زبانی قبل از این متعلق به مایکروسافت بود که تعداد پارامتر هایش کمتر از یک…
چند نکته جالب دیگر در مورد مدل GPT3 OpenAI:
قدرت مدل در درک «فهم متعارفی» (common sense) از بهترین مدل های آموزش داده شده از قبل بسیار بهتر است. «فهم متعارفی» چیست؟ فهم متعارفی، یکی از دشوار ترین مسایل در هوش مصنوعی (یا شاید دشوار ترین مساله هوش مصنوعی) است. فهم متعارفی فهم روزمره ما از جهان است به طور مثال اگر یک تخم مرغ روی زمین بیفتد میشکند یا اگر نان در آب خیس شود دیگر قابل خوردن نیست یا اینکه اگر به کسی سیلی بزنید درد احساس می کند و ممکن است گریه کند! چنین چیزهایی را ما به کودک آموزش نمی دهیم بلکه خود کودک در تعامل با جهان اطرافش درک میکند. پژوهشگران هوش مصنوعی از چندین دهه پیش و در اوایل متوجه شدند برای آنکه یک سیستم هوشمند داشته باشیم باید بتوانیم چنین نوع دانشی (که در کتاب ها و ویکی پدیا و غیره پیدا نمی شود) را به سیستم ها یاد بدهیم. اگرچه شاید سخت بنظر نرسد اما در عمل مشخص شد چنین دانشی بسیار بسیار بزرگتر از دانش های مکتوب معمول است! امروزه دیتاست هایی برای سنجش فهم متعارفی ساخته شده اند که هر کدام به یک جنبه ان می پردازند. GPT3 توانسته به بالا ترین دقت یک سیستم در آن برسد (هرچند هنوز از انسان بسیار عقب است)
تنها علت موفقیت این مدل بزرگ بودن آن است! هیچ تغییر ساختاری یا معماری در آن انجام نشده است. همین باعث شده سوال های مهمی در مورد آینده هوش مصنوعی مطرح شود. آیا برای رسیدن به هوش انسانی صرفا کافی ست مدلها را بزرگتر و بزرگتر کنیم؟ یا اینکه نیاز داریم متدهای جدیدی را بررسی کنیم. اگر بزرگ کردن مدل تنها راه حل است چنین چیزی برای بسیاری از پژوهشگران غیر قابل دسترس است. یک تخمین نشان داده است هزینه آموزش GPT3 به اضافه هزینه حقوق افراد دخیل در پروژه حداقل ۱۸ میلیون دلار بوده است!! ( ۱۲ میلیون دلار آموزش بر روی سرور های مایکروسافت و ۶ میلیون دلار حقوق و بقیه هزینه ها) چنین عددی با بودجه یک فیلم هالیوودی متوسط برابری میکند! از طرفی نگرانی های زیادی در مورد اثرات زیست محیطی آموزش چنین مدلهای بزرگی وجود دارد چرا که این مدلها در طی چند روز براحتی به اندازه برق یک شهر متوسط انرژی مصرف میکنند. چنین جزییاتی باعث می شود که عقب بایستیم و در مورد اینکه باید درباره آینده هوش مصنوعی چکار کرد دوباره فکر کنیم
#gpt3
@matlabtips
قدرت مدل در درک «فهم متعارفی» (common sense) از بهترین مدل های آموزش داده شده از قبل بسیار بهتر است. «فهم متعارفی» چیست؟ فهم متعارفی، یکی از دشوار ترین مسایل در هوش مصنوعی (یا شاید دشوار ترین مساله هوش مصنوعی) است. فهم متعارفی فهم روزمره ما از جهان است به طور مثال اگر یک تخم مرغ روی زمین بیفتد میشکند یا اگر نان در آب خیس شود دیگر قابل خوردن نیست یا اینکه اگر به کسی سیلی بزنید درد احساس می کند و ممکن است گریه کند! چنین چیزهایی را ما به کودک آموزش نمی دهیم بلکه خود کودک در تعامل با جهان اطرافش درک میکند. پژوهشگران هوش مصنوعی از چندین دهه پیش و در اوایل متوجه شدند برای آنکه یک سیستم هوشمند داشته باشیم باید بتوانیم چنین نوع دانشی (که در کتاب ها و ویکی پدیا و غیره پیدا نمی شود) را به سیستم ها یاد بدهیم. اگرچه شاید سخت بنظر نرسد اما در عمل مشخص شد چنین دانشی بسیار بسیار بزرگتر از دانش های مکتوب معمول است! امروزه دیتاست هایی برای سنجش فهم متعارفی ساخته شده اند که هر کدام به یک جنبه ان می پردازند. GPT3 توانسته به بالا ترین دقت یک سیستم در آن برسد (هرچند هنوز از انسان بسیار عقب است)
تنها علت موفقیت این مدل بزرگ بودن آن است! هیچ تغییر ساختاری یا معماری در آن انجام نشده است. همین باعث شده سوال های مهمی در مورد آینده هوش مصنوعی مطرح شود. آیا برای رسیدن به هوش انسانی صرفا کافی ست مدلها را بزرگتر و بزرگتر کنیم؟ یا اینکه نیاز داریم متدهای جدیدی را بررسی کنیم. اگر بزرگ کردن مدل تنها راه حل است چنین چیزی برای بسیاری از پژوهشگران غیر قابل دسترس است. یک تخمین نشان داده است هزینه آموزش GPT3 به اضافه هزینه حقوق افراد دخیل در پروژه حداقل ۱۸ میلیون دلار بوده است!! ( ۱۲ میلیون دلار آموزش بر روی سرور های مایکروسافت و ۶ میلیون دلار حقوق و بقیه هزینه ها) چنین عددی با بودجه یک فیلم هالیوودی متوسط برابری میکند! از طرفی نگرانی های زیادی در مورد اثرات زیست محیطی آموزش چنین مدلهای بزرگی وجود دارد چرا که این مدلها در طی چند روز براحتی به اندازه برق یک شهر متوسط انرژی مصرف میکنند. چنین جزییاتی باعث می شود که عقب بایستیم و در مورد اینکه باید درباره آینده هوش مصنوعی چکار کرد دوباره فکر کنیم
#gpt3
@matlabtips
Can we control GPT-3 to write stories on desired topics? In our recent project, we address the problem of controlled text generation without the massive infrastructure to train it! You can make GPT-3 (or any transformer-based model) to talk about things you like with almost zero extra effort!
#machinelearning #naturallanguageprocessing #transformers #gpt3
Paper (Accepted in the Journal of Natural Language Engineering): https://lnkd.in/esrF2eU
Code: https://lnkd.in/e2i4m-S
Blog: https://bit.ly/3bI4K9D
#machinelearning #naturallanguageprocessing #transformers #gpt3
Paper (Accepted in the Journal of Natural Language Engineering): https://lnkd.in/esrF2eU
Code: https://lnkd.in/e2i4m-S
Blog: https://bit.ly/3bI4K9D