دوره
Natural Language Processing with Sequence Models
سایت کورسرا
22 Training NERs- Data Processing

#منابع #پردازش_زبان_طبیعی #الگوریتمها #کورسرا #فیلم

❇️ @AI_Python

دوره
Natural Language Processing with Sequence Models
سایت کورسرا
23 Computing Accuracy

#منابع #پردازش_زبان_طبیعی #الگوریتمها #کورسرا #فیلم

❇️ @AI_Python

از مرور روند توسعه تکنولوژی‌های پردازش زبان طبیعی تا هوش جامع مصنوعی با احسان خدام

احسان خدام از سال ۲۰۱۱ در حوزه‌ی پردازش زبان طبیعی کار می‌کند و سابقه‌ی کار تحقیقاتی و عملیاتی را در شرکت‌های بزرگی همچون بانک آی‌ان‌جی و ویوا سیستمز دارد. احسان، تحصیلات مقطع ارشد خود را در زمینه زبان‌شناسی رایانشی به اتمام رسانده است. او در دانشگاه آمستردام در مقطع دکتری به تحقیقات خود ادامه داده و سپس وارد صنعت شده است.

در این گفتگو درباره‌ی موضوعات مختلفی از جمله دلایل علاقه‌ی او به پردازش زبان طبیعی، تفاوت کار در صنعت با دانشگاه، روند تغییر ابزارهای پردازش زبان طبیعی، روند مصاحبه‌ در شرکت‌های بزرگ برای نقش‌های مرتبط با پردازش زبان طبیعی و بسیاری موضوعات دیگر گپ زدیم.

اگر سوال یا نکته‌ای بود، حتما در بخش‌ نظرات ویدیو درج کنید.

لینک تماشای مصاحبه روی یوتوب: https://youtu.be/g27vAx9VDQg
لینکدین احسان خدام: https://www.linkedin.com/in/ehsan-km

دوره
Natural Language Processing with Sequence Models
سایت کورسرا
24 Siamese Networks

#منابع #پردازش_زبان_طبیعی #الگوریتمها #کورسرا #فیلم

❇️ @AI_Python

دوره
Natural Language Processing with Sequence Models
سایت کورسرا
25 Cost Function

#منابع #پردازش_زبان_طبیعی #الگوریتمها #کورسرا #فیلم

❇️ @AI_Python

دوره
Natural Language Processing with Sequence Models
سایت کورسرا
26 Triplets

#منابع #پردازش_زبان_طبیعی #الگوریتمها #کورسرا #فیلم

❇️ @AI_Python

🎯 Goal: Faster fine-tuning large transformer models while reducing cost

✏️ Content: Learn how to run distributed training on Habana Gaudi-based AWS DL1 instance. Fine-tune XLM-RoBERTa-large on the MASSIVE dataset.
https://www.philschmid.de/habana-distributed-training

Researchers from George Mason and Emory University Develop 'RES': a Robust Python Framework for Learning to Explain DNNs with Explanation Supervision
https://buff.ly/3nB3U3N

How Graph Neural Networks (GNN) work: introduction to graph convolutions from scratch | AI Summer https://bit.ly/3EUcctw

دوره
Natural Language Processing with Sequence Models
سایت کورسرا
27 Computing The Cost I

#منابع #پردازش_زبان_طبیعی #الگوریتمها #کورسرا #فیلم

❇️ @AI_Python

دوره
Natural Language Processing with Sequence Models
سایت کورسرا
28 Computing The Cost II

#منابع #پردازش_زبان_طبیعی #الگوریتمها #کورسرا #فیلم

❇️ @AI_Python

دوره
Natural Language Processing with Sequence Models
سایت کورسرا
29 One Shot Learning

#منابع #پردازش_زبان_طبیعی #الگوریتمها #کورسرا #فیلم

❇️ @AI_Python

احتمالا برای شما هم این سوال پیش میاد که اگر می‌خواییم یه مدل تولید متن رو وارد فضای استقرار کنیم و در معرض پرسش و پاسخ با مشتری واقعی قرار بدیم چرا از معماری‌های قدرتمندتری، مثل مدل‌های مبتنی بر GPT-3 استفاده نمی‌کنیم؟

مدلی مثل Davinci (که می‌تونین روی سایت openAI باهاش بازی کنین) می‌تونه با یه متن اولیه (پراپمت) خیلی خوب عمل کنه. برای مثال یه متن اولیه به این شکل بهش می‌دیم:

I am a customer service chatbot. I am very kind and polite. I answer smalltalks and chitchats. My name is David, I am from Italy and I work for a Pizzeria.

- user: what is your name?
- bot: I am David.
- user: I love you david.
- bot: [….]

و از این به بعدِ مکالمه رو خودش تکمیل می‌کنه. در واقع کاری که ما کردیم اینکه از توانایی مدل زبانی استفاده کردیم و یه شخصیت بهش بخشیدیم تا بتونه بعنوان یک چت‌بات عمل کنه.

ولی ❌ مسئله اصلی منابع محاسباتیه!

در واقع از کوچک‌ترین مدل‌های مبتنی بر GPT-3 -که بصورت متن‌باز در دسترس هستن- مدل‌هایی مثل GPT-Neo یا GPT-J هستن. هرچند این مدل‌ها تعداد پارامترهای خیلی کمتری نسبت به Davinci که توسط openAI تعلیم دیده دارن ولی برای پیاده‌سازی کاملشون بعنوان سرویسی که در هر ثانیه پاسخگوی چندین مشتری باشن، به منابع عظیمی نیاز هست که در حال حاضر برای ما توجیهی نداره.

برای همین ما به سراغ مدل‌های کوچکتری مثل dialoGPT رفتیم. یه خوبی دیگه این مدل اینکه مشخصا با دیتای گفتگوی افراد روی Reddit تعلیم دیده و خیلی راحت‌تر احساس گفتگو رو میشه از متن‌هایی که تولید می‌کنه گرفت. با این حال ما هم کماکان در حال آزمون و خطا هستیم باهاش.

راستی! شما اطلاعای درباره‌ی مدل‌های زبانی فارسی دارین که روی دیتای گفتگو تعلیم داده شده باشن؟

تصور کنید از یک مدل زبانی مانند GPT-3 درباره آخرین رییس جمهور آمریکا و یا وضعیت پاندمی سوال می‌پرسید.

هرچند این مدل زبانی توانایی تولید متن ساختار یافته و قابل درک را دارد ولی با توجه به اینکه با داده‌هایی قبل از شیوع پاندمی یا ریاست جمهوری جو بایدن آموزش دیده، جواب بی‌ربطی ارایه خواهد کرد.

یکی از روندهای فعلی اتصال این مدل‌های زبانی به سیستم‌های خبره‌ای است که توانایی جستجو در پایگاه داده خود را دارند.

از آخرین تلاش‌هایی که در این حوزه صورت گرفته مدل MRKL از AI21Labs است.

در مثالی که اینجا می‌بینید من از مدل، درباره‌ی میانگین سنی مسافران کشی تایتاینک پرسیدم.

مدل با استفاده از مدل زبانی Jurassic-X قادر به درک ساختار زبان و با استفاده از پایگاه داده تایتانیک قادر به یافتن پاسخ صحیح سوال است.

https://www.ai21.com/blog/jurassic-x-crossing-the-neuro-symbolic-chasm-with-the-mrkl-system

شما چگونه مقاله‌هایتان را مرتب می‌کنید؟

#مقاله

❇️ @AI_Python

Announcing the public release of our lectures from the first-ever Transformers seminar: CS25 Transformers United (http://cs25.stanford.edu)
.

Our intro video is out and available to watch here 👉: https://youtube.com/playlist?list=PLoROMvodv4rNiJRchCzutFw5ItR_Z27CM

گروه DeepLearning and AI

https://t.me/DeepLearningAIExperts

گروه پردازش زبان طبیعی NLP:

https://t.me/NLPExperts

گروه زبانهای برنامه نویسی پایتون و لینوکس و...

https://t.me/PythonLinuxExperts

کانال گروه :
❇️ @AI_Python