دوره
Natural Language Processing with Sequence Models
سایت کورسرا
26 Triplets

#منابع #پردازش_زبان_طبیعی #الگوریتمها #کورسرا #فیلم

❇️ @AI_Python

🎯 Goal: Faster fine-tuning large transformer models while reducing cost

✏️ Content: Learn how to run distributed training on Habana Gaudi-based AWS DL1 instance. Fine-tune XLM-RoBERTa-large on the MASSIVE dataset.
https://www.philschmid.de/habana-distributed-training

Researchers from George Mason and Emory University Develop 'RES': a Robust Python Framework for Learning to Explain DNNs with Explanation Supervision
https://buff.ly/3nB3U3N

How Graph Neural Networks (GNN) work: introduction to graph convolutions from scratch | AI Summer https://bit.ly/3EUcctw

دوره
Natural Language Processing with Sequence Models
سایت کورسرا
27 Computing The Cost I

#منابع #پردازش_زبان_طبیعی #الگوریتمها #کورسرا #فیلم

❇️ @AI_Python

دوره
Natural Language Processing with Sequence Models
سایت کورسرا
28 Computing The Cost II

#منابع #پردازش_زبان_طبیعی #الگوریتمها #کورسرا #فیلم

❇️ @AI_Python

دوره
Natural Language Processing with Sequence Models
سایت کورسرا
29 One Shot Learning

#منابع #پردازش_زبان_طبیعی #الگوریتمها #کورسرا #فیلم

❇️ @AI_Python

احتمالا برای شما هم این سوال پیش میاد که اگر می‌خواییم یه مدل تولید متن رو وارد فضای استقرار کنیم و در معرض پرسش و پاسخ با مشتری واقعی قرار بدیم چرا از معماری‌های قدرتمندتری، مثل مدل‌های مبتنی بر GPT-3 استفاده نمی‌کنیم؟

مدلی مثل Davinci (که می‌تونین روی سایت openAI باهاش بازی کنین) می‌تونه با یه متن اولیه (پراپمت) خیلی خوب عمل کنه. برای مثال یه متن اولیه به این شکل بهش می‌دیم:

I am a customer service chatbot. I am very kind and polite. I answer smalltalks and chitchats. My name is David, I am from Italy and I work for a Pizzeria.

- user: what is your name?
- bot: I am David.
- user: I love you david.
- bot: [….]

و از این به بعدِ مکالمه رو خودش تکمیل می‌کنه. در واقع کاری که ما کردیم اینکه از توانایی مدل زبانی استفاده کردیم و یه شخصیت بهش بخشیدیم تا بتونه بعنوان یک چت‌بات عمل کنه.

ولی ❌ مسئله اصلی منابع محاسباتیه!

در واقع از کوچک‌ترین مدل‌های مبتنی بر GPT-3 -که بصورت متن‌باز در دسترس هستن- مدل‌هایی مثل GPT-Neo یا GPT-J هستن. هرچند این مدل‌ها تعداد پارامترهای خیلی کمتری نسبت به Davinci که توسط openAI تعلیم دیده دارن ولی برای پیاده‌سازی کاملشون بعنوان سرویسی که در هر ثانیه پاسخگوی چندین مشتری باشن، به منابع عظیمی نیاز هست که در حال حاضر برای ما توجیهی نداره.

برای همین ما به سراغ مدل‌های کوچکتری مثل dialoGPT رفتیم. یه خوبی دیگه این مدل اینکه مشخصا با دیتای گفتگوی افراد روی Reddit تعلیم دیده و خیلی راحت‌تر احساس گفتگو رو میشه از متن‌هایی که تولید می‌کنه گرفت. با این حال ما هم کماکان در حال آزمون و خطا هستیم باهاش.

راستی! شما اطلاعای درباره‌ی مدل‌های زبانی فارسی دارین که روی دیتای گفتگو تعلیم داده شده باشن؟

تصور کنید از یک مدل زبانی مانند GPT-3 درباره آخرین رییس جمهور آمریکا و یا وضعیت پاندمی سوال می‌پرسید.

هرچند این مدل زبانی توانایی تولید متن ساختار یافته و قابل درک را دارد ولی با توجه به اینکه با داده‌هایی قبل از شیوع پاندمی یا ریاست جمهوری جو بایدن آموزش دیده، جواب بی‌ربطی ارایه خواهد کرد.

یکی از روندهای فعلی اتصال این مدل‌های زبانی به سیستم‌های خبره‌ای است که توانایی جستجو در پایگاه داده خود را دارند.

از آخرین تلاش‌هایی که در این حوزه صورت گرفته مدل MRKL از AI21Labs است.

در مثالی که اینجا می‌بینید من از مدل، درباره‌ی میانگین سنی مسافران کشی تایتاینک پرسیدم.

مدل با استفاده از مدل زبانی Jurassic-X قادر به درک ساختار زبان و با استفاده از پایگاه داده تایتانیک قادر به یافتن پاسخ صحیح سوال است.

https://www.ai21.com/blog/jurassic-x-crossing-the-neuro-symbolic-chasm-with-the-mrkl-system

شما چگونه مقاله‌هایتان را مرتب می‌کنید؟

#مقاله

❇️ @AI_Python

Announcing the public release of our lectures from the first-ever Transformers seminar: CS25 Transformers United (http://cs25.stanford.edu)
.

Our intro video is out and available to watch here 👉: https://youtube.com/playlist?list=PLoROMvodv4rNiJRchCzutFw5ItR_Z27CM

گروه DeepLearning and AI

https://t.me/DeepLearningAIExperts

گروه پردازش زبان طبیعی NLP:

https://t.me/NLPExperts

گروه زبانهای برنامه نویسی پایتون و لینوکس و...

https://t.me/PythonLinuxExperts

کانال گروه :
❇️ @AI_Python

کورس کلاس دانشگاه هاروارد به طور رایگان منتشر شد
Introduction to Data Science CS109A course materials by Harvard University are free and open for everyone!

1. Lecture notes
2. R code, Python notebooks
3. Lab material
4. Advanced sections

Learn here: https://harvard-iacs.github.io/2019-CS109A/pages/syllabus.html

#منابع #فیلم #آموزش_کلاسی #علم_داده

❇️ @AI_Python

From: "Machine Learning Operations (MLOps): Overview, Definition, and Architecture". Dominik Kreuzberger, et al https://lnkd.in/gcM4BCN4
Image

Hands-Off Machine Learning with Google AutoML
https://towardsdatascience.com/hands-off-machine-learning-with-google-automl-e63b079f09d1

SFNet: Faster, Accurate, and Domain Agnostic Semantic Segmentation via Semantic Flow

Github: https://github.com/lxtGH/SFSegNets

Paper: https://arxiv.org/abs/2207.04415v1

Dataset : https://paperswithcode.com/dataset/idd

نقشه راه یادگیری مدلهای GAN

#منابع #یادگیری_عمیق #الگوریتمها #کتاب #مقاله #فیلم #کلاس_آموزشی #آموزش_کلاسی


❇️ @AI_Python