LLM Agents MOOC

This course covers the following topics

- Foundation of LLMs
- Reasoning
- Planning, tool use
- LLM agent infrastructure
- Retrieval-augmented generation
- Code generation, data science
- Multimodal agents, robotics
- Evaluation and benchmarking on agent applications
- Privacy, safety and ethics
- Human-agent interaction, personalization, alignment
- Multi-agent collaboration




🔗 link : https://www.youtube.com/playlist?list=PLS01nW3RtgopsNLeM936V4TNSsvvVglLc

#llms #agents #mooc #onlinecourse #nlproc #deeplearning

https://fleuret.org/public/lbdl.pdf


== Table of Content ==

I Foundations
1 Machine Learning
- 1.1 Learning from data
- 1.2 Basis function regression
- 1.3 Under and overfitting
- 1.4 Categories of models

2 Efficient Computation
- 2.1 GPUs, TPUs, and batches
- 2.2 Tensors

3 Training
- 3.1 Losses
- 3.2 Autoregressive models
- 3.3 Gradient descent
- 3.4 Backpropagation
- 3.5 The value of depth
- 3.6 Training protocols
- 3.7 The benefits of scale

II Deep Models
4 Model Components
- 4.1 The notion of layer
- 4.2 Linear layers
- 4.3 Activation functions
- 4.4 Pooling
- 4.5 Dropout
- 4.6 Normalizing layers
- 4.7 Skip connections
- 4.8 Attention layers
- 4.9 Token embedding
- 4.10 Positional encoding

5 Architectures
- 5.1 Multi-Layer Perceptrons
- 5.2 Convolutional networks
- 5.3 Attention models

III Applications
6 Prediction
- 6.1 Image denoising
- 6.2 Image classification
- 6.3 Object detection
- 6.4 Semantic segmentation
- 6.5 Speech recognition
- 6.6 Text-image representations
- 6.7 Reinforcement learning

7 Synthesis
- 7.1 Text generation
- 7.2 Image generation

8 The Compute Schism
- 8.1 Prompt Engineering
- 8.2 Quantization
- 8.3 Adapters
- 8.4 Model merging

#deeplearning

هوش در لبه آشوب است

یک چیزی هست به نام اتوماتای سلولی ساده یا ECA. بدین صورت که یک آرایه یک بعدی از یک عده سلوله. هر سلول هم مقدارش می‌تونه صفر یا یک باشه و در طول گام‌های زمانی مقادیر این سلول‌ها بر حسب یک قاعده می‌تونن تغییر کنند که در ECA حالت بعدی برای هر سلولی صرفا قاعده‌ای از دقیقا دو خونه مجاور اون سلوله. بر همین حسب کلا ۲۵۶ تا قاعده می‌تونن وجود داشته باشند که البته ۸۸ تاشون فقط یونیک هستند. از طرف دیگه بر حسب این که این سلول‌ها با مقداردهی اولیه رندوم در طول زمان چه پترنی رو طی می‌کنن این قاعده‌ها رو چهار دسته کردند: اونایی که به یک حالت یکنواخت همگرا می‌شن، اونایی که به یک حالت ثابت یا حالت چرخه‌ای می‌رسن، اونایی که به یک حالت خاص نمی‌رسن و رفتار سیستم تصادفی می‌شه، و اونایی که به یک حالت پیچیده‌ای می‌رسن که بعضی نواحی‌شون استیبل و بعضی نواحشون پایداره ولی در کل یک سری ساختار توشون دیده می‌شه.

حالا یک پیپری اومده، از روند زمانی سلول‌های هر قاعده‌ای نمونه‌برداری کرده و دیتا درست کرده و یک معماری LLM طور با هدف Next Token Prediction رو روی این داده‌ها آموزش داده و انگار روی دادگان هر قاعده‌ای یک LLM جدا آموزش داده. در مرحله بعدی اوما هر کدوم از این LLM‌ها رو روی تسکای پایین دستی مثل زیرمجموعه‌ای از ARC و یک دیتاستی که توش هدف تشخیص حرکت بعدی شطرنج هست،‌ فاین تیون کرده و نشون داده که اون مدل‌هایی که روی دادگان کلاس چهارم آموزش دیدن عملکرد بهتری رو روی تسکای پایین دستی ARC و شطرنج داشتند. در نهایت هم این نتیجه‌گیری رو کرده که شاید نیازی نیست که مدل‌هامون رو روی داده‌های وسیع انسانی آموزش بدیم، بلکه شاید با آموزش دادن روی داده‌هایی با الگوهایی به قدر کافی پیچیده شاید بشه به هوش رسید (که از نظر من چرت می‌گه).

در کل دید و ایده جالبی داره و به همین بهانه ما رو با مفهوم Edge of Chaos هم آشنا کرد. مفهومی که انگار به یک حالتی از سیستم اشاره می‌کنه که در وضعی بین نظم و رندومنس قرار داره و در اون حالت پترن‌های پیچیده ولی با دوام پایین (حالا یا در بعد زمان یا در بعد مکان) تولید می‌شن. گویا این مفهوم در شبکه‌های پیچیده‌ای در حوزه‌های زیست‌شناسی و روانشناسی و سیاست و علوم اجتماعی هم وجود داره.

لینک پیپر:
https://arxiv.org/abs/2410.02536

دومین همایش "هوش مصنوعی و علوم ریاضی"

سخنرانان:
دکتر بهرام صادقی بی غم (دانشگاه الزهرا)
مدلسازی ریاضی، پلی به سوی اکوسیستم دیجیتال و دنیای هوش مصنوعی

دکتر محمد حسین رهبان (دانشگاه صنعتی شریف)
مدل های مولد مبتنی بر انتشار

دکتر محمد اکبری (دانشگاه صنعتی امیرکبیر)
ریاضیات و هوش مصنوعی: همزیستی برای آینده ای هوشمندتر

دکتر فرزاد اسکندری (دانشگاه علامه طباطبایی)
نقش مدل های آماری به همراه مولفه های هوش مصنوعی در چرخه حیات علم داده ها (کشف، تحلیل، مصورسازی و ارائه نمودن داده ها)

پنجشنبه مورخ 1403/08/03 از ساعت 8 تا 13
مکان: تهران، بزرگراه شهید حقانی، خروجی فرهنگستان ها و کتابخانه ملی، بلوار دکتر حسن حبیبی، فرهنگستان علوم، طبقه دوم، تالار ابوریحان
لینک حضور در وبینار:
https://skyroom.online/ch/ias/basic

#هوش_مصنوعی #علوم_ریاضی #همایش #سخنرانی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

آزمایشگاه بینایی کامپیوتر با ارائه آقای محمد صادق نعمت پور با موضوع:

🔰 مقدمه ای بر llm agents and agentic workflow

میزبان شما خواهد بود.

📅 دوشنبه ۳۰ مهر ماه ۱۴۰۳

🕓 ساعت ۱۶:۰۰

📍آزمایشگاه بینایی کامپیوتر، دانشکده کامپیوتر، دانشگاه علم و صنعت

لینک مجازی
https://meet.google.com/qne-zihr-rwx

طرفدار موسیقی اصیل پاپ و بدون فالش باشید و زیبا بشنوید

جاتون خالی کنسرت هتل اسپیناس محسن یگانه

مدل جدید متن به فیلم خروجی رو با کیفیتی چشم‌گیر نشون میده
▪️ Allegro's text-to-video model transforms your creativity into rich video content, giving you the power to tell visual stories instantly.

https://rhymes.ai/allegro_gallery


https://huggingface.co/rhymes-ai/Allegro
https://github.com/rhymes-ai/Allegro

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

نظر لینوس توروالدز در مورد هوش مصنوعی و رویکرد شخصیش بهش

ویرایش دوم و فیلمهای کلاسی RL از Dimitri P. Bertsekas استاد دانشگاه MIT منتشر شد.

REINFORCEMENT LEARNING AND OPTIMAL CONTROL
BOOKS, VIDEOLECTURES, AND COURSE MATERIAL

https://web.mit.edu/dimitrib/www/RLbook.html

#یادگیری_تقویتی #منابع #کلاس_آموزشی #کتاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

استخدام کارشناس مهندس داده
شرکت گلرنگ سیستم

شرح شغل و وظایف

طراحی دیتا مدل های مختلف بر اساس داده های عملیاتی (Data Warehouse Architecture)
طراحی فرآیندهای مختلف جهت فراخوانی دیتا (ETL Pipe Lines)
مدیریت سرور و انبار داده به جهت نگهداشت و کاهش ریسک (DBA)
مانیتورینگ و آنالیز عمکرد انبار داده به جهت بهبود (Performance Tuning)
توسعه فرآیندهای مرتبط با انباره داده (Data Warehouse) در چارچوب استانداردهای موجود

شایستگی ها
تسلط بر SQL Server
تسلط بر SSIS
SSAS
Python
Power BI
توانایی ساخت وب سرویس جهت انتقال اطلاعات

ارسال رزومه به:
takrimi.ali@golrang.com

"What Matters In Transformers?" is an interesting paper (https://arxiv.org/abs/2406.15786) that finds you can actually remove half of the attention layers in LLMs like Llama without noticeably reducing modeling performance.

The concept is relatively simple. The authors delete attention layers, MLP layers, or entire transformer blocks:

- Removing entire transformer blocks leads to significant performance degradation.
- Removing MLP layers results in significant performance degradation.
- Removing attention layers causes almost no performance degradation!

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

این ی مقاله خیلی جالب و پیشرو از گوگل که انقلابی در #علوم_پزشکی رقم خواهد زد.

With 3D medical image embeddings, we are moving toward AI that can not only assist in diagnosis but also evolve continuously with minimal human input.

◾️ Taking medical imaging embeddings 3D

#ایده_جذاب #پردازش_تصویر

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

آیا #هوش_مصنوعی می تواند عملکرد خود را نظارت کند و از قابلیت اطمینان طولانی مدت در تصویربرداری پزشکی اطمینان حاصل کند؟

◾️ Y-Mol: A Multiscale Biomedical Knowledge-Guided Large Language Model for Drug Development

#ایده_جذاب #علوم_پزشکی #پردازش_تصویر

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person