همون‌طور که می‌دونید، خروجی مدل‌های زبانی، همیشه مطابق انتظار شما نیست، به ویژه زمانی که کاربر شما سعی در دورزدن مدل داشته باشد.

بنابراین همیشه در پیاده‌سازی اپلیکیشن‌های مبتنی بر مدل‌های زبانی، از ایزاری مثل Guardrails استفاده کنید.

این ابزار، پرامپت ورودی را بررسی کرده و در صورت مشکوک‌بودن، خارج‌از‌بحث بودن، مخرب‌بودن و … آن را به LLM نمی‌فرستد. از طرفی، خروجی LLM را هم بررسی کرده تا از سالم‌بودن پاسخ، رعایت ساختار و … مطمئن شود.

https://github.com/guardrails-ai/guardrails?tab=readme-ov-file

⚠️⚠️ توجه: مطمئنا این پست همون چیزیه که خیلی از عزیزان دنبالش‌اند ⚠️⚠️

هوش مصنوعی خیلی سریع داره رشد می‌کنه جوری که:
خیلی‌ها نمی‌دونن از کجا شروع کنن و در کدوم مسیر ادامه بدن!
نمی‌دونن کدوم کورس/کتاب قدیمیه و دیگه به درد نمی‌خوره و کدوم رو باید ببینن!
نمی‌دونن کدوم مقاله مهمه که بخونن و کدوم مقاله دیگه به‌روز نیست!

حالا Ilya Sutskever که یکی از به‌ترین و پرکارترین پژوهش‌گرهای هوش مصنوعی‌ست، یک لیست ۲۷تایی از کورس‌ها، کتاب‌ها، پست‌ها و مقاله‌های مهم آماده کرده که به اعتقاد ایشان (که از ستون‌های AI اند) مسلط‌شدن به این ۲۷ مورد، باعث می‌شه شما به ۹۰ درصد چیزهایی که در AI امروز مهم‌اند، مسلط شوید.

این یک مسیر شفاف و عالی به‌خصوص برای دانشجویانی‌ست که تازه وارد این مسیر شده‌اند.

https://arc.net/folder/D0472A20-9C20-4D3F-B145-D2865C0A9FEE

حال که بحث به درس هوش‌مصنوعی دوره‌ی کارشناسی رسید، به یکی از پرسش‌هایی که عزیزان زیادی می‌پرسند هم پاسخ بدم.

برای کنکور ارشد هوش مصنوعی، به‌ترین منبع چیست؟!

پرسش‌های هوش‌مصنوعی در کنکور کارشناسی ارشد، از ۹ فصل نخست ویرایش سوم کتاب Artificial Intelligence: A Modern Approach نوشته‌ی Russel & Norvig طرح می‌شوند.

به‌ترین منبع برای مطالعه‌ی سوالات کنکوری، کتاب “حل مسائل هوش مصنوعی” نوشته‌ی استاد رامین رهنمون و مشاهده‌ی ویدئوهای آموزشی ایشان در یوتیوب است.

https://www.youtube.com/@rrahnamon/videos

بوت‌کمپ رایگان آشنایی با ترنسفورمرها

همون‌طور که می‌دونید ترنسفورمرها قلب تپنده‌ی مدل‌های جدید هوش مصنوعی در پردازش دنباله‌ها‌اند. استفاده از ترنسفورمرها در ساخت مدل‌های زبانی، انقلاب سال‌های اخیر رو در هوش مصنوعی رقم زد.

بنابراین واضح‌ست که درک صحیح عمل‌کرد ترنسفورمرها برای فعالان این حوزه بسیار کمک‌کننده خواهد بود.

در این بوت‌کمپ کوتاه (۴ روزه)، سعی خواهیم کرد تا جای ممکن بدون پرداختن به برنامه‌نویسی و ریاضیات، بینش خوبی از عمل‌کرد ترنسفورمرها و همین‌طور مدل‌های کلاسیک‌تر مثل شبکه‌های عصبی بازگشتی، به مخاطب ارائه دهیم.

- نشست نخست (دوشنبه ۱۸ تیر): پردازش دنباله‌ها و شبکه‌های عصبی بازگشتی (RNNs)
- نشست دوم (سه‌شنبه ۱۹ تیر): حافظه‌ی کوتاه‌مدت، شبکه‌های LSTM و GRU
- نشست سوم (چهارشنبه ۲۰ تیر): مکانیزم Attention و ماشین تورینگ عصبی
- نشست چهارم (پنجشنبه ۲۱ تیر): ترنسفورمرها و مدل‌های زبانی

همه‌ی نشست‌ها راس ساعت ۸ شب به وقت ایران و در کلاس مجازی دانشگاه شریف برگزار خواهند شد.

شرکت در این بوت‌کمپ رایگان است.

پیش‌نیاز شرکت در این بوت‌کمپ، آشنایی اولیه با شبکه‌های عصبی‌ست.

اگر از GPU های NVIDIA استفاده می‌کنید، Pandas رو به‌صورت زیر ایمپورت کنید:

%load_ext cudf.pandas
import pandas as pd

در این‌صورت به‌کمک حالت شتاب‌دهی Pandas در CuDF سرعت اجرای عملیات روی دیتافریم‌ها حداقل ۵۰ برابر خواهد شد.

دمو:
https://colab.research.google.com/github/rapidsai-community/showcase/blob/main/getting_started_tutorials/cudf_pandas_stocks_demo.ipynb

ایلان ماسک اعلام کرد: الکترودهای تراشه‌ی نورالینک در مغز اولین بیمار، به تثبیت و پایداری رسیده‌اند و طی این هفته دومین انسان نیز این ایمپلنت را دریافت خواهد کرد.
بی‌صبرانه منتظر مشاهده‌ی نتایج آزمایش‌های نورالینک هستم. 🤗

در هفته‌ای که گذشت، با یک بوت‌کمپ کوتاه، و موضوع Transformer ها، در خدمت عزیزان علاقه‌مند به هوش مصنوعی بودیم.

ترنسفورمرها، قلب تپنده‌ی مدل‌های جدید هوش مصنوعی مثل GPT اند و آشنایی با روش عمل‌کرد آن‌ها برای بسیاری از علاقه‌مندان جالب و کمک‌کننده‌ست. بااین‌‌حال، منابع فارسی در این زمینه اندک‌اند، بنابراین سعی کردیم طی ۴ جلسه، به‌‌صورت روان و ساده، بدون پرداختن به جزییات ریاضی و برنامه‌نویسی، درک خوبی از این مدل‌ها به‌دست آوریم.

از آن‌جا که به علت اختلاف زمانی و …، بسیاری از عزیزان موفق به شرکت در دوره نشدند، تمامی جلسه‌ها ضبط شده و برای استفاده‌ی علاقه‌مندان در یوتیوب/آپارات قرار گرفته‌اند.

امیدوارم این آموزش، قدمی هرچند اندک در راستای پیش‌رفت هم‌میهنان عزیز باشد.


نشست نخست: پردازش دنباله‌ها و شبکه‌های عصبی RNN
https://www.aparat.com/v/pxur1r9

نشست دوم: شبکه‌های LSTM و GRU
https://www.aparat.com/v/mlt6433

نشست سوم: آشنایی با معماری Encoder-Decoder و مکانیزم Attention
https://www.aparat.com/v/hqg95m8

نشست چهارم: ترنسفورمرها (Transformers) و مدل‌های زبانی بزرگ (LLMs)
https://www.aparat.com/v/viel9ri

با درود،

تعدادی از هم‌راهان جدیدمون در کامیونیتی School of AI به ویژه پس از برگزاری بوت‌کمپ ترنسفورمرها، علاقه‌مند شدند که در مورد این کامیونیتی و بوت‌کمپ‌های دیگه مثل «بوت‌کمپ Recommender System ها» بیش‌تر بدونن.

حدود هفت سال پیش، برای معرفی بیش‌تر AI به جامعه و ارتقای سطح دانش در این زمینه، این کامیونیتی رو به‌کمک Siraj Raval مدرس هوش مصنوعی و یوتیوبر معروف راه انداختیم. لینک معرفی:
https://www.aparat.com/v/Pmrs8

ابتدا در فیس‌بوک و چندجای دیگه بودیم و Meetup ها و Bootcamp هامون حضوری بودن. در نهایت روی تلگرام متمرکز شدیم و برای شرکت حداکثری، بوت‌کمپ‌ها و میت‌آپ‌هامون هم آنلاین شدند. بنابراین موفق شدیم بسیاری رو برای استفاده در آینده، رکورد کنیم.


بوت‌کمپ آشنایی با ترنسفورمرها:
https://t.me/schoolofai/863

بوت کمپ پیاده‌سازی سامانه‌های توصیه‌گر:
https://t.me/schoolofai/537

بوت‌کمپ آشنایی با مهندسی داده و بیگ‌دیتا:
https://t.me/schoolofai/515

بوت‌کمپ آشنایی با Geospatial Datascience و پکیج GeoPandas:
https://t.me/schoolofai/572

آموزش ساخت اپلیکیشن‌های مبتنی بر LLM ها به‌کمک فریم‌ورک LangChain:
https://t.me/schoolofai/803

بوت‌کمپ آشنایی با یادگیری تقویتی:
https://www.aparat.com/v/OsR9E

بوت‌کمپ آشنایی با هوش مصنوعی و یادگیری ماشین:
https://vrgl.ir/E2x3t
https://www.aparat.com/v/j38xijc

آموزش برنامه‌نویسی به زبان Python
https://t.me/schoolofai/488

به‌تصویرکشیدن داده‌ها (Data Visualization):
https://vrgl.ir/iqWnF

۳۰ کاربرد جالب از هوش مصنوعی:
https://vrgl.ir/EMfo4

مکانیزم FlashAttention-3 معرفی شد!

مکانیزم Flash Attention پیاده‌سازی بهینه‌تری از مکانیزم Attention برای سخت‌افزارهای مدرن‌ است.

پیاده‌سازی‌های جدیدتر برای MatMul و Softmax و همچنین Quantization، باعث بهره‌وری ۷۵ درصدی این مکانیزم شده‌اند.

https://tridao.me/publications/flash3/flash3.pdf

از Transformer ها می‌شه علاوه بر تسک‌های NLP برای تسک‌های Vision نیز بهره برد.

در واقع ابتدا تصویر به patch هایی (کاشی‌هایی) با طول ثابت تقسیم شده، سپس هر پچ توسط یک لایه‌ی CNN، به یک بردار امبدینگ تبدیل می‌شود. پچ‌ها به‌صورت متوالی flatten شده و پوزیشن هر patch توسط positional embedding در امبدینگ آن پچ انکود می‌شود. نهایتا این دنباله به انکودر ترنسفورمر ارسال می‌شود.

به ترنسفورمرهایی که برروی بینایی کار می‌کنند، ViT یا Vision Transformer گفته می‌شه.

منبع: TheAiEdge.io


کورس آموزشی خوب برای یادگیری ViT ها:
https://www.crcv.ucf.edu/courses/cap6412-spring-2022/schedule/

میان‌افزار ROS2 یا Robot Operating System 2 یک اکوسیستم کامل برای پیاده‌سازی ادراک، برنامه‌ریزی، کنترل و شبیه‌سازی در روبات‌هاست که طی ۱۰ سال گذشته، بسیار در جامعه‌ی روباتیک مورداستفاده قرار گرفته‌ست.

بلاگ‌پُست زیر توضیح خوبی برای درک عمیق‌تر این پلتفرم ارائه می‌دهد.

https://learnopencv.com/robot-operating-system-introduction/

هاگینگ‌فیس خانواده‌ی جدیدی از مدل‌های زبانی فوق سبک به‌نام SmolLM را در سه اندازه‌ی ۱۳۵ میلیون پارامتری، ۳۶۰ میلیون پارامتری و ۱/۷ میلیارد پارامتری معرفی کرد.

این مدل‌ها، از مدل MobileLLM متا، مدل Phi-1.5 مایکروسافت و مدل Qwen2 علی‌بابا به‌تر عمل می‌کنند با این حال آنقدر سبک‌اند که به‌راحتی برروی مرورگر وب و یا دستگاه‌های موبایل اجرا می‌شوند.

این مدل‌ها اوپن-سورس‌اند و تحت مجوز Apache 2 منتشر شده‌اند.

علاوه بر مدل‌های پیش‌آموزش‌دیده به‌صورت پایه و instruct، مجموعه داده‌ی آموزشی (Corpus) نیز منتشر شده‌ست.

بلاگ‌پست معرفی:
https://huggingface.co/blog/smollm

دمو:
https://huggingface.co/spaces/HuggingFaceTB/SmolLM-360M-Instruct-WebGPU

دانلود مدل‌ها:
https://huggingface.co/collections/HuggingFaceTB/smollm-6695016cad7167254ce15966

دانلود دیتاست:
https://huggingface.co/datasets/HuggingFaceTB/smollm-corpus

آقای Andrej Karpathy که به‌تازگی برای تمرکز روی آموزش هوش مصنوعی، کار در صنعت را رها کرده بود، قدم جای پای Andrew Ng (موسس کورسرا) گذاشته و استارتاپ آموزشی خود به‌نام Eureka Labs را تاسیس کرد.

این استارتاپ، به گفته‌ی آقای کارپاثی، یک مدرسه‌ی آنلاین مبتنی بر هوش مصنوعی‌ست.

در این مدرسه، یک دستیار هوش مصنوعی از ابتدای مسیر آموزش تا انتها، به‌عنوان مربی، کنار دانش‌آموزست و قدم‌به‌قدم او را راهنمایی می‌کند.

مخزن LLM101n در گیت‌هاب که اخیرا توسط کارپاتی ساخته شده بود، اولین کورس آموزشی این مدرسه خواهد بود.

وب‌سایت:
https://eurekalabs.ai/

گیت‌هاب:
https://github.com/EurekaLabsAI/

مدل RT-DETR یکی از به‌ترین مدل‌های شناسایی اشیا به‌صورت بی‌درنگ‌ست.

این مدل که برپایه‌ی یک Vision Transformer ساخته شده، به دلیل اوپن-سورس بودن (Apache 2) و سرعت و دقت بالا، بسیار مناسب استفاده در پروژه‌های صنعتی‌ست.

در پست زیر که توسط Roboflow منتشر شده، آموزش فاین‌تیون‌کردن این مدل روی دیتاست خود را مشاهده می‌کنید.

https://blog.roboflow.com/train-rt-detr-custom-dataset-transformers/

پیش‌تر در مورد Devin که یک AI Agent برای مهندسی نرم‌افزار بود توضیح دادیم.

حال، یک عامل هوشمند مشابه و جدید به‌نام Claude Engineer و براساس مدل Claude-3.5-Sonnet معرفی شده‌ست.

این عامل به‌کمک Tavily می‌تواند در اینترنت جست‌و‌جو کند، می‌تواند با فایل‌سیستم در سیستم‌عامل‌های مختلف ارتباط برقرار کرده و فایل‌ها را بخواند و بنویسد، ساختار فولدربندی پروژه را مشخص کند، پرفورمنس کد را بررسی و تحلیل کند، با زبان طبیعی با ترمینال ارتباط برقرار کند و …

گیت‌هاب:
https://github.com/Doriandarko/claude-engineer

پژوهش‌گران دانشگاه Johns Hopkins و دانشگاه Stanford به‌کمک imitation learning و با نگاه به حدود ۱۲ میلیون جراحی انجام‌شده توسط جراح به‌کمک روبات اوپن-سورس da Vinci Research Kit توانستند برخی از اعمال در حین جراحی مانند گره‌زدن یا چرخاندن سوزن را به روبات یادداده تا به‌صورت خودکار انجام شوند.

https://surgical-robot-transformer.github.io/