یکی از پرسش‌هایی که عزیزان زیادی در رابطه با in-context learning می‌‌پرسند، این‌ست که اطلاعات context را در ابتدای پرامپت درج کنند، یا انتهای پرامپت و یا در میانه؟!

💭 یادآوری: منظور از in-context learning این‌ست که اطلاعات جدیدی که LLM در هنگام آموزش، ندیده را داخل پرامپت درج کرده تا مدل با درنظر گرفتن آن اطلاعات، پاسخ دقیق‌تری را برگرداند. مثلا در مکانیزم RAG بر اساس پرسش اصلی کاربر، مستندات و پرونده‌های مرتبط را پیدا کرده و همراه با پرسش اصلی،‌ به عنوان ورودی، به مدل می‌دهیم.

پژوهشی که توسط دانشمندان دانشگاه استنفورد و برکلی انجام شده، نشان می‌دهد که درج Context های طولانی در میانه‌ی پرامپت، باعث ازدست‌رفتن اطلاعات می‌شود و لازم‌ست این اطلاعات نه در میانه، بلکه در ابتدا یا انتهای پرامپت درج شوند.

https://arxiv.org/pdf/2307.03172

امروز، زادروز دانشمند برجسته‌ی علوم رایانه و هوش مصنوعی، الن تورینگ است.

کسی که ماشین تورینگ‌ش، پایه‌ی رایانه‌های امروزی و آزمون تورینگ‌ش، یکی از به‌ترین روش‌های ارزیابی سامانه‌های هوش‌مند شد.

کسی که با کدگشایی ماشین انیگما توانست ورق را در جنگ جهانی دوم به نفع متفقین برگرداند.

کسی که در نهایت به خاطر گرایشات جنسی‌اش تحت فشار و هورمون-درمانی اجباری قرار گرفت و به‌طرز ناراحت‌کننده‌ای دچار مرگ زودهنگام شد.

🔔خبر جذاب برای علاقه‌مندان به کار پژوهشی🔔

با فرارسیدن تابستان، و بنابر درخواست عده‌ی زیادی از دوستانِ علاقه‌مند، تصمیم گرفتیم چند پروژه‌ی پژوهشی داغ در حوزه‌های مختلف هوش مصنوعی تعریف کرده و طی یک هم‌کاری تیمی منسجم، فشرده و برنامه‌ریزی‌شده، تا انتهای تابستان، این پروژه‌ها را به انجام رسانده و در قالب مقالاتی در ژورنال‌ها و سمینارهای معتبر جهانی به چاپ رسانیم.

موضوع دقیق پژوهش‌ها بعد از تشکیل تیم‌ها و بر اساس تخصص و علایق افراد مشخص خواهد شد، اما همگی موضوعاتی به‌روز در زمینه‌ی هوش مصنوعی و کاربردهای آن خواهند بود.

هر تیم شامل ۲ تا ۵ نفر و یک لیدر خواهد بود که با کمک هم روی یک موضوع مشخص و برنامه‌ریزی‌شده، کار خواهند کرد. اعضای هر تیم طی یک جلسه‌ی ثابت هفتگی، با یک‌دیگر هم‌گام شده و در آن جلسه، تسک‌های خود به همراه منتورشیپ لازم را دریافت کرده و نتایج کار خود را ارائه می‌دهند. با توجه به فشرگی زمان و برای حفظ کیفیت کار، افرادی که نتوانند با تیم هم‌گام شده و تسک‌های خود را انجام دهند، جایگزین خواهند شد و نام افرادی که در انجام تسک‌های خود موفق باشند، در لیست نویسندگان مقالات قرار خواهد گرفت.

همه‌ی افراد علاقه‌مند، فارق از سابقه و رشته و مدرک تحصیلی، در صورتی که توانایی‌های لازم (مثل آشنایی با روش تحقیق، مفاهیم پایه‌ی هوش مصنوعی و شبکه‌های عصبی، تسلط به برنامه‌نویسی پایتون و …) و حداقل ۱۰ ساعت زمان در هفته را دارند می‌توانند به عنوان هم‌کار پژوهشی اپلای کنند. اما لازم به ذکرست که ظرفیت پذیرش محدود است و اولویت با افرادی‌ست که توان پژوهشی بالاتری دارند.

برای هم‌کاران پژوهشی، حقوق و مزایای مالی در نظر گرفته نشده ولی در انتها، نام افراد، در لیست نویسندگان مقالات درج خواهد شد و همین‌طور، این افراد می‌توانند از این‌جانب، توصیه‌نامه‌ برای پذیرش تحصیلی یا کاری دریافت کنند. البته اگر پروژه‌ای قوی پیش برود و موفق به دریافت سرمایه یا گرنت شود، همه‌ی اعضای تیم از آن بهره‌مند خواهند شد.

اگر به تحقیق و پژوهش در زمینه‌ی هوش مصنوعی علاقه‌مندید و یا در حال برنامه‌ریزی برای پذیرش تحصیلی یا موقعیت شغلیِ پژوهشی اید و جدیت، تخصص و زمان کافی را دارید، حداکثر تا ۱۵ تیر درخواست خود را از طریق لینک زیر ثبت کنید.

https://forms.gle/v2burqrQCLuXLXTW7

دانلود اپلیکیشن ChatGPT برای کاربران macOS

https://persistent.oaistatic.com/sidekick/public/ChatGPT_Desktop_public_latest.dmg

توجه: این اپلیکیشن فعلا فقط برای مک‌هایی که پردازنده‌ی Apple Silicon دارند، منتشر شده و روی پردازنده‌های Intel کار نمی‌کند.



پی‌نوشت ۱: لینک دانلود ChatGPT برای آیفون:
https://apps.apple.com/us/app/chatgpt/id6448311069

پی‌نوشت ۲: لینک دانلود ChatGPT برای اندروید
https://play.google.com/store/apps/details?id=com.openai.chatgp

همون‌طور که می‌دونید، خروجی مدل‌های زبانی، همیشه مطابق انتظار شما نیست، به ویژه زمانی که کاربر شما سعی در دورزدن مدل داشته باشد.

بنابراین همیشه در پیاده‌سازی اپلیکیشن‌های مبتنی بر مدل‌های زبانی، از ایزاری مثل Guardrails استفاده کنید.

این ابزار، پرامپت ورودی را بررسی کرده و در صورت مشکوک‌بودن، خارج‌از‌بحث بودن، مخرب‌بودن و … آن را به LLM نمی‌فرستد. از طرفی، خروجی LLM را هم بررسی کرده تا از سالم‌بودن پاسخ، رعایت ساختار و … مطمئن شود.

https://github.com/guardrails-ai/guardrails?tab=readme-ov-file

⚠️⚠️ توجه: مطمئنا این پست همون چیزیه که خیلی از عزیزان دنبالش‌اند ⚠️⚠️

هوش مصنوعی خیلی سریع داره رشد می‌کنه جوری که:
خیلی‌ها نمی‌دونن از کجا شروع کنن و در کدوم مسیر ادامه بدن!
نمی‌دونن کدوم کورس/کتاب قدیمیه و دیگه به درد نمی‌خوره و کدوم رو باید ببینن!
نمی‌دونن کدوم مقاله مهمه که بخونن و کدوم مقاله دیگه به‌روز نیست!

حالا Ilya Sutskever که یکی از به‌ترین و پرکارترین پژوهش‌گرهای هوش مصنوعی‌ست، یک لیست ۲۷تایی از کورس‌ها، کتاب‌ها، پست‌ها و مقاله‌های مهم آماده کرده که به اعتقاد ایشان (که از ستون‌های AI اند) مسلط‌شدن به این ۲۷ مورد، باعث می‌شه شما به ۹۰ درصد چیزهایی که در AI امروز مهم‌اند، مسلط شوید.

این یک مسیر شفاف و عالی به‌خصوص برای دانشجویانی‌ست که تازه وارد این مسیر شده‌اند.

https://arc.net/folder/D0472A20-9C20-4D3F-B145-D2865C0A9FEE

حال که بحث به درس هوش‌مصنوعی دوره‌ی کارشناسی رسید، به یکی از پرسش‌هایی که عزیزان زیادی می‌پرسند هم پاسخ بدم.

برای کنکور ارشد هوش مصنوعی، به‌ترین منبع چیست؟!

پرسش‌های هوش‌مصنوعی در کنکور کارشناسی ارشد، از ۹ فصل نخست ویرایش سوم کتاب Artificial Intelligence: A Modern Approach نوشته‌ی Russel & Norvig طرح می‌شوند.

به‌ترین منبع برای مطالعه‌ی سوالات کنکوری، کتاب “حل مسائل هوش مصنوعی” نوشته‌ی استاد رامین رهنمون و مشاهده‌ی ویدئوهای آموزشی ایشان در یوتیوب است.

https://www.youtube.com/@rrahnamon/videos

بوت‌کمپ رایگان آشنایی با ترنسفورمرها

همون‌طور که می‌دونید ترنسفورمرها قلب تپنده‌ی مدل‌های جدید هوش مصنوعی در پردازش دنباله‌ها‌اند. استفاده از ترنسفورمرها در ساخت مدل‌های زبانی، انقلاب سال‌های اخیر رو در هوش مصنوعی رقم زد.

بنابراین واضح‌ست که درک صحیح عمل‌کرد ترنسفورمرها برای فعالان این حوزه بسیار کمک‌کننده خواهد بود.

در این بوت‌کمپ کوتاه (۴ روزه)، سعی خواهیم کرد تا جای ممکن بدون پرداختن به برنامه‌نویسی و ریاضیات، بینش خوبی از عمل‌کرد ترنسفورمرها و همین‌طور مدل‌های کلاسیک‌تر مثل شبکه‌های عصبی بازگشتی، به مخاطب ارائه دهیم.

- نشست نخست (دوشنبه ۱۸ تیر): پردازش دنباله‌ها و شبکه‌های عصبی بازگشتی (RNNs)
- نشست دوم (سه‌شنبه ۱۹ تیر): حافظه‌ی کوتاه‌مدت، شبکه‌های LSTM و GRU
- نشست سوم (چهارشنبه ۲۰ تیر): مکانیزم Attention و ماشین تورینگ عصبی
- نشست چهارم (پنجشنبه ۲۱ تیر): ترنسفورمرها و مدل‌های زبانی

همه‌ی نشست‌ها راس ساعت ۸ شب به وقت ایران و در کلاس مجازی دانشگاه شریف برگزار خواهند شد.

شرکت در این بوت‌کمپ رایگان است.

پیش‌نیاز شرکت در این بوت‌کمپ، آشنایی اولیه با شبکه‌های عصبی‌ست.

اگر از GPU های NVIDIA استفاده می‌کنید، Pandas رو به‌صورت زیر ایمپورت کنید:

%load_ext cudf.pandas
import pandas as pd

در این‌صورت به‌کمک حالت شتاب‌دهی Pandas در CuDF سرعت اجرای عملیات روی دیتافریم‌ها حداقل ۵۰ برابر خواهد شد.

دمو:
https://colab.research.google.com/github/rapidsai-community/showcase/blob/main/getting_started_tutorials/cudf_pandas_stocks_demo.ipynb

ایلان ماسک اعلام کرد: الکترودهای تراشه‌ی نورالینک در مغز اولین بیمار، به تثبیت و پایداری رسیده‌اند و طی این هفته دومین انسان نیز این ایمپلنت را دریافت خواهد کرد.
بی‌صبرانه منتظر مشاهده‌ی نتایج آزمایش‌های نورالینک هستم. 🤗

در هفته‌ای که گذشت، با یک بوت‌کمپ کوتاه، و موضوع Transformer ها، در خدمت عزیزان علاقه‌مند به هوش مصنوعی بودیم.

ترنسفورمرها، قلب تپنده‌ی مدل‌های جدید هوش مصنوعی مثل GPT اند و آشنایی با روش عمل‌کرد آن‌ها برای بسیاری از علاقه‌مندان جالب و کمک‌کننده‌ست. بااین‌‌حال، منابع فارسی در این زمینه اندک‌اند، بنابراین سعی کردیم طی ۴ جلسه، به‌‌صورت روان و ساده، بدون پرداختن به جزییات ریاضی و برنامه‌نویسی، درک خوبی از این مدل‌ها به‌دست آوریم.

از آن‌جا که به علت اختلاف زمانی و …، بسیاری از عزیزان موفق به شرکت در دوره نشدند، تمامی جلسه‌ها ضبط شده و برای استفاده‌ی علاقه‌مندان در یوتیوب/آپارات قرار گرفته‌اند.

امیدوارم این آموزش، قدمی هرچند اندک در راستای پیش‌رفت هم‌میهنان عزیز باشد.


نشست نخست: پردازش دنباله‌ها و شبکه‌های عصبی RNN
https://www.aparat.com/v/pxur1r9

نشست دوم: شبکه‌های LSTM و GRU
https://www.aparat.com/v/mlt6433

نشست سوم: آشنایی با معماری Encoder-Decoder و مکانیزم Attention
https://www.aparat.com/v/hqg95m8

نشست چهارم: ترنسفورمرها (Transformers) و مدل‌های زبانی بزرگ (LLMs)
https://www.aparat.com/v/viel9ri

با درود،

تعدادی از هم‌راهان جدیدمون در کامیونیتی School of AI به ویژه پس از برگزاری بوت‌کمپ ترنسفورمرها، علاقه‌مند شدند که در مورد این کامیونیتی و بوت‌کمپ‌های دیگه مثل «بوت‌کمپ Recommender System ها» بیش‌تر بدونن.

حدود هفت سال پیش، برای معرفی بیش‌تر AI به جامعه و ارتقای سطح دانش در این زمینه، این کامیونیتی رو به‌کمک Siraj Raval مدرس هوش مصنوعی و یوتیوبر معروف راه انداختیم. لینک معرفی:
https://www.aparat.com/v/Pmrs8

ابتدا در فیس‌بوک و چندجای دیگه بودیم و Meetup ها و Bootcamp هامون حضوری بودن. در نهایت روی تلگرام متمرکز شدیم و برای شرکت حداکثری، بوت‌کمپ‌ها و میت‌آپ‌هامون هم آنلاین شدند. بنابراین موفق شدیم بسیاری رو برای استفاده در آینده، رکورد کنیم.


بوت‌کمپ آشنایی با ترنسفورمرها:
https://t.me/schoolofai/863

بوت کمپ پیاده‌سازی سامانه‌های توصیه‌گر:
https://t.me/schoolofai/537

بوت‌کمپ آشنایی با مهندسی داده و بیگ‌دیتا:
https://t.me/schoolofai/515

بوت‌کمپ آشنایی با Geospatial Datascience و پکیج GeoPandas:
https://t.me/schoolofai/572

آموزش ساخت اپلیکیشن‌های مبتنی بر LLM ها به‌کمک فریم‌ورک LangChain:
https://t.me/schoolofai/803

بوت‌کمپ آشنایی با یادگیری تقویتی:
https://www.aparat.com/v/OsR9E

بوت‌کمپ آشنایی با هوش مصنوعی و یادگیری ماشین:
https://vrgl.ir/E2x3t
https://www.aparat.com/v/j38xijc

آموزش برنامه‌نویسی به زبان Python
https://t.me/schoolofai/488

به‌تصویرکشیدن داده‌ها (Data Visualization):
https://vrgl.ir/iqWnF

۳۰ کاربرد جالب از هوش مصنوعی:
https://vrgl.ir/EMfo4

مکانیزم FlashAttention-3 معرفی شد!

مکانیزم Flash Attention پیاده‌سازی بهینه‌تری از مکانیزم Attention برای سخت‌افزارهای مدرن‌ است.

پیاده‌سازی‌های جدیدتر برای MatMul و Softmax و همچنین Quantization، باعث بهره‌وری ۷۵ درصدی این مکانیزم شده‌اند.

https://tridao.me/publications/flash3/flash3.pdf

از Transformer ها می‌شه علاوه بر تسک‌های NLP برای تسک‌های Vision نیز بهره برد.

در واقع ابتدا تصویر به patch هایی (کاشی‌هایی) با طول ثابت تقسیم شده، سپس هر پچ توسط یک لایه‌ی CNN، به یک بردار امبدینگ تبدیل می‌شود. پچ‌ها به‌صورت متوالی flatten شده و پوزیشن هر patch توسط positional embedding در امبدینگ آن پچ انکود می‌شود. نهایتا این دنباله به انکودر ترنسفورمر ارسال می‌شود.

به ترنسفورمرهایی که برروی بینایی کار می‌کنند، ViT یا Vision Transformer گفته می‌شه.

منبع: TheAiEdge.io


کورس آموزشی خوب برای یادگیری ViT ها:
https://www.crcv.ucf.edu/courses/cap6412-spring-2022/schedule/

میان‌افزار ROS2 یا Robot Operating System 2 یک اکوسیستم کامل برای پیاده‌سازی ادراک، برنامه‌ریزی، کنترل و شبیه‌سازی در روبات‌هاست که طی ۱۰ سال گذشته، بسیار در جامعه‌ی روباتیک مورداستفاده قرار گرفته‌ست.

بلاگ‌پُست زیر توضیح خوبی برای درک عمیق‌تر این پلتفرم ارائه می‌دهد.

https://learnopencv.com/robot-operating-system-introduction/

هاگینگ‌فیس خانواده‌ی جدیدی از مدل‌های زبانی فوق سبک به‌نام SmolLM را در سه اندازه‌ی ۱۳۵ میلیون پارامتری، ۳۶۰ میلیون پارامتری و ۱/۷ میلیارد پارامتری معرفی کرد.

این مدل‌ها، از مدل MobileLLM متا، مدل Phi-1.5 مایکروسافت و مدل Qwen2 علی‌بابا به‌تر عمل می‌کنند با این حال آنقدر سبک‌اند که به‌راحتی برروی مرورگر وب و یا دستگاه‌های موبایل اجرا می‌شوند.

این مدل‌ها اوپن-سورس‌اند و تحت مجوز Apache 2 منتشر شده‌اند.

علاوه بر مدل‌های پیش‌آموزش‌دیده به‌صورت پایه و instruct، مجموعه داده‌ی آموزشی (Corpus) نیز منتشر شده‌ست.

بلاگ‌پست معرفی:
https://huggingface.co/blog/smollm

دمو:
https://huggingface.co/spaces/HuggingFaceTB/SmolLM-360M-Instruct-WebGPU

دانلود مدل‌ها:
https://huggingface.co/collections/HuggingFaceTB/smollm-6695016cad7167254ce15966

دانلود دیتاست:
https://huggingface.co/datasets/HuggingFaceTB/smollm-corpus