اگر از GPU های NVIDIA استفاده می‌کنید، Pandas رو به‌صورت زیر ایمپورت کنید:

%load_ext cudf.pandas
import pandas as pd

در این‌صورت به‌کمک حالت شتاب‌دهی Pandas در CuDF سرعت اجرای عملیات روی دیتافریم‌ها حداقل ۵۰ برابر خواهد شد.

دمو:
https://colab.research.google.com/github/rapidsai-community/showcase/blob/main/getting_started_tutorials/cudf_pandas_stocks_demo.ipynb

ایلان ماسک اعلام کرد: الکترودهای تراشه‌ی نورالینک در مغز اولین بیمار، به تثبیت و پایداری رسیده‌اند و طی این هفته دومین انسان نیز این ایمپلنت را دریافت خواهد کرد.
بی‌صبرانه منتظر مشاهده‌ی نتایج آزمایش‌های نورالینک هستم. 🤗

در هفته‌ای که گذشت، با یک بوت‌کمپ کوتاه، و موضوع Transformer ها، در خدمت عزیزان علاقه‌مند به هوش مصنوعی بودیم.

ترنسفورمرها، قلب تپنده‌ی مدل‌های جدید هوش مصنوعی مثل GPT اند و آشنایی با روش عمل‌کرد آن‌ها برای بسیاری از علاقه‌مندان جالب و کمک‌کننده‌ست. بااین‌‌حال، منابع فارسی در این زمینه اندک‌اند، بنابراین سعی کردیم طی ۴ جلسه، به‌‌صورت روان و ساده، بدون پرداختن به جزییات ریاضی و برنامه‌نویسی، درک خوبی از این مدل‌ها به‌دست آوریم.

از آن‌جا که به علت اختلاف زمانی و …، بسیاری از عزیزان موفق به شرکت در دوره نشدند، تمامی جلسه‌ها ضبط شده و برای استفاده‌ی علاقه‌مندان در یوتیوب/آپارات قرار گرفته‌اند.

امیدوارم این آموزش، قدمی هرچند اندک در راستای پیش‌رفت هم‌میهنان عزیز باشد.


نشست نخست: پردازش دنباله‌ها و شبکه‌های عصبی RNN
https://www.aparat.com/v/pxur1r9

نشست دوم: شبکه‌های LSTM و GRU
https://www.aparat.com/v/mlt6433

نشست سوم: آشنایی با معماری Encoder-Decoder و مکانیزم Attention
https://www.aparat.com/v/hqg95m8

نشست چهارم: ترنسفورمرها (Transformers) و مدل‌های زبانی بزرگ (LLMs)
https://www.aparat.com/v/viel9ri

با درود،

تعدادی از هم‌راهان جدیدمون در کامیونیتی School of AI به ویژه پس از برگزاری بوت‌کمپ ترنسفورمرها، علاقه‌مند شدند که در مورد این کامیونیتی و بوت‌کمپ‌های دیگه مثل «بوت‌کمپ Recommender System ها» بیش‌تر بدونن.

حدود هفت سال پیش، برای معرفی بیش‌تر AI به جامعه و ارتقای سطح دانش در این زمینه، این کامیونیتی رو به‌کمک Siraj Raval مدرس هوش مصنوعی و یوتیوبر معروف راه انداختیم. لینک معرفی:
https://www.aparat.com/v/Pmrs8

ابتدا در فیس‌بوک و چندجای دیگه بودیم و Meetup ها و Bootcamp هامون حضوری بودن. در نهایت روی تلگرام متمرکز شدیم و برای شرکت حداکثری، بوت‌کمپ‌ها و میت‌آپ‌هامون هم آنلاین شدند. بنابراین موفق شدیم بسیاری رو برای استفاده در آینده، رکورد کنیم.


بوت‌کمپ آشنایی با ترنسفورمرها:
https://t.me/schoolofai/863

بوت کمپ پیاده‌سازی سامانه‌های توصیه‌گر:
https://t.me/schoolofai/537

بوت‌کمپ آشنایی با مهندسی داده و بیگ‌دیتا:
https://t.me/schoolofai/515

بوت‌کمپ آشنایی با Geospatial Datascience و پکیج GeoPandas:
https://t.me/schoolofai/572

آموزش ساخت اپلیکیشن‌های مبتنی بر LLM ها به‌کمک فریم‌ورک LangChain:
https://t.me/schoolofai/803

بوت‌کمپ آشنایی با یادگیری تقویتی:
https://www.aparat.com/v/OsR9E

بوت‌کمپ آشنایی با هوش مصنوعی و یادگیری ماشین:
https://vrgl.ir/E2x3t
https://www.aparat.com/v/j38xijc

آموزش برنامه‌نویسی به زبان Python
https://t.me/schoolofai/488

به‌تصویرکشیدن داده‌ها (Data Visualization):
https://vrgl.ir/iqWnF

۳۰ کاربرد جالب از هوش مصنوعی:
https://vrgl.ir/EMfo4

مکانیزم FlashAttention-3 معرفی شد!

مکانیزم Flash Attention پیاده‌سازی بهینه‌تری از مکانیزم Attention برای سخت‌افزارهای مدرن‌ است.

پیاده‌سازی‌های جدیدتر برای MatMul و Softmax و همچنین Quantization، باعث بهره‌وری ۷۵ درصدی این مکانیزم شده‌اند.

https://tridao.me/publications/flash3/flash3.pdf

از Transformer ها می‌شه علاوه بر تسک‌های NLP برای تسک‌های Vision نیز بهره برد.

در واقع ابتدا تصویر به patch هایی (کاشی‌هایی) با طول ثابت تقسیم شده، سپس هر پچ توسط یک لایه‌ی CNN، به یک بردار امبدینگ تبدیل می‌شود. پچ‌ها به‌صورت متوالی flatten شده و پوزیشن هر patch توسط positional embedding در امبدینگ آن پچ انکود می‌شود. نهایتا این دنباله به انکودر ترنسفورمر ارسال می‌شود.

به ترنسفورمرهایی که برروی بینایی کار می‌کنند، ViT یا Vision Transformer گفته می‌شه.

منبع: TheAiEdge.io


کورس آموزشی خوب برای یادگیری ViT ها:
https://www.crcv.ucf.edu/courses/cap6412-spring-2022/schedule/

میان‌افزار ROS2 یا Robot Operating System 2 یک اکوسیستم کامل برای پیاده‌سازی ادراک، برنامه‌ریزی، کنترل و شبیه‌سازی در روبات‌هاست که طی ۱۰ سال گذشته، بسیار در جامعه‌ی روباتیک مورداستفاده قرار گرفته‌ست.

بلاگ‌پُست زیر توضیح خوبی برای درک عمیق‌تر این پلتفرم ارائه می‌دهد.

https://learnopencv.com/robot-operating-system-introduction/

هاگینگ‌فیس خانواده‌ی جدیدی از مدل‌های زبانی فوق سبک به‌نام SmolLM را در سه اندازه‌ی ۱۳۵ میلیون پارامتری، ۳۶۰ میلیون پارامتری و ۱/۷ میلیارد پارامتری معرفی کرد.

این مدل‌ها، از مدل MobileLLM متا، مدل Phi-1.5 مایکروسافت و مدل Qwen2 علی‌بابا به‌تر عمل می‌کنند با این حال آنقدر سبک‌اند که به‌راحتی برروی مرورگر وب و یا دستگاه‌های موبایل اجرا می‌شوند.

این مدل‌ها اوپن-سورس‌اند و تحت مجوز Apache 2 منتشر شده‌اند.

علاوه بر مدل‌های پیش‌آموزش‌دیده به‌صورت پایه و instruct، مجموعه داده‌ی آموزشی (Corpus) نیز منتشر شده‌ست.

بلاگ‌پست معرفی:
https://huggingface.co/blog/smollm

دمو:
https://huggingface.co/spaces/HuggingFaceTB/SmolLM-360M-Instruct-WebGPU

دانلود مدل‌ها:
https://huggingface.co/collections/HuggingFaceTB/smollm-6695016cad7167254ce15966

دانلود دیتاست:
https://huggingface.co/datasets/HuggingFaceTB/smollm-corpus

آقای Andrej Karpathy که به‌تازگی برای تمرکز روی آموزش هوش مصنوعی، کار در صنعت را رها کرده بود، قدم جای پای Andrew Ng (موسس کورسرا) گذاشته و استارتاپ آموزشی خود به‌نام Eureka Labs را تاسیس کرد.

این استارتاپ، به گفته‌ی آقای کارپاثی، یک مدرسه‌ی آنلاین مبتنی بر هوش مصنوعی‌ست.

در این مدرسه، یک دستیار هوش مصنوعی از ابتدای مسیر آموزش تا انتها، به‌عنوان مربی، کنار دانش‌آموزست و قدم‌به‌قدم او را راهنمایی می‌کند.

مخزن LLM101n در گیت‌هاب که اخیرا توسط کارپاتی ساخته شده بود، اولین کورس آموزشی این مدرسه خواهد بود.

وب‌سایت:
https://eurekalabs.ai/

گیت‌هاب:
https://github.com/EurekaLabsAI/

مدل RT-DETR یکی از به‌ترین مدل‌های شناسایی اشیا به‌صورت بی‌درنگ‌ست.

این مدل که برپایه‌ی یک Vision Transformer ساخته شده، به دلیل اوپن-سورس بودن (Apache 2) و سرعت و دقت بالا، بسیار مناسب استفاده در پروژه‌های صنعتی‌ست.

در پست زیر که توسط Roboflow منتشر شده، آموزش فاین‌تیون‌کردن این مدل روی دیتاست خود را مشاهده می‌کنید.

https://blog.roboflow.com/train-rt-detr-custom-dataset-transformers/

پیش‌تر در مورد Devin که یک AI Agent برای مهندسی نرم‌افزار بود توضیح دادیم.

حال، یک عامل هوشمند مشابه و جدید به‌نام Claude Engineer و براساس مدل Claude-3.5-Sonnet معرفی شده‌ست.

این عامل به‌کمک Tavily می‌تواند در اینترنت جست‌و‌جو کند، می‌تواند با فایل‌سیستم در سیستم‌عامل‌های مختلف ارتباط برقرار کرده و فایل‌ها را بخواند و بنویسد، ساختار فولدربندی پروژه را مشخص کند، پرفورمنس کد را بررسی و تحلیل کند، با زبان طبیعی با ترمینال ارتباط برقرار کند و …

گیت‌هاب:
https://github.com/Doriandarko/claude-engineer

پژوهش‌گران دانشگاه Johns Hopkins و دانشگاه Stanford به‌کمک imitation learning و با نگاه به حدود ۱۲ میلیون جراحی انجام‌شده توسط جراح به‌کمک روبات اوپن-سورس da Vinci Research Kit توانستند برخی از اعمال در حین جراحی مانند گره‌زدن یا چرخاندن سوزن را به روبات یادداده تا به‌صورت خودکار انجام شوند.

https://surgical-robot-transformer.github.io/

🔥 معرفی مدل gpt-4o-mini

📌سه روز پیش، OpenAI مدل جدید و بسیار مهمی را معرفی کرد که تأثیر فوق‌العاده‌ای بر تمامی محصولات، توسعه‌دهندگان و صاحبان ایده خواهد داشت. در این ویدیو، به بررسی مدل gpt-4o-mini پرداختیم.


📍برای دسترسی راحت‌تر، ویدیو در یوتیوب و آپارات آپلود شده.

یوتیوب:

https://youtu.be/Foe9m_Y1RPE

آپارات:
https://aparat.com/v/xihf38s

هری پاتر، اگر در دنیای بازی ویدئویی Cyberpunk 2077 ساخته می‌شد…

"Meta releases the biggest and best open-source AI model yet: Llama 3.1 outperforms OpenAI and other rivals on certain benchmarks. Now, Mark Zuckerberg expects Meta’s AI assistant to surpass ChatGPT’s usage in the coming months."
link

خانواده‌ مدل‌های زبانی اوپن‌-سورس Llama 3.1 توسط Meta معرفی شد.

بزرگ‌ترین مدل این خانواده، ۴۰۵ میلیارد پارامتر دارد!
مدل به بزرگی ۴۰۵ میلیارد پارامتر اون هم به‌صورت اوپن‌سورس خودش می‌تونه انقلابی به‌حساب بیاد!

معماری، کد و وزن‌های آموزش‌داده‌شده، به‌صورت اوپن-سورس منتشر شده‌اند و می‌توان مدل را به‌صورت لوکال اجرا یا فاین‌تیون کرد.
اما به‌دلیل مسايل مربوط به کپی‌رایت و امنیت اطلاعات، داده‌های آموزشی و هایپرپارامترهای استفاده‌شده هنگام آموزش، عمومی نشده‌اند.

همچنین این مدل تحت یک لیسانس پژوهشی غیرتجاری منتشر شده‌ست. به‌عبارت دیگه، فقط برای کارهای پژوهشی (نه محصولات تجاری) قابل استفاده‌ست.

بلاگ‌پست معرفی
https://ai.meta.com/blog/meta-llama-3-1/

مقاله
https://scontent-fra3-2.xx.fbcdn.net/v/t39.2365-6/452387774_1036916434819166_4173978747091533306_n.pdf?_nc_cat=104&ccb=1-7&_nc_sid=3c67a6&_nc_ohc=t6egZJ8QdI4Q7kNvgHrQvZO&_nc_ht=scontent-fra3-2.xx&oh=00_AYDMw5kHFSclnw1cdHaYK8x2ASMvaKkuC5-MCGlyimnRUg&oe=66A60A8D

دانلود از هاگینگ‌فیس
https://huggingface.co/collections/meta-llama/llama-31-669fc079a0c406a149a5738f

در این ویدئوی آموزشی، دوست عزیزمون، Ahmad Byagowi دانشمند پژوهشی تیم Meta، قدم‌به‌قدم و به‌ساده‌ترین روش ممکن (استفاده از پلتفرم Ollama) سایزهای مختلف مدل Llama 3.1 (۸ میلیاردی، ۷۰ میلیاردی و ۴۰۵ میلیاردی) را به‌صورت لوکال و روی یک ماشین از نوع Grand Teton با ۲ ترابایت رم اجرا و سرعت و عمل‌کرد آن‌ها را مقایسه می‌کند.

مخزن Git زیر، شامل نوت‌بوک‌ها و راهنماهای لازم برای فاین‌تیون‌کردن و موارداستفاده از Llama 3.1 است:

https://go.fb.me/wy18hm

اصلاحیه

در پُست معرفی مدل Llama 3.1 گفتیم که این مدل تحت یک لیسانس پژوهشی غیرتجاری منتشر شده.
پس از مطالعه‌ی دقیق لیسانس این مدل، متوجه شدیم که این یک اشتباه بود.
استفاده از مدل Llama 3.1 در هر محصول تجاری‌ای که همین الان کمتر از ۷۰۰ میلیون کاربر فعال در ماه دارد، بی‌مانع‌ست.
برای محصولاتی که ماهانه بیش از ۷۰۰ میلیون کاربر فعال دارند، نیاز به اخذ مجوز از Meta است.

https://github.com/meta-llama/llama-models/blob/main/models/llama3_1/LICENSE

دوستان عزیز
درود بر شما

پیش از هرچیز از عزیزانی که برای شرکت در دور نخست طرح پژوهشی مدرسه‌ی هوش مصنوعی ابراز علاقه کردند، سپاس‌گزاریم.
میزان تقاضا بیش از حد انتظار بود و البته ظرفیت، بسیار محدود.

تا امروز، همه‌ی تیم‌ها تشکیل شده‌اند. بنابراین، اگر تا امروز ایمیلی در رابطه با پذیرش یا عدم‌پذیرش دریافت نکرده‌اید، ازطریق ایمیل hamidreza@hosseinkhani.me پیگیری بفرمایید.