متا، گوگل دیپ‌مایند، دانشگاه کورنل و انویدیا اخیرا مقاله‌ای با موضوع «مدل‌های زبانی چقدر حفظ می‌کنن؟» منتشر کردن. عنوان مقاله:

How much do language models memorize?

این مقاله نشون میده مدل‌های GPT-style حدود ۳.۶ بیت به ازای هر پارامتر حافظه دارن. یعنی، یک مدل 1 میلیاردی، حدودا 3.6 گیگابایت حافظه برای ذخیره‌سازی داده داره!

تا زمانی که ظرفیت پر بشه، مدل‌ها داده‌ها رو حفظ میکنن؛ بعد از اون، به سمت تعمیم (generalization) میرن.
پدیده double descent رو یادتون میاد؟ دقیقا زمانی اتفاق می‌افته که داده‌ها از ظرفیت مدل بیشتر بشن.

به نظرم مقاله آموزنده‌ای هست. میتونه خیلی از مفاهیم مثل یادگیری، حفظ کردن، تعمیم‌پذیری و دابل دیسنت رو برامون شفاف‌تر کنه. من هنوز مقاله رو نخوندم، خلاصه‌هاش رو خوندم. امیدوارم، وقت کنم که بخونم. این منابع رو پیدا کردم:
مقاله اصلی | وبلاگ 1 | وبلاگ 2 | رشتو

چند خبر جالب امروز رو به Notebook LM دادم و یک پادکست از اخبار هوش مصنوعی تولید کرد.

به نظرم خوب بود. هم توی وقتم صرفه‌جویی شد و هم از اخبار به‌صورت مختصر مطلع شدم.

شاید به این روند ادامه بدم. هم تعداد خبرها رو بیشتر کنم و هم محدود به هوش مصنوعی نکنم. مثلا، به مقدار کمی اخباری از ورزش و سایر موارد هم داخلش بذارم...

منابع:

• منبع اول به پیشرفت‌های اپل در زمینه هوش مصنوعی تولیدکننده تصویر با سیستم "STARFlow" می‌پردازد که با مدل‌های پیشرفته‌ای مانند DALL-E و Midjourney رقابت می‌کند. لینک

• منبع دوم به بحث پیرامون اثربخشی "Fine-tuning" (تنظیم دقیق) مدل‌های زبان بزرگ (LLMs) می‌پردازد و دیدگاه‌های متفاوتی را در مورد مفید بودن یا نبودن آن برای تزریق دانش یا تغییر رفتار مدل ارائه می‌دهد. لینک

• منبع سوم به بررسی نحوه همکاری و تکمیل‌کنندگی ابزارهای هوش مصنوعی NotebookLM و Perplexity برای بهبود فرآیند تحقیق می‌پردازد. لینک

• منبع چهارم در مورد آزمایش گوگل برای فرمت جدید در "Google Discover" است که به‌جای عناوین مقالات، گزیده‌هایی از متن اصلی را نمایش می‌دهد تا با "clickbait" مبارزه کند. لینک

امروز توی گروه پشتیبانی دوره یادگیری عمیق هوسم، یک نفر درباره کتاب مرجع و مکمل برای دوره پرسید. من کتاب d2l.ai رو معرفی کردم.

کتاب d2l.ai نسخه آنلاین، pdf رایگان و نسخه کاغذی داره. من برای دوره‌های مرتبط با یادگیری عمیق ازش استفاده کردم.

به سایت زیر برید:
d2l.ai

بعد n روز جنگ و بی اینترنتی اومدم دفتر؛ همین که خواستم سیستم رو روشن کنم، برق قطع شد...

#سگه_زندگی

شرکت Etched با توسعه نخستین چیپ ASIC مخصوص معماری «ترنسفورمر» توانسته سریع‌ترین سخت‌افزار جهان را برای اجرای این نوع مدل‌ها بسازد.

این چیپ که «Sohu» نام دارد، با هدف اجرای مدل‌هایی مثل LLaMA 70B طراحی شده و ادعا می‌شود که قادر است با نرخ بیش از ۵۰۰٬۰۰۰ توکن بر ثانیه عمل کند، سرعتی که به گفته آن‌ها بسیار فراتر از توان B200 یا H100 انویدیا است! 🤯

منابع: 1 | 2

توی دوره OpenCV یک تمرینی داده بودم که با دستورهای هندسی OpenCV ویدئو بسازید. این یک نمونه کار! 😁 یک نمونه هم قبلا اینجا گذاشته بودم.

سلام
از همین تریبون تشکر میکنم از:
هوسم❤️، استاد اشرفی عزیز❤️، chatgpt 🫣و کودک درون👻
😁😁😁😁

به گفته دوروف:
هوش مصنوعی آینده برادرش با مدل‌های زبان بزرگ فعلی متفاوت خواهد بود و قادر به «درک جهان» است.

دوروف در مصاحبه‌ای با نشریه «لو پوینت» اظهار داشت:
«مشکل اینجاست که هوش مصنوعی مولد مدرن مانند LLM (مدل زبان بزرگ) فکر نمی‌کند، بلکه فقط مقدار زیادی متن را می‌خواند و نسخه‌ای توافقی را ارائه می‌دهد.
این موضوع قابل قبول به نظر می‌رسد، اما لزوماً درست نیست.
و ما انسان‌ها فریب می‌خوریم زیرا زبان پیچیده را با هوش مرتبط می‌دانیم، اما این مدل‌ها هوشمند نیستند.
برادرم نیکلای در حال حاضر روی یک هوش مصنوعی واقعی کار می‌کند - هوش مصنوعی که می‌تواند منطقی فکر کند و جهان را درک کند.»

او از برادرش به عنوان یک «نابغه» یاد کرد.
در همین حال، دوروف تأکید کرد که نیکلای سال‌هاست در فعالیت‌های عملیاتی تلگرام دخالتی نداشته است.

دوروف گفت: «در سال‌های اخیر، او بر تحقیقات بنیادی، مانند طراحی یک معماری بلاک‌چین با قابلیت مقیاس‌پذیری بی‌نهایت، تمرکز کرده است.»

Telegram co-founder Durov says his brother working on ‘real AI’

دوستان، تخفیف تابستونی روی دوره‌های هوسم شروع شده و تا پایان روز جمعه برقرار هست.

همچنین، یک دوره جدید بنام "مسابقه Kaggle: تحلیل و پیش‌بینی رفتار با داده‌های چندحسگری سری زمانی" معرفی کردیم. تلاشم این هست که با این دوره و دوره‌های پروژه-محور مشابه (مثل دیپ کاتالیست یا ChatGPT)، بیشتر و بیشتر شما رو به کار عملی سوق بدم. چیزی که در بسیار از شماها کم‌رنگ هست و صرفا به آموزش دیدن بسنده می‌کنید و وارد انجام پروژه نمی‌شید و یا می‌ترسید.

مسابقات زیادی در کگل برگزار میشه. اما ما این مسابقه رو انتخاب کردیم. چون، ساختار داده جالب و کمیابی داره. اغلب اوقات پروژه‌ها رو با داده‌های جدولی، متنی و تصویری می‌بینیم. درحالی‌که اینجا با یک داده سری زمانی خوب سروکار داریم. همچنین، در تابستون برگزار میشه و فرصت مناسبی هست که شما هم برید در مسابقه شرکت کنید و رکوردهاتون رو ثبت کنید. خیلی حس خوبی داره که اسمتون وارد جدول میشه.

این دوره الان 50 درصد تخفیف برای 100 نفر اول داره که 30+ نفر فعلا ثبت‌نام کردن.

من قبلا درباره این مسابقه و کگل پست‌هایی کار کرده بودم: اینجا | اینجا | اینجا

لینک دوره مسابقه کگل در هوسم: لینک

خاطرتون باشه، چند وقت پیش یک وبینار دو ساعته برای هاگینگ‌فیس برای مرکز نوآوری هم‌فکر برگزار کردم. دوستان زیادی جا موندن.

یک ویدئوی 1 ساعته از جزئیات سایت هاگینگ‌فیس ضبط کردیم و در یوتوب گذاشتیم. تلاش می‌کنم فعالیتم رو در یوتوب بیشتر کنم. لطفا فیدبک بدید و بگید چه محتواهایی رو دوست دارید که روش کار کنم.

ویدئوی هاگینگ‌فیس در یوتوب

تصویر تزئینی هست...

یک وبلاگ بسیار خوب از راشکا 👏

در این وبلاگ، LLM-ها از GPT تا MoE رو بررسی کرده. باید مطالعه کنم!

From GPT to MoE: I reviewed & compared the main LLMs of 2025 in terms of their architectural design from DeepSeek-V3 to Kimi 2.

Multi-head Latent Attention, sliding window attention, new Post- & Pre-Norm placements, NoPE, shared-expert MoEs, and more...

https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison

چند وقت پیش، با کورس CS197 از دانشگاه هاروارد آشنا شدم. اسم دقیق کورس این هست:

AI Research Experiences
Harvard CS197
Learn to do applied deep learning research

و در معرفی دوره گفته شده:

در این دوره، مهارت‌های عملی مورد نیاز برای کار در زمینه‌ی یادگیری عمیق کاربردی را خواهید آموخت، از جمله تجربه‌ی عملی در توسعه‌ی مدل‌ها. همچنین مهارت‌های نگارش فنی مورد نیاز برای تحقیقات کاربردی در حوزه‌ی هوش مصنوعی را یاد می‌گیرید، که شامل تجربه در نوشتن بخش‌های مختلف یک مقاله‌ی تحقیقاتی کامل می‌شود.

به نظر میرسه، متاسفانه ویدئوهاش در دسترس نیست. اما، Lecture Note داره که تمیز و با کیفیت هست. من لکچر 3 با موضوع Reading AI Research Papers رو پادکست کردم و دو بار گوش کردم.

شاید برای دیپ لرنینگ 1000 منبع آموزشی وجود داشته باشه، ولی منبع آموزشی برای این مباحث مهم کمیاب هست.

در این لکچر درباره paperswithcode هم صحبت شده که من بارها در آموزش‌هام بهش اشاره کردم. در یوتوب هم یک ویدئوی معرفی و کار با این سایت گذاشتیم.

لینک صفحه دوره
لینک ویدئوی paperswithcode در یوتوب

از امیررضا:

حتی نویسنده کتاب معروف hands on ML and tensorflow دیگه قرار نیست نسخه جدید کتابش رو منتشر کنه. نسخه جدید که بعدا منتشر می شه با پایتورچ هست

باتوجه به موقعیت پایتورچ کار عجیبی نیست. اما به این فکر می‌کنم که گذر از سایکیت به پایتورچ برای مخاطب این کتاب مشکل نیست؟ این کتاب خیلی عمیق نمیشه و به مخاطب یاد میده که در سایکیت با ()fit. می‌تونی مدلت رو آموزش بدی. اما توی پایتورچ دیگه ()fit. جواب نیست و باید خودش کل پروسه آموزش رو کد بزنه. جز اینکه به سمت پایتورچ لایتنینگ یا کراس با بکند پایتورچ بره...

متاسفانه سایت خوب paperswithcode.com متوقف شد. 💔

چقدر این سایت خوب بود و چقدر برای کارهای مختلف مثل بینایی کامیپوتر حرفه‌ای ازش استفاده کردم. مقاله‌های ترند + مقاله‌های دسته‌بندی‌شده در شاخه‌های مختلف...

همیشه، توی دوره‌ها و جاهای مختلف تاکید می‌کردم که از این سایت استفاده کنید. حتی می‌تونید برای پیدا کردن موضوع پایان‌نامه هم ازش استفاده کنید. توی یوتوب یک ویدئوی معرفی گذاشتم. لینک

البته، گویا قرار هست که نمایش مقاله‌های ترند به همون شکل و ساختار paperswithcode در سایت هاگینگ‌فیس ادامه پیدا کنه. اما خب، فعلا نمایش مقاله‌های دسته‌بندی‌شده رو در هاگینگ‌فیس ندیدم. امیدوارم اضافه بشه.

ما با همکاری Meta AI و Papers with Code در حال ساخت نسخه‌ای جانشین برای Papers with Code هستیم (که دیروز متوقف شد). Papers with Code، طی سال‌ها منبعی فوق‌العاده برای دانشمندان و مهندسان هوش مصنوعی بوده (و الهام‌بخش ما برای ساخت Hugging Face نیز بود). ما خوشحالیم که راه آن‌ها را ادامه می‌دهیم و بخشی جدید در Hugging Face برای جامعه فراهم می‌کنیم تا بتوانند مقالات ترند را دنبال کنند، با لینک مستقیم به پیاده‌سازی‌هایشان در GitHub 🔥
منبع

لینک مقاله‌های ترند در هاگینگ‌فیس

از مهدی. ببینید، جالبه...

We Built an Auto-aiming Trash Can

وبلاگ درباره Embedding

این وبلاگ در هاگینگ‌فیس منتشر شده و درباره روش‌های مختلف امبدینگ به‌صورت تعاملی توضیح داده.

در X این پست رو معرفی کرده بودن و یک ویدئو هم براش گذاشته بودن. میخوام بخونمش. اتفاقا باید برای امبدینگ وبلاگ بنویسم. امبدینگ واقعا موجود جذابی هست...

https://huggingface.co/spaces/hesamation/primer-llm-embedding

دو تا کورس خوب و جدید برای بینایی کامپیوتر

کورس معروف CS231n: Deep Learning for Computer Vision از دانشگاه استنفورد که در بهار 2025 برگزار شده. امسال کورس CS231n ده ساله شد! 🔥 متاسفانه ویدئوهای این کورس فقط برای دانشجوهای استنفورد باز هست و ما فقط به اسلایدها دسترسی داریم. اگرچه، خیلی ارزشمند هست، اما ویدئوها یک چیز دیگه هست. دکتر Justin Johnson هم یکی از مدرس‌های این کورس هست. چند سال پیش، کورسی مشابه با همین CS231 رو در دانشگاه میشیگان به تنهایی برگزار می‌کرد. چه کورسی بود واقعا! چقدر ویدئوهاش خوب و پربار بود. لینک

کورس Computer Vision - CSCI-GA.2271-001 از دانشگاه نیویورک که در 2023 برگزار شده. من این کورس رو مطالعه نکردم، اما نگاهی به اسلایدها انداختم و بسیار پرمحتوا و باجزئیات بود. لینک

این کورس‌ها سنگین هستن. تا جایی که من مخاطب‌های عزیز هوش مصنوعی در ایران رو می‌شناسم، خیلی از علاقه‌مندان به بینایی کامپیوتر دنبال آموزش دادن شبکه یولو و این نوع کارها هستن. این کورس‌ها توی این فضا نیستن.

قبل از این دوره "مسابقه کگل"، من برای مسابقات کگل کم‌وبیش وقت میذاشتم. مثلا، توی دوره دیپ کاتالیست یک پروژه بزرگ برای سگمنت تصاویر دستگاه گوارش داشتیم. ولی، این مسابقه به خاطر زنده بودنش، جذابیت بیشتری برام داره. به واسطه مسئولیتی که به عنوان مدرس دارم، مجبور بودم از صفر (ساخت اکانت در کگل) تا ثبت اولین نتیجه در کگل رو با نظم و ساختار مناسب مستند و ضبط کنم. خیلی لذت می‌برم و برای خودم هم بسیار آموزنده هست. فرصت کنم، یکی از سوپرنکته‌های آموزنده این مسئله رو اینجا به اشتراک میذارم...

هر موقعی که خودم رو به شکلی به چالش کشیدم، رشد کردم. هرچند زحمت داره، اما لذت رشد و تغییر بسیار شیرین هست.

تا الان حدود 15 ساعت آموزش برای این دوره منتشر کردم. رسیدیم به اینجا که با اسکوری ناچیز وارد لیدربرد شدیم! :) حتی یک بهبود داشتیم؛ مدل رو کمی تغییر دادم و در شرایطی که امید داشتم حدود 3 4 درصد نتیجه بهتر بشه، 10 درصد بهتر شد! چشمام قلبی شده بود! :)

الان، مدام ذهنم درگیر این هست که کار رو بهبود بدیم.

البته، انگیزه زیادی برای شرکت در سایر مسابقه‌های کگل دارم. چند نمونه مسابقه خوب از نظر خودم رو انتخاب کردم:
* آنوریسم‌ مغزی
* پیش‌بینی قیمت کالا

یک وبلاگی خوبی در roadmap.sh با موضوع مصاحبه (Top 60+ Data Science Interview Questions and Answers) دیدم و پادکستش کردم. ارزیابی کنید که چقدر از مطالب گفته‌شده رو بلدید...

پادکست‌های کانال داره زیاد میشه. می‌تونید توی مسیرهاتون پلی‌لیستش رو گوش بدید.

یک نفر توی سایت کامنت گذاشته:

با فرض اینکه اطلاعات کاملا درست بوده باشه، واقعا قشنگ توضیح دادید و باعث افتخاره که به زبان فارسی هم داریم این محتواهای با کیفیت رو میبینیم.

کامنت عجیبیه. وضعیت برزخیه! اصلا منو یاد فیلم Inception میندازه. چطوری میشه "قشنگ توضیح دادن" رو منوط به فرض "کاملا درست بودن اطلاعات" کرد؟! 🧐