Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss

از قشنگ‌ترین و خفن‌ترین پیپرهایی که اخیرا دیدم 🤯

متدی رو ارائه دادن که توی ستینگ distributed training با تغییراتی باعث میشه که میزان GPU VRAM مورد نیاز برای محاسبات مربوط به مدل‌های contrastive (که معمولا نیاز به ساختن یک similarity matrix خیلی بزرگ دارن) خیلی کم بشه؛ این باعث میشه که بتونن batch size رو تا اعداد خیلی بزرگ و عجیبی تا ۱۲ میلیون! افزایش بدن که training رو خیلی کمک می‌کنه.

طبق ادعاشون، متدشون باعث میشه مصرف مموری تا x100 برابر کم بشه!

پ.ن:
پیپرهایی که متدی معرفی می‌کنن که یهو یه تغییری به این عظمت ایجاد می‌کنن واقعا مهمن و خیلی دقیق‌تر باید ادامه‌ی روندشون رو بررسی کرد. پیپرهای دیگه‌ای که از لحاظ بزرگی کاری که کردن شبیه به این می‌شناسیم پیپر Transformer از گوگل و CLIP از OpenAI بودن.

https://arxiv.org/abs/2410.17243

در #کنفرانس ۲۰۲۴
Conference on Lifelong Learning Agents (CoLLAs)
چه گذشت
https://m.youtube.com/@conferenceonlifelonglearni4216/playlists

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

#معرفی_مقاله_جدید #OpenAI

مدل های سازگاری (Consistency Models) یک کلاس قدرتمند از مدل های Diffusion هستند که سرعت تولید نمونه بالایی دارند، در این مقاله که توسط تیم دکتر Yang Song در شرکت OpenAI کار شده است، تنها با دو گام نمونه برداری از لحاظ کیفیت تصویر و کوچک بودن مدل به نتایج مشابه مدل های Diffusion دست یافته اند.
لینک مقاله:
▪️ Simplifying, Stabilizing and Scaling Continuous-Time Consistency Models

لینک معرفی مقاله در سایت OpenAI:
https://openai.com/index/simplifying-stabilizing-and-scaling-continuous-time-consistency-models/

#مقاله #ایده_جذاب
#Consistency_Models
#Diffusion_Models
#Generative_models

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

اگه میخوایین رزومه خودتون رو با لاتکس بنویسین دست نگهدارید این لینک یکی از پیشنهادات خوب برای طراحی یک رزومه خوب هستش

https://blog.pragmaticengineer.com/the-pragmatic-engineers-resume-template/

#اپلای

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

فارسی: آنالیز دیتای ماهواره ای یک غریبه روی دریاچه در حال خشک شدن اورمیه که خشک شدن آن باعث ایجاد سرطان برای ۱۵ میلیون نفر اطراف آن خواهد شد.

تۆرکجه: بیر تانیمادیقیم شخص اورمو گولونون اوستونده دیتا آنالیز ایشلری گوروب. اورمو گولو قوروسا ۱۵ میلیون اونون دورورینده یاشایان آداملار سرطان توتمالیدیلار.

https://www.linkedin.com/posts/milan-janosov_datascience-networkscience-connectingthedots-activity-7256235696007352320-S-a-?utm_source=share&utm_medium=member_android


کانالیمیزی جانلی یایین:
https://t.me/Machinelearning_Karta

🤖اولین المپیک فناوری ایران

🔹اولین المپیک تکنولوژی ایران در پارک فناوری پردیس درحال برگزاری است. این رویداد در ۵ بخش برنامه‌نویسی، هوش مصنوعی، رباتیک، پهپاد و امنیت شبکه برنامه‌ریزی شده و شرکت‌کننده‌ها در این دسته‌ها باهم به رقابت می‌پردازند.

⏳زمان برگزاری: ا الی ۷ آبان

پارک فناوری پردیس

اگه کسی میاد بگه همو فردا اینجا ببینیم

Building End To End Data Pipelines With Python

#کتابچه #کد #پایتون

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

اینم برا کسایی که Image Segmentation سوالات زیادی رو براشون به وجود آورده.

Deep Learning based Image Segmentation

#یادگیری_عمیق #کتابچه #کد #منابع

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

بدون شرح

خودم را گم کرده‌ام


در روز با چند نفر صحبت می‌کنید؟ راجع به چند تا آدم و شخصیت فکر می‌کنید؟ امروز حس می‌کردم برای من نرخ زیادی شده. هفته‌هایی که هم دانشگاه می‌رم و هم شرکت، این سنگینی برام ملموسه. انگار در طول روز کلی آدم هستند که ذهنم برای هر کدوم حداقل یک دقیقه درگیر می‌شه. نکته مضاعف اما این که خود این آدم‌ها هم گاها راجع به یک تعداد آدم دیگه صحبت می‌کنند. تو ذهنم انگار پر از تصور آدمه. کارمندای شرکت با نسبت روابط مختلفی که باهام دارند، استادهای دانشگاه. دانشجوهای مقاطع مختلف، ورودی‌ها مختلف. تازه به اینها می‌شه آدم‌هایی که در فضای مجازی باهاشون تعامل داریم رو هم اضافه کرد. در بین همه تفاوت‌های این آدم‌ها با هم ولی تفاوت خواسته‌هاشون بیشتر از هر چیز دیگه‌یا به پیچیدگی کلاف ذهن ما اضافه می‌کنه. هر کی رو می‌بینی که یک خواسته‌ای داره. اگر بهش برسه شاده و اگر نه به سمتش در حال حرکته. وقتی به تک تک شون نگاه می‌کنی می‌بینی برای هر کدوم داره درست کار می‌کنه. ولی یهو به طرز عجیبی برات سوال می‌شه خواسته من چیه؟ من با چی شاد می‌شم؟ سعی می‌کنی پاسخ بدی ولی این قدر آدم‌های مختلف رو دیدی انگار نمی‌تونی. اگر هم قبلا خواسته‌ای داشتی حالا بین انبوه خواسته‌های دیگران گم کردی. هر چه قدر هم با دیگران صحبت می‌کنی ببینی آیا خواسته من این بود می‌بینی نه این هم نیست انگار. وقت تنگه. سعی می‌کنی چند وقت بی‌خیال این سوالت بشی که من با چی شادم. روز رو با صدها انتخاب سیاه می‌کنی. شب که می‌شی وقتی فکر می‌کنی می‌بینی انگار تبدیل به ترکیبی از همه اون آدم‌ها شدی. می‌بینی به طرز ناخودآگاهی دنبال چیزهایی بودی که خواسته تو نبودی و چه عجیب که گاه بابت نرسیدن به چیزی که خواستت نیست عصبانی و افسرده هم می‌شی. گیج ‌میشی. سعی می‌کنی خواسته‌ات رو هر جوری شده پیدا کنی. با آدم‌ها ناامیدانه صحبت می‌کنی. پیداش نمی‌کنی. در چهره، در مغز، در قلب، در کارهای آدم‌های دیگه سعی می‌کنی پیدا کنی. پیدا نمی‌کنی. در شرکت، در دانشگاه؟ پیدا نمی‌کنی. در مقالات، در کتاب‌ها، در فیلم‌ها؟ پیدا نمی‌کنی. انگار که یادت می‌آید چیزی یادت رفته ولی یادت نیست دقیقا چی بود. با هر کی راجع به هر چی صحبت می‌کنی مگر یادت بیاد من از چی خوشم میاد؟ ولی نه. هر چی بیشتر صحبت می‌کنی بیشتر کلاف کاموای ذهنت رو به هم گره می‌زنی. آدم‌های بیشتری رو وارد ذهنت می‌کنی. بیشتر در باتلاقی فراموشی خودت فرو می‌ری. بالاخره یک جایی از شب ناامید می‌شی از حرف‌ زدن با دیگران، پشیمون می‌شی بابت جستجوی بی‌فایده‌ات. و مضطرب می‌شی که آیا می‌تونم میون این همه آدم، اون چیزی که می‌خوام رو بفهمم یا نه. خودم را، آن چیزی که می‌خواهم را، گم کرده‌ام.

#افکار_پریشان

آموزشی مختصر در
PyTorch Neural Network Classification

#پایتورچ #پایتون #شبکه_عصبی #کتابچه

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

بگذارید هرکس به آیین خودش باشد.
زنان را گرامی بدارید.
فرودستان را دریابید.
اجازه دهید هرکسی به تکلم قبیله‌ی خویش سخن بگوید.

آدمی تنها در مقام خویش به منزلت خواهد رسید.

۷ آبان روز بزرگداشت کوروش کبیر، همایون باد.

اگر میخواید انلاین به تخت جمشید سر بزنید و انلاین بازدید کنین از این سایت استفاده کنین و از تاریخ ایران باستان بیشتر یادبگیرید

https://persepolis.getty.edu/

یکی ادعا کرده که یه رباتی نوشته که برای هر اگهی کار تو لینکدین رزومه و کاورلتر شخصی سازی شده مینویسه و جواب سوالارم میده و اتومات ایزی اپلای میکنه. باهاش تو ۲۴ ساعت ۱۰۰۰ تا اگهی اپلای کرده و ۵۰ تا مصاحبه گرفته! کدشم تو گیت هاب بیش از ۱۹ هزار تا استار گرفته!

https://github.com/feder-cr/Auto_Jobs_Applier_AIHawk

#مقاله #هوش_مصنوعی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

نقشه راه
Data Science ML Full Stack Roadmap

#منابع #یادگیری_ماشین #علم_داده #پایتون #کلاس_آموزشی


🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

هفته پیش runway در اقدامی شگفت انگیز act-one رو معرفی کرد که میتونه انیمیشن‌های جذابی رو با استفاده از اجرای ویدیویی و صوتی به عنوان ورودی ایجاد کند.
یک گام رو به جلو در استفاده از مدل های مولد برای محتوای متحرک ...

#MLP
🎁Multi Layer Perception
#AI
#ML