Forwarded from Tensorflow(@CVision) (Alireza Akhavan)
#مقاله
آموزش روی مجموعه داده ImageNet در یک ساعت با سایز مینی بچ 8192 بدون افت کارایی.
Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour
https://arxiv.org/abs/1706.02677
مرتبط با پست
https://t.me/cvision/721
در مقاله ای که در توئیت یان لیکان معرفی شده بود، توصیه شده بود سایز بچ را بزرگتر از 32 نگذاریم
https://t.me/cvision/560
اما در این مقاله، با استفاده از تکنیک هایی که معرفی کرده توانسته سایز minibatch را با در اختیار داشتن ۲۵۶ پردازنه گرافیکی ۸۱۹۲ قرار بده و افت کارایی نداشته باشه!
#mini_batch
آموزش روی مجموعه داده ImageNet در یک ساعت با سایز مینی بچ 8192 بدون افت کارایی.
Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour
https://arxiv.org/abs/1706.02677
مرتبط با پست
https://t.me/cvision/721
در مقاله ای که در توئیت یان لیکان معرفی شده بود، توصیه شده بود سایز بچ را بزرگتر از 32 نگذاریم
https://t.me/cvision/560
اما در این مقاله، با استفاده از تکنیک هایی که معرفی کرده توانسته سایز minibatch را با در اختیار داشتن ۲۵۶ پردازنه گرافیکی ۸۱۹۲ قرار بده و افت کارایی نداشته باشه!
#mini_batch
Telegram
Tensorflow
توئیت Jeremy Howard پیرامون تکنیک مقداردهی اولیه پارامترهای قابل یادگیری لایه های BN در مقاله Imagenet in 1 hour
مرتبط با
https://t.me/cvision/560
#batch_norm
مرتبط با
https://t.me/cvision/560
#batch_norm