دستاوردهای یادگیری عمیق(InTec)

End to End video instance segmentation with transformers

Arxiv Link

1.93K viewsedited 08:58

توی ۲ هفته گذشته، شایدم کمی بیشتر درحال آشنایی بیشتر با دیتای sound بودم (شاید بهتره بگم سیگنال). خیلی وقتا خیلی از دوستان رو می‌بینم که هنوز هیچ چیزی از داده نمی‌دونند میرن سراغ مدلسازی و optimize کردن مدل و گرفتن خروجی بهتر، البته همین خروجی بهتر رو هم درک نمی‌کنم، وقتی شما هنوز داده رو متوجه نشدی چطور می‌تونی بهتر یا بدتر شدن خروجی رو تشخیص بدی !؟

کسی که داده رو متوجه نشه، به هیچ‌وجه نمی‌تونه تابع هدف درست رو مشخص کنه برای همین ۹۹٪ وقتم روی شناخت از سیگنال و بطور خاص sounds wav گذاشتم (شاید در پست دیگری چند کتاب و منبع برای درک بهتر صدا بذارم، البته ی چندتایی از این منابع مربوط به موسیقی شناسی بود که خب خیلی از بخش‌ها شاید بکار ما نیاد) و امروز شروع به کد زدن کردم، برای اینکه مطمئن بشم داده رو درست فهمیدم، اول با ی مسئله ساده شروع کردم (دسته بندی چند نوع صدا) ورودی‌های مختلفی رو باهاش تست کردم برای حصول اطمینان از درک داده:
Spectrogram, MelSpectrogram, MFCC, ...
توی همه‌ی موارد خروجی گرفتم و مطمئن شدم دیتارو متوجه شدم.

مساله دومی که برای کارم تعریف کردم، جداسازی صدای اصلی از صدای background و خروجی دادن هر ۲ صدا بصورت مجزا بود (البته بعداً جداسازی noise از صدای اصلی رو هم بهش اضافه کردم)

چون درک درستی از داده و ویژگی و ... داشتم، مدلی که طراحی کردم بسیار جالب شد، اگر دیتا بصورت RealTime باشه (سربار api و ... رو که باعث مقداری تأخیر می‌شه رو اگر حذف کنیم) خروجی هم RealTime هست و اگر بعنوان مثال دیتا صدای ضبط شده 1 ساعت صحبت باشه با noise , background sounds های مختلف توی کمتر از ۱۵ دقیقه خروجی آماده خواهد بود (البته مدل quantize , ... نشده هنوز) و مهمتر اینکه این خروجی برای
Single Core Single CPU
هست.
خروجی که بعد از این متن قرار خواهم داد، ۳ تا شرایط مختلف هست، مهمترین بخش راجب این خروجی اینه که :

مدل فقط برای 2تا epoch آموزش دیده،
تعداد پارامترهای مدل : 23,351,745
روی 1 کارت گرافیک 1080Ti آموزش دیده
و زمان لازم برای آموزش هر epoch هم ۴۳ دقیقه بود.

توی این متن خواستم اهمیت داده رو بیشتر و بیشتر روش تاکید داشته باشم، امیدوارم مفید باشه 🌹

👍1

2.24K viewsedited 17:47