🌐 معرفی شبکه ی DG-Net

▪️شبکه ی DG-Net یک شبکه‌ی یادگیری عمیق است که به‌منظور بخش‌بندی دقیق تصاویر پزشکی طراحی شده است. این شبکه از دو شاخه اصلی استفاده می‌کند:

۱. شاخه‌ی توجه دوطرفه (Bilateral Attention Branch): این شاخه به شناسایی و تمرکز بر جنبه‌های مختلف تصویر، از جمله پیش‌زمینه و پس‌زمینه، کمک می‌کند تا اطلاعات مهم را بهتر استخراج کند.

۲. شاخه‌ی تجمیع مرز (Boundary Aggregation Branch): این شاخه به شناسایی مرزها و جزئیات دقیق در تصاویر کمک می‌کند و به بهبود دقت بخش‌بندی کمک می‌کند.

▪️شبکه DG-Net از ساختارهای خاصی به نام بلوک‌های FBR و BFA به عنوان اجزای اصلی استفاده می‌کند و همچنین از بلوک‌های اضافی مانند ERF، PPD و BAE برای بهبود عملکرد کلی خود بهره می‌برد.
▪️هدف نهایی DG-Net ارائه‌ی نتایج بهتر و دقیق‌تر در وظایف بخش‌بندی تصاویر نسبت به روش‌های موجود است.
🆔️ telegram channel:
https://t.me/Intellimage
#image_processing
#deep_learning
#DG_Net

🔍معرفی (Single Shot MultiBox Detector (SSD

▪️ یک الگوریتم یادگیری عمیق که برای تشخیص اشیا در تصاویر استفاده می‌شود.در عمل هم مکان‌های احتمالی اشیا را پیشنهاد می‌کند و هم نوع آنها را پیش‌بینی می‌کند.

▪️مزایای استفاده از SSD :

◽ سرعت بالا: SSD بسیار سریع‌تر از بسیاری از روش‌های تشخیص اشیا دیگر است، زیرا از یک شبکه عصبی واحد برای انجام همه کارها استفاده می‌کند.

◽ دقت بالا: SSD دقت بالایی در تشخیص اشیا از اندازه‌های مختلف و در کلاس‌های مختلف دارد.

◽ انعطاف‌پذیری: SSD را می‌توان برای تشخیص اشیا در تصاویر با اندازه‌های مختلف و نسبت‌های مختلف تنظیم کرد.

▪️از SSD برای تشخیص اشیا در تصاویر ثابت استفاده می‌شود، مانند تشخیص چهره،تشخیص خودرو، تشخیص عابران پیاده و غیره.هم چنین SSD رامی‌توان برای تشخیص اشیادر ویدیوها نیز استفاده کرد، مانندسیستم‌های نظارت تصویری و خودروهای خودران.

🆔️ telegram channel:
https://t.me/Intellimage
#deep_learning
#SSD

✔ شبکه U-Net برای تحلیل تصاویر اتوسکوپی گوش


⚪ متد EAR-UNet یک روش مبتنی بر یادگیری عمیق برای جداسازی غشاء تمپان از تصاویر اتوسکوپی گوش است.

⚪ این روش از شبکه‌های عصبی عمیق استفاده می‌کند تا به طور خودکار غشاء تمپان را در تصاویر شناسایی و تفکیک کند. هدف این تحقیق بهبود دقت و سرعت در تشخیص مشکلات گوش از طریق تحلیل تصویری است.

🔎 paper

🆔️ telegram channel:
https://t.me/Intellimage
#image_processing
#deep_learning
#U_Net

🌐 راه حل مایکروسافت برای کمک به ترنسفورمرها

▪️ترنسفورمرها معمولا توجه زیادی به اطلاعات نامربوط دارند که این موضوع میتواند دقت آنهارا در کارهای مختلف یادگیری ماشین مثل خلاصه‌سازی متن یا پاسخ دادن به سوالات کم کند.

▪️برای حل این مشکل، محققین مایکروسافتDiff Transformer را ارائه کردند و روش جدیدی به نام مکانیزم توجه تفاضلی را مطرح کردند درواقع این روش به‌جای اینکه نمرات توجه را بطور یکپارچه محاسبه کند،از تفریق دو نگاشت توجه استفاده می‌کند.

▪️این نوآوری باعث میشود نویز و اطلاعات نامربوط حذف شود و الگوهای توجه پراکنده یا درواقع(Sparce attention) تشویق شوند.

▪️نتایج آزمایش‌ها نشان میدهد که Diff Transformerنه تنها داخل آزمایش‌ها عملکرد بهتری دارد،بلکه درکاربردهای واقعی هم مزایای زیادی دارد.مثلاً در متون طولانی، بازیابی اطلاعات کلیدی و کاهش توهمات مدل (hallucinations) در مدل‌های زبانی، پیشرفت‌های قابل‌توجهی داشته است.

🔎 📄paper

🆔️telegram channel:
https://t.me/Intellimage
#image_processing
#deep_learning
#Transformer
#cvision

🆕️ در دستگاه رگ یاب ، پردازش تصویر به پیدا کردن رگ کمک میکند !

🆔️ telegram channel:
https://t.me/Intellimage
#bioparspajouhaan
#image_processing
#deep_learning

🪩 الگوریتم Federated Learning راه حلی برای چالش‌های موجود در تشخیص اشیاء تصاویر پزشکی

◽تشخیص اشیاء پزشکی یا Medical Object Detection (MOD) یک روش پردازش تصویر مرتبط با حوزه پزشکی است که ساختارهای مورد نظر را در تصاویر با استفاده از کادرهای محدود شناسایی می‌کند.

◽مدل‌های موفق MOD نیاز به مجموعه داده‌های بزرگ و دقیق دارند که توزیع ویژگی‌های مربوط به حوزه موردنظر را منعکس کنند.محدودیت‌های قانونی حفاظت از داده‌های بیمار و تجمیع داده‌ها ؛ عملکرد و تعمیم پذیری مدل‌های MOD را مخدوش می‌کند.

✔ فدرال یادگیری (FL) راه حلی است که به آموزش مدل بدون نیاز به انتقال داده‌ها در یک مکان متمرکز امکان می‌دهد.یک چارچوب FL خود تنظیم و چندمنظوره برای MOD که Flower (چهارچوب FL) و nnDetection (چارچوب MOD پیشرفته) را ترکیب می‌کند ، می‌تواند راهبردهای ادغام FL های متعددی را فراهم کند.
🔎📄 paper

🆔️ telegram channel:
https://t.me/Intellimage
#image_processing
#deep_learning

📽معرفی مدل هوش مصنوعی قابل توضیح یا Explainable AI


🔎 MrArtificialintelligence

🆔️ telegram channel:
https://t.me/Intellimage
#image_processing
#deep_learning
#XAI

🆕️ معرفی Lumiere به عنوان مدل Space -Time Diffusion در تولید ویدئو

📊 مدل Lumiere به روشی برای تولید ویدئو با استفاده از مدل گسترش فضا-زمان اشاره دارد. این روش از مدل های جدید یادگیری عمیق برای تولید محتوای ویدئویی استفاده می کند.

📊 در مجموع، Lumiere یک رویکرد جدید و نوآورانه در زمینه تولید ویدئو است که با استفاده از مدل های یادگیری عمیق، امکان ایجاد ویدئوهای واقع‌گرایانه‌تر و قابل کنترل‌تر را فراهم می‌کند.

با ماهمراه باشید🌱
🆔️ telegram channel:
https://t.me/Intellimage
#image_processing
#deep_learning

🔗 نحوه ی عملکرد پردازشی مدل Lumiere

1️⃣. مدل گسترش فضا-زمان : این مدل به جای تولید تصاویر ثابت، به صورت همزمان به تولید تصاویر وفرآیند تغییر آنها در طول زمان می پردازد. این امکان را فراهم می‌کند که ویدئوهای واقع‌گرایانه‌تری تولید شوند.

2️⃣. ساختار چندمرحله‌ای: این مدل دارای چندین مرحله است که در هر مرحله، برخی از ویژگی های ویدئو تولید می‌شوند و در نهایت با ترکیب این مراحل، ویدئوی نهایی به دست می‌آید.

3️⃣. کنترل محتوای ویدئو: این مدل امکان کنترل محتوای ویدئو را فراهم می‌کند، به طوری که می‌توان ویژگی‌های خاصی را در ویدئوی تولید شده اعمال کرد.

+ این روش می‌تواند در زمینه‌های مختلفی مانند تولید محتوای ویدئویی، انیمیشن، واقعیت مجازی و افزوده و سایر موارد مربوط به ویدئو کاربرد داشته باشد.

🆔️ telegram channel:
https://t.me/Intellimage
#image_processing
#deep_learning

🆕️ هوش مصنوعی گزارش‌های رادیولوژی بیماران را به صورت ویدئویی برای آن‌ها توضیح می‌دهد!

◻اگر تجربه‌ی دریافت و مشاهده‌ی گزارش‌های رادیولوژی را داشته باشید، حتما می‌دانید که تفسیر آن‌ها کار هر کسی نیست و بیماران هم که اغلب دانش پایه‌ای لازم برای تفسیر این گزارشات را ندارند، همواره با مشکل «ندانستن معنای گزارشی که در دست‌شان است» روبه‌رو هستند.

◻اما حالا دیگر نیازی به نگرانی درمورد این مسئله نیست! مدل ReXplain [که چند روز پیش در مقاله‌ای از پژوهشگران دانشگاه هاروارد معرفی شد] قرار است آن‌ها را به ویدئوهای کوتاه و قابل فهمی برای بیماران تبدیل کند تا متوجه مسئله‌شان شوند و نهایتا هم تجربه‌ی بهتری از کل مسیر درمانی‌شان داشته باشند.

با ما همراه باشید🌱
🔎📃medxmedia
🆔️ telegram channel:
https://t.me/Intellimage
#image_processing
#deep_learning
#top_news

🆕️ معرفی دوربین داخل دهانی C50 در دندانپزشکی

✅ دوربین داخل دهانی C50 یک دوربین پزشکی است که به منظور بررسی و تصویربرداری از داخل دهان استفاده می‌شود. برخی ویژگی‌های این دوربین به شرح زیر است:

1️⃣. طراحی کوچک و ارگونومیک: این دوربین به اندازه کافی کوچک است که بتوان آن را به راحتی در دهان قرار داد.

2️⃣. کیفیت تصویر بالا: دوربین C50 قادر به ثبت تصاویر با کیفیت بالا و جزئیات زیاد از داخل دهان است.

3️⃣. سیستم روشنایی داخلی: این دوربین دارای چراغ‌های LED داخلی است که به بهبود کیفیت تصاویر کمک می‌کند.

4️⃣. اتصال به رایانه: امکان اتصال دوربین به رایانه و انتقال تصاویر به آن وجود دارد.

🆔️ telegram channel:
https://t.me/Intellimage
#image_processing
#deep_learning
#C50

🆕️ عملکرد بی نظیر مدل SLIViT در اسکن های پیچیده پزشکی

✳ محققان دانشگاه UCLA مدل جدیدی به نام SLIViT را در حوزه تصویربرداری پزشکی معرفی کردند. این مدل در حد یک متخصص پزشکی تصاویر MRI، CT Scan و اولترا ساند را با سرعت بسیار بیشتر تحلیل می‌کند.

✳ این مدل جدید هوش مصنوعی در اسکن های پیچیده پزشکی، ۵۰۰۰ بار سریع تر است و به تازگی رونمایی شده است.

🆔️ telegram channel:
https://t.me/Intellimage
#image_processing
#deep_learning
#SLIViT

🔬بینایی انسان الگویی برای مدل گسترش میدان‌های دریافت (ERF) Expansion of Receiving Fields

✳ در سیستم بینایی انسان، مجموعه‌ای از میدان‌های دریافت با اندازه‌های مختلف ؛ به برجسته‌سازی ناحیه‌ای نزدیک به نقطه کانونی شبکیه کمک می‌کنند.

✳ آزمایش‌های علوم اعصاب نشان داده‌اند که این ناحیه به تغییرات فضایی کوچک بسیار حساس است.

✳ همزمان، موفقیت مدل SegNeXt در وظایف segmentation معنایی نشان داده است که استفاده از هسته‌های کانولوشن با اندازه‌های مختلف به‌طور موازی می‌تواند نمایه‌هایی از ویژگی های متمایز بیشتری را در برگیرد.

✳ با الهام از تحقیقات موجود، بلوک ERF در این چارچوب معرفی شده است که از سه شاخه موازی با اتصالات باقیمانده و مکانیزم توجه کانولوشنی تشکیل شده است.

✳ هدف ساختار بلوک ERF استخراج مؤثر اطلاعات در ناحیه آسیب‌دیده از تصویر است در حالی که کارایی محاسباتی را مدنظر قرار دهد.
🔎📄 article

🆔️ telegram channel:
https://t.me/Intellimage
#image_processing
#deep_learning
#ERF

⭕ معرفی Vision Language models

● مدل‌های زبان‌بینایی به طور کلی به عنوان مدل‌های چندرسانه‌ای تعریف می‌شوند که می‌توانند از تصاویر و متون یاد بگیرند. آن‌ها نوعی از مدل‌های تولیدی هستند که ورودی‌های تصویر و متن را می‌گیرند و خروجی‌های متنی تولید می‌کنند.

● مدل‌های زبان‌بینایی بزرگ قابلیت‌های صفر‌آزمایی خوبی دارند، به خوبی تعمیم می‌یابند و می‌توانند با انواع مختلفی از تصاویر، از جمله اسناد، صفحات وب و غیره کار کنند. کاربردهای آن‌ها شامل چت در مورد تصاویر، شناسایی تصاویر از طریق دستورالعمل‌ها، پاسخگویی به سؤالات بینایی، درک اسناد، زیرنویس تصاویر و موارد دیگر است.

● برخی از مدل‌های زبان‌بینایی همچنین می‌توانند خواص فضایی را در یک تصویر درک کنند. این مدل‌ها می‌توانند هنگام درخواست برای شناسایی یا سگمنت‌بندی یک موضوع خاص، کادر‌های محدود کننده یا ماسک‌های سگمنت‌بندی تولید کنند، یا می‌توانند موجودیت‌های مختلف را لوکالیزه کرده و در مورد موقعیت نسبی یا مطلق آن‌ها پاسخ دهند.
🌐 website

🆔️ telegram channel:
https://t.me/Intellimage
#image_processing
#deep_learning

📚 تازه های دنیای پژوهش

📄 Detection of diffusely abnormal white matter in multiple sclerosis on multiparametric brain MRI using semi-supervised deep learning

□■این مقاله به تازگی در nature منتشر شده است و در زمینه تشخیص ماده سفید غیرطبیعی منتشر شده در مولتیپل اسکلروزیس در MRI چند پارامتری مغز با استفاده از یادگیری عمیق نیمه نظارت شده ، تمرکز دارد.

□■در کنار ضایعات کانونی، ماده سفید غیر طبیعی به صورت انتشار یافته (DAWM) در MRI مغز بیماران مبتلا MS مشاهده می‌شود که ممکن است نمایانگر فرایندهای بیماری زودرس MS باشد. نقش DAWM در MRI به دلیل کمبود روش‌های ارزیابی خودکار به خوبی مورد مطالعه قرار نگرفته است.

□■روش‌های یادگیری عمیق نظارت‌شده (DL) در این زمینه توانمندی بالایی دارند، اما نیاز به مجموعه‌های داده برچسب‌گذاری شده بزرگ دارند. برای غلبه بر این چالش،در این مقاله،یک شبکه مبتنی بر DL به نام DAWM-Net با استفاده از یادگیری نیمه‌نظارت‌شده ارزیابی شده است.

🆔️telegram channel:
https://t.me/Intellimage
#image_compressing
#deep_learning
#article

✴ هوش مصنوعی و مدل‌های pose estimation در حوزه علوم ورزشی برای تشخیص صحیح حرکات و آنالیز نهایی در تمرینات کاربرد دارد!

✅ هوش مصنوعی و به‌ویژه تکنیک‌های pose estimation به‌سرعت در حوزه ورزش در حال پیشرفت هستند. این تکنیک‌ها به‌کمک دوربین‌های ویدئویی یا سنسورهای حرکتی، وضعیت نقاط کلیدی بدن را در هر لحظه تشخیص می‌دهند.

✅ این اطلاعات می‌تواند برای آنالیز دقیق تکنیک و تشخیص صحیح حرکات ورزشکاران استفاده شود و در ارزیابی عملکرد و تشخیص آسیب‌های احتمالی نیز کاربرد داشته باشند.
📥 Github

🆔️ telegram channel:
https://t.me/Intellimage
#image_processing
#pose_estimation
#deep_learning

Genie2:A large-scale foundation world model

🆕️ معرفی مدل Genie 2

✳ مدل Genie 2 یک مدل هوش مصنوعی قدرتمند است که می تواند تنوع بی پایانی از محیط های قابل کنترل اکشن، با قابلیت بازی سه بعدی را بر اساس یک تصویر ورودی ایجاد کند.

✳ برخلاف مدل های جهانی قبلی، Genie 2 تعمیم پذیری بیشتری را نشان می دهد و می تواند دنیاهای مجازی با تعاملات پیچیده اشیا، انیمیشن های شخصیت، فیزیک و رفتار سایر عوامل را شبیه سازی کند.

✳ کاربران می توانند به سادگی یک دنیای مطلوب را در متن توصیف کنند ؛ یک تصویر از آن را با استفاده از مدل متن به تصویر مانند Imagen 3 تولید کنند و سپس مستقیماً با آن دنیا تعامل و آن را کاوش کنند.

✳ این تحقیق زمینه ساز جریان های کاری و خلاقانه جدید در اعتبارسنجی تجارب تعاملی و آموزش عوامل هوش مصنوعی با قابلیت بیشتر در مجموعه ای بی پایان از محیط های مجازی است.

🆔️ telegram channel:
https://t.me/Intellimage
#image_processing
#deep_learning
#top_news

کشف خطاهای سیستماتیک مدل با Domino

🟢 مدل‌های یادگیری ماشینی، به ویژه شبکه‌های عمیق، در تسک‌ها و دیتاست‌های مختلف امتیازهای بالایی را ثبت می‌کنند. اما ممکن است هر مدلی بر روی قاچ‌های خاصی از داده دچار خطای سیستماتیک شود. به عنوان مثال، فرض کنید یک تسک دسته‌بندی تصویر دارید و مدل آموزش‌دیده شما یاد گرفته باشد که هر تصویری که حیوانی در آن با پس‌زمینه زمین شنی باشد، به عنوان شتر برچسب بزند. در این صورت، اگر با تصویری از گاو بر روی شن مواجه شود، ممکن است آن را به اشتباه شتر برچسب بزند. این داده‌ها که دارای خاصیت ویژه‌ای هستند و مدل به اشتباه آن‌ها را دسته‌بندی می‌کند، "قاچ بحرانی" (critical slice) نامیده می‌شوند.

🟢 اهمیت پیدا کردن این قاچ‌های بحرانی و اصلاح تصمیم مدل برای آن‌ها بسیار حیاتی است، به ویژه در کاربردهایی مانند تشخیص سرطان از روی تصاویر پزشکی. در این راستا، محققان استنفورد روشی اتوماتیک به نام Domino برای کشف قاچ‌های بحرانی هر مدل ارائه داده‌اند.

🟢 روش کار Domino شامل سه مرحله است:

۱. نگاشت به فضای مشترک: ابتدا داده‌های دیتاست ورودی با استفاده از مدل‌های cross-modal به یک فضای امبدینگی مشترک با متن منتقل می‌شوند (برای مثال، استفاده از مدل قدرتمند CLIP برای دیتاست‌های تصویری).

۲. خوشه‌بندی داده‌ها: سپس Domino با استفاده از یک مدلسازی mixture سعی در خوشه‌بندی داده‌های اشتباه برچسب‌گذاری‌شده می‌کند. این مدلسازی شامل چهار متغیر S (احتمال تعلق داده به قاچ)، Z (امبدینگ داده)، Y (برچسب واقعی داده) و Y_hat (توزیع برچسب حدس زده شده توسط مدل) است.

۳. توضیح متنی: در نهایت، برای هر slice با توجه به کاندیدای متنی مرحله اول، یک توضیح متنی آماده می‌شود.

🟢 مدل Domino بر روی ResNet آموزش‌دیده بر روی ImageNet تست شده و نشان داده که ResNet در قاچ‌های تصاویر داخل ماشین و تصاویر دور ماشین‌های مسابقه‌ای دچار مشکل سیستماتیک است. پس از کشف قاچ‌های بحرانی، می‌توان با تمرکز بر روی آن‌ها و استفاده از افزون‌سازی داده، مشکل را کاهش داد.
🔎nlp_stuff
🆔️ telegram channel:
https://t.me/Intellimage
#image_processing
#deep_learning

📈 با Gradient Accumulation، آموزش مدل‌های شما سریع‌تر و کارآمدتر خواهد بود!

◽ انباشت گرادیان یک تکنیک مفید در آموزش مدل‌های یادگیری عمیق است که به مدل اجازه می‌دهد تا مانند استفاده از یک batch بزرگ‌تر عمل کند، اما در واقع حافظه کمتری مصرف می‌کند.

🔍 وقتی با مدل‌های بزرگ یا داده‌های حجیم کار می‌کنید، معمولاً تمایل دارید که batch size (تعداد نمونه‌هایی که در هر مرحله به مدل می‌دهید) را بزرگ انتخاب کنید، زیرا:

• آموزش پایدارتر و دقیق‌تر می‌شود.
• گرادیان بهتر و هموارتر محاسبه می‌شود.

◽اما مشکل اینجاست که حافظه کارت گرافیک (GPU/TPU) محدود است و نمی‌توانید batch خیلی بزرگی انتخاب کنید، چون حافظه پر می‌شود و خطا می‌دهد.

◽نحوه ی عملکرد این ماژول به صورت هست که به جای اینکه کل batch بزرگ را یکجا به مدل بدهید، آن را به چند قسمت کوچک‌تر (mini-batches) تقسیم می‌کنید. حالا به جای اینکه بعد از هر mini-batch وزن‌ها را آپدیت کنید، گرادیان‌ها را محاسبه و جمع‌آوری می‌کنید (accumulate) و فقط بعد از اینکه همه mini-batch ها از یک batch بزرگ گذشتند، یکبار وزن‌ها را آپدیت می‌کنید.

◽ مزیت‌ها:
• می‌توانید عملاً با batch size بزرگ‌تر آموزش دهید بدون اینکه نیاز به حافظه بیشتر داشته باشید.
• کیفیت گرادیان‌ها شبیه به زمانی است که batch بزرگ‌تر را یکجا استفاده کنید.
+ نمونه کد آزمایشی:

accumulation_steps = 4
# تعداد mini-batch ها که برای یک batch بزرگ جمع میشن
optimizer.zero_grad()
# صفر کردن گرادیان‌ها اول هر batch بزرگ
for i, (inputs, labels) in enumerate(dataloader):
outputs = model(inputs)
loss = criterion(outputs, labels)
loss = loss / accumulation_steps
# نرمال‌سازی ضرر برای جمع کردن
loss.backward()
# محاسبه گرادیان و جمع کردن (accumulate)
if (i+1) % accumulation_steps == 0:
optimizer.step()
# به‌روزرسانی وزن‌ها فقط یکبار در هر batch بزرگ
optimizer.zero_grad()

🆔️ telegram channel:
https://t.me/Intellimage
#image_processing
#deep_learning