لطفا با دقت جواب بدید.
رشته تحصیلی شما جزو کدام یک از شاخه های زیر می باشد؟
رشته تحصیلی شما جزو کدام یک از شاخه های زیر می باشد؟
Anonymous Poll
14%
علوم پایه
67%
علوم مهندسی
8%
علوم پزشکی
6%
علوم انسانی
2%
هنر
2%
هیچکدام
❤2
آماده شو ربات های انسان نما در بیمارستان ها و خانه ها در کنار ما کار و زندگی کنند. برای انجام این کار، آنها باید حرکات بعدی اندام ما را پیش بینی کنند.
یک مطالعه جدید پیش بینی ها را تا 64٪ بهبود بخشیده است.
فعالیت های مدل سازی شده عبارتند از: خوردن، احوالپرسی، تلفن زدن، نشستن، خرید، عکس گرفتن و راه رفتن با سگ...
این شبکه از مختصات موقعیت مفصل انسان از مدل اسکلت انسان برای ثبت و پردازش پویایی حرکت استفاده می کند.
▪️ Multi-Scale Incremental Modeling for Enhanced Human Motion Prediction in Human-Robot Collaboration
#مقاله #ایده_جذاب #رباتیک
🔸 مطالب بیشتر 👇👇
✅ @AI_DeepMind
🔸 @AI_Person
یک مطالعه جدید پیش بینی ها را تا 64٪ بهبود بخشیده است.
فعالیت های مدل سازی شده عبارتند از: خوردن، احوالپرسی، تلفن زدن، نشستن، خرید، عکس گرفتن و راه رفتن با سگ...
این شبکه از مختصات موقعیت مفصل انسان از مدل اسکلت انسان برای ثبت و پردازش پویایی حرکت استفاده می کند.
▪️ Multi-Scale Incremental Modeling for Enhanced Human Motion Prediction in Human-Robot Collaboration
#مقاله #ایده_جذاب #رباتیک
🔸 مطالب بیشتر 👇👇
✅ @AI_DeepMind
🔸 @AI_Person
❤4👍3🔥1
DeepMind AI Expert
در ادامه راجب مقاله زیر صحبت شده است و در پایان جوابی برای این صحبت یک مقاله معرفی کرده ام 🔸 SegGPT: Segmenting Everything In Context http://arxiv.org/abs/2304.03284 نکته دیگه مقاله مایکروسافت اینه که: نه تنها متن، نه تنها صوت، نه تنها نشانه، بلکه ترکیب…
مقاله «GAN مرده است؛ زنده باد GAN!» با این باور که آموزش GAN دشوار و وابسته به ترفندهای خاص است، مخالفت میکند. این تحقیق یک تابع زیان نسبی منظم (regularized relativistic loss) معرفی میکند که مشکلاتی مانند عدم همگرایی و از دست رفتن حالتها را حل میکند. با بهروزرسانی معماریها و حذف ترفندهای قدیمی، نویسندگان R3GAN را پیشنهاد دادهاند که عملکرد بهتری نسبت به StyleGAN2 دارد و با مدلهای پیشرفته دیگر قابل مقایسه است.
▪️ The GAN is dead; long live the GAN! A Modern GAN Baseline
#مقاله #ایده_جذاب
🔸 مطالب بیشتر 👇👇
✅ @AI_DeepMind
🔸 @AI_Person
▪️ The GAN is dead; long live the GAN! A Modern GAN Baseline
#مقاله #ایده_جذاب
🔸 مطالب بیشتر 👇👇
✅ @AI_DeepMind
🔸 @AI_Person
❤12👍5👎1
این #مقاله یک چارچوب #یادگیری_عمیق برای تشخیص سرطان ریه با استفاده از یک مدل از پیش آموزش دیده MobileNetV2 پیشنهاد میکند که با وزنهای ImageNet-1K اولیهسازی شده و با یک لایه کاملاً متصل جدید و فعالسازی softmax اصلاح شده است.
این مدل به دقت 99.6 درصد در مجموعه داده های تصویر سی تی اسکن سرطان ریه سه کلاسه دست می یابد که نشان دهنده بهبود قابل توجهی در استخراج ویژگی نسبت به روش های سنتی است. هدف این رویکرد مبتنی بر #هوش_مصنوعی افزایش کارایی تشخیصی و کاهش حجم کاری پزشک است.
▪️ A CT Image Classification Network Framework for Lung Tumors Based on Pre-trained MobileNetV2 Model and Transfer learning, And Its Application and Market Analysis in the Medical field
#ایده_جذاب
🔸 مطالب بیشتر 👇👇
✅ @AI_DeepMind
🔸 @AI_Person
این مدل به دقت 99.6 درصد در مجموعه داده های تصویر سی تی اسکن سرطان ریه سه کلاسه دست می یابد که نشان دهنده بهبود قابل توجهی در استخراج ویژگی نسبت به روش های سنتی است. هدف این رویکرد مبتنی بر #هوش_مصنوعی افزایش کارایی تشخیصی و کاهش حجم کاری پزشک است.
▪️ A CT Image Classification Network Framework for Lung Tumors Based on Pre-trained MobileNetV2 Model and Transfer learning, And Its Application and Market Analysis in the Medical field
#ایده_جذاب
🔸 مطالب بیشتر 👇👇
✅ @AI_DeepMind
🔸 @AI_Person
👍12❤3
آیا #هوش_مصنوعی مولد می تواند #رادیولوژی را دوباره تعریف کند؟
این #مقاله مدل RadTex را معرفی میکند که از پیشپردازش با روش "کپشن دوطرفه" (bidirectional captioning) برای تحلیل تصاویر پزشکی استفاده میکند. این روش، گزارشهای رادیولوژی دقیق و تفسیرپذیری تولید میکند و عملکردی رقابتی با روشهای یادگیری متضاد (contrastive learning) ارائه میدهد. RadTex از معماری مبتنی بر ResNet50 و ترانسفورمرها بهره میبرد و بهطور موثری کپشن های تصویری را بهبود میبخشد و گزارشهای پزشکی را با استفاده از ورودیهای متنی تولید میکند. این مدل تولید گزارشهای کلینیکی دقیق ( دقت 89 % ) کاربردهای عملی گستردهای می تواند در عمل داشته باشد.
▪️ Improving Medical Visual Representations via Radiology Report Generation
#ایده_جذاب #پردازش_تصاویر
🔸 مطالب بیشتر 👇👇
✅ @AI_DeepMind
🔸 @AI_Person
این #مقاله مدل RadTex را معرفی میکند که از پیشپردازش با روش "کپشن دوطرفه" (bidirectional captioning) برای تحلیل تصاویر پزشکی استفاده میکند. این روش، گزارشهای رادیولوژی دقیق و تفسیرپذیری تولید میکند و عملکردی رقابتی با روشهای یادگیری متضاد (contrastive learning) ارائه میدهد. RadTex از معماری مبتنی بر ResNet50 و ترانسفورمرها بهره میبرد و بهطور موثری کپشن های تصویری را بهبود میبخشد و گزارشهای پزشکی را با استفاده از ورودیهای متنی تولید میکند. این مدل تولید گزارشهای کلینیکی دقیق ( دقت 89 % ) کاربردهای عملی گستردهای می تواند در عمل داشته باشد.
▪️ Improving Medical Visual Representations via Radiology Report Generation
#ایده_جذاب #پردازش_تصاویر
🔸 مطالب بیشتر 👇👇
✅ @AI_DeepMind
🔸 @AI_Person
👍7❤5🔥1
Forwarded from Recommender system (MehriMah Amiri)
This media is not supported in your browser
VIEW IN TELEGRAM
🔧 معرفی یک ابزار کاربردی برای کار با پروژههای GitHub
با ابزار GitIngest میتونید بدون دردسر کل اطلاعات یه پروژه رو به راحتی و فقط با تغییر یه آدرس به دست بیارید.
چطور کار میکنه؟
کافیه تو آدرس گیتهاب،
کلمهی “hub” رو با “ingest” عوض کنید؛
مثال:
github.com/user/repo
gitingest.com/user/repo
🔍 امکانات این ابزار:
• نمایش کامل و مرتب ساختار دایرکتوری پروژه
• ارائه خلاصهای کوتاه و مفید از پروژه
• تبدیل تمام کدها و محتوا به متن آماده برای استفاده در ابزارهایی مثل ChatGPT
• دارای اکستنشن کروم و امکانات جانبی دیگه
💎@Recomendersystem2023
با ابزار GitIngest میتونید بدون دردسر کل اطلاعات یه پروژه رو به راحتی و فقط با تغییر یه آدرس به دست بیارید.
چطور کار میکنه؟
کافیه تو آدرس گیتهاب،
کلمهی “hub” رو با “ingest” عوض کنید؛
مثال:
github.com/user/repo
gitingest.com/user/repo
🔍 امکانات این ابزار:
• نمایش کامل و مرتب ساختار دایرکتوری پروژه
• ارائه خلاصهای کوتاه و مفید از پروژه
• تبدیل تمام کدها و محتوا به متن آماده برای استفاده در ابزارهایی مثل ChatGPT
• دارای اکستنشن کروم و امکانات جانبی دیگه
💎@Recomendersystem2023
❤15👍6🆒3
این مقاله چارچوبی به نام Multimodal Visualization-of-Thought (MVoT) را معرفی میکند که توانایی استدلال مدلهای زبانی بزرگ (LLMs) را با ادغام تفکر مصورسازی بهبود میبخشد. این چارچوب با تولید تصویری از مسیرهای استدلال، محدودیتهای وظایف پیچیده در استدلال فضایی را کاهش میدهد. از یک روش آموزشی به نام Token Discrepancy Loss برای بهبود کیفیت بصری استفاده میکند و در سناریوهای چالشبرانگیز، بهبود عملکرد قابلتوجهی نشان میدهد. این رویکرد ادغام استدلال کلامی و تصویری در یادگیری ماشینی را توسعه میدهد.
▪️ Imagine while Reasoning in Space: Multimodal Visualization-of-Thought
#ایده_جذاب
🔸 مطالب بیشتر 👇👇
✅ @AI_DeepMind
🔸 @AI_Person
▪️ Imagine while Reasoning in Space: Multimodal Visualization-of-Thought
#ایده_جذاب
🔸 مطالب بیشتر 👇👇
✅ @AI_DeepMind
🔸 @AI_Person
👍23❤13
دیگه ستاره به کانال نمیدین چرا یا boost کانال رو نمیزنین؟! و چرا دیگه اینترکشن روی پست ها ندارین واقعا ک 🚶♂
بگین ببینم مشکل کجاست؟!
به من ناشناس پیام بده.
http://t.me/HidenChat_Bot?start=7214197958
بگین ببینم مشکل کجاست؟!
به من ناشناس پیام بده.
http://t.me/HidenChat_Bot?start=7214197958
👎44👍25❤12🔥4🕊3🆒1
ی سری سعی دارن دوره های رایگان andrew ng رو بفروشن فعلا اینو داشته باشین تا این پست رو اپدیت کنم 😂
https://m.youtube.com/@Deeplearningai/playlists
کلاسها و آموزشهای رایگان دانشگاه استنفورد
https://m.youtube.com/@stanfordonline/playlists
اینتراکشن این پست کم باشه لینک نمیدم تا سرتون کلاه بزن اه گفته باشم😂😂
#یادگیری_عمیق #منابع #کلاس_آموزشی
🔸 مطالب بیشتر 👇👇
✅ @AI_DeepMind
🔸 @AI_Person
https://m.youtube.com/@Deeplearningai/playlists
کلاسها و آموزشهای رایگان دانشگاه استنفورد
https://m.youtube.com/@stanfordonline/playlists
اینتراکشن این پست کم باشه لینک نمیدم تا سرتون کلاه بزن اه گفته باشم😂😂
#یادگیری_عمیق #منابع #کلاس_آموزشی
🔸 مطالب بیشتر 👇👇
✅ @AI_DeepMind
🔸 @AI_Person
YouTube
DeepLearningAI
Welcome to the official DeepLearning.AI YouTube channel! Here you can find the videos from our Coursera programs on machine learning as well as recorded events.
DeepLearning.AI was founded in 2017 by machine learning and education pioneer Andrew Ng to fill…
DeepLearning.AI was founded in 2017 by machine learning and education pioneer Andrew Ng to fill…
👍142❤12👎11😱7👌4🆒2
DeepMind AI Expert
ی سری سعی دارن دوره های رایگان andrew ng رو بفروشن فعلا اینو داشته باشین تا این پست رو اپدیت کنم 😂 https://m.youtube.com/@Deeplearningai/playlists کلاسها و آموزشهای رایگان دانشگاه استنفورد https://m.youtube.com/@stanfordonline/playlists اینتراکشن این پست…
اینتراکشن این پست باید رکورد بشکنه تا نزارم سرتون کلان بزارن مطالب رایگانو بدم بهتون چ ساده میگیرم قدربدونین😂
https://t.me/AI_DeepMind/2338
https://t.me/AI_DeepMind/2338
👎30👍10❤9😱2
Forwarded from فرهنگ معین
#tool
#paper
معرفی ابزار LatteReview ☕️
اگه پروژههای ریسرچ Systematic Review و Meta Analysis انجام دادین، حتما با فرایند طاقتفرسای title / abstract ریویو کردن آشنایین.
این ابزار مبتنی بر AI Agent ها که پوریای عزیز develop اش کرده، این فرایند رو اتومات میکنه و پروسهای رو که ساعتها و روزها میتونه طول بکشه رو در چند دقیقه برای شما انجام میده.
جهت مقایسهی عملکردش با human researcher ها میتونین به جدول شماره ۲ مقاله مراجعه کنید؛ این اعداد برای یک workflow خیلی بیسیک و ارزان قیمت محاسبه شده و منطقا با computation بیشتر و ورکفلوهای پیچیدهتر، دقتش بالاتر هم خواهد رفت.
در صورتی که خواستید از این ابزار در کارهای تحقیقاتیتون استفاده کنین و نیاز به مشاوره داشتین، میتونین به من یا پوریا پیام بدین (آیدی خودم در بیو).
📄 Paper
🧑💻 GitHub
#paper
معرفی ابزار LatteReview ☕️
اگه پروژههای ریسرچ Systematic Review و Meta Analysis انجام دادین، حتما با فرایند طاقتفرسای title / abstract ریویو کردن آشنایین.
این ابزار مبتنی بر AI Agent ها که پوریای عزیز develop اش کرده، این فرایند رو اتومات میکنه و پروسهای رو که ساعتها و روزها میتونه طول بکشه رو در چند دقیقه برای شما انجام میده.
جهت مقایسهی عملکردش با human researcher ها میتونین به جدول شماره ۲ مقاله مراجعه کنید؛ این اعداد برای یک workflow خیلی بیسیک و ارزان قیمت محاسبه شده و منطقا با computation بیشتر و ورکفلوهای پیچیدهتر، دقتش بالاتر هم خواهد رفت.
در صورتی که خواستید از این ابزار در کارهای تحقیقاتیتون استفاده کنین و نیاز به مشاوره داشتین، میتونین به من یا پوریا پیام بدین (آیدی خودم در بیو).
📄 Paper
🧑💻 GitHub
👍13❤6🔥1
DeepMind AI Expert
ی سری سعی دارن دوره های رایگان andrew ng رو بفروشن فعلا اینو داشته باشین تا این پست رو اپدیت کنم 😂 https://m.youtube.com/@Deeplearningai/playlists کلاسها و آموزشهای رایگان دانشگاه استنفورد https://m.youtube.com/@stanfordonline/playlists اینتراکشن این پست…
اینتراکشن این پست کانالو به 100 تا برسونین تا لیستو منتشر کنم
https://t.me/AI_DeepMind/2338
https://t.me/AI_DeepMind/2338
👎27👍17🔥4🕊2
در این مقاله معماری جدیدی به نام Titans معرفی شده است. این معماری، با ترکیب حافظههای بلندمدت و کوتاهمدت، توانایی مدلهای یادگیری ماشینی را در حل مسائل پیچیده و با وابستگیهای بلندمدت افزایش میدهد. خلاصهای از محتوای اصلی مقاله:
هدف مقاله
معرفی یک ماژول حافظه بلندمدت جدید برای یادگیری در زمان آزمون و ایجاد معماریهای جدید برای حل مسائل مبتنی بر دادههای طولانی و پیچیده.
ویژگیها و نوآوریها
حافظه بلندمدت عصبی:
امکان ذخیره اطلاعات تاریخی طولانی با بهینهسازی وزنها در زمان آزمون.
استفاده از متریک "تعجب" (Surprise) برای یادگیری دادههای جدید.
مکانیزم فراموشی تطبیقی برای مدیریت حافظه در دنبالههای طولانی.
معماری Titans:
ترکیبی از حافظههای کوتاهمدت و بلندمدت.
سه نسخه اصلی:
ا MAC: حافظه بهعنوان متن.
ا MAG: حافظه بهعنوان گیت.
ا MAL: حافظه بهعنوان لایه.
قابلیت بهینهسازی و یادگیری حتی در زمان آزمون.
مقایسه با مدلهای موجود:
عملکرد برتر در مدلسازی زبان، استدلال منطقی، و وظایف با دادههای طولانی.
مقایسه با مدلهای مشهور مانند Transformers، DeltaNet، و GPT-4 نشاندهنده مزیتهای معماری Titans است.
نتایج آزمایشها
بهبود قابلتوجه در وظایف مدلسازی زبان و پیشبینی سریهای زمانی.
کارآمدی در ذخیره و بازیابی اطلاعات از دنبالههای طولانی (مانند بیش از 2 میلیون توکن).
سازگاری با ساختارهای مختلف داده و وظایف، از جمله پیشبینی دادههای ژنومی و مدلسازی DNA.
مدل Titans توانایی حل مسائل پیچیدهتر را با هزینه محاسباتی پایینتر و دقت بالاتر نسبت به مدلهای مشابه فراهم میکند و راه جدیدی برای ترکیب حافظه بلندمدت و کوتاهمدت در معماریهای یادگیری ماشینی ارائه میدهد.
▪️ Titans: Learning to Memorize at Test Time
پ.ن: ایا این مقاله ورژن دوم ترنسفومرزها هست؟!
#ایده_جذاب
🔸 مطالب بیشتر 👇👇
✅ @AI_DeepMind
🔸 @AI_Person
هدف مقاله
معرفی یک ماژول حافظه بلندمدت جدید برای یادگیری در زمان آزمون و ایجاد معماریهای جدید برای حل مسائل مبتنی بر دادههای طولانی و پیچیده.
ویژگیها و نوآوریها
حافظه بلندمدت عصبی:
امکان ذخیره اطلاعات تاریخی طولانی با بهینهسازی وزنها در زمان آزمون.
استفاده از متریک "تعجب" (Surprise) برای یادگیری دادههای جدید.
مکانیزم فراموشی تطبیقی برای مدیریت حافظه در دنبالههای طولانی.
معماری Titans:
ترکیبی از حافظههای کوتاهمدت و بلندمدت.
سه نسخه اصلی:
ا MAC: حافظه بهعنوان متن.
ا MAG: حافظه بهعنوان گیت.
ا MAL: حافظه بهعنوان لایه.
قابلیت بهینهسازی و یادگیری حتی در زمان آزمون.
مقایسه با مدلهای موجود:
عملکرد برتر در مدلسازی زبان، استدلال منطقی، و وظایف با دادههای طولانی.
مقایسه با مدلهای مشهور مانند Transformers، DeltaNet، و GPT-4 نشاندهنده مزیتهای معماری Titans است.
نتایج آزمایشها
بهبود قابلتوجه در وظایف مدلسازی زبان و پیشبینی سریهای زمانی.
کارآمدی در ذخیره و بازیابی اطلاعات از دنبالههای طولانی (مانند بیش از 2 میلیون توکن).
سازگاری با ساختارهای مختلف داده و وظایف، از جمله پیشبینی دادههای ژنومی و مدلسازی DNA.
مدل Titans توانایی حل مسائل پیچیدهتر را با هزینه محاسباتی پایینتر و دقت بالاتر نسبت به مدلهای مشابه فراهم میکند و راه جدیدی برای ترکیب حافظه بلندمدت و کوتاهمدت در معماریهای یادگیری ماشینی ارائه میدهد.
▪️ Titans: Learning to Memorize at Test Time
پ.ن: ایا این مقاله ورژن دوم ترنسفومرزها هست؟!
#ایده_جذاب
🔸 مطالب بیشتر 👇👇
✅ @AI_DeepMind
🔸 @AI_Person
👍24❤2👌2
DeepMind AI Expert
ی سری سعی دارن دوره های رایگان andrew ng رو بفروشن فعلا اینو داشته باشین تا این پست رو اپدیت کنم 😂 https://m.youtube.com/@Deeplearningai/playlists کلاسها و آموزشهای رایگان دانشگاه استنفورد https://m.youtube.com/@stanfordonline/playlists اینتراکشن این پست…
اگر قصد فراگیری رایگان #یادگیری_ماشین و #یادگیری_عمیق کد بیس بودن رو دنبالش هستین اینجا دکتر جرمی هاوراد این دوره رایگان و کامل رو اماده کرده و میتونین بصورت #رایگان این آموزش رو ببینید
▪️ کتابی که از اون تدریس میکنه
▪️ لینک دوره رایگان
پ.ن: لیست ادامه دارد
#منابع #کلاس_آموزشی
🔸 مطالب بیشتر 👇👇
✅ @AI_DeepMind
🔸 @AI_Person
▪️ کتابی که از اون تدریس میکنه
▪️ لینک دوره رایگان
پ.ن: لیست ادامه دارد
#منابع #کلاس_آموزشی
🔸 مطالب بیشتر 👇👇
✅ @AI_DeepMind
🔸 @AI_Person
👌20❤11👍1
یازدهمین جشنواره فناوری اطلاعات کشور- ITWEEKEND 2025
🗓30 دی ماه 1403 ساعت 9:00 الی 17:30
📍دانشگاه صنعتی شریف ( دانشکده مهندسی کامپیوتر، سالن استاد ربیعی)
https://itweekend.sharif.ir
🗓30 دی ماه 1403 ساعت 9:00 الی 17:30
📍دانشگاه صنعتی شریف ( دانشکده مهندسی کامپیوتر، سالن استاد ربیعی)
https://itweekend.sharif.ir
👍6👌2👎1
Forwarded from DeepMind AI Expert (Farzad 🦅)
یک سری دوستان میگن ک ما از کانال گروه ریمو شدیم چرا بعد بررسی میکنم میبینم ایدیشون شبیه اسپمرهاست و الکی ی چیزی و پر کردن، اگه اینطوری میخوایین وارد کانال بشین دقت کنین که میبینین که چقد ریموی دارم. پس ایدی و اسمتون ی چیزی واقعیتر باشه تا ریمو نکنم مرسی از همراهیتون❤️🌻
👍15👎9❤2
آیا #هوش_مصنوعی می تواند با تولید گزارش های دقیق و قابل تفسیر #رادیولوژی را متحول کند؟
▪️ RadAlign: Advancing Radiology Report Generation with Vision-Language Concept Alignment
این مقاله نسخه بهتری از مقاله بالا هست
▪️ ReXplain: Translating Radiology into Patient-Friendly Video Reports
#مقاله #ایده_جذاب #علوم_پزشکی
🔸 مطالب بیشتر 👇👇
✅ @AI_DeepMind
🔸 @AI_Person
▪️ RadAlign: Advancing Radiology Report Generation with Vision-Language Concept Alignment
این مقاله نسخه بهتری از مقاله بالا هست
▪️ ReXplain: Translating Radiology into Patient-Friendly Video Reports
#مقاله #ایده_جذاب #علوم_پزشکی
🔸 مطالب بیشتر 👇👇
✅ @AI_DeepMind
🔸 @AI_Person
👍7❤3
جایگزین bert معرفی شد:
در حالی که مدلهای مبتنی بر دیکودر (مانند GPT-style LLMs) توجه بسیاری جلب کردهاند، مدلهای مبتنی بر انکودر مانند BERT کمتر مورد توجه قرار گرفتهاند. ModernBERT، انکودر جدیدی که توسط Answer.AI و LightOn توسعه یافته است، این شکاف را پر کرده و انکودرها را با قابلیتهای پیشرفتهتر به روزرسانی کرده است.
چرا مدلهای انکودر؟
انکودرها برخلاف دیکودرها، توکن تولید نمیکنند؛ بلکه بردارهای تعبیهای (embedding vectors) ایجاد میکنند که نمایانگر ارزش معنایی متن هستند. این ویژگی آنها را برای وظایفی مانند طبقهبندی، اندازهگیری شباهت و ایجاد پلتفرمهای بازیابی اطلاعات (مانند RAG) مناسبتر میکند.
در مقایسه با دیکودرها، انکودرها:
سریعتر و کمهزینهتر هستند.
میتوانند روابط توکنها را در هر دو جهت (پیش و پسرو) بررسی کنند.
در وظایف embedding محور عملکرد بهتری دارند.
ویژگیهای ModernBERT:
افزایش ظرفیت و عملکرد:
افزایش طول پنجره متنی از 512 به 8000 توکن.
مناسب برای وظایف کدنویسی و جستجوی کد.
امتیازدهی بهتر در بنچمارکهایی مثل SQA و GLUE.
معماری بهینه:
استفاده از تکنیکهای پیشرفته مانند روتاری جایگذاری موقعیتی (RoPE) برای پردازش متون بلند.
بهکارگیری FlashAttention-2 برای کارایی بیشتر روی GPUهای پیشرفته.
ترکیب توجه محلی و جهانی برای مدیریت بهتر توالیهای بلند.
اولین مدل انکودر با دادههای آموزشی قابل توجه از کدهای برنامهنویسی.
کارایی بالا:
دو برابر سریعتر از DeBERTa و مصرف حافظه یکپنجم کمتر.
قابلیت اجرا روی سیستمهای معمولی (حداقل GPUبرای اجرا 4090)
ا ModernBERT در نسخههای Base (149 میلیون پارامتر) و Large (395 میلیون پارامتر) ارائه شده و به زودی به کتابخانه Transformers اضافه میشود.
مناسبتر برای وظایفی مانند بازیابی اطلاعات، طبقهبندی و استخراج.
▪️ Replacement for BERT: ModernBERT
▪️ Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Memory Efficient, and Long Context Finetuning and Inference
#پایتون #الگوریتمها #هوش_مصنوعی
🔸 مطالب بیشتر 👇👇
✅ @AI_DeepMind
🔸 @AI_Person
در حالی که مدلهای مبتنی بر دیکودر (مانند GPT-style LLMs) توجه بسیاری جلب کردهاند، مدلهای مبتنی بر انکودر مانند BERT کمتر مورد توجه قرار گرفتهاند. ModernBERT، انکودر جدیدی که توسط Answer.AI و LightOn توسعه یافته است، این شکاف را پر کرده و انکودرها را با قابلیتهای پیشرفتهتر به روزرسانی کرده است.
چرا مدلهای انکودر؟
انکودرها برخلاف دیکودرها، توکن تولید نمیکنند؛ بلکه بردارهای تعبیهای (embedding vectors) ایجاد میکنند که نمایانگر ارزش معنایی متن هستند. این ویژگی آنها را برای وظایفی مانند طبقهبندی، اندازهگیری شباهت و ایجاد پلتفرمهای بازیابی اطلاعات (مانند RAG) مناسبتر میکند.
در مقایسه با دیکودرها، انکودرها:
سریعتر و کمهزینهتر هستند.
میتوانند روابط توکنها را در هر دو جهت (پیش و پسرو) بررسی کنند.
در وظایف embedding محور عملکرد بهتری دارند.
ویژگیهای ModernBERT:
افزایش ظرفیت و عملکرد:
افزایش طول پنجره متنی از 512 به 8000 توکن.
مناسب برای وظایف کدنویسی و جستجوی کد.
امتیازدهی بهتر در بنچمارکهایی مثل SQA و GLUE.
معماری بهینه:
استفاده از تکنیکهای پیشرفته مانند روتاری جایگذاری موقعیتی (RoPE) برای پردازش متون بلند.
بهکارگیری FlashAttention-2 برای کارایی بیشتر روی GPUهای پیشرفته.
ترکیب توجه محلی و جهانی برای مدیریت بهتر توالیهای بلند.
اولین مدل انکودر با دادههای آموزشی قابل توجه از کدهای برنامهنویسی.
کارایی بالا:
دو برابر سریعتر از DeBERTa و مصرف حافظه یکپنجم کمتر.
قابلیت اجرا روی سیستمهای معمولی (حداقل GPUبرای اجرا 4090)
ا ModernBERT در نسخههای Base (149 میلیون پارامتر) و Large (395 میلیون پارامتر) ارائه شده و به زودی به کتابخانه Transformers اضافه میشود.
مناسبتر برای وظایفی مانند بازیابی اطلاعات، طبقهبندی و استخراج.
▪️ Replacement for BERT: ModernBERT
▪️ Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Memory Efficient, and Long Context Finetuning and Inference
#پایتون #الگوریتمها #هوش_مصنوعی
🔸 مطالب بیشتر 👇👇
✅ @AI_DeepMind
🔸 @AI_Person
👍22
معرفی CT-FM: یک #مدل_بنیادی بینایی برای توموگرافی کامپیوتری CT-FM یک مدل pre-training مبتنی بر تصویر 3d در مقیاس بزرگ برای کارهای #رادیولوژی طراحی شده است.
▪️ Vision Foundation Models for Computed Tomography
بیشتر مقالات دارن به سمتrobust شدن میرن اگه میتونین اینطوری با این ایده هم ی مقاله بنویسید
#علوم_پزشکی #مقاله #ایده_جذاب
🔸 مطالب بیشتر 👇👇
✅ @AI_DeepMind
🔸 @AI_Person
▪️ Vision Foundation Models for Computed Tomography
بیشتر مقالات دارن به سمتrobust شدن میرن اگه میتونین اینطوری با این ایده هم ی مقاله بنویسید
#علوم_پزشکی #مقاله #ایده_جذاب
🔸 مطالب بیشتر 👇👇
✅ @AI_DeepMind
🔸 @AI_Person
👍9🔥2