جایگزین bert معرفی شد:

در حالی که مدل‌های مبتنی بر دیکودر (مانند GPT-style LLMs) توجه بسیاری جلب کرده‌اند، مدل‌های مبتنی بر انکودر مانند BERT کمتر مورد توجه قرار گرفته‌اند. ModernBERT، انکودر جدیدی که توسط Answer.AI و LightOn توسعه یافته است، این شکاف را پر کرده و انکودرها را با قابلیت‌های پیشرفته‌تر به روزرسانی کرده است.

چرا مدل‌های انکودر؟
انکودرها برخلاف دیکودرها، توکن تولید نمی‌کنند؛ بلکه بردارهای تعبیه‌ای (embedding vectors) ایجاد می‌کنند که نمایانگر ارزش معنایی متن هستند. این ویژگی آن‌ها را برای وظایفی مانند طبقه‌بندی، اندازه‌گیری شباهت و ایجاد پلتفرم‌های بازیابی اطلاعات (مانند RAG) مناسب‌تر می‌کند.
در مقایسه با دیکودرها، انکودرها:

سریع‌تر و کم‌هزینه‌تر هستند.
می‌توانند روابط توکن‌ها را در هر دو جهت (پیش و پس‌رو) بررسی کنند.
در وظایف embedding محور عملکرد بهتری دارند.

ویژگی‌های ModernBERT:

افزایش ظرفیت و عملکرد:
افزایش طول پنجره متنی از 512 به 8000 توکن.
مناسب برای وظایف کدنویسی و جستجوی کد.
امتیازدهی بهتر در بنچمارک‌هایی مثل SQA و GLUE.
معماری بهینه:
استفاده از تکنیک‌های پیشرفته مانند روتاری جای‌گذاری موقعیتی (RoPE) برای پردازش متون بلند.
به‌کارگیری FlashAttention-2 برای کارایی بیشتر روی GPUهای پیشرفته.
ترکیب توجه محلی و جهانی برای مدیریت بهتر توالی‌های بلند.
اولین مدل انکودر با داده‌های آموزشی قابل توجه از کدهای برنامه‌نویسی.
کارایی بالا:
دو برابر سریع‌تر از DeBERTa و مصرف حافظه یک‌پنجم کمتر.
قابلیت اجرا روی سیستمهای معمولی (حداقل GPUبرای اجرا 4090)

ا ModernBERT در نسخه‌های Base (149 میلیون پارامتر) و Large (395 میلیون پارامتر) ارائه شده و به زودی به کتابخانه Transformers اضافه می‌شود.
مناسب‌تر برای وظایفی مانند بازیابی اطلاعات، طبقه‌بندی و استخراج.

▪️ Replacement for BERT: ModernBERT
▪️ Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Memory Efficient, and Long Context Finetuning and Inference

#پایتون #الگوریتمها #هوش_مصنوعی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

معرفی CT-FM: یک #مدل_بنیادی بینایی برای توموگرافی کامپیوتری CT-FM یک مدل pre-training مبتنی بر تصویر 3d در مقیاس بزرگ برای کارهای #رادیولوژی طراحی شده است.

▪️ Vision Foundation Models for Computed Tomography

بیشتر مقالات دارن به سمتrobust شدن میرن اگه میتونین اینطوری با این ایده هم ی مقاله بنویسید

#علوم_پزشکی #مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

📍 چرا آمریکا بهترین کشور برای استارتاپ‌هاست؟

💡 به عقیده جف بزوس دلیل موفقیت آمریکا یک چیزه، پذیرش ریسک!
بزوس میگه:
"آمریکا موفقه چون بنیان‌گذارها می‌تونن حتی با ۱۰٪ احتمال موفقیت، ۵۰ میلیون دلار سرمایه جمع کنن."

▫️موضوع فقط استعداد نیست، موضوع اینه که تو آمریکا سرمایه‌گذاری روی ایده‌هایی که شاید موفق نشن، پذیرفته شده است.

▫️اروپا یا جاهای دیگه دنیا هم هم استعداد و ایده کم نداره، اما چیزی که کمه، جرأت سرمایه‌گذاری روی ریسک‌های بزرگه. اگه کشوری می‌خواد تو حوزه‌هایی مثل هوش مصنوعی و بیوتکنولوژی رقابت کنه، باید روی ایده‌های پررسک سرمایه‌گذاری کنه، حتی وقتی احتمال موفقیتشون کم باشه.

📌 مزیت کارآفرینی آمریکا در فرهنگی هست که ریسک‌های بزرگ رو پاداش می‌ده و شکست رو بخشی از نوآوری می‌دونه. موفقیت فقط به استعداد یا ایده‌ها وابسته نیست، دسترسی به سرمایه‌های ریسک‌پذیر و طرز فکری که از چشم‌اندازهای تحول‌ساز حمایت می‌کنه، نقش اصلی رو بازی می‌کنه.

@investingfund

مقایسه همه مدل ها حدود 190 مدل
اطلاعات بیشتر راجب همه مدلها

https://llmexplorer.org/

خیلی جالبه بگم که اینو تویتر دیدم بعد طرف اینو فارسی نوشته حاصل کاری طاقت فرسا لطفا حمایتم کنین خب رفیق این کار سرقت نیست به نظرت بگو من این کارو ترجمه کردم و نتیجه شده این سایت😂😕

https://devs.maux.site/
وقتی از چیزی استفاده میکنین رفرنس بدین که این کار من هست از اینس سایت نسخه فارسیش حمایت کنین منم چون رفرنس ندادی قرار نیست بهت تذکر ندم

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

اگر کاربر #تلگرام Premium هستید، و محتویات و پست‌های کانال مورد توجهت قراره گرفته با Boost کردن کانال ما، در فعال کردن قابلیت انتشار استوری به ما کمک کنید تا بتوانیم محتواهای جذاب را در استوری تلگرام با شما به اشتراک بگذاریم 🚶‍♂️🚶‍♂️❤️🌻
👇👇
https://t.me/boost/AI_DeepMind

امازون داره روی یک #هوش_مصنوعی برای قسمت فروش لباسش کار میکنه تا مشتریان بتونن لباسای فیت خودشون رو راحتتر انتخاب کنن و مرجوعی رو به حداقل ممکن برسونن

https://www.techradar.com/computing/artificial-intelligence/amazon-thinks-ai-helping-you-buy-clothes-is-better-than-you-sending-back-whatever-doesnt-fit

#خبر

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

Stanford CS234 - Reinforcement Learning 🚀

Stanford released a new course that focuses on reinforcement learning. Prof Emma Brunskill teaches this full-semester course, which provides an introduction to the field. It includes basics topics of reinforcement learning and as well advanced topics such as deep reinforcement learning. The course required proficency with Python, basic knowledge of linear algebra, probability, and machine learning.

https://www.youtube.com/playlist?list=PLoROMvodv4rN4wG6Nk6sNpTEbuOSosZdX

#علوم_پزشکی #مقاله #ایده_جذاب #کلاس_آموزشی #فیلم

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

متخصصان #علوم_اعصاب شرکت FinalSpark یک شبیه‌سازی سه‌بعدی ایجاد کرده‌اند که یک پروانه را به تصویر می‌کشد و این شبیه‌سازی توسط سلول‌های مغزی انسانی که در یک آزمایشگاه رشد داده شده‌اند، هدایت می‌شود.
این کار نمایانگر یک گام مهم به سمت تحقق مفاهیمی است که پیش‌تر تنها به داستان‌های علمی‌تخیلی، مانند فیلم ماتریکس، محدود می‌شدند و راه‌های جدیدی برای تحقیق در زمینه حفظ شناخت و انتقال ذهن باز می‌کند.

به عنوان نمونه‌ای از پلتفرم، برگر و همکارانش یک دنیای مجازی با یک مدل پروانه ایجاد کردند. ارگانوئیدهای مغزی منتظر سیگنال‌های ورودی انسانی می‌مانند که در این مورد به شکل کلیک روی صحنه دنیای مجازی است. نرم‌افزار مرتبط با پایتون محاسبه می‌کند که آیا رویداد کلیک در محدوده دید پروانه اتفاق افتاده است یا خیر. سپس نورون‌های مغزی به تحریکات پاسخ می‌دهند و به مدل پروانه دستور می‌دهند که به سمت مکان کلیک پرواز کند یا نکند.

https://www.theregister.com/2024/10/22/human_brain_tissue_butterfly_simulation/

#هوش_مصنوعی #بیوتکنولوژی #علوم_پزشکی #مقاله #ایده_جذاب #نروساینس

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

🔥 مدل Omni-RGPT: انقلاب در درک منطقه‌ای تصاویر و ویدئوها! 🔥

ایده اصلی: درک یکپارچه و دقیق مناطق در تصاویر و ویدئوها همیشه چالش‌برانگیز بوده، اما تیمی از محققان NVIDIA و دانشگاه Yonsei مدل چندوجهی Omni-RGPT رو طراحی کردن که با معرفی Token Mark، مفهوم درک منطقه‌ای رو متحول کرده.

چی جوری کار می‌کنه؟
با استفاده از Token Mark، این مدل توکن‌ها رو مستقیماً به مناطق خاص (مثل باکس‌ها یا ماسک‌ها) اختصاص می‌ده و اون‌ها رو به متن‌ها متصل می‌کنه. این یعنی ارتباطی قوی‌تر و دقیق‌تر بین تصویر و متن!

ویژگی‌های مهم:
✅ Token Mark:
مناطق هدفمند رو به صورت مستقیم تو فضای بصری مشخص می‌کنه و اون‌ها رو تو پردازش متن لحاظ می‌کنه.
✅ Auxiliary Task:
تداوم توکن‌ها رو تضمین می‌کنه و باعث می‌شه مناطق در ویدئوها پایدار و قابل فهم باشن.
✅ RegVID-300k Dataset:
دیتاست عظیم ویدئویی که مدل رو برای درک دقیق‌تر آموزش می‌ده.

📄 جزئیات بیشتر: مطالعه مقاله

#OmniRGPT #AI
💎@Recomendersystem2023

آیا ترکیب تخصص انسانی با همیارهای هوش مصنوعی میتواند در یادگیری ماشینی داده‌محور انقلابی ایجاد کند؟

▪️ Towards Human-Guided, Data-Centric LLM Co-Pilots

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

🚀 معرفی DeepSeek: مدل‌های هوش مصنوعی پیشرفته و مقرون‌به‌صرفه

وDeepSeek، یک استارتاپ چینی در حوزه هوش مصنوعی، با انتشار گزارش جدید خود از مدل‌های DeepSeek-R1 رونمایی کرده است. این مدل‌ها با استفاده از تکنیک‌های نوآورانه یادگیری تقویتی، مرزهای توانایی استدلال را جابه‌جا کرده‌اند.

مدل‌های جدید DeepSeek تحت مجوز MIT ارائه می‌شوند و از طریق API این شرکت با هزینه‌ای بسیار کمتر نسبت به OpenAI در دسترس هستند. با این حال، نگرانی‌هایی درباره سانسور محتوای تولیدشده توسط این مدل‌ها وجود دارد.

Deepseek-R1_git

#DeepSeek #هوش_مصنوعی #AI #مدل_پیشرفته

💎@Recomendersystem2023

سگارو برگشت.
https://x.com/iSegar0

موارد ضروری که برای فراگیری مدلهای LLM مورد نیاز هست:

- token embeddings
- positional embeddings
- self-attention
- transformers
- intuitive understanding of Q, K, V
- causal and multi-head attention
- temperature, top-k, top-p
- classification & instruction fine-tuning
- rotary positional encoding (RoPE)
- KV Cache
- infini-attention (long context windows)
- mixture of experts (MoE)
- grouped query attention
- basic understanding of llama-2 architecture and techniques which is actually a recap of all the previous subjects

#علوم_پزشکی #مقاله #ایده_جذاب #منابع #کلاس_آموزشی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

OpenAI is terrified of DeepSeek-R1
@uselinux

https://www.youtube.com/shorts/v7Yugb3HmME

🔥شرکت Anthropic از قابلیت جدید Citations برای Claude رونمایی کرد!

▪️شرکت Anthropic امروز از ویژگی جدید Citations در API خودش پرده برداشت. حالا هوش مصنوعی Claude می‌تونه پاسخ‌هاش رو با منابع دقیق و قابل راستی‌آزمایی ارائه بده و مشخص کنه که هر بخش از جوابش از کجا اومده.

▪️قبلاً توسعه‌دهنده‌ها باید پرامپت‌های پیچیده می‌نوشتن تا اطلاعات منبع مشخص بشه، اما این روش خیلی وقت‌گیر و غیرقابل‌اعتماد بود. با این ویژگی جدید، دقت خروجی‌ها تا ۱۵ درصد بیشتر شده!

+ کاربرد های این قابلیت :

• تحقیقات علمی
• خلاصه‌سازی اسناد
• پاسخ به سوالات پیچیده و

- کلاد حالا دقیقاً مشخص می‌کنه که هر بخش از جواب از کدوم قسمت منبع برداشته شده.

#علوم_پزشکی #مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

مدل جدید deepseek چطور اموزش دیده
https://www.philschmid.de/deepseek-r1

#علوم_پزشکی #مقاله #ایده_جذاب #متن_باز

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

✨ آشنایی با Gradio: ساخت رابط‌های کاربری تعاملی برای مدل‌های یادگیری ماشین ✨

🔍 وGradio یک کتابخانه پایتون است که به شما امکان می‌دهد مدل‌های یادگیری ماشین خود را با رابط‌های کاربری وب تعاملی به نمایش بگذارید.

💻 ویژگی‌های کلیدی Gradio:
• نصب آسان: با استفاده از دستور pip install gradio، می‌توانید این کتابخانه را به‌سادگی نصب کنید.
• ساخت رابط کاربری: با چند خط کد، می‌توانید یک رابط کاربری وب برای مدل‌های خود ایجاد کنید.
• پشتیبانی از ورودی‌ها و خروجی‌های متنوع: Gradio از ورودی‌ها و خروجی‌های مختلفی مانند متن، تصویر، صدا و ویدئو پشتیبانی می‌کند.
• اشتراک‌گذاری آسان: پس از ساخت رابط کاربری، می‌توانید آن را به‌سادگی با دیگران به اشتراک بگذارید.
.

📍 منابع بیشتر:
• مستندات Gradio
• آموزش سریع Gradio

#Gradio #یادگیری_ماشین #رابط_کاربری

💎@Recomendersystem2023

اینم یک #مقاله کاربردی مدلهای #هوش_مصنوعی برای پرستاران بیمارستان ها

▪️ Multimodal AI on Wound Images and Clinical Notes for Home Patient Referral

#علوم_پزشکی #ایده_جذاب #پردازش_تصویر #مولتی_مدل

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

✅ دعوت به #وبینار_آموزشی:
"مقدمه‌ای بر 𝐌𝐋𝐎𝐩𝐬"

در دنیای امروز، یادگیری ماشین و هوش مصنوعی به بخشی جدایی‌ناپذیر از کسب‌وکارها تبدیل شده‌اند، اما چالش اصلی بسیاری از تیم‌ها، عبور از مرحله توسعه مدل به دپلوی و مقیاس‌پذیری آن است. اینجاست که 𝐌𝐋𝐎𝐩𝐬وارد میدان می‌شود!

————————————————————
در وبینار "مقدمه‌ای بر 𝐌𝐋𝐎𝐩𝐬" که توسط شبکه آموزشی بِست برگزار می‌شود، به شما کمک می‌کنیم تا دیدی اولیه نسبت به این حوزه پیدا کنید و با مفاهیم پایه‌ای و کاربردهای آن آشنا شوید.

🎯 محورهای اصلی وبینار:
- مقدمه‌ای بر 𝐃𝐞𝐯𝐎𝐩𝐬 و مسیر شکل‌گیری 𝐌𝐋𝐎𝐩𝐬
- لایف‌سایکل پروژه‌های یادگیری ماشین
- طراحی یک پایپ‌لاین کامل برای پروژه‌های هوش مصنوعی
- جمع‌بندی و بحث آزاد

————————————————————
✔️اطلاعات بیشتر و ثبت نام:
https://be5t.ir/event/24/mlops

کد تخفیف :
mlops


پ.ن : دوستان، وبینار بنا به شرایط برگزار کننده دارای هزینه جزئی هست. ولی اگر کسی تمایل داشته باشه و از پس هزینه بر نیومد به آقای امینی اطلاع بده که ثبتنامش اوکی بشه.
@aliaminibagh

How to Pick Between Data Science, Data Analytics, Data Engineering, ML Engineering, and SW Engineering

#blog
#software
#data

@lifeAsAService

📌معرفی Verba v2.1.2 با مدل DeepSeek – آینده‌ای جدید برای RAG!

نسخه‌ی جدید Verba یعنی v2.1.2 منتشر شد و قابلیت‌های هیجان‌انگیزی به همراه آورده! حالا می‌توانید با استفاده از مدل‌های جدید مانند DeepSeek از نسل جدید RAG بهره‌مند شوید!

ویژگی‌های جدید:
✅ مدل DeepSeek برای RAG فوق‌العاده پیشرفته
✅ امکان استفاده از داده‌های شخصی خود با Novita AI
✅ یک بصری‌سازی بی‌نظیر از تمامی داده‌های پردازش شده در Verba!

برای نصب کافیه این دستور ساده رو اجرا کنید:

pip install goldenverba

اطلاعات بیشتر و سورس کد در گیت‌هاب:
Github: Verba

💎@Recomendersystem2023