در مقاله‌ای با عنوان **Number Cookbook: Number Understanding of Language Models and How to Improve It** به یکی از چالش‌های مهم در مدل‌های زبانی پرداخته شده: درک صحیح اعداد، به‌ویژه اعداد اعشاری. این مشکل تنها به لایه Tokenizer محدود نمی‌شود، بلکه در بخش Attention و سایر مراحل پردازش مدل‌ها نیز تأثیرگذار است.

در این مقاله، روش‌هایی برای ارزیابی و بهبود درک عددی مدل‌های زبانی بزرگ (LLMها) پیشنهاد شده‌است. هدف از این راهکارها ارتقای دقت مدل‌ها در تفسیر و تحلیل داده‌های عددی است، که در نهایت می‌تواند توانایی تحلیلی آن‌ها را به میزان قابل‌توجهی افزایش دهد.

Paper : https://arxiv.org/abs/2411.03766

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

◀️ اگر به دنبال یادگیری شبکه‌های عصبی عمیق با رویکردی جذاب و کارآمد هستید، پیشنهاد می‌کنم سری به سایت Learn PyTorch بزنید! این سایت، شما را با PyTorch و کتابخانه‌های کلیدی مثل Numpy و Pandas آشنا می‌کند و در قالب پروژه‌های کاربردی، مفاهیم پیچیده شبکه‌های عصبی را به روشی ساده و قابل‌فهم آموزش می‌دهد.

اگرچه کتابخانه‌های دیگری هم برای ساخت شبکه‌های عصبی وجود دارند، اما PyTorch با سادگی و انعطاف‌پذیری خود انتخابی عالی است. در Learn PyTorch می‌توانید یادگیری را به تجربه‌ای لذت‌بخش تبدیل کنید و به سرعت مفاهیم را در عمل ببینید!

https://www.learnpytorch.io/

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

🤖 Fall Detection System | ایمنی با هوش مصنوعی 🛡

⚠️ هر سال، میلیون‌ها نفر از سالمندان دچار سقوط‌های خطرناک می‌شوند که اغلب برای ساعت‌ها نادیده می‌مانند. این تأخیر در واکنش می‌تواند به مشکلات جدی یا حتی بدتر منجر شود. ⏰

سیستم تشخیص سقوط با هوش مصنوعی که:
📹 بلافاصله لحظه‌ی سقوط را شناسایی می‌کند
🚨 به‌طور خودکار هشدارها را با مدرک تصویری ارسال می‌کند
💬 در زمان واقعی مراقبان را از طریق Telegram مطلع می‌سازد

مناسب برای:
🏥 مراکز نگهداری سالمندان
🏠 Home monitoring
🏭 High-risk workplaces

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

📚 برترین مقالات RAG هفته اول نوامبر ۲۰۲۴

۱. RAGViz Tool
ابزار RAGViz یک ابزار تشخیص پیشرفته برای سیستم‌های RAG است که با استفاده از رابط کاربری جذاب و مدل LLM داخلی، توجه توکن‌ها را در اسناد بازیابی شده به صورت بصری نمایش می‌دهد. این ابزار دو ویژگی اصلی دارد:
- نمایش توجه توکن‌ها و اسناد در سطح جزئیات بالا
- مقایسه تولیدات پس از اضافه یا حذف اسناد زمینه‌ای
عملکرد این ابزار بسیار سریع است، با زمان پاسخ‌دهی متوسط ۵ ثانیه.
Paper : https://arxiv.org/abs/2411.01751

۲.RAGulator (Irrelevant LLM output Detectors in RAG)
در این مقاله، RAGulator معرفی شده که یک مدل سبک و سریع برای تشخیص خروجی‌های خارج از زمینه در سیستم‌های RAG است. این مدل از DeBERTa برای شناسایی متن‌های تولید شده نامربوط استفاده می‌کند و بدون نیاز به پردازش اضافی یا مهندسی ویژگی‌ها، دقت بالایی دارد.
Paper:https://arxiv.org/abs/2411.03920

۳. Long Context RAG
این تحقیق به بررسی اثرات طول زمینه در عملکرد RAG در ۲۰ مدل LLM مختلف پرداخته است. نتایج نشان می‌دهد که در حالی که بازیابی اسناد بیشتر می‌تواند دقت را بهبود بخشد، تنها مدل‌های پیشرفته‌ای که طول زمینه بیشتری از ۶۴ هزار توکن را پشتیبانی می‌کنند، می‌توانند دقت ثابت را حفظ کنند.
Paper:https://arxiv.org/abs/2411.03538

۴. Rationale-Guided RAG
این مقاله به معرفی RAG2 می‌پردازد که برای کاربردهای زیست‌پزشکی طراحی شده است و با استفاده از رشنال‌های LLM بهبود می‌یابد. RAG2 با فیلتر کردن اطلاعات بی‌ربط و بهبود بازیابی، موفق به افزایش دقت سیستم‌های RAG تا ۶.۱٪ شده است.
Paper:https://arxiv.org/abs/2411.00300

۵. Adaptive Filtering for RAG
مدل E2E-AFG یک مدل تمام‌عیار برای فیلترگذاری تطبیقی در سیستم‌های RAG است. این مدل به صورت خودکار تمرکز بیشتری بر محتوای مرتبط می‌کند و باعث کاهش تاثیر اطلاعات غیرمرتبط و افزایش دقت تولیدات می‌شود. E2E-AFG در تمام وظایف، نتایج بهتری نسبت به مدل‌های پایه داشته است.
Paper:https://arxiv.org/abs/2411.00437

۶. Data Extraction Attacks in RAG
این مقاله به حملات استخراج داده در سیستم‌های RAG پرداخته و روش‌هایی برای تزریق داده‌های مسموم به مدل‌های LLM معرفی کرده است. نتایج نشان می‌دهند که حتی با ۳٪ داده مسموم، می‌توان به طور مؤثر به داده‌های حساس دسترسی پیدا کرد و این مسئله تهدیدات امنیتی بزرگی برای سیستم‌های RAG به همراه دارد.
Paper:https://arxiv.org/abs/2411.01705

۷. CORAG (Retrieval Optimization System for RAG)
در واقع CORAG یک سیستم بهینه‌سازی جدید برای بازیابی در RAG است که با استفاده از JST به صورت پیوسته به دنبال انتخاب بهینه اسناد می‌گردد و توانایی در نظر گرفتن ارتباطات بین بخش‌ها را دارد. این مدل به طور چشمگیری کارایی را نسبت به مدل‌های سنتی بهبود می‌بخشد.
Paper:https://arxiv.org/abs/2411.00744

۸. M3DocRAG (Multimodal RAG)
مدل M3DocRAG به عنوان یک چارچوب چندوجهی جدید، توانایی تطبیق با انواع مختلف اسناد، دامنه‌های مختلف و سوالات چندگانه را دارد. این مدل با استفاده از ColPali و Qwen2-VL 7B عملکرد بسیار بهتری نسبت به مدل‌های پایه نشان داده است و قادر است انواع مختلف شواهد (متن، نمودار، تصویر و...) را در فرآیند بازیابی اطلاعات به کار گیرد.
Paper:https://arxiv.org/abs/2411.04952


با اشتراک این مقالات پیشرفته، از آخرین دستاوردها در دنیای RAG مطلع شوید و با محققان دیگر در ارتباط باشید! 🚀

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

🧬 Cellpose 🧬

در واقعCellpose یک الگوریتم یادگیری عمیق منبع بازه که برای cell segmentation در biological images طراحی شده. این ابزار که توسط MouseLand توسعه داده شده، از CNNs استفاده می‌کنه تا دقت بالایی رو در زمینه‌های مختلف تصویربرداری ارائه بده. 🧫✨

💡 Human-in-the-Loop 💡
یکی از ویژگی‌های منحصربه‌فرد Cellpose، قابلیت Human-in-the-Loop هست که به کاربر اجازه می‌ده به صورت تعاملی نتایج segmentation رو بهبود بده. این ویژگی باعث می‌شه الگوریتم به شرایط خاص و نیازهای کاربران بهتر تطبیق پیدا کنه. 🛠🔍

🖥 User-Friendly Interface 🖥
میتوان گفتCellpose دارای رابط گرافیکی کاربرپسند هست که حتی برای پژوهشگرانی که تجربه برنامه‌نویسی زیادی ندارن، استفاده از اون آسونه. این ابزار به همه اجازه می‌ده که بدون نیاز به دانش عمیق محاسباتی از قابلیت‌های پیشرفته deep learning بهره ببرن. 📊🔓


source : https://github.com/MouseLand/cellpose?tab=readme-ov-file

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

"TABPFN: A Transformer That Solves Small Tabular Classification Problems in a Second"
این مقاله با معرفی مدلی به نام TabPFNبه یک راهکار جدید برای مسائل طبقه بندی دادههای جدولی کوچک میپردازد. TabPFN یک شبکه ترنسفورمر پیش آموزشیافته است که میتواند طبقهب ندی دادههای جدولی را در کمتر از یک ثانیه انجام دهد. این مدل نیاز به تنظیم ابرپارامترها ندارد و در مقایسه با روشهای پیشرفته طبقه بندی، عملکردی رقابتی ارائه میدهد.

Paper :https://arxiv.org/abs/2207.01848
Code : https://github.com/automl/TabPFN

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

🌟 اسلایدهای درس ساختمان داده و طراحی الگوریتم دانشگاه صنعتی شریف 🌟

#الگوریتم
📣👨‍💻 @AlgorithmDesign_DataStructuer

Mathematics of machine learning

به طور کلی، یادگیری ماشین به شناسایی خودکار الگوها در داده‌ها اشاره دارد. به همین دلیل، این حوزه بستر مناسبی برای پیشرفت‌های جدید در آمار و الگوریتم‌ها بوده است. هدف این دوره ارائه‌ی مقدمه‌ای دقیق و ریاضی‌محور به این پیشرفت‌ها با تمرکز بر روش‌ها و تحلیل آن‌ها است.

https://ocw.mit.edu/courses/18-657-mathematics-of-machine-learning-fall-2015/

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

معرفی بورس کشور چین-دانشگاه هاربین

سرویس مخفی آمریکا پس از پیروزی دونالد ترامپ در انتخابات، برای افزایش امنیت در املاک او از سگ‌های رباتیک استفاده کرده است.

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

Neural Networks Basic Cheat Sheet

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

درخت جستجوی بهینه (Optimal Binary Search Tree) یک نوع خاص از درخت دودویی جستجو (BST) است که با هدف بهینه‌سازی سرعت جستجو طراحی شده است. 🌲 در این درخت، هدف این است که میانگین زمان جستجو برای دسترسی به گره‌های مختلف به حداقل برسد. این نوع درخت برای مجموعه‌ای از کلیدهایی که هر کدام احتمال جستجوی مشخصی دارند، ساخته می‌شود. 📈

ساختار و هدف 🎯
درخت جستجوی بهینه برای کاهش هزینه‌های جستجو در یک مجموعه داده طراحی شده است که هر کلید آن با یک احتمال دسترسی مشخص مشخص می‌شود. هر کلیدی که بیشتر جستجو می‌شود، باید به ریشه یا گره‌های نزدیک‌تر به ریشه نزدیک‌تر باشد تا زمان دسترسی به آن کاهش یابد. ⏳

کاربرد درخت جستجوی بهینه 💼
این نوع درخت معمولاً در مواردی استفاده می‌شود که نیاز به تعداد زیادی عملیات جستجو باشد و بخواهیم بهینه‌ترین ساختار داده را برای کاهش زمان جستجو داشته باشیم. نمونه‌هایی از این کاربردها:

- کامپایلرها برای تحلیل جملات برنامه 🖥
- سیستم‌های پایگاه داده برای سرعت بخشیدن به عملیات جستجو در داده‌های پرتکرار 🗃
- موتورهای جستجو و الگوریتم‌های جستجوی سریع 🔍

مراحل ساخت درخت جستجوی بهینه 🔄
برای ساخت درخت جستجوی بهینه، الگوریتم‌های برنامه‌نویسی پویا (Dynamic Programming) به کار می‌روند. مراحل به شرح زیر هستند:

1. تعریف احتمالات دسترسی: هر کلید (K_i) از کلیدهای مجموعه یک احتمال دسترسی (P(i)) دارد که بیانگر احتمال جستجوی آن کلید است. 📊

2. محاسبه هزینه جستجو: هزینه جستجو معمولاً به صورت مجموع حاصل ضرب عمق هر گره در احتمال دسترسی آن تعریف می‌شود. هدف این است که این هزینه کمینه شود. 🔽

3. ساخت جدول هزینه‌ها: از طریق **برنامه‌نویسی پویا**، یک جدول هزینه ساخته می‌شود که نشان‌دهنده کمترین هزینه جستجو برای زیرمجموعه‌های مختلف کلیدها است. 📅

4. ساخت درخت: با استفاده از جدول هزینه‌ها، درخت بهینه با قرار دادن کلیدها در سطوح مناسب ساخته می‌شود. 🌳

پیاده‌سازی الگوریتم 🔧
درخت جستجوی بهینه معمولاً با استفاده از برنامه‌نویسی پویا پیاده‌سازی می‌شود. این الگوریتم به صورت بازگشتی یا از پایین به بالا عمل می‌کند تا با در نظر گرفتن تمامی حالت‌های ممکن برای چیدمان کلیدها، بهترین چیدمان را پیدا کند. 🔍

پیچیدگی زمانی ⏱️
پیچیدگی زمانی این الگوریتم در حالت کلی (O(n^3)) است، چرا که برای هر زیرمسئله به مقایسه تمامی ترکیب‌های ممکن برای کلیدها نیاز دارد. با این حال، می‌توان آن را بهینه‌تر کرد، اما همچنان زمان‌بر است.

مزایا و معایب 🔄
- مزایا:
- بهینه‌سازی شدهبرای شرایطی که احتمال دسترسی به کلیدها متفاوت است. ✅
- زمان جستجوی میانگین کمتر از درخت جستجوی دودویی ساده در شرایطی که احتمال دسترسی مشخص است. 📉

- معایب:
- ساخت درخت پیچیده و زمان‌بر است. 🚧
- در صورت تغییر در احتمالات دسترسی کلیدها، نیاز به بازسازی درخت وجود دارد. 🔄

مثال 📘
فرض کنید مجموعه کلیدهای ما ([K1, K2, K3]) باشد و احتمال دسترسی به آن‌ها به ترتیب (P1=0.2)، (P2=0.5)، و (P3=0.3) باشد. برای یافتن بهینه‌ترین ساختار، کلید (K2) که احتمال دسترسی بیشتری دارد، باید در سطح بالاتر (نزدیک به ریشه) قرار گیرد.

این فرآیند کمک می‌کند که جستجوها با میانگین زمان کمتری انجام شوند. 📈

#الگوریتم
📣👨‍💻 @AlgorithmDesign_DataStructuer

سلام دوستان عزیز
خوشحال می‌شم که همدیگر رو در گیت‌هاب و لینکدین دنبال کنیم و باهم در ارتباط باشیم. منتظر تعاملات خوب با شما هستم! 🌟

🔗 لینک گیت‌هاب:
https://github.com/MohammadHossini

🔗 لینک لینکدین:
https://www.linkedin.com/in/mohammad-hosseini-3b823724b/

📚 Reinforcement Learning, Stanford
دو هفته پیش، دانشگاه استنفورد دوره CS234 - 2024 را منتشر کرد.

پروفسور Emma Brunskill و تیم‌شون آموزش می‌دهند:
- Policy search
- Offline RL
- Multi-Agent Game playing
- and much more

https://www.youtube.com/playlist?list=PLoROMvodv4rN4wG6Nk6sNpTEbuOSosZdX

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

🔍 دنبال بهترین‌های یادگیری ماشین با پایتون هستید؟
این گیت‌هاب را بررسی کنید که بیش از ۹۲۰ کتابخانه ML را در دسته‌بندی‌های مختلف مانند NLP، بصری‌سازی داده، OCR، AutoML و غیره رتبه‌بندی کرده! این مخزن، با منابع متن‌باز ارزشمند، به‌صورت هفتگی به‌روزرسانی می‌شود. توجه داشته باشید که هر پروژه بر اساس معیارهای کیفی رتبه‌بندی شده است، بنابراین در پیدا کردن ابزارهای مطمئن، زمان زیادی صرفه‌جویی می‌کنید.

https://github.com/ml-tooling/best-of-ml-python

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

🌟 معرفی مقاله: 🌟
A Comprehensive Survey of Small Language Models in the Era of Large Language Models: Techniques, Enhancements, Applications, Collaboration with LLMs, and Trustworthiness

این مقاله، یک بررسی جامع از مدل‌های زبانی کوچک (SLMs) ارائه می‌دهد و به تکنیک‌ها، بهبودها، کاربردها، و همکاری آن‌ها با مدل‌های زبانی بزرگ (LLMs) می‌پردازد. همچنین، به موضوع مهم قابلیت اطمینان این مدل‌ها اشاره دارد و نشان می‌دهد که چگونه می‌توان از مدل‌های کوچک برای کاربردهای خاص و بهینه‌تر استفاده کرد. اگر به مدل‌های زبانی و پیشرفت‌های آن‌ها علاقه‌مندید، این مقاله اطلاعات ارزشمندی را در اختیارتان می‌گذارد. 📘✨

📄 لینک مقاله:
https://arxiv.org/abs/2411.03350

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

در مقاله‌ی اخیر ما با عنوان "Reverse Stable Diffusion: What prompt was used to generate this image" که برای انتشار در Computer Vision and Image Understanding پذیرفته شده، به بررسی وظیفه‌ی پیش‌بینی prompt embedding بر اساس یک تصویر تولید شده توسط یک مدل دیفیوژن مولد می‌پردازیم. شاید جالب‌ترین کشف این مطالعه این است که آموزش یک مدل دیفیوژن بر روی وظیفه‌ی تولید prompt می‌تواند باعث شود مدل تصاویری تولید کند که همخوانی بسیار بیشتری با input prompts داشته باشند؛ به‌ویژه زمانی که مدل معکوس به‌طور مستقیم برای text-to-image generation استفاده شود.

https://arxiv.org/abs/2308.01472

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

📚 جزوه خلاصه و نکات مهم ساختمان داده 📚

این جزوه، مجموعه‌ای از نکات کلیدی و خلاصه‌های کاربردی درس ساختمان داده‌ها رو در بر داره که به‌صورت تخصصی و ساده تنظیم شده. 👨‍💻 این مجموعه مناسب دوستانیه که دارن برای آزمون‌های استخدامی و کنکور آماده میشن. 🎓 با مطالعه این جزوه، می‌تونید به درک بهتری از ساختارهای داده و الگوریتم‌های مرتبط برسید و زمان مطالعاتی خودتون رو مدیریت کنید. ⏰

#الگوریتم
📣👨‍💻 @AlgorithmDesign_DataStructuer

🌐 وبسایتی فوق‌العاده برای تجسم یادگیری ماشین

این وبسایت شگفت‌انگیز به شما کمک می‌کند تا شهود خود را در زمینه یادگیری ماشین تقویت کنید و مفاهیم پیچیده را به شکل بصری درک کنید.

https://mlu-explain.github.io/

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer