مقالاتی که در #هوش_مصنوعی هفته گذشته در درشته #علوم_پزشکی به چاپ رسید:

▪️ Medical SAM 2: Segment medical images as video via Segment Anything Model 2
▪️ Medical Graph RAG: Towards Safe Medical Large Language Model via Graph Retrieval-Augmented Generation
▪️ Multimodal LLM for Medical Time Series
▪️ ECG-FM: Open Electrocardiogram Foundation Model
▪️ Private & Secure Healthcare RAG
▪️ GMAI-MMBench
A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI

#مقاله #ایده_جذاب #الگوریتمها

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

آیا مدل‌ها میتونن ببینن؟

مدل‌های زبانی ما قبل‌تر فقط داکیومنت‌ها رو میخوندن اما به مدلی فکر کنین که داکیومنت‌ها رو میبینه

اگه اسم VLM (vision language model) به گوشتون خورده باشه میدونین در مورد چی صحبت میکنم ✨

پیش از این چه اتفاقی میفتاد؟
شما وقتی داده‌های زیادی داشتید که میخواستید LLM مطابق اون پاسختون رو بده RAG میزدید. یعنی داده های زیادی رو از فایل‌ها و هرنوع پایگاه دانش دیگه استخراج میکردید، اون‌ها رو قطعه قطعه (chunk) میکردید و بعد با روش های امبدینگ موجود شباهت میسنجیدید تا داخل پرامپت از دانش مورد نظر خودتون استفاده کنید.

اما VLM ها مثل ColPali ما رو از این پروسه پرخطا و محاسباتی نجات میدن اون‌ها عملا صفحات رو میبینن که خیلی به عملکرد مغز انسان نزدیک‌تره 👀

همه تصاویر و همه نمودارها و حتی تفاوت فونت‌های توی داکیومنت‌ها کاملا همونطور که برای ما واضحه برای اونها هم واضحه...
مثلا فرض کنین وبسایت دلخواهتون رو دقیقا همونطور که شما میبینن یک ماشین هم میبینه

نحوه عملکردش هم خیلی سادس داکیومنت رو میبینه سگمنتش میکنه بعد هر سگمنت میره سمت مالتی مدل ها که هم تصویری و هم متنی آنالیز بشه و در آخر این موارد با هم تجمیع میشن 💯

خداحافظ ocr
خداحافظ chunking
سلام بر retrieval های بهینه

کامل این چیزایی که گفتم هم توی این مقاله مشهوده دوستان

https://arxiv.org/pdf/2407.01449

‌
طی نفوذی که به چند ربات ناشناس تلگرام اتفاق افتاده، متوجه شدند ۴۵۰ میلیون چت، ۱۱ میلیون عکس و ۳ میلیون ویدیو روی سرورهای این بات‌ها ذخیره شده.
‌
منبع: توییتر یاشو - مشاهده ویدئو

در هفته گذشته چه مقالات و مدلهای متن بازی در #هوش_مصنوعی و #یادگیری_ماشین منتشر شد:


◾️DeepSeek-Prover-V1.5: Harnessing Proof Assistant Feedback for Reinforcement Learning and Monte-Carlo Tree Search
◾️ Imagen 3
◾️ The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery
◾️Diffusion Guided Language Modeling
◾️Layerwise Recurrent Router for Mixture-of-Experts
◾️LongWriter: Unleashing 10,000+ Word Generation from Long Context LLMs
◾️Training Language Models on the Knowledge Graph: Insights on Hallucinations and Their Detectability
◾️ BAM! Just Like That: Simple and Efficient Parameter Upcycling for Mixture of Experts
◾️ Gemma Scope
◾️Diversity Empowers Intelligence: Integrating Expertise of Software Engineering Agents
◾️Mutual Reasoning Makes Smaller LLMs Stronger Problem-Solvers
◾️I-SHEEP: Self-Alignment of LLM from Scratch through an Iterative Self-Enhancement Paradigm
◾️Does Liking Yellow Imply Driving a School Bus? Semantic Leakage in Language Models

RAG
◾️HybridRAG: Integrating Knowledge Graphs and Vector Retrieval Augmented Generation for Efficient Information Extraction
◾️OpenResearcher: Unleashing AI for Accelerated Scientific Research

MLLM
◾️VITA: Towards Open-Source Interactive Omni Multimodal LLM
◾️mPLUG-Owl3: Towards Long Image-Sequence Understanding in Multi-Modal Large Language Models

VLM
◾️Mitigating Object Hallucination via Data Augmented Contrastive Tuning
◾️Towards flexible perception with visual memory
◾️VisualAgentBench: Towards Large Multimodal Models as Visual Foundation Agents

AI Gen
◾️VisualAgentBench: Towards Large Multimodal Models as Visual Foundation Agents
◾️ Generative Photomontage
◾️Heavy Labels Out! Dataset Distillation with Label Space Lightening
◾️ 3D Gaussian Editing with A Single Image
◾️ CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer
◾️ ControlNeXt: Powerful and Efficient Control for Image and Video Generation

Others
◾️ Body Transformer: Leveraging Robot Embodiment for Policy Learning
◾️ Machine Psychology
◾️ Med42-v2: A Suite of Clinical LLMs

#مقاله #ایده_جذاب #الگوریتمها #مدل_متن_باز

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

برای یک مدل LLM چه مقدار GPU نیاز داریم یک فرمولی رو پیشنهاد دادن نظرتون چیه؟ کامنت کنید.

#مقاله #ایده_جذاب #الگوریتمها #مدل_متن_باز #منابع

VRAM = (number of model parameters × precision) / 8 × 1.2

for LLaMA 3.1 8B with FP16 precision, the required VRAM would be: 8 x 16 / 8 x 1.2 = 19.2 GB

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

من اصلا راجب تبلیغی تایید یا رد کنم صحبتی ندارم ولی این رویداد یکی از با کیفیت ترین سمینارهاست افرادی که برگزارکننده هستن رو میشناسم و میتونین اطمینان کنین و شرکت کنین

من هم تایید میکنم. همه بچه‌های خوب شریف و بسیار باسواد هستند و ارتباط خوبی هم با شرکت‌ها و صنعت دارند.

یکی از بدهی‌هایی که صنعت ما و بچه‌های ما دارند، در حوزه دسترسی‌پذیریه.

حدود ۴ درصد از جامعه ما به نوعی دارای ناتوانی (چیزی که با نام معلولیت شناخته میشه) هستند.

جالب اینکه استارتاپ‌های این حوزه خیلیی محدوده و ما عملا از حضور این افراد در بین خودمون بی‌بهره هستیم!

در حالی که در دنیا استارتاپ‌های خوبی مثل be my eyes هست که کار خیلی جالبی میکنه، برای افرادی که نابینا هستند تا حدی تعریفی از دنیای ما میاره.

خرجش یه speech to text یه open cv یه LLM و یه text to speech عه یا ساده تر بخوام بگم چند تا api call

با دیدن این ویدئویی که میذارم نحوه ساخت چنین استارتاپی رو میتونین توی ۴۰ دقیقه ببینین.

این کار مسئولیت اجتماعی و وظیفه ماست و فارغ از هرگونه مساله مادی، باید براش تلاش بشه.

https://www.youtube.com/watch?v=nvmV0a2geaQ

اونهایی که از چندین سال پیش همراه این گروه و کانال بودند چه در کانال قبلی و این کانال ما تبلیغاتی که اگه وجود داشت برای بنیاد کودک هزینه میکردیم و الان همانند قبل حامی دانش آموزان مستعد ونیازمند خواهیم بود و با توجه به اینکه کانال به تعداد قابل قبولی رسیده تصمیم گرفتیم این حرکت رو دوباره ادامه بدیم و از چند دانش آموز حمایت کنیم اگه شما هم علاقمند هستین در آینده یک نفر تاثیرگذار باشید با ما همراه باشید تا بتونیم اینده اونها رو هرچند کوچک با وظیفه ای اجتماعی که داریم به حرکت بیاریم. به قول یک دوست میگفت انتظار جبران نیکی دیگرانو نداشته باشیم و بسپاریم این نیکی رو در قبال یکی دیگه انجام بده.

از همراهی همه‌ی شما ممنون لینک کمک و سهیم شدن برای کمک به دانش آموزان

https://www.childf.com/

Building Robust NLP Models with Data augmentaion

#کتاب #پردازش_زبان_طبیعی #الگوریتمها
#book

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

Retrieval Augmented Generation

توضيحات_فارسي

توضيحات_انگليسي

لينك_پروژه_انجام_شده





#تولید_بازیابی #RAG
#پایگاه_دانش #CustomKnowledgeBase
#مدل_جاسازی #EmbeddingModel

گروه زلال درفام فعال در حوزه آب مستقر در پارک علم و فناوری دانشگاه شریف از علاقمندان با شرایط زیر دعوت به همکاری میکند.
اگه علاقمند و دنبال موقعیت کاری برای مهندسی داده هستین و اطلاعات کافی دارین بهترین فرصت برای پیشرفت هست.
برای موقعیت طراحی وب موقعیت شغلی خوبی در دسترس هست.
اگه کسی خواست میتونه رزومه ش رو برای من بفرسته براشون بفرستم بررسی کنن
#استخدام

با این اکستنش مرورگر کروم میتونین #دیتاست های مرتبطی با کارتون رو داشته باشید

https://chromewebstore.google.com/detail/hugging-face-similar/aijelnjllajooinkcpkpbhckbghghpnl?authuser=0&hl=en



🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

مدل
◾️ xGen-MM (BLIP-3): A Family of Open Large Multimodal Models

به صورت #متن_باز منتشر شد


#مقاله #ایده_جذاب #الگوریتمها #مدل_متن_باز

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

افزونه ارزیابی هوشمند محله به آگهی‌های املاک دیوار اضافه شد

این افزونه که استارت‌آپ «پراپیژن» آن را به «کنار دیوار» اضافه کرده با استفاده از هوش‌مصنوعی اطلاعاتی مانند فاصله تا ایستگاه‌های مترو و اتوبوس، مراکز درمانی، میادین میوه و تره‌بار، سوپر‌مارکت‌ها، پارک‌ها و… را برای ملک‌های آگهی‌ شده در تهران نشان می‌دهد.

اضافه کردن این اطلاعات به آگهی ملک باعث بالا رفتن بازدید آگهی و افزایش احتمال موفقیت آن می‌شود.

کاربرانی که به دنبال اجاره یا خرید ملک هستند نیز می‌توانند با کمک این اطلاعات خانه یا دفتر کاری متناسب با نیازهای خود انتخاب کنند.

با استفاده از بستر «کنار دیوار»، تاکنون بیشتر از ۴۰ پلتفرم سرویس‌های خود را در قالب افزونه برای ارائه خدمت به کاربران دیوار فعال کرده‌اند. پرداخت امن، احراز هویت، جابجایی کالا و… بخشی از این سرویس‌ها هستند.

پ.ن: حالا اگه به یکی میگفتی بیا این کارو انجام بدیم کلی هم مسخره میکرد حالا یکی با همین ایده ساده یک استارت آپ زده حالا تا برنامه های آینده ش چی باشه منتظر باید بود.

#هوش_مصنوعی #الگوریتمها

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

با کمک واقعیت افزوده (AR) و گسترده (XR) و این مخلفات، دیگه هم جارو زدن مفرح میشه هم همه جا کامل جارو زده میشه

#هوش_مصنوعی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

قبلتر یک مقاله معرفی شد که آیا مدلهای بزرگ میتوانند ببینند یان؟! اکنون محققین #علوم_پزشکی دانشگاه بوفالو به این سوال جواب میدهند:
آیا LLM های پزشکی می توانند روش های جراحی پیچیده را درک و توضیح دهند؟

دانشگاه بوفالو با معرفی مدل LLaVA-Surg یک دستیار جراحی چندوجهی از طریق دیدن و آموزش ویدیویی جراحی ساختاریافته با مجموعه داده هایی از ۱۰۲هزار ویدیو و کلیپ با و با بیش از ۲هزار جراحی آموزش دادند. سوال این است ایا این آموزش میتواند توهم مدلهای LLM رو برای آینده برطرف تر کند یا خیر؟!

▪️ LLaVA-Surg: Towards Multimodal Surgical Assistant via Structured Surgical Video Learning


#مقاله #ایده_جذاب #الگوریتمها

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

در این سایت میتوانید بصورت لایو، آزمون تورینگ رو اجرا کنید. یعنی شما در این سایت با یک نفر چت می‌کنید. در انتها باید بگید اونی که باهاش چت کردید یک انسان بود یا یک ربات #هوش_مصنوعی.

https://www.humanornot.ai/

#مقاله #ایده_جذاب #الگوریتمها

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person