This AI Paper from China IntroduceS Rarebench: A Pioneering AI Benchmark to Evaluate the Capabilities of LLMs on 4 Critical Dimensions within Rare Diseases

Quick read: https://www.marktechpost.com/2024/02/25/this-ai-paper-from-china-introduces-rarebench-a-pioneering-ai-benchmark-to-evaluate-the-capabilities-of-llms-on-4-critical-dimensions-within-rare-diseases/

Paper: https://arxiv.org/abs/2402.06341

مولد ویدئو آزمایشگاه Pika یاد گرفته است که همگام سازی لب را اضافه کند تا همه کلمات در حرکت لب ها قرار گیرند.

به سادگی یک صدای ضبط شده از هر سخنرانی را آپلود کنید و یک ویدیو دریافت کنید که در آن شخصیت شما صدای انتخاب شده را تلفظ می کند.

https://pika.art/home

#هوش_مصنوعی

DCVSMNet: Double Cost Volume Stereo Matching Network

🖥 Github: https://github.com/m2219/dcvsmnet

⚙️ Paper: https://arxiv.org/pdf/2402.16473v1.pdf

🔥 Dataset: https://paperswithcode.com/dataset/kitti

⭐️ Tasks: https://paperswithcode.com/task/stereo-matching-1

✅ یادگیری پروژه محور کتابخانه scikit-learn
📂 40+30 پروژه scikit-learn

👨🏻‍💻 اگه می خواین هر مسئله یادگیری ماشین رو در پایتون حل کنین، من همیشه بهتون استفاده از کتابخانه scikit-learn رو توصیه می کنم. این کتابخونه حاوی ابزارها و الگوریتم‌های گوناگون برای پرداختن به مسائل مختلف ML هست.

🔶 برای حرفه ای شدن در این کتابخونه قدرتمند، یه راهنمای فوق العاده براتون قرار دادم که هر اون چه برای مهارت پیدا کردن نیازه رو بهتون در قالب پیاده سازی در پروژه، آموزش میده.👌🏼

🛑 برای دسترسی به مقاله راهنما، پروژه‌ها و ویدیو‌های آموزشی پروژه‌های اجرا شده، می‌تونین از لینک‌های زیر استفاده کنین:

┌ 🏷 scikit-learn with Projects
├ 📃 Article
├ 🗃 GitHub-Repos
└ 🎬 Youtube Channel


#️⃣ #یادگیری_ماشین #MachineLearning
➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖
💡 مهندس ML شوید :
📎 @MachineLearning_ir

Jeda
یک وایت‌برد آنلاین تکمیل مجهز به #هوش_مصنوعی
نوشتن، ترسیم و نمودار در یک مکان

یک سرویس راحت برای موارد استفاده مختلف: می توانید دفترچه یادداشت تکی خود را ایجاد کنید یا می توانید افکار خود را در یک تخته سفید آنلاین در حالت چند کاربره ضبط کنید.

فقط ثبت نام کنید، فضای کاری جدید را باز کنید، و می توانید همه کارها را انجام دهید: نمودارها، جابجایی عناصر، نوشتن متن، افزودن برچسب و غیره. فوق العاده کاربردی!

https://www.jeda.ai/

🎷EMO: talking/singing Gen-AI 🎷

👉EMO: audio-driven portrait-video generation. Vocal avatar videos with expressive facial expressions, and various head poses. Input: 1 single frame, video duration = length of input audio

👉Review https://t.ly/4IYj5
👉Paper https://lnkd.in/dGPX2-Yc
👉Project https://lnkd.in/dyf6p_N3
👉Repo (empty) github.com/HumanAIGC/EMO

فریموورک EMO چینی از عکس و صدا ویدیو می‌سازد
محقق‌های چینی با حمایت گروه علی‌بابا این فریموورک رو معرفی کردن که در واقع فقط یک عکس بهش میدیم و صدا، تصویر رو برامون زنده میکنه و فرایند لیپ‌سینک رو انجام میده.
یه جور سازنده آواتارهای زنده هست.
حالت‌های مختلف هم داره، مثلا میتونه آواز بخونه یا عادی صحبت کنه، حتی زمان آواز خوندن احساس رو هم داخل آواتار نشون میده.

https://humanaigc.github.io/emote-portrait-alive/

Real-time object detection w/ Transformers.js, running YOLOv9 directly in your browser!

This demo shows why on-device ML is so important:
1. Privacy - local inference means no user data is sent to the cloud
2. No server latency - empowers developers to build real-time applications
3. Lower costs - no need to pay for bandwidth and processing of streamed video

Try it out yourself 👇
https://huggingface.co/spaces/Xenova/video-object-detection


🆔 @Ai_Tv

مجموعه‌ای کامل از کتاب‌ها، دوره‌ها، مقالات، دیتاست و مدل‌های ترین‌شده در زمینه بینایی ماشین. اگه به ای زمینه از هوش مصنوعی علاقه دارید حتماً به ریپازیتوری سر بزنید.

https://github.com/jbhuang0604/awesome-computer-vision

@DevTwitter | <amir atar/>

📚 Title: Learn Autonomous Programming with Python (2024)

الگوریتم های معروف یادگیری ماشین
@DocPython

Data Science from Scratch First Principles with Python (Joel Grus)

پیاده سازی gpt در ۶۰ خط با کتابخانه numpy

https://jaykmody.com/blog/gpt-from-scratch/#what-is-a-gpt%3F

دیپ‌چت یک کامپوننت(چت‌بات) هوش‌مصنوعی هست که می‌تونید به آسونی به وب‌سایت یا اپلیکیشن‌هاتون برای پاسخ به سوالات کاربرها و یا ... اضافه کنید.

https://github.com/OvidijusParsiunas/deep-chat

@DevTwitter | <amir atar/>

گوگل نسخه‌ی اوپن-سورس از خانواده‌ی مدل‌های زبانی Gemini را تحت نام Gemma معرفی و منتشر کرد.

بلاگ‌پست معرفی:
https://huggingface.co/blog/gemma

این مدل که رقیبی جدی برای Llama2 متا محسوب می‌شود، در دو نسخه‌ی Base و Instruction-tuned و در دو سایز ۲ و ۷ میلیارد پارامتری منتشر شده‌ست.

مدل Base مدل پایه‌ی Pretrained و همه‌منظوره‌ست و برای پردازش متون خام کاربرد دارد.
مدل Instruction-tuned یا it به‌کمک RLHF برای تسک‌های مبتنی بر دستورالعمل، فاین‌تیون شده و برای دنبال‌کردن دستورات و انجام تسک‌های مرحله‌به‌مرحله مناسب‌تر‌ست.

مدل ۲ میلیون پارامتری، همچون Llama2 برروی ۲ تریلیون توکن آموزش دیده و بسیار سبک و مناسب اجرا روی edge device ها و موبایل‌ها‌ست اما مدل ۷ میلیارد پارامتری، برروی ۶ تریلیون توکن آموزش دیده (۲۳ روز برروی ۱۶ پاد TPU) که دقتی به مراتب بالاتر از Llama2 ارائه می‌دهد.

طول متن در این مدل‌ها ۸۰۰۰ توکن است.

طی یک همکاری بین گوگل و NVIDIA این مدل‌ها به کمک NVIDIA TensorRT-LLM برای اجرا برروی GPUهای RTX بهینه‌سازی شده‌ند.
https://blogs.nvidia.com/blog/google-gemma-llm-rtx-ai-pc/

این مدل کاملا اوپن-سورس و استفاده از آن در اپلیکیشن‌های تجاری بلامانع‌ست. همه‌ی نسخه‌های آن روی HuggingFace قابل دسترس‌اند.
https://huggingface.co/models?other=gemma&sort=trending&search=google

تست کردن مدل در حالت چت‌بات به‌صورت آنلاین:
huggingface.co/chat/

این مدل به روش LoRA برروی دیتاست شما،‌ فاین-تیون می‌شود. لینک زیر نوت‌بوکی برای آموزش فاین‌-تیون کردن این مدل به کمک Keras و TensorFlow ارائه می‌دهد:
https://ai.google.dev/gemma/docs/lora_tuning

فاین‌تیون کردن به روش LoRA به کمک HuggingFace:
https://huggingface.co/blog/gemma-peft

نقاط ضعف:
- این مدل تنها برای زبان انگلیسی آماده‌سازی شده
- مالتی‌مودال نیست و فقط ورودی/خروجی از نوع متن را پشتیبانی می‌کند.
- عمل‌کرد مدل ۲ میلیارد پارامتری، نسبت به مدل ۲/۷ میلیارد پارامتری مایکروسافت (PHI-2) به‌مراتب ضعیف‌ترست.

آموزش finetune کردن مدل جدید Gemma برروی دیتاست شخصی و سفارشی‌شده

https://huggingface.co/blog/gemma-peft

خوب خوب خوب !
مدل اوپن سورسی منتشر شده که ادعا میکنه میتونه SORA را شبیه سازی کنه !
این یعنی این که میتونید از این مدل اوپن سورس استفاده کنید و ویدیوهایی شبیه به SORA بسازید .
البته vram پیشنهادی هم A100 هست ! که البته اگر پروژتون رو توی Huggingface توسعه بدید و یک دلیل خوب براش داشته باشید ممکنه بهتون سخت افزار رایگان بدن که ران بکنید پروژه رو .
لینک ها :
https://pku-yuangroup.github.io/Open-Sora-Plan/
https://github.com/PKU-YuanGroup/Open-Sora-Plan