🚀 𝐄𝐱𝐜𝐢𝐭𝐢𝐧𝐠 𝐍𝐞𝐰𝐬 𝐟𝐫𝐨𝐦 Apple 𝐚𝐧𝐝 Meta

https://arxiv.org/abs/2407.14057

Introducing 𝐋𝐚𝐳𝐲𝐋𝐋𝐌: 𝐃𝐲𝐧𝐚𝐦𝐢𝐜 𝐓𝐨𝐤𝐞𝐧 𝐏𝐫𝐮𝐧𝐢𝐧𝐠 𝐟𝐨𝐫 𝐄𝐟𝐟𝐢𝐜𝐢𝐞𝐧𝐭 𝐋𝐨𝐧𝐠 𝐂𝐨𝐧𝐭𝐞𝐱𝐭 𝐋𝐋𝐌 𝐈𝐧𝐟𝐞𝐫𝐞𝐧𝐜𝐞, a new method to accelerate the inference of transformer-based large language models.

𝐊𝐞𝐲 𝐅𝐞𝐚𝐭𝐮𝐫𝐞𝐬:

✅ Dynamic Pruning: Selectively computes the KV cache for important tokens, reducing unnecessary computations.
✅ Seamless Integration: Works with existing language models without requiring fine-tuning.
✅ Performance Boost: Accelerates the pre-filling stage by 2.34x in models like LLama 2 7B while maintaining accuracy.

Extensive testing on standard datasets demonstrates significant improvements across various tasks.

This innovation makes long-context generation more efficient and practical.

کانالیمیزی جانلی یایین:
https://t.me/Machinelearning_Kartal

عجیب داره میشه Llama3.1-8b روی مدل های RAG ترین کردن

https://www.youtube.com/watch?v=nPpgh_KaNng

https://github.com/langchain-ai/langgraph/blob/main/examples/tutorials/rag-agent-testing-local.ipynb

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

یکی از دوستان دنبال این موضوع میگشت الان میتونی ایده ات رو عملی تر کنی
Can you please transcribe the text in this image into a single blob of text?

◾️ Can Learned Models Replace Hash Functions?
#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

باید بگم مدل جدید اومد😂
◾️ Open-Sora Plan v1.2.0 is here!

قدمی جدیدتر از مدلهای دیفیوژنی ساخت فیلم به صورت 3D 720P
دیگه کم کم باید سینما رو به وسیله هوش مصنوعی نگاه کرد!؟

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

لیست مقالات منتشر شده در کنفرانس #یادگیری_تقویتی 2024 دانشگاه ماساچوست امهرست

https://rlj.cs.umass.edu/2024/2024issue.html

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

conduct an in-depth comparative analysis of model behaviors beyond ImageNet accuracy, for both ConvNet and Vision Transformer architectures, each across supervised and CLIP training paradigms.

◾️ ConvNet vs Transformer, Supervised vs CLIP: Beyond ImageNet Accuracy

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

شبتون دلنشین زیبا بشنوین 🌻

#متفرقه

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

اعلان جنگ OpenAI به گوگل بعد معرفی SearchGPT سهام شرکت الفابت سقوط کرد.
https://openai.com/index/searchgpt-prototype/

پ.ن: مارکتینگ کدوم شرکت پیروز خواهد شد مایکروسافت یا گوگل ؟! کامنت بدین بخونم

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

هوش مصنوعی ساخت DeepMind به حد مدال نقره المپیاد جهانی رسید .

◾️ AI achieves silver-medal standard solving International Mathematical Olympiad problems


این‌ نتیجه به مراتب باید مهمتر از سایر نتایج AI بدونیم.نظر شما چیه؟

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

حالا بیایید با یه مثال بگم decision tree چطور کار میکنه. برای همون دیتاست بالا. ابتدا آنتروپی کل دیتاست رو محاسبه میکنیم.
Total samples: 10, Yes: 5, No: 5
آنتروپی کل دیتاست 1 هست. یعنی حداکثر بی نظمی. الگوریتم decision tree بدنبال تقسیم هایی هست که information gain رو به حداکثر برسونه (یا آنتروپی رو کاهش بده). در مورد information gain بالاتر صحبت کردم. الگوریتم تقسیم های مختلف رو با هر فیچر ارزیابی میکنه تا اون فیچری رو پیدا کنه که information gain رو حداکثر میکنه (information gain رو برای هر فیچر محاسبه میکنه). در شروع برای Outlook این حداکثر مقدار رو داره. بنابراین بعنوان root node انتخاب میشه. دیتاست بر اساس Outlook تقسیم میشه و شاخه های جدیدی برای Sunny، Overcast و Rain ایجاد میکنه. الگوریتم فرآیند رو برای هر شاخه تکرار میکنه، آنتروپی و information gain رو محاسبه میکنه تا بهترین تقسیم‌ها رو در اون زیر مجموعه‌ها پیدا کنه. درخت تصمیم تا زمانی که یکی از معیارهای توقف برآورده بشه رشد میکنه (به عنوان مثال، maximum depth, minimum samples per leaf, or no further information gain).
حالا ناخالصی جینی-Gini impurity معیار دیگری هست که برای اندازه گیری ناخالصی یه گره توی درخت تصمیم استفاده میشه. اغلب به عنوان جایگزینی برای آنتروپی در مسایل طبقه بندی استفاده میشه.

✔️اسکیوال SQL از ابزارهایی است که در چندین شغل حوزه داده از جمله مهندسی داده، دانشمند داده و آنالیزگر داده باید حتما یاد بگیرید.

🔶پس لیست دوره های رایگان برای یادگیری اصول SQL را جمع آوری کردم.

🔺دوره اول
مقدمه ای بر پرس و جو با داده ها در khan academy

https://www.khanacademy.org/computing/computer-programming/sql

🔺دوره دوم
دوره ویدیویی ۴ ساعته جهت یادگیری مقدمات پایگاه داده به زبان ساده در یوتیوب

https://youtu.be/HXV3zeQKqGY?si=WR-cahMxbhBl4EiK

🔺دوره سوم :دوره با مدرک در kaggle

در این دوره مقدماتی یاد خواهید گرفت که چگونه مجموعه داده ها را با SQL با استفاده از bigQuery python client پرس و جو کنید.

https://www.kaggle.com/learn/intro-to-sql


🔺دوره چهارم: دوره آموزشی در سایت w3school
یکی دیگر از منابع عالی برای مبتدیان با مثالهای متنوع
بدون نیاز به نصب ابزار و استفاده از ویرایشگر آنلاین

https://www.w3schools.com/sql/


🔺دوره پنجم: sqlzoo
یکی دیگر از پلتفرم های یادگیری و تمرین SQL

https://www.sqlzoo.net/wiki/SQL_Tutorial

برای امشبتون شبتون اروم

#متفرقه

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

چقدر جای یک رفیق مثه فلوکی داشتن خالیه🚶‍♂

#متفرقه

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

👋
ما برای یک پروژه تحقیقاتی به کمک شما نیاز داریم
👨‍🎓
ممنون میشم از اینکه وقت خودتون رو در اختیار ما قرار بدید😍


⚠️پر کردن این فرم کمتر از دو دقیقه وقت شمارو میگیره ولی مارو ماه ها تو مسیرمون جلو میندازه ممنون از اینکه مارو همراهی میکنید🙂


لینک پرسشنامه
👇🖥
https://survey.porsline.ir/s/s6wwCie8

ممنون دوستان پر کنید.

از کانالهای بشدت خوب و مفید برای هرمبتدی، این کانال دوست عزیز اقای موسوی هستش لازم دونستم از محتویات کانالش حمایت کنم تا زحمت انتشار مطالبش جبران شه و کارشو ادامه بده🌻🌻
https://t.me/MachineLearningMelodies

مقایسه ای با لاما3.1 هستش
This was a useful read comparing vLLM, LMDeploy, MLC-LLM, TensorRT-LLM, and TGI with TTFT and Token generation rate comparisons and ease of use and other practical insights

https://bentoml.com/blog/benchmarking-llm-inference-backends

#آموزش #منابع #هوش_مصنوعی #پردازش_زبان_طبیعی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

فاین توین مدلهایی که تاکنون منتشر شده رو از این ادرس گیتهاب دنبال کنید.

https://github.com/unslothai/unsloth

#آموزش #منابع #هوش_مصنوعی #پردازش_زبان_طبیعی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

AI models collapse when trained on recursively generated data

https://www.nature.com/articles/s41586-024-07566-y

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

دوره کلاسی

◾️ ETH Zürich | AI in the Sciences and Engineering 2024

#منابع #هوش_مصنوعی #مهندسی #مبتدی #فیلم #کلاس_آموزشی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

موزیکی که خودم موقع تحلیل و کد زدن گوش میدم. همیشه این صدا تمرکزمو بالا می‌بره.
تقدیم به شما❤️

مزایا و معایت الگوریتم های #یادگیری_ماشین

#الگوریتمها #منابع

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person