آهنگ آجری دیگر در دیوار است

چهارشنبه رو با آهنگی برای اهل فکر شروع کنیم
#متفرقه

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

مقاله بسیار جالب زیر کارهای تحقیقاتی جالبی رو پیش رو داره
Masked Attention is All You Need for Graphs

https://arxiv.org/abs/2402.10793

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

بطور خلاصه مدل جدید LLAMA 3.1 در این توئیت راجبش صحبت شده برای درک بهتر این‌ مدل بخونین
https://x.com/A_K_Nain/status/1815942598944547074?s=19

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

پژوهشگری اینجا فاین توین مدل LLaMa 3.1 8b منتشر کرده.
https://colab.research.google.com/drive/1Ys44kVvmeZtnICzWz0xgpRnrIOjZAuxp?usp=sharing

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

همزمان با انتشار نسخه ۳.۱ لاما نسخه جدیدتر مدل Mistral nemo 12b منتشر شده اینجا فاین تیون این مدل در دسترسه.

https://colab.research.google.com/drive/17d3U-CAIwzmbDRqbZ9NnpHxCkmXB6LZ0?usp=sharing

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

نوت بوک مدل Kaggle Mistral Nemo 12b
https://www.kaggle.com/code/danielhanchen/kaggle-mistral-nemo-12b-unsloth-notebook

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

لاما ۳.۱ چه میکنه که همه با مدلهای خودشون دارن مقایسه اش میکنن😂😂
#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

اخبار مهم تموم شد تا ساعت خبری بعدی شب بخیر
😂
#متفرقه

پ.ن: آدمها لیاقتشو دارند.

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

انتشار مدل Mistral large 2 دنیای LLM ها بزرگ میشه هر روز
https://huggingface.co/mistralai/Mistral-Large-Instruct-2407

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

اگر میخوای مقالات مهم مرتبط با یک #مقاله رو پیدا کنید و به صورت نمایش گرافی ببینید، از سایت زیر استفاده کنید
connectedpapers.com

اگر ابزار های دیگه ای هم میشناسید لطفا زیر همین پست کامنت کنید.

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

🚀 𝐄𝐱𝐜𝐢𝐭𝐢𝐧𝐠 𝐍𝐞𝐰𝐬 𝐟𝐫𝐨𝐦 Apple 𝐚𝐧𝐝 Meta

https://arxiv.org/abs/2407.14057

Introducing 𝐋𝐚𝐳𝐲𝐋𝐋𝐌: 𝐃𝐲𝐧𝐚𝐦𝐢𝐜 𝐓𝐨𝐤𝐞𝐧 𝐏𝐫𝐮𝐧𝐢𝐧𝐠 𝐟𝐨𝐫 𝐄𝐟𝐟𝐢𝐜𝐢𝐞𝐧𝐭 𝐋𝐨𝐧𝐠 𝐂𝐨𝐧𝐭𝐞𝐱𝐭 𝐋𝐋𝐌 𝐈𝐧𝐟𝐞𝐫𝐞𝐧𝐜𝐞, a new method to accelerate the inference of transformer-based large language models.

𝐊𝐞𝐲 𝐅𝐞𝐚𝐭𝐮𝐫𝐞𝐬:

✅ Dynamic Pruning: Selectively computes the KV cache for important tokens, reducing unnecessary computations.
✅ Seamless Integration: Works with existing language models without requiring fine-tuning.
✅ Performance Boost: Accelerates the pre-filling stage by 2.34x in models like LLama 2 7B while maintaining accuracy.

Extensive testing on standard datasets demonstrates significant improvements across various tasks.

This innovation makes long-context generation more efficient and practical.

کانالیمیزی جانلی یایین:
https://t.me/Machinelearning_Kartal

عجیب داره میشه Llama3.1-8b روی مدل های RAG ترین کردن

https://www.youtube.com/watch?v=nPpgh_KaNng

https://github.com/langchain-ai/langgraph/blob/main/examples/tutorials/rag-agent-testing-local.ipynb

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

یکی از دوستان دنبال این موضوع میگشت الان میتونی ایده ات رو عملی تر کنی
Can you please transcribe the text in this image into a single blob of text?

◾️ Can Learned Models Replace Hash Functions?
#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

باید بگم مدل جدید اومد😂
◾️ Open-Sora Plan v1.2.0 is here!

قدمی جدیدتر از مدلهای دیفیوژنی ساخت فیلم به صورت 3D 720P
دیگه کم کم باید سینما رو به وسیله هوش مصنوعی نگاه کرد!؟

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

لیست مقالات منتشر شده در کنفرانس #یادگیری_تقویتی 2024 دانشگاه ماساچوست امهرست

https://rlj.cs.umass.edu/2024/2024issue.html

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

conduct an in-depth comparative analysis of model behaviors beyond ImageNet accuracy, for both ConvNet and Vision Transformer architectures, each across supervised and CLIP training paradigms.

◾️ ConvNet vs Transformer, Supervised vs CLIP: Beyond ImageNet Accuracy

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

شبتون دلنشین زیبا بشنوین 🌻

#متفرقه

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

اعلان جنگ OpenAI به گوگل بعد معرفی SearchGPT سهام شرکت الفابت سقوط کرد.
https://openai.com/index/searchgpt-prototype/

پ.ن: مارکتینگ کدوم شرکت پیروز خواهد شد مایکروسافت یا گوگل ؟! کامنت بدین بخونم

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

هوش مصنوعی ساخت DeepMind به حد مدال نقره المپیاد جهانی رسید .

◾️ AI achieves silver-medal standard solving International Mathematical Olympiad problems


این‌ نتیجه به مراتب باید مهمتر از سایر نتایج AI بدونیم.نظر شما چیه؟

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

حالا بیایید با یه مثال بگم decision tree چطور کار میکنه. برای همون دیتاست بالا. ابتدا آنتروپی کل دیتاست رو محاسبه میکنیم.
Total samples: 10, Yes: 5, No: 5
آنتروپی کل دیتاست 1 هست. یعنی حداکثر بی نظمی. الگوریتم decision tree بدنبال تقسیم هایی هست که information gain رو به حداکثر برسونه (یا آنتروپی رو کاهش بده). در مورد information gain بالاتر صحبت کردم. الگوریتم تقسیم های مختلف رو با هر فیچر ارزیابی میکنه تا اون فیچری رو پیدا کنه که information gain رو حداکثر میکنه (information gain رو برای هر فیچر محاسبه میکنه). در شروع برای Outlook این حداکثر مقدار رو داره. بنابراین بعنوان root node انتخاب میشه. دیتاست بر اساس Outlook تقسیم میشه و شاخه های جدیدی برای Sunny، Overcast و Rain ایجاد میکنه. الگوریتم فرآیند رو برای هر شاخه تکرار میکنه، آنتروپی و information gain رو محاسبه میکنه تا بهترین تقسیم‌ها رو در اون زیر مجموعه‌ها پیدا کنه. درخت تصمیم تا زمانی که یکی از معیارهای توقف برآورده بشه رشد میکنه (به عنوان مثال، maximum depth, minimum samples per leaf, or no further information gain).
حالا ناخالصی جینی-Gini impurity معیار دیگری هست که برای اندازه گیری ناخالصی یه گره توی درخت تصمیم استفاده میشه. اغلب به عنوان جایگزینی برای آنتروپی در مسایل طبقه بندی استفاده میشه.