خداحافظ Adam
با معرفی ADOPT بهتره Optimizer مدل‌های Deep Learning و LLM رو تغییر بدیم. مشکل اساسی Adam در واقع عدم تضمین convergence در فرآیند آپدیت وزن‌ها بود که در ADOPT حل شده. اما این برتری فقط در تئوری نیست و در عمل هم در اکثریت مسائل از جمله pretraining در GPT-2 بهتر بوده.
ایده اصلی و راه حل برای تضمین هم‌گرایی هم دو مورد هست:
۱_ حذف گرادیان کنونی از تخمین momentum دوم
۲_ نرمالایز کردن گرادیان قبل از آپدیت momentum
Paper
Github
کد:

from adopt import ADOPT
#optimizer = Adam(model.parameters(), lr=1e-3)
optimizer = ADOPT(model.parameters(), lr=1e-3)

➖➖➖➖➖➖➖➖➖➖➖
♡⠀        〇⠀         ⎙⠀      ⌲⁣
ʟɪᴋᴇ   ᴄᴏᴍᴍᴇɴᴛ   sᴀᴠᴇ   sʜᴀʀᴇ

▼‌⃫╁‌⃕ ⸦𝙹𝙾𝙸𝙽 𝙸𝙽 ⸧‌ ▼꯭‌‌ ⃤

@Technical_coding 💻

نقشه راه
Data Science ML Full Stack Roadmap
#منابع #یادگیری_ماشین #علم_داده #پایتون #کلاس_آموزشی #یادگیری_عمیق #نقشه_راه
#DeepLearning #DataAnalytics #MachineLearning #DataScience
➖➖➖➖➖➖➖➖➖➖➖
♡⠀        〇⠀         ⎙⠀      ⌲⁣
ʟɪᴋᴇ   ᴄᴏᴍᴍᴇɴᴛ   sᴀᴠᴇ   sʜᴀʀᴇ

▼‌⃫╁‌⃕ ⸦𝙹𝙾𝙸𝙽 𝙸𝙽 ⸧͜ ▼꯭‌̶ ⃤

@Technical_coding 💻

📚 کتاب یادگیری ماشین با پایتورچ و scikit-learn
✔️ زبان: انگلیسی
🔗 book
➖➖➖➖➖➖➖➖➖➖➖
♡⠀        〇⠀         ⎙⠀      ⌲⁣
ʟɪᴋᴇ   ᴄᴏᴍᴍᴇɴᴛ   sᴀᴠᴇ   sʜᴀʀᴇ

▼‌⃫╁‌⃕ ⸦𝙹𝙾𝙸𝙽 𝙸𝙽 ⸧‌ ▼꯭‌‌ ⃤

@Technical_coding 💻

معرفی کتابخانه gf4 برای استفاده رایگان از GPT3.5 torbo و GPT4
⚪️ با استفاده از این کتابخانه میتوانید از مدل های چت جی پی تی چهار و سه و نیم رایگان استفاده کنید (نیاز به کلید و اشتراک نداره)
✅ مدل رو اگر مساوی gpt-4 بزارید از نسخه چهار و اگر روی gpt-3.5-turbo بزارید میتونید از نسخه ۳.۵ استفاده کنید.
⚪️ نمونه کد ها:
✅ برای استفاده شخصی توی سیستم :

import g4f
def ask_question(question):
    response = g4f.ChatCompletion.create(model='gpt-4', messages=[{"role": "user", "content": question}])
    print("Response:", response)  
    return response  
question = input("Please enter your question: ")
answer = ask_question(question)
print("Answer:", answer)

➖➖➖➖➖➖➖➖➖➖➖
♡⠀        〇⠀         ⎙⠀      ⌲⁣
ʟɪᴋᴇ   ᴄᴏᴍᴍᴇɴᴛ   sᴀᴠᴇ   sʜᴀʀᴇ

▼‌⃫╁‌⃕ ⸦𝙹𝙾𝙸𝙽 𝙸𝙽 ⸧͜ ▼꯭‌̶ ⃤

@Technical_coding 💻

✅ ای پی ای با این کتابخانه:

from flask import Flask, request, jsonify
import g4f

app = Flask(__name__)

def ask_question(question):
    response = g4f.ChatCompletion.create(model='gpt-4', messages=[{"role": "user", "content": question}])
    return response

@app.route('/ask', methods=['GET'])
def ask():
    question = request.args.get('a')
    if not question:
        return jsonify({"error": "Parameter 'a' is required."}), 400
    
    try:
        answer = ask_question(question)
        return jsonify({"question": question, "answer": answer}), 200
    except Exception as e:
        return jsonify({"error": str(e)}), 500

if __name__ == '__main__':
    app.run(debug=True)

✅ برای استفاده از این کد ها کتابخانه و پیش نیاز های مورد نیاز رو با دستورات زیر نصب کنید
pkg install python3
pip install g4f
pip install flask
➖➖➖➖➖➖➖➖➖➖➖
♡⠀        〇⠀         ⎙⠀      ⌲⁣
ʟɪᴋᴇ   ᴄᴏᴍᴍᴇɴᴛ   sᴀᴠᴇ   sʜᴀʀᴇ

▼‌⃫╁‌⃕ ⸦𝙹𝙾𝙸𝙽 𝙸𝙽 ⸧‌ ▼꯭‌‌ ⃤

@Technical_coding 💻

Exciting Research position:
Senior LLM Researcher at Sharif Center for Information Systems and Data Science
We are seeking a Senior LLM Engineer for a new, high-impact project focused on advancing research in large language models with direct industrial applications.
🔴 Key Responsibilities:
Contribute to State-of-the-Art Research: Design and fine-tune advanced LLMs, pushing the boundaries of language model research.
Publish and Innovate: Contribute to academic research through publications, establishing the Center's leadership in the field of LLMs and NLP.
🔴 Essential Qualifications:
Extensive experience in developing and fine-tuning large language models, with a focus on both research and real-world applications.
Strong record of research publications or contributions to the field of LLMs, NLP, or related areas.
Proficiency in Python, and deep learning frameworks like PyTorch or TensorFlow.
▪️ Ideal Qualifications:
Experience with state-of-the-art LLMs like GPT, BERT, T5, or similar models.
Knowledge of advanced NLP techniques, including transfer learning, reinforcement learning, and multi-modal models.
Please send your CV, with the subject line "Research Position in LLM"
to the email address:
data-icst@sharif.edu.

#ResearchOpportunity #LLM #AcademicResearch #IndustrialApplications #Hiring
➖➖➖➖➖➖➖➖➖➖➖
♡⠀        〇⠀         ⎙⠀      ⌲⁣
ʟɪᴋᴇ   ᴄᴏᴍᴍᴇɴᴛ   sᴀᴠᴇ   sʜᴀʀᴇ

▼‌⃫╁‌⃕ ⸦𝙹𝙾𝙸𝙽 𝙸𝙽 ⸧͜ ▼꯭‌̶ ⃤

@Technical_coding 💻

SUM: Saliency Unification through Mamba for Visual Attention Modeling
▪️ Paper
▪️ Git
▪️ Project page
▪️ Google colab
In this paper, a novel approach called Saliency Unification through Mamba (SUM) is introduced, integrating Mamba's efficient long-range dependency modeling with U-Net architecture to develop a unified model for various image types. The introduction of the Conditional Visual State Space (C-VSS) block enables SUM to dynamically adapt to different visual characteristics across natural scenes, web pages, and commercial imagery. This adaptability allows SUM to outperform existing models in visual attention modeling, making it a universally applicable and robust solution for diverse image types.
#ایده_جذاب #مقاله
➖➖➖➖➖➖➖➖➖➖➖
♡⠀        〇⠀         ⎙⠀      ⌲⁣
ʟɪᴋᴇ   ᴄᴏᴍᴍᴇɴᴛ   sᴀᴠᴇ   sʜᴀʀᴇ

▼‌⃫╁‌⃕ ⸦𝙹𝙾𝙸𝙽 𝙸𝙽 ⸧͜ ▼꯭‌̶ ⃤

@Technical_coding 💻

🚨 دوره آنلاین متخصص ماشین لرنینگ با مدرک دو زبانه
⁉️ چرا این دوره:
🟢 مدرک دو زبانه از سازمان پژوهش های علمی و صنعتی ایران
🟢 انجام، ۱۵ مینی پروژه و ۵ پروژه مستقل و یک پروژه جامع در طول دوره .
🟢 پشتیبانی علمی ۲۴ ساعته

⁉️ مخاطبین این دوره چه کسانی هستند؟
🔸 دانشجویان و فارغ التحصیلان رشته های فنی و مهندسی
🔹 افرادی که قصد مهاجرت تحصیلی یا کاری دارند
🔸 شاغلین در حوزه هوش مصنوعی 
🔹 مدیران ارشد و میانی سازمان ها
🔸 علاقمندان به حوزه هوش مصنوعی
📎 جهت دریافت مشاوره رایگان و اطلاعات تکمیلی؛
از طریق لینک زیر اقدام نمایید
🌐 httb.ir/B8bcX ⬅️
📞 02188905269
📞 02191096546
➖➖➖➖➖➖➖➖➖➖➖
♡⠀        〇⠀         ⎙⠀      ⌲⁣
ʟɪᴋᴇ   ᴄᴏᴍᴍᴇɴᴛ   sᴀᴠᴇ   sʜᴀʀᴇ

▼‌⃫╁‌⃕ ⸦𝙹𝙾𝙸𝙽 𝙸𝙽 ⸧͜ ▼꯭‌̶ ⃤

@Technical_coding 💻

🔵 دسترسی به GitLab و Docker آزاد شد!
🔹 برنامه‌نویسان ایرانی که به دنبال تحریم سرویس‌های GitLab و Docker در چند روز اخیر با مشکلات جدی در حوزه کاری‌شان مواجه شده بودند، خبر از دسترسی به این سرویس‌ها بدون نیاز به ابزارهای تغییر IP می‌دهند.
🔹 ظاهرا این رفع تحریم‌ها در سطح کشور رخ داده و این تحریم شکنی سراسری تنها چند روز بعد از اعلام تحریم‌‌‌های اخیر مورد توجه کاربران بسیاری به ویژه در حوزه برنامه‌نویسی قرار گرفته است.
🔹 البته گزارش‌ها تنها مختص به کاربران این دو سرویس نیست و به نظر می‌رسد سرویس‌های تحریمی زیادی در حوزه سخت افزاری مثل Nvidia و AMD، پلتفرم‌های آموزشی و علمی مثل Coursera و Udemy نیز به طور سراسری رفع تحریم شده‌اند.
➖➖➖➖➖➖➖➖➖➖➖
♡⠀        〇⠀         ⎙⠀      ⌲⁣
ʟɪᴋᴇ   ᴄᴏᴍᴍᴇɴᴛ   sᴀᴠᴇ   sʜᴀʀᴇ

▼‌⃫╁‌⃕ ⸦𝙹𝙾𝙸𝙽 𝙸𝙽 ⸧͜ ▼꯭‌̶ ⃤

@Technical_coding 💻

جایگزین Llama3.1 فقط می‌تونه یک نسخه بهتر براساس همین معماری باشه:
arcee-ai/Llama-3.1-SuperNova-Lite
مدل ۸ میلیارد پارامتری هست، مدل ۷۰ میلیاردی فقط از طریق api در دسترس هست.
طبق ادعا از 405b, gpt4o, ... بهتر عمل می‌کنه؛ البته برای تسک‌های مربوط به
instruction-following
شخصاً هم همین رو احساس کردم توی تست‌ها.
➖➖➖➖➖➖➖➖➖➖➖
♡⠀        〇⠀         ⎙⠀      ⌲⁣
ʟɪᴋᴇ   ᴄᴏᴍᴍᴇɴᴛ   sᴀᴠᴇ   sʜᴀʀᴇ

▼‌⃫╁‌⃕ ⸦𝙹𝙾𝙸𝙽 𝙸𝙽 ⸧͜ ▼꯭‌̶ ⃤

@Technical_coding 💻

🚀 ۱۰ اُمین رویداد جامع هوش مصنوعی اسمارتک
💻آموزش آنلاین مفاهیم هوش مصنوعی از یادگیری تا کسب درآمد  فقط در 180 ساعت
⭕️ سر فصل ها:
🔘 پایتون و ریاضیات هوش مصنوعی
🔘 یادگیری ماشین
🔘 یادگیری عمیق
🔘 بینایی ماشین
🔘 پردازش زبان طبیعی ( NLP )
🔘 آموزش کسب درآمد از هوش مصنوعی
🏆امتیاز ویژه برای شرکت کنندگان
امکان همکاری با مرکز نوآوری هوش مصنوعی اسمارتک
🎯حمایت برای ورود به کسب و کار
🎯ساخت رزومه حرفه ای
🎯شبکه سازی با متخصصین
🎯رفع اشکال و منتورینگ تخصصی
🎯انجام پروژه های کاربردی و نزدیک به صنعت
⚡️تخفیف 5️⃣2️⃣🔤 برای ثبت‌نام گروهی
⏰شروع دوره:از هفته اول آذرماه
برای کسب اطلاعات بیشتر و ثبت نام به لینک مراجعه کنید.
➖➖➖➖➖➖➖➖➖➖➖
♡⠀        〇⠀         ⎙⠀      ⌲⁣
ʟɪᴋᴇ   ᴄᴏᴍᴍᴇɴᴛ   sᴀᴠᴇ   sʜᴀʀᴇ

▼‌⃫╁‌⃕ ⸦𝙹𝙾𝙸𝙽 𝙸𝙽 ⸧͜ ▼꯭‌̶ ⃤

@Technical_coding 💻

#دیتاست
تمام ویکیپدیا فارسی با ساختار و استفاده راحت
https://huggingface.co/datasets/codersan/Persian-Wikipedia-Corpus
#مقاله
➖➖➖➖➖➖➖➖➖➖➖
♡⠀        〇⠀         ⎙⠀      ⌲⁣
ʟɪᴋᴇ   ᴄᴏᴍᴍᴇɴᴛ   sᴀᴠᴇ   sʜᴀʀᴇ

▼‌⃫╁‌⃕ ⸦𝙹𝙾𝙸𝙽 𝙸𝙽 ⸧͜ ▼꯭‌̶ ⃤

@Technical_coding 💻

Transformer by hand ✍️ Full Stack in Excel
= Features =
• Input Embeddings
• Output Embeddings
• Decoder
• Encoder
• Positional Encoding
• Self-Attention
• Cross-Attention
• Multi-head Attention
• Casual Masking
• Scaled Dot Product
• Skip Connection
• LayerNorm
• ReLU Activation
• Feed Forward
• Softmax
• Output Probabilities
Github
➖➖➖➖➖➖➖➖➖➖➖
♡⠀        〇⠀         ⎙⠀      ⌲⁣
ʟɪᴋᴇ   ᴄᴏᴍᴍᴇɴᴛ   sᴀᴠᴇ   sʜᴀʀᴇ

▼‌⃫╁‌⃕ ⸦𝙹𝙾𝙸𝙽 𝙸𝙽 ⸧͜ ▼꯭‌̶ ⃤

@Technical_coding 💻

آیا یادگیری چندوجهی با نظارت ضعیف می تواند به کمبود برچسب در تصویربرداری پزشکی بپردازد؟
◾️ Weakly-Supervised Multimodal Learning on MIMIC-CXR
#علوم_پزشکی #مقاله #ایده_جذاب
➖➖➖➖➖➖➖➖➖➖➖
♡⠀        〇⠀         ⎙⠀      ⌲⁣
ʟɪᴋᴇ   ᴄᴏᴍᴍᴇɴᴛ   sᴀᴠᴇ   sʜᴀʀᴇ

▼‌⃫╁‌⃕ ⸦𝙹𝙾𝙸𝙽 𝙸𝙽 ⸧͜ ▼꯭‌̶ ⃤

@Technical_coding 💻

🤍 میخوای با بازی کردن مهارت های خودت رو تو برنامه نویسی افزایش بدی یا وارد حوزه برنامه نویسی بشی ؟

⚪️ این برنامه ها و سایت ها برای توعه :
✅ CodeCombat

سبک: بازی ماجراجویی
مهارت‌ها: یادگیری زبان‌های برنامه‌نویسی (Python, JavaScript)
شما در قالب یک بازی فانتزی شخصیت خود را با نوشتن کد حرکت می‌دهید و دشمنان را شکست می‌دهید. این بازی برای مبتدیان و یادگیری اصول برنامه‌نویسی عالی است.

✅CheckiO

سبک: بازی حل معما
مهارت‌ها: برنامه‌نویسی Python و JavaScript
این بازی مجموعه‌ای از چالش‌های کدنویسی است که با حل آن‌ها مهارت‌های خود را تقویت می‌کنید. مناسب برای افراد با دانش متوسط و پیشرفته.

✅Robocode

سبک: مبارزه ربات‌ها
مهارت‌ها: یادگیری Java، تفکر الگوریتمی
در این بازی شما باید برای ربات خود کدی بنویسید تا در میدان مبارزه با ربات‌های دیگر بجنگد. برای تقویت الگوریتم‌نویسی و استراتژی عالی است.

✅ TIS-100

سبک: شبیه‌سازی برنامه‌نویسی سیستم
مهارت‌ها: یادگیری منطق سیستم‌های کم‌سطح، برنامه‌نویسی اسمبلی
یک بازی پازل پیچیده که در آن باید مدارها و سیستم‌های کامپیوتری را با کدنویسی درست کنید.

✅Human Resource Machine
سبک: حل پازل
مهارت‌ها: اصول برنامه‌نویسی و الگوریتم‌ها
در این بازی شما باید دستورات ساده‌ای برای حل پازل‌ها به کارمندان بدهید. مناسب برای درک ساختارهای پایه‌ای کدنویسی.
✅ Codingame
سبک: رقابت برنامه‌نویسی
مهارت‌ها: یادگیری زبان‌های مختلف (Python, C++, Java و غیره)
این پلتفرم چالش‌های کدنویسی را در قالب بازی‌های تعاملی ارائه می‌دهد و امکان رقابت با دیگران را فراهم می‌کند.
✅ Screeps
سبک: بازی استراتژی آنلاین
مهارت‌ها: جاوااسکریپت، برنامه‌نویسی مبتنی بر هوش مصنوعی
شما باید کدی برای هوش مصنوعی "کریپ‌ها" بنویسید تا منابع را جمع‌آوری کنند و سرزمین خود را گسترش دهند.

✅LightBot
سبک: بازی آموزشی
مهارت‌ها: اصول الگوریتم‌نویسی
یک بازی ساده که برای افراد مبتدی و حتی کودکان طراحی شده است تا مفاهیم برنامه‌نویسی را بیاموزند.

✅ Blockly Games
سبک: آموزش بصری
مهارت‌ها: برنامه‌نویسی بصری، الگوریتم‌ها
یک ابزار عالی برای مبتدیان که با بلوک‌های بصری کدنویسی را یاد می‌گیرند.
➖➖➖➖➖➖➖➖➖➖➖
♡⠀        〇⠀         ⎙⠀      ⌲⁣
ʟɪᴋᴇ   ᴄᴏᴍᴍᴇɴᴛ   sᴀᴠᴇ   sʜᴀʀᴇ

▼‌⃫╁‌⃕ ⸦𝙹𝙾𝙸𝙽 𝙸𝙽 ⸧͜ ▼꯭‌̶ ⃤

@Technical_coding 💻

آیا LLM ها می توانند بدون درخواست پرامپت به طور موثر استدلال کنند؟
◾️ Chain-of-Thought Reasoning Without Prompting
#ایده_جذاب
➖➖➖➖➖➖➖➖➖➖➖
♡⠀        〇⠀         ⎙⠀      ⌲⁣
ʟɪᴋᴇ   ᴄᴏᴍᴍᴇɴᴛ   sᴀᴠᴇ   sʜᴀʀᴇ

▼‌⃫╁‌⃕ ⸦𝙹𝙾𝙸𝙽 𝙸𝙽 ⸧͜ ▼꯭‌̶ ⃤

@Technical_coding 💻

مدل جدید Marco-o1 معرفی شد تا جرقه ای برای بقیه مدلها باشه تا به سمت استدلال بزرگ برای راه حل های باز باشد.
- یک مجموعه داده CoT برای فعال کردن توانایی های استدلال LLM ساخته و منتشر کرد.
ا LLM یکپارچه با MCTS برای گسترش فضای راه حل.
- مدل را در کار دنیای واقعی کاوش کرد: ترجمه محلی ...
◾️ Github
◾️ Hugging Face
◾️ Marco-o1: Towards Open Reasoning Models for Open-Ended Solutions
#مقاله #ایده_جذاب #یادگیری_تقویتی #دیتاست
➖➖➖➖➖➖➖➖➖➖➖
♡⠀        〇⠀         ⎙⠀      ⌲⁣
ʟɪᴋᴇ   ᴄᴏᴍᴍᴇɴᴛ   sᴀᴠᴇ   sʜᴀʀᴇ

▼‌⃫╁‌⃕ ⸦𝙹𝙾𝙸𝙽 𝙸𝙽 ⸧͜ ▼꯭‌̶ ⃤

@Technical_coding 💻

چگونه تقسیم بندی می تواند تولید گزارش های #رادیولوژی را بهبود ببخشد؟
◾️ MAIRA-Seg: Enhancing Radiology Report Generation with Segmentation-Aware Multimodal Large Language Models
#علوم_پزشکی #مقاله #ایده_جذاب
➖➖➖➖➖➖➖➖➖➖➖
♡⠀        〇⠀         ⎙⠀      ⌲⁣
ʟɪᴋᴇ   ᴄᴏᴍᴍᴇɴᴛ   sᴀᴠᴇ   sʜᴀʀᴇ

▼‌⃫╁‌⃕ ⸦𝙹𝙾𝙸𝙽 𝙸𝙽 ⸧͜ ▼꯭‌̶ ⃤

@Technical_coding 💻

یکی از پیپرهای برگزیده EMNLP 2024 که در پست بالا معرفی شد تسک جدیدی به نام Image Transcreation رو ابداع کرده. به این صورت که یک تصویر رو باید از یک فرهنگ به یک تصویر دیگه ترجمه کرد (مفهومی بخوایم مثال بزنیم مثلا تو زوتوپیا تو نسخه چینی اخبارگو پاندا بود ولی تو نسخه برزیلی پلنگ بود)
کار دیگه‌ای هم که کرده نشون داده که استفاده از LLM در ترجمه تصویری باعث کیفیت بهتر خروجی‌ها شده. کار دیگه هم این که نشون داده اپلیکیشن آموزشی هم می‌تونه داشته باشه.
پی‌نوشت: فارغ از این پیپر، این صورت مساله و نیازی که مطرحش کرده چیز جالبیه. فرض کنید ده سال دیگه صداسیما به همچین تکنولوژی دست پیدا کنه :)) یا در حالت بهترش هر کسی بتونه transcreation شخصی‌سازی شده خودش رو داشته باشه. یا اصلا فکر کنید روی AR‌ها همچین ماژولی متصل بشه.
◾️ An image speaks a thousand words, but can everyone listen? On image transcreation for cultural relevance
#ایده_جذاب #کنفرانس
➖➖➖➖➖➖➖➖➖➖➖
♡⠀        〇⠀         ⎙⠀      ⌲⁣
ʟɪᴋᴇ   ᴄᴏᴍᴍᴇɴᴛ   sᴀᴠᴇ   sʜᴀʀᴇ

▼‌⃫╁‌⃕ ⸦𝙹𝙾𝙸𝙽 𝙸𝙽 ⸧͜ ▼꯭‌̶ ⃤

@Technical_coding 💻

🔄دانشکده‌ مهندسی کامپیوتر شریف
    ⬅️ترم زمستان دوره‌های آموزش تخصصی
✅ ارائه‌ی ‌دروس توسط اساتید دانشکده‌ کامپیوتر دانشگاه شریف
    💠 گواهی دوزبانه از دانشگاه شریف
    🎬 ضبط دوره‌ها برای شرکت‌کنندگان
    ✍️ شامل تمرین و پروژه
    💳 امکان ثبت‌نام‌ به‌صورت قسطی
💠 ثبت‌نام و کسب اطلاعات بیشتر:
🔗 micro.ce.sharif.edu
➖➖➖➖➖➖➖➖➖➖➖
♡⠀        〇⠀         ⎙⠀      ⌲⁣
ʟɪᴋᴇ   ᴄᴏᴍᴍᴇɴᴛ   sᴀᴠᴇ   sʜᴀʀᴇ

▼‌⃫╁‌⃕ ⸦𝙹𝙾𝙸𝙽 𝙸𝙽 ⸧͜ ▼꯭‌̶ ⃤

@Technical_coding 💻