‏⚡ بازخوانی یک پیش‌بینی تاریخی در هوش مصنوعی

‏۹ سال پیش، Andrej Karpathy، محقق برجسته و از بنیان‌گذاران OpenAI، در توییتی تأمل‌برانگیز جمله‌ای را منتشر کرد که امروز بیش از هر زمان دیگری مصداق پیدا کرده است.

‏🔬 او در تاریخ ۴ اوت ۲۰۱۷ با قاطعیت نوشت که Gradient descent (الگوریتم بهینه‌سازی پایه برای آموزش مدل‌های یادگیری عمیق) می‌تواند بهتر از انسان کدنویسی کند.

‏🧠 این دیدگاه در آن زمان شاید اغراق‌آمیز به نظر می‌رسید، اما با ظهور مدل‌های زبانی بزرگ و ابزارهای Code Generation، این پیش‌بینی اکنون به بخشی جدایی‌ناپذیر از چرخه توسعه نرم‌افزار تبدیل شده است.

‏🚀 گذشت زمان ثابت کرد که توانایی مدل‌ها در بهینه‌سازی پارامترها برای حل مسائل پیچیده، مرزهای برنامه‌نویسی سنتی را جابه‌جا کرده و مسیر توسعه را برای متخصصان این حوزه به کلی دگرگون ساخته است.

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#Andrej_Karpathy #Gradient_descent

‏⚡ راهکار بهینه‌سازی هزینه در استفاده از Coding Agents

‏🧠 اگر از ابزارهای کدنویسی مبتنی بر هوش مصنوعی مانند Claude Code استفاده می‌کنید، حتماً با چالش افت کیفیت و افزایش هزینه‌ها پس از دوره‌های طولانی بی‌کاری (Idle time) مواجه شده‌اید. بررسی تجربی روی ۱۱۰ سشن و بیش از ۴۶ هزار نوبت تعامل نشان می‌دهد که سشن‌های طولانی‌مدت به‌شدت ناکارآمد هستند.

‏⚡ دلیل فنی این موضوع، پایان اعتبار کش (Cache) سشن است که دقیقاً در بازه ۶۰ دقیقه‌ای رخ می‌دهد. پس از این زمان، ارسال دستور ادامه (Continue) باعث می‌شود مدل کل فرآیند را از صفر بازسازی کند که هزینه را تا ۱۳ برابر نسبت به سشن فعال اولیه افزایش می‌دهد.

‏🚀 برای مدیریت بهینه هزینه‌ها، هرگز پس از بیش از یک ساعت وقفه روی دکمه ادامه کلیک نکنید. در عوض، قبل از ترک سیستم از مدل بخواهید وضعیت فعلی را خلاصه کند و پس از بازگشت، این خلاصه را در یک سشن جدید کپی کنید.

‏📊 ایجاد یک سشن جدید، هزینه سربار را در مقایسه با بازسازی سشن منقضی شده به مراتب کمتر (حدود ۴.۵ برابر هزینه عادی) نگه می‌دارد.

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

‏🤖 تحلیل ترندهای مصرف و جایگاه مدل‌های هوش مصنوعی

‏⚡ با کاهش تقریباً ۱۰ برابری قیمت توکن‌های GPT-5.6 Luna، شاهد رشد بیش از ۱۰ برابری مصرف آن‌ها هستیم. این پدیده، تبلور کلاسیک پارادوکس جِوونز (Jevons paradox) است؛ جایی که افزایش کارایی و کاهش هزینه، نه‌تنها مصرف را کم نمی‌کند، بلکه به دلیل ظهور سناریوهای کاربردی جدید، تقاضای کل را به شدت افزایش می‌دهد.

‏🧠 هوش مصنوعی اکنون در حال تبدیل شدن به یک لایه زیرساختی در تمامی نرم‌افزارها است. با افزایش طول پنجره کانتکست و ظهور ایجنت‌هایی که به جای یک فراخوانی، صدها درخواست ثبت می‌کنند، چشم‌انداز بازار متحول شده است. طبق گزارش Microsoft Research در سه‌ماهه اول ۲۰۲۶، تنها ۱۷.۸٪ از جمعیت فعال دنیا از ابزارهای مولد استفاده می‌کنند و این یعنی بیش از ۸۰٪ پتانسیل بازار هنوز دست‌نخورده باقی مانده است.

‏📊 در میان رقابت مدل‌های محبوب در OpenRouter، تغییرات مصرف تریلیون‌ها توکن به شرح زیر است:

‏

‏🔹 DeepSeek V4 Flash 0423: ۶.۳۱ تریلیون توکن با ۱۷٪ کاهش.
‏🔹 DeepSeek V4 Flash 0731: ۶.۱۵ تریلیون توکن به عنوان نسخه جدید.
‏🔹 Hy3: ۵.۶۹ تریلیون توکن با ۱۹٪ افزایش.

📊 Data➕Science

📊 کارگاه حضوری مصورسازی داده با Tableau

داده زیاد دارید اما نمی‌توانید از آن تصمیم درست بگیرید؟

امروز یکی از مهم‌ترین مهارت‌های بازار کار، تبدیل داده‌های خام به داشبوردهای حرفه‌ای و بینش‌های قابل‌اقدام است. اگر می‌خواهید گزارش‌هایی بسازید که واقعاً به تصمیم‌گیری کسب‌وکار کمک کنند، این کارگاه برای شماست.

در کارگاه «مصورسازی داده با Tableau» به‌صورت کاملاً عملی یاد می‌گیرید چگونه داده‌ها را تحلیل کنید، الگوها را کشف کنید و داشبوردهایی طراحی کنید که مدیران و تیم‌ها بتوانند بر اساس آن تصمیم بگیرند.

آنچه یاد می‌گیرید:
اتصال Tableau به منابع مختلف داده
آماده‌سازی و پاک‌سازی داده‌ها
طراحی نمودارها و داشبوردهای مدیریتی
تحلیل روندها و شاخص‌های کلیدی
اجرای یک پروژه واقعی و دریافت بازخورد تخصصی

🎓 مدرس: علی سعیدی
مشاور و مدرس هوش تجاری و هوشمندسازی کسب‌وکار

این کارگاه برای تحلیلگران داده، کارشناسان و مدیران، صاحبان کسب‌وکار، پژوهشگران و دانشجویان کاملاً کاربردی است.

💎 ۸ ساعت آموزش حضوری (۲ جلسه) | کاملاً پروژه‌محور
💳 امکان خرید در ۴ قسط

🌐 مشاهده جزئیات و ثبت‌نام:
https://l.hamrah.academy/8t7

⭐️ @hamrah_academy | آکادمی همراه اول

‏🌐 روش جدید تبلیغاتی در عصر هوش مصنوعی

‏مجله Time تکنولوژی جدیدی را پیاده‌سازی کرده است که محتوای سایت را بسته به نوع بازدیدکننده تغییر می‌دهد. در این روش، ربات‌های هوش مصنوعی نسخه‌ای متفاوت از صفحات را مشاهده می‌کنند که برای کاربران عادی و موتورهای جستجوی معمولی قابل دیدن نیست.

‏نکته مهم این است که این نسخه ویژه، مملو از تبلیغات و متون اسپانسر شده است. مدل‌های زبانی (LLM) هنگام کرال کردن این صفحات، این محتوای تبلیغاتی را به عنوان داده‌های واقعی و قابل اعتماد جذب کرده و در پاسخ به سوالات کاربران، آن‌ها را به صورت ارگانیک پیشنهاد می‌دهند.

‏این اقدام عملاً آغازگر بازار جدیدی به نام «بهینه‌سازی سایه برای هوش مصنوعی» است که در آن برندها برای نفوذ مستقیم به پایگاه دانش مدل‌های هوش مصنوعی هزینه می‌کنند. این روش می‌تواند جهت‌گیری پاسخ‌های هوش مصنوعی را به نفع حامیان مالی تغییر دهد و تحولی نگران‌کننده در نحوه دریافت اطلاعات از سیستم‌های هوشمند ایجاد کند.

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#Mobian #LLM

‏🌐 گذار بزرگ به عصر مراکز داده

‏دقیقاً همان‌طور که بزرگراه‌ها شهرهای جهان را به هم متصل کردند، اکنون مراکز داده در حال متصل کردن هوش مصنوعی به یکدیگر هستند. ما شاهد بزرگ‌ترین تغییر در زیرساخت‌های قرن حاضر هستیم.

‏گزارش‌ها نشان می‌دهند که در ایالات متحده بیش از ۲۴۰۰ پروژه مرکز داده برای سال‌های ۲۰۲۶ تا ۲۰۲۸ برنامه‌ریزی شده است. این سرمایه‌گذاری عظیم که به حدود ۲.۴۸ تریلیون دلار می‌رسد، نشان‌دهنده ابعاد خیره‌کننده رقابت در حوزه هوش مصنوعی است.

‏نکته کلیدی اینجاست: اگر ساخت سیستم بزرگراهی بین‌ایالتی را با تورم امروز تطبیق دهیم، هزینه این مراکز داده تقریباً ۵ برابر آن پروژه عظیم ملی است. با این تفاوت که زیرساخت جدید ما، ماشین‌ها را جابه‌جا نمی‌کند؛ بلکه هوش (intelligence) را در سراسر جهان توزیع می‌کند تا مدل‌های قدرتمندی مثل GPT یا معماری‌های آینده بتوانند در مقیاسی جهانی رشد کنند.

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#مراکز_داده #زیرساخت_هوشمند

‏🕵️ امنیت داده‌ها در چت‌بات‌های هوش مصنوعی

‏بسیاری از کاربران به‌صورت روزمره اسناد کاری، چت‌های خصوصی و حتی رمزهای عبور خود را در اختیار مدل‌هایی مثل ChatGPT، Claude و Gemini قرار می‌دهند. غافل از اینکه این اطلاعات می‌تواند در حافظه مدل ثبت یا برای آموزش نسخه‌های بعدی استفاده شود.

‏برای حفظ حریم خصوصی، استفاده از حالت «ناشناس» یا همان Incognito Mode ضروری است. با فعال‌سازی این قابلیت:
‏• سابقه گفتگوها ذخیره نمی‌شود.
‏• داده‌ها برای آموزش مدل استفاده نمی‌شوند.
‏• اطلاعات در حافظه بلندمدت هوش مصنوعی باقی نمی‌مانند.

‏مهم‌ترین روش‌های فعال‌سازی:
‏• در ChatGPT: از منوی بالای صفحه، حالت Temporary Chat را انتخاب کنید.
‏• در Claude: از بخش Settings و Privacy، گزینه Help improve Claude را غیرفعال کنید.
‏• در Gemini: از بخش Gemini Apps Activity، ذخیره‌سازی را خاموش کنید.
‏• در Grok: از مسیر Privacy and safety، گزینه آموزش مدل را غیرفعال کنید.

‏نکته کلیدی: حتی در این حالت، داده‌ها ممکن است تا ۳۰ روز برای نظارت بر سوءاستفاده‌های احتمالی ذخیره شوند.

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

‏📊 تحلیل عملکرد مدل‌های هوش مصنوعی در Agent Arena

‏پلتفرم Agent Arena به‌تازگی داده‌های جالبی درباره رابطه میان پیچیدگی وظایف و مصرف توکن در مدل‌های پیشرفته منتشر کرده است. این تحلیل نشان می‌دهد که استراتژی‌های بهینه‌سازی در شرکت‌های مختلف کاملاً متفاوت است.

‏در سری مدل‌های Opus، شاهد جهش قابل‌توجهی در توانمندی مدل‌ها از نسخه ۴.۷ تا ۵ هستیم، اما این پیشرفت با افزایش چشمگیر مصرف توکن همراه بوده است؛ به‌طوری که تعداد توکن‌های مصرفی برای استدلال و خروجی از حدود ۸.۵ هزار به ۲۱ هزار توکن افزایش یافته است.

‏در مقابل، مدل‌های خانواده GPT مسیر متفاوتی را طی می‌کنند. بررسی‌ها نشان می‌دهد که بین مدل GPT-5.5 و GPT-5.6-Sol، مصرف توکن از ۱۰ هزار به ۸ هزار واحد کاهش یافته است، در حالی که مدل جدید همچنان بهبود ۱.۵ درصدی را در بنچمارک‌های خالص ثبت کرده است.

‏این تضاد نشان می‌دهد که در آینده نزدیک، رقابت اصلی فقط بر سر هوشمندی مدل‌ها نیست، بلکه «بهینه‌سازی مصرف توکن» به یک مزیت رقابتی کلیدی برای مدل‌های نسل جدید تبدیل شده است.

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#Agent_Arena #GPT_5_6

‏🧬 هوشمندتر شدن Claude Fable 5 در حوزه زیست‌شناسی

‏شرکت Anthropic سیستم ایمنی مدل Claude Fable 5 را بازطراحی کرد تا پاسخ‌دهی آن به سوالات زیست‌شناسی و پزشکی بسیار راحت‌تر و هوشمندانه‌تر شود. پیش از این، سیستم ایمنی فوق‌محافظه‌کار این مدل باعث می‌شد حتی پرسش‌های ساده‌ای مانند تفسیر نتایج آزمایشگاهی یا علائم بیماری مسدود شده و به مدل قدیمی‌تر Opus 5 ارجاع داده شوند.

‏با به‌روزرسانی جدید، ارجاع‌های نادرست در حوزه زیست‌شناسی حدود ۸۵ درصد کاهش یافته است. مدل Fable 5 اکنون می‌تواند تفاوت بین یک مطالعه درسی ساده و تحقیقات خطرناک بیولوژیکی را تشخیص دهد.

‏این ارتقا میزان ارجاع‌های ناخواسته را در پلتفرم‌های مختلف به شکل چشمگیری کاهش می‌دهد؛ از جمله کاهش ۶۷ درصدی در Claude AI و ۵۵ درصدی در ابزار Cowork. البته محدودیت‌های امنیتی برای حوزه‌های حساسی مانند ویروس‌شناسی، سم‌شناسی و طراحی مولکولی همچنان پابرجا هستند.

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

‏🚀 کتاب جامع مقیاس‌دهی مدل‌های هوش مصنوعی

‏تیم Google DeepMind به تازگی کتابی تحت عنوان "How to Scale Your Model" منتشر کرده است که رویکردی سیستمی به آموزش و استنتاج مدل‌های زبانی بزرگ (LLM) دارد. هدف این منبع، پایان دادن به نگاه «کیمیاگری» به آموزش مدل‌ها و ارائه درکی دقیق از عملکرد سخت‌افزار در مقیاس‌های بزرگ است.

‏این کتاب به شما می‌آموزد که چگونه مدل‌های خود را روی TPU و GPU بهینه‌سازی کنید و با استفاده از روش‌های موازی‌سازی، بازدهی محاسباتی را به حداکثر برسانید.

‏مهم‌ترین سرفصل‌های این کتاب عبارتند از:

‏* درک مفهوم Rooflines و کارکرد دقیق TPUها
‏* پیاده‌سازی Sharded Matmuls و معماری Transformers
‏* استراتژی‌های بهینه برای آموزش و استنتاج مدل‌های بزرگ
‏* پروفایلینگ و عیب‌یابی عملکرد مدل
‏* آشنایی کامل با اکوسیستم JAX و استفاده از GPUها در مقیاس بالا

‏این کتاب برای تمام کسانی که در حوزه بهینه‌سازی و استقرار مدل‌های ML فعالیت می‌کنند، یک منبع ضروری محسوب می‌شود.

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#Google_DeepMind #JAX

‏🚀 قابلیت جدید همکاری Claude Code

‏در نسخه ۲.۱.۲۲۴ ابزار Claude Code، قابلیتی کاربردی برای تبادل پیام بین جلسات (Sessions) مختلف اضافه شده است. دیگر نیازی نیست برای هر ترمینال جدید، تمام جزئیات و زمینه‌ (Context) پروژه را دوباره توضیح دهید.

‏حالا یک نشست می‌تواند خلاصه‌ای از وضعیت کار را برای نشست دیگر ارسال کند تا پردازش وظایف بدون وقفه ادامه یابد. این ارتباط دوطرفه است و حتی زمانی که تغییرات کدی یک نشست بر بخش دیگری از پروژه تأثیر بگذارد، Claude به‌صورت خودکار هشدار می‌دهد.

‏مهم‌ترین نکات درباره این قابلیت:

‏- تبادل اطلاعات به‌صورت محلی (Local) انجام شده و داده‌های حساس به سرورهای Anthropic ارسال نمی‌شوند.
‏- ارتباط بین ماشین‌های مختلف تنها در صورت استفاده از قابلیت Remote Control برقرار می‌شود.
‏- در حال حاضر این ابزار برای سیستم‌عامل‌های macOS و Linux در دسترس است.

‏این به‌روزرسانی گام بزرگی در جهت مدیریت هوشمندتر و هماهنگ‌ترِ پروژه‌های کدنویسی توسط مدل‌های هوش مصنوعی است.

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#ClaudeCode #RemoteControl

‏🚀 فرصت همکاری در تیم داده نشان

‏تیم نقشه و مسیریاب «نشان» برای تقویت تیم فنی خود در جستجوی یک Senior Data Scientist است. این فرصتی برای پیوستن به مجموعه‌ای است که تجربه بیش از ۳۰ میلیون کاربر را رقم می‌زند.

‏اگر در مشهد ساکن هستید و به دنبال فعالیت در فضایی پویا و دوستانه برای رشد حرفه‌ای و حل چالش‌های واقعی داده‌محور می‌گردید، این موقعیت می‌تواند مسیر شغلی متفاوتی برای شما باشد.

‏برای آشنایی با جزئیات دقیق‌تر این موقعیت شغلی و ارسال رزومه، می‌توانید از طریق لینک زیر اقدام کنید:

‏موقعیت شغلی Senior Data Scientist در نشان

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

‏۵۰ پرسش کلیدی برای موفقیت در مصاحبه‌های هوش مصنوعی

‏بسیاری از متخصصان می‌دانند چگونه یک سیستم RAG یا Agent بسازند، اما نقطه ضعف بزرگ آن‌ها ناتوانی در «ارزیابی» و «سنجش» عملکرد واقعی آن در محیط عملیاتی است. مصاحبه‌گرهای حرفه‌ای بیش از آنکه به مهارت کدنویسی شما اهمیت دهند، به عمق درک شما از مبانی مهندسی و مدیریت چالش‌های تولید (Production) توجه می‌کنند.

‏در ادامه، مهم‌ترین سرفصل‌های مطرح شده در این راهنمای جامع مصاحبه را مرور می‌کنیم:

‏مفاهیم بنیادی: تفاوت‌های مدل‌های Discriminative و Generative، معماری Transformer و چرایی جایگزینی RNNها، مدیریت Embeddings و پایگاه‌های داده برداری (Vector DBs).

‏تکنیک‌های پیشرفته: استراتژی‌های Fine-tuning با استفاده از LoRA و QLoRA، معماری‌های Mixture of Experts (MoE)، مفاهیم کوانتایزیشن و RLAIF.

‏طراحی سیستم: مهندسی RAG برای سازمان‌ها، پیاده‌سازی سیستم‌های Multi-agent، استراتژی‌های کشینگ معنایی (Semantic Caching) و مقابله با حملات Prompt Injection.

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

ا#LoRA #RAG

‏🤖 بهینه‌سازی پردازش اسناد با AnyDoc

‏فایل‌های PDF فراتر از متن ساده هستند؛ ساختارها، جداول و صفحه‌بندی‌های موجود در آن‌ها، مدل‌های هوش مصنوعی را مجبور می‌کند تا توکن‌های بسیار بیشتری را برای درک یک محتوای واحد مصرف کنند. این موضوع نه تنها هزینه پردازش را بالا می‌برد، بلکه در پروژه‌های بزرگ باعث هدررفت ظرفیت Context Window مدل می‌شود.

‏ابزار AnyDoc برای حل این چالش طراحی شده است. این ابزار فایل‌های پیچیده را به فرمت Markdown تبدیل می‌کند. از آنجایی که Markdown ماهیت متنی سبک‌تری دارد، مدل‌های زبانی می‌توانند محتوا را با دقت بالاتر و مصرف توکن بسیار بهینه‌تر تحلیل کنند.

‏استفاده از این روش برای پروژه‌هایی که با حجم بالای اسناد سروکار دارند، یکی از مهم‌ترین راهکارها برای کاهش هزینه‌های API و بهبود کیفیت پاسخ‌های دریافتی است.

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#AnyDoc #ContextWindow

‏🚀 کلان‌پروژه Terafab: ابرکارخانه تراشه‌سازی SpaceX

‏اسپیس‌ایکس از برنامه‌ریزی برای ساخت یک مرکز نیمه‌هادی غول‌پیکر به نام Terafab در تگزاس خبر داده است. این ابرکارخانه با سرمایه‌گذاری اولیه ۱۶.۸ میلیارد دلار، پتانسیل تبدیل شدن به بزرگ‌ترین کارخانه چیپ‌سازی جهان را دارد و هدف نهایی آن تولید سالانه ۱ تراوات سخت‌افزار محاسباتی است.

‏پروژه Terafab تمام مراحل تولید از تراشه‌های منطقی و حافظه تا بسته‌بندی پیشرفته و تست را یک‌جا انجام می‌دهد. این تراشه‌ها برای تغذیه هوش مصنوعی ربات‌های تسلا Optimus، خودروهای Cybercab و پردازش مداری نسل بعد ماهواره‌های SpaceX استفاده خواهند شد.

‏این زنجیره عمودی بی‌سابقه، یکپارچگی کاملی را در هرم فناوری ایلان ماسک خلق می‌کند:
‏

سیلیکون ← هوش مصنوعی ← ربات‌ها ← خودروها ← موشک‌ها ← ماهواره

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#Terafab #Optimus

📊 کارگاه حضوری مصورسازی داده با Tableau

داده زیاد دارید اما نمی‌توانید از آن تصمیم درست بگیرید؟

امروز یکی از مهم‌ترین مهارت‌های بازار کار، تبدیل داده‌های خام به داشبوردهای حرفه‌ای و بینش‌های قابل‌اقدام است. اگر می‌خواهید گزارش‌هایی بسازید که واقعاً به تصمیم‌گیری کسب‌وکار کمک کنند، این کارگاه برای شماست.

در کارگاه «مصورسازی داده با Tableau» به‌صورت کاملاً عملی یاد می‌گیرید چگونه داده‌ها را تحلیل کنید، الگوها را کشف کنید و داشبوردهایی طراحی کنید که مدیران و تیم‌ها بتوانند بر اساس آن تصمیم بگیرند.

آنچه یاد می‌گیرید:
اتصال Tableau به منابع مختلف داده
آماده‌سازی و پاک‌سازی داده‌ها
طراحی نمودارها و داشبوردهای مدیریتی
تحلیل روندها و شاخص‌های کلیدی
اجرای یک پروژه واقعی و دریافت بازخورد تخصصی

🎓 مدرس: علی سعیدی
مشاور و مدرس هوش تجاری و هوشمندسازی کسب‌وکار

این کارگاه برای تحلیلگران داده، کارشناسان و مدیران، صاحبان کسب‌وکار، پژوهشگران و دانشجویان کاملاً کاربردی است.

💎 ۸ ساعت آموزش حضوری (۲ جلسه) | کاملاً پروژه‌محور
💳 امکان خرید در ۴ قسط

🌐 مشاهده جزئیات و ثبت‌نام:
https://l.hamrah.academy/8t7

⭐️ @hamrah_academy | آکادمی همراه اول

‏🚀 مخزن محبوب ساخت LLM از صفر ۱۰۰ هزارتایی شد!

‏مخزن معروف LLMs-from-scratch در گیت‌هاب از مرز ۱۰۰,۰۰۰ ستاره عبور کرد. این پروژه متن‌باز و کاربردی، به علاقه‌مندان کمک می‌کند تا تمام مراحل توسعه یک مدل زبانی بزرگ را از پایه یاد بگیرند.

‏مهم‌ترین بخش‌های این مخزن عبارتند از:

‏• مسیر کامل کدنویسی فرآیندها از توکنایزر و مکانیزم Attention تا پیش‌آموزش، دسته‌بندی و Fine-tuning دستورالعملی.
‏• پیاده‌سازی معماری مدل‌های معروفی مانند Llama، Qwen، Gemma و Olmo از صفر برای اجرا روی سیستم‌های محلی.
‏• پیاده‌سازی جایگزین‌های پیشرفته Attention و اجزای معماری نوین مانند GQA، متد MLA، توجه پویا (Sparse Attention) و ساختار Mixture-of-Experts (MoE).
‏• آموزش‌های کاربردی در زمینه KV Caching، بهبود عملکرد آموزش، بارگذاری بهینه حافظه، متدهای LoRA و DPO به همراه ارزیابی مدل‌ها.

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#LLMs #Attention