خیلی‌ها کار با مدل‌های زبانی بزرگ رو با ارسال درخواست به API و دریافت پاسخ یاد می‌گیرن؛ اما مهندسی LLM خیلی فراتر از این حرف‌هاست😁
وقتی قراره یک مدل رو در محیط واقعی اجرا کنین، باید بدونین چطور منابع سخت‌افزاری رو مدیریت کنین، سرعت پاسخ‌گویی رو بالا ببرین، هزینه‌ها رو کاهش بدین و سیستم رو برای حجم بالای درخواست‌ها آماده کنین.
💥 پروژه LLM Inference Handbook دقیقاً روی همین موضوع تمرکز کرده.
این ریپو یک نقشه راه ۱۰ هفته‌ای شامل ۵۰ درس ارائه می‌ده که به‌صورت پروژه‌محور مباحث مهندسی و اجرای مدل‌های زبانی رو آموزش می‌ده.
توی این مسیر با موضوعات زیر آشناییت پیدا میکنین:
🔹 مفاهیم پایه Inference و تفاوت Prefill و Decode
🔹 اجرای مدل‌ها با vLLM
🔹 مدیریت حافظه GPU و بهینه‌سازی مصرف منابع
🔹 کوانتایز کردن مدل‌ها
🔹 تست فشار و مدیریت هزاران درخواست هم‌زمان
🔹 مانیتورینگ با Prometheus و Grafana
🔹 بهینه‌سازی سرعت و تأخیر پاسخ‌گویی
🔹 طراحی و استقرار سیستم‌های پایدار در محیط Production
نکته مهم اینه که تمرکز این مجموعه روی آموزش مدل از صفر نیست؛ بلکه یاد می‌گیرین چطور مدل‌های آماده رو به شکل اصولی اجرا، مدیریت و بهینه‌سازی کنین.
به نظرم اگر به زیرساخت هوش مصنوعی، استقرار مدل‌های زبانی و تبدیل نمونه‌های آزمایشی به سرویس‌های واقعی علاقه دارین، این ریپو میتونه منبع ارزشمندی براتون باشه.
📌 LLM Inference Handbook
#هوش_مصنوعی
#یادگیری_ماشین
#LLM
#MachineLearning
#AIEngineering
وقتی قراره یک مدل رو در محیط واقعی اجرا کنین، باید بدونین چطور منابع سخت‌افزاری رو مدیریت کنین، سرعت پاسخ‌گویی رو بالا ببرین، هزینه‌ها رو کاهش بدین و سیستم رو برای حجم بالای درخواست‌ها آماده کنین.
💥 پروژه LLM Inference Handbook دقیقاً روی همین موضوع تمرکز کرده.
این ریپو یک نقشه راه ۱۰ هفته‌ای شامل ۵۰ درس ارائه می‌ده که به‌صورت پروژه‌محور مباحث مهندسی و اجرای مدل‌های زبانی رو آموزش می‌ده.
توی این مسیر با موضوعات زیر آشناییت پیدا میکنین:
🔹 مفاهیم پایه Inference و تفاوت Prefill و Decode
🔹 اجرای مدل‌ها با vLLM
🔹 مدیریت حافظه GPU و بهینه‌سازی مصرف منابع
🔹 کوانتایز کردن مدل‌ها
🔹 تست فشار و مدیریت هزاران درخواست هم‌زمان
🔹 مانیتورینگ با Prometheus و Grafana
🔹 بهینه‌سازی سرعت و تأخیر پاسخ‌گویی
🔹 طراحی و استقرار سیستم‌های پایدار در محیط Production
نکته مهم اینه که تمرکز این مجموعه روی آموزش مدل از صفر نیست؛ بلکه یاد می‌گیرین چطور مدل‌های آماده رو به شکل اصولی اجرا، مدیریت و بهینه‌سازی کنین.
به نظرم اگر به زیرساخت هوش مصنوعی، استقرار مدل‌های زبانی و تبدیل نمونه‌های آزمایشی به سرویس‌های واقعی علاقه دارین، این ریپو میتونه منبع ارزشمندی براتون باشه.
📌 LLM Inference Handbook
#هوش_مصنوعی
#یادگیری_ماشین
#LLM
#MachineLearning
#AIEngineering
GitHub
GitHub - patchy631/time-to-first-token: A 10-week, 30-minutes-a-day roadmap for LLM inference serving and optimization. vLLM, SGLang…
A 10-week, 30-minutes-a-day roadmap for LLM inference serving and optimization. vLLM, SGLang, quantization, speculative decoding, benchmarking. - patchy631/time-to-first-token
🥰5👍4🔥4❤🔥2🤩2❤1👏1🎉1
این مخزن رو بررسی کنین .
توصیه میکنم.
سناریو های متفاوتی رو در بر گرفته از طراحی سیستم تا چالش های پروداکشن
رفرنس های خوبی داره حتما بررسی کنید.
مخزن
#LLM
#Ai
توصیه میکنم.
سناریو های متفاوتی رو در بر گرفته از طراحی سیستم تا چالش های پروداکشن
رفرنس های خوبی داره حتما بررسی کنید.
مخزن
#LLM
#Ai
GitHub
GitHub - amitshekhariitbhu/ai-engineering-interview-questions: Your Cheat Sheet for AI Engineering Interview – Questions and Answers.
Your Cheat Sheet for AI Engineering Interview – Questions and Answers. - amitshekhariitbhu/ai-engineering-interview-questions
👍1🔥1🤝1💊1
پروژه Underdog AI – Woof نمونه جالبی از حرکت به سمت مدل‌های هوش مصنوعی سبک و قابل اجرا روی دستگاه شخصی هست.
ولی ویژگی جذاب اون چیه؟
🔹 حدود ۳۱ میلیون پارامتر
🔹 حجم تقریبی ۳۱.۷ مگابایت
🔹 قابلیت اجرا مستقیماً در مرورگر
🔹 امکان پردازش محلی بدون وابستگی دائمی به سرور ابری
🔹 تمرکز بر اجرای مدل‌های کوچک و بهینه
چرا این موضوع اهمیت داره؟
تا همین چند سال پیش، اجرای مدل‌های هوش مصنوعی روی دستگاه‌های معمولی محدودیت‌های زیادی داشت؛ اما امروز شاهد حرکت جدی به سمت مدل‌های کوچک‌تر، سبک‌تر و بهینه‌تر هستیم.
این رویکرد میتونه در آینده توسعه دستیارهای صوتی آفلاین، اپلیکیشن‌های موبایل و ابزارهای هوشمند بدون وابستگی به APIهای ابری را جذاب‌تر کند.
البته Woof یک مدل تولید صداست، نه یک مدل مکالمه‌ای یا جایگزین ChatGPT.
🔗 لینک پروژه:
https://underdog.ai/woof
به نظرتون آینده هوش مصنوعی بیشتر در اختیار مدل‌های عظیم ابری خواهد بود یا مدل‌های کوچک و محلی که مستقیماً روی دستگاه خودمان اجرا میشن؟
#AI
#ArtificialIntelligence
#EdgeAi
#TTS
#OpenSource
#WebDevelopment
ولی ویژگی جذاب اون چیه؟
🔹 حدود ۳۱ میلیون پارامتر
🔹 حجم تقریبی ۳۱.۷ مگابایت
🔹 قابلیت اجرا مستقیماً در مرورگر
🔹 امکان پردازش محلی بدون وابستگی دائمی به سرور ابری
🔹 تمرکز بر اجرای مدل‌های کوچک و بهینه
چرا این موضوع اهمیت داره؟
تا همین چند سال پیش، اجرای مدل‌های هوش مصنوعی روی دستگاه‌های معمولی محدودیت‌های زیادی داشت؛ اما امروز شاهد حرکت جدی به سمت مدل‌های کوچک‌تر، سبک‌تر و بهینه‌تر هستیم.
این رویکرد میتونه در آینده توسعه دستیارهای صوتی آفلاین، اپلیکیشن‌های موبایل و ابزارهای هوشمند بدون وابستگی به APIهای ابری را جذاب‌تر کند.
البته Woof یک مدل تولید صداست، نه یک مدل مکالمه‌ای یا جایگزین ChatGPT.
🔗 لینک پروژه:
https://underdog.ai/woof
به نظرتون آینده هوش مصنوعی بیشتر در اختیار مدل‌های عظیم ابری خواهد بود یا مدل‌های کوچک و محلی که مستقیماً روی دستگاه خودمان اجرا میشن؟
#AI
#ArtificialIntelligence
#EdgeAi
#TTS
#OpenSource
#WebDevelopment
Underdog
Underdog Woof
Our text-to-speech models: one voice in 31.7 MB, or two voices in 40.6 MB with fewer word errors than Fish Audio Drama 3 at over 1,000 times smaller. They read phone numbers, dates, prices and codes the way people say them.
🔥2❤1👏1