💎 دوره‌ای برای ورود جدی به دنیای Transformer و LLMها

اگر می‌خوای بفهمی مدل‌های زبانی مدرن دقیقاً چطور ساخته می‌شن و معماری Transformer چه نقشی در شکل‌گیری LLMهای امروزی داشته، این دوره می‌تونه نقطه شروع خیلی خوبی باشه. 🚀


در این دوره از مباحث پایه NLP شروع می‌شه و قدم‌به‌قدم به معماری Transformer، مدل‌های زبانی بزرگ و تکنیک‌های بهینه‌سازی اون‌ها می‌رسه.

📚 موضوعاتی مثل:
▫️ تکامل روش‌های NLP
▫️ معماری و اجزای Transformer
▫️ نحوه کار LLMها
▫️ تکنیک‌های آموزش و بهینه‌سازی مدل‌ها
▫️ پیاده‌سازی و تمرین‌های عملی


🔗 مشاهده دوره

اگر هدفت اینه که به‌جای استفاده صرف از LLMها، واقعاً سازوکار پشت اون‌ها رو یاد بگیری، این دوره ارزش بررسی داره. 🧠

#هوش_مصنوعی
#LLM
#Transformer
#MachineLearning
#NLP
#DeepLearning

⌨️ اگر واقعاً می‌خوای ساخت AI Agent رو یاد بگیری، فقط با یک دمو جلو نرو.

چیزی که تو خیلی از آموزش‌های Agent دیدم اینه که همه‌چیز تا وقتی خوبه که دقیقاً همون سناریوی آموزش رو اجرا کنی.

یک Agent می‌سازن، چند تا Tool بهش وصل می‌کنن، اجرا می‌شه و تمام.

اما وقتی بخوای همون معماری رو برای یک مسئله‌ی واقعی تغییر بدی، تازه مشکلات اصلی خودشون رو نشون می‌دن:

ارزیابی عملکرد Agent چطور انجام بشه؟

اگر مدل تصمیم اشتباه گرفت، Human-in-the-loop کجا وارد بشه؟

حافظه رو چطور اضافه کنیم؟

و مهم‌تر از همه، چطور بفهمیم Agent واقعاً بهتر شده یا فقط یک دمو قشنگ‌تر ساخته‌ایم؟

برای همین، چیزی که در آموزش Agents from Scratch از LangChain برام جالب بود، تمرکز روی کل چرخه‌ی ساخت Agent بود؛ از پیاده‌سازی و تست گرفته تا ارزیابی، Human-in-the-loop، Memory و اتصال به APIهای واقعی.



لینک مخزن :Agent from scratch

#هوش_مصنوعی
#ایجنت_هوش_مصنوعی


#AI
#AIAgents
#MachineLearning
#Programming
#LangChain
#LLM
#AIEngineering

یه مشکلی که موقع کار با LLMها خیلی زود خودش رو نشون میده، مصرف بالای توکنه.

مخصوصاً وقتی با چیزهایی مثل لاگ‌های سرور، خروجی‌های RAG یا contextهای خیلی بزرگ کار می‌کنی.

یه عالمه اطلاعات وارد context میشه که لزوماً همه‌شون برای مدل ضروری نیستن؛ ولی در نهایت بابت همون‌ها هم توکن مصرف میشه.

چند وقتیه با Headroom آشنا شدم و ایده‌ش برام جالب بود.

قبل از اینکه هدروم context رو به مدل بده، سعی می‌کنه اطلاعات رو فشرده‌تر کنه و حجم توکن‌های مصرفی رو پایین بیاره.

نکته خوبش هم اینه که قرار نیست کدت رو از اول تغییر بدی؛ عملاً مثل یه لایه بین Agent و مدل قرار می‌گیره.

برای تست هم خیلی ساده راه میفته:

pip install "headroom-ai[all]" headroom wrap claude

با ابزارهایی مثل Claude Code، Cursor و Codex هم می‌تونه استفاده بشه.

طبق بنچمارک‌ها و توضیحات خود پروژه، تو بعضی workloadها کاهش مصرف توکن حتی به حدود ۹۵٪ هم می‌رسه؛ البته طبیعتاً نباید انتظار داشت هر پروژه‌ای دقیقاً همین نتیجه رو بگیره.

به نظرم برای کسایی که با RAG، Agentها و contextهای سنگین کار می‌کنن، حداقل ارزش یه تست رو داره.

#هوش_مصنوعی
#LLM
#RAG
#AI
#MachineLearning
#ClaudeCode
#Cursor
#Codex

وقتی مدل هوش مصنوعی رو وارد Production می‌کنی، ماجرا تازه شروع می‌شه
اوایل کار با مدل‌های زبانی، بیشتر حواسمون به کیفیت پاسخ‌هاست.

اما وقتی یک مدل واقعاً وارد پروژه می‌شه، خیلی زود با سه مشکل جدی روبه‌رو می‌شی:
سرعت، مصرف حافظه و هزینه.
اینجاست که بهینه‌سازی Inference اهمیت پیدا می‌کنه.

یکی از چیزهایی که برای من جالب بود، اینه که سریع‌تر کردن مدل فقط به داشتن GPU قوی‌تر مربوط نیست.
مدل در زمان پاسخ‌گویی دو مرحله مهم داره:
 مورد اول :Prefill که ورودی رو پردازش می‌کنه و بیشتر محاسباتی هست.
 مورد دوم : Decode که توکن‌ها رو یکی‌یکی تولید می‌کنه و در این مرحله جابه‌جایی داده بین حافظه اهمیت زیادی پیدا می‌کنه.

برای همین تکنیک‌های مختلفی برای بهینه‌سازی وجود داره.

یکی از مهم‌ترین‌ها KV Cache هست.
مدل مجبور نیست برای هر توکن، همه محاسبات قبلی رو دوباره انجام بده. اطلاعات محاسبه‌شده ذخیره می‌شن تا در ادامه دوباره استفاده بشن.

بعد می‌رسیم به Quantization.
با کاهش دقت عددی وزن‌های مدل، مصرف حافظه کمتر می‌شه و در بسیاری از سناریوها می‌تونی مدل بزرگ‌تری رو روی سخت‌افزار محدودتر اجرا کنی.

اما اینجا همیشه یک Trade-off وجود داره؛ کاهش حجم نباید باعث افت کیفیت غیرقابل‌قبول بشه.

یک تکنیک دیگه Continuous Batching هست.
به‌جای اینکه درخواست‌ها رو جداگانه پردازش کنیم، سیستم می‌تونه درخواست‌های جدید رو در حین اجرای درخواست‌های قبلی وارد Batch کنه.

این موضوع مخصوصاً وقتی تعداد درخواست‌ها زیاده، استفاده از GPU رو خیلی بهتر می‌کنه.

تکنیک‌هایی مثل Prefix Caching، Paged Attention، Speculative Decoding و Flash Attention هم هر کدوم از یک گلوگاه مشخص در Inference عبور می‌کنن.

چیزی که از این موضوع برای من مهم‌تر بود، اینه که بهینه‌سازی مدل یک دکمه جادویی نداره.

گاهی مشکل از حافظه‌ست، گاهی از Throughput، گاهی از Latency و گاهی از تعداد توکن‌هایی که باید پردازش بشن.

در نهایت دوستان عزیزم قبل از اینکه سراغ بهینه‌سازی برید، باید متوجه بشید دقیقاً کدوم بخش سیستم گلوگاهه.

در نهایت، اجرای یک LLM در Production بیشتر از اینکه فقط مسئله مدل باشه، یک مسئله مهندسیه.

مدل خوب مهمه، اما اینکه چطور اون مدل رو سریع، ارزان و پایدار اجرا کنی، بخش بزرگی از ماجراست.

#هوش_مصنوعی
#مدل_زبانی
#یادگیری_ماشین
#مهندسی_هوش_مصنوعی
#برنامه_نویسی
#بهینه_سازی
#AI
#LLM
#MachineLearning
#AIEngineering
#Inference

این روزها همه درباره AI Engineer شدن صحبت می‌کنن.

مدل‌های جدید، Agentها، LLMها و ابزارهای هوش مصنوعی کلی سر و صدا کردن.

اما یه واقعیت کمتر درباره‌ش حرف زده می‌شه:

هوش مصنوعی فقط به اندازه دیتایی که پشتش هست باهوشه.

همه دوست دارن مدل بسازن.

ولی کمتر کسی حاضر می‌شه روی اون بخش سخت‌تر کار کنه:

سیستم‌هایی که داده‌ها رو جمع‌آوری می‌کنن، تمیز می‌کنن، اعتبارسنجی می‌کنن، تبدیل می‌کنن، مدیریت می‌کنن و همیشه داده قابل اعتماد به مدل می‌رسونن.

در واقع گلوگاه اصلی همین‌جاست.

می‌تونی قوی‌ترین مدل دنیا رو داشته باشی، اما اگر داده‌ای که بهش می‌دی بی‌کیفیت باشه، فقط یک ماشین خیلی گران برای تولید خروجی‌های بی‌کیفیت ساختی.

شاید قدم بعدی بزرگ در AI فقط با ساخت مدل‌های قوی‌تر اتفاق نیفته.

شاید با مهندسی داده بهتر اتفاق بیفته.

چیزی که امروز کمتر دیده می‌شه، اما پایه اصلی خیلی از سیستم‌های هوش مصنوعی موفقه.

مسابقه AI فقط مسابقه ساخت مدل نیست.

یک مسابقه داده است.

و خیلی‌ها هنوز متوجه این موضوع نشدن.

#هوش_مصنوعی
#مهندسی_داده
#مهندسی_نرم_افزار
#LLM
#DataEngineering
#AI
#MachineLearning
#MLOps

🚀 آیا Grok 4.7 می‌تونه معادلات دنیای AI رو تغییر بده؟

این روزها صحبت‌های زیادی درباره نسخه‌های جدید Grok و آینده این مدل می‌شه.

ایلان ماسک گفته نسخه‌های آینده Grok قرار هست با استفاده از داده‌های مهندسی SpaceX و زیرساخت‌های بزرگ محاسباتی، به سطح جدیدی برسن.

اما چیزی که این موضوع رو جالب می‌کنه فقط بزرگ‌تر شدن مدل نیست.

بحث اصلی، نوع داده و تجربه‌ایه که مدل باهاش آموزش می‌بینه.

مثلاً داده‌های مهندسی SpaceX شامل چیزهایی مثل:

🔹 طراحی و ساخت سیستم‌ها 
🔹 تست‌های واقعی 
🔹 خطاها و شکست‌ها 
🔹 حل مشکلات مهندسی در دنیای واقعی

این نوع داده با متن‌های معمولی اینترنت فرق داره.

از طرف دیگه، دسترسی به داده‌های لحظه‌ای X می‌تونه یک مزیت دیگه باشه؛ چون مدل با حجم زیادی از گفتگوها، ترندها و اتفاقات روزانه در ارتباطه.

البته فقط داده مهم نیست.

برای ساخت مدل‌های بزرگ، زیرساخت محاسباتی هم نقش خیلی مهمی داره.

دیتاسنترها، GPUها و سرعت تکرار نسخه‌های جدید، بخشی از رقابت اصلی بین شرکت‌های AI هستن.

اما یک سؤال مهم وجود داره:

آیا داشتن داده‌های بیشتر و سخت‌افزار قوی‌تر به تنهایی باعث ساخت بهترین مدل می‌شه؟

احتمالاً نه.

چیزی که در آینده اهمیت بیشتری پیدا می‌کنه، ترکیب چند عامل هست:

داده باکیفیت،
مهندسی خوب،
قدرت پردازش،
و توانایی تبدیل مدل به یک سیستم کاربردی.

فعلاً باید صبر کنیم و ببینیم Grok 4.7 در عمل چه عملکردی خواهد داشت.

اما یک چیز مشخصه:

رقابت مدل‌های هوش مصنوعی تازه وارد مرحله جدی‌تری شده. 🚀

#هوش_مصنوعی
#AI
#Grok
#LLM
#MachineLearning

گوگل یک Professional Certificate جدید برای هوش مصنوعی منتشر کرده

این دوره روی Coursera ارائه می‌شه و شامل ۷ دوره‌ی عملی مختلفه.

چیزی که توی این دوره جالبه، تمرکز روی استفاده‌ی عملی از AIـه، نه فقط مباحث تئوری.

🔹 شروع یادگیری AI از پایه و رسیدن به تسلط عملی

🔹 یادگیری استفاده‌ی مسئولانه از هوش مصنوعی و افزایش بهره‌وری

🔹 ساخت App با کمک AI

🔹 بیش از ۲۰ پروژه‌ی عملی

🔹 سه ماه دسترسی به Gemini Pro

برای کسی که می‌خواد AI رو فقط در حد تئوری یاد نگیره و واقعاً وارد Workflow روزمره و پروژه‌هاش کنه، این ساختار می‌تونه جالب باشه.

لینک دوره : ثبت نام

#هوش_مصنوعی
#یادگیری_ماشین
#برنامه_نویسی
#آموزش_هوش_مصنوعی
#گوگل

#AI
#ArtificialIntelligence
#MachineLearning
#Google
#Gemini
#AIEngineering
#Coursera

انویدیا یک API رایگان برای مدل‌های هوش مصنوعی ارائه داده! 🤖

انویدیا یک API رایگان در اختیار توسعه‌دهنده‌ها قرار داده که می‌تونی با مدل‌هایی مثل:

🔹 DeepSeek V4
🔹 MiniMax M3
🔹 GLM 5.2
🔹 Gemma 4

کار کنی.

برای تست و توسعه خیلی کاربردیه، مخصوصاً وقتی می‌خوای قبل از پرداخت هزینه ببینی یک مدل چطور عمل می‌کنه یا چند مدل مختلف رو با هم مقایسه کنی.

نکته جالب اینه که برای استفاده از این API نیازی به وارد کردن اطلاعات کارت بانکی نیست.

البته من هم امتحانش کردم؛ برای استفاده مستقیم داخل ابزارهایی مثل OpenCode، به نظرم همیشه گزینه ایده‌آلی نیست.

چرا؟

چون این APIها به دلیل رایگان بودن معمولاً سرعت پایین‌تری دارن و بعضی وقت‌ها ممکنه وارد صف انتظار بشی.

بهتره بهش به چشم یک محیط آزمایشی نگاه کنی:

قبل از اینکه برای یک API پولی هزینه کنی، مدل‌ها رو تست کن، رفتارشان رو مقایسه کن و ببین کدام مدل برای پروژه‌ات مناسب‌تره.

لینک : nvidia


#هوش_مصنوعی
#برنامه_نویسی
#مدل_زبانی
#توسعه_نرم_افزار
#یادگیری_ماشین

#AI
#LLM
#NVIDIA
#DeepSeek
#Gemma
#MachineLearning
#AIEngineering
#OpenSource

به نظرم رقابت اصلی آینده‌ی هوش مصنوعی فقط بین مدل‌ها نیست؛ بین اکوسیستم‌هاست.

هرچقدر بیشتر با مدل‌های هوش مصنوعی کار می‌کنیم، مفهوم Open Weight برام جالب‌تر می‌شه.

وقتی وزن‌های یک مدل منتشر می‌شن، می‌تونیم اون رو روی سیستم خودمون اجرا کنیم، Fine-tune کنیم و حتی محصولات جدیدی روی اون بسازیم.

اما چیزی که به نظرم خیلی‌ها نادیده می‌گیرن اینه که راز اصلی یک مدل زبانی، فقط فایل نهایی وزن‌ها نیست.

بخش سخت ماجرا پشت صحنه اتفاق می‌افته:

🔹 داده‌های آموزشی
🔹 پایپلاین های داده
🔹 روش‌های فیلتر کردن داده
🔹 روش آموزش
🔹 تکنیک‌های بهینه‌سازی
🔹 زیرساخت محاسباتی

شرکت‌های بزرگ معمولاً همین بخش‌ها رو محرمانه نگه می‌دارن.

بنابراین خیلی از مدل‌هایی که بهشون می‌گیم باز، در واقع نتیجه رو در اختیار ما می‌ذارن، نه دستور ساختش رو.

اینجا یک سؤال جالب مطرح می‌شه:

اگر OpenAI یا Anthropic روزی وزن مدل‌هاشون رو منتشر کنن، آیا واقعاً ضربه‌ی بزرگی به خودشون می‌زنن؟

یا برعکس، بسته نگه داشتن مدل‌ها باعث می‌شه مدل‌های Open Weight بخش بیشتری از اکوسیستم رو تصاحب کنن؟

به نظرم ممکنه آینده کمی شبیه رقابت iOS و Android بشه.

چند پلتفرم بسته و قدرتمند در رأس بازار،

اما بخش بزرگی از توسعه‌دهنده‌ها و محصولات روی مدل‌های Open Weight ساخته بشن.

شاید حتی در آینده چیزی شبیه این ببینیم:

۸۰٪ اکوسیستم روی مدل‌های Open Weight

۲۰٪ روی پلتفرم‌های اختصاصی

چون در دنیای تکنولوژی، باز بودن همیشه به معنی ساخت بهترین محصول نیست؛

گاهی یعنی ساختن بزرگ‌ترین اکوسیستم.

#هوش_مصنوعی
#مدل_زبانی
#مدل_باز
#یادگیری_ماشین
#برنامه_نویسی
#هوش_مصنوعی_مولد

#AI
#LLM
#OpenWeights
#OpenSourceAI
#MachineLearning
#GenerativeAI
#AIEngineering

به نظرم مشکل Hallucination حتی سال آینده هم کاملاً حل نمی‌شه. 🤔

اما شاید یک تغییر مهم اتفاق بیفته.

بخشی از چیزهایی که امروز بهشون می‌گیم Hallucination، دیگه از خود AI نمیان؛ از برداشت اشتباه انسان‌ها از خروجی AI میان.

هرچقدر مدل‌ها توانمندتر بشن، خروجی‌هاشون هم پیچیده‌تر و تخصصی‌تر می‌شه.

مشکل اینجاست که ممکنه کاربر نتونه تشخیص بده یک پاسخ دقیقاً کجا درست، کجا ناقص و کجا اشتباهه.

در نتیجه، حتی اگر مدل واقعاً بهتر شده باشه، باز هم ممکنه چیزی که کاربر نمی‌فهمه رو به‌عنوان «توهم مدل» تفسیر کنه.

به نظرم در آینده فقط مسئله‌ی ساخت مدل‌های دقیق‌تر نیست.

باید توانایی انسان برای ارزیابی، راستی‌آزمایی و درک خروجی مدل‌ها هم بیشتر بشه.

هوش بهتر می‌شه؛

اما فهمیدن AI هم باید همراهش رشد کنه.

#هوش_مصنوعی
#مدل_زبانی
#یادگیری_ماشین
#تفکر_انتقادی
#هوش_مصنوعی_مولد

#AI
#LLM
#MachineLearning
#CriticalThinking
#GenerativeAI
#AIEngineering

اگر هنوز فکر می‌کنی هوش مصنوعی متن‌باز داره عقب می‌مونه، شاید مشکل از اون نباشه.

مدل‌های متن‌باز و Open Weight با سرعت زیادی دارن پیشرفت می‌کنن.

مدل‌هایی که چند وقت پیش برای استفاده‌ی جدی ضعیف به نظر می‌رسیدن، امروز می‌تونن در Coding، استدلال، اجرای محلی و ساخت Agentهای هوش مصنوعی کاملاً جدی باشن.

به نظرم مسئله اینجاست که بعضی‌ها هنوز دارن اکوسیستم Open Source رو با تصویری که چند سال پیش داشتن قضاوت می‌کنن.

مدل‌ها تغییر کردن.

ابزارها تغییر کردن.

هزینه‌ی اجرا پایین‌تر اومده.

و مهم‌تر از همه، دسترسی به مدل‌ها خیلی بیشتر شده.

پس اگر هنوز فکر می‌کنی Open Source AI عقب مونده، شاید وقتشه دوباره بازار رو بررسی کنی.

شاید مدل‌ها عقب نمونده باشن؛

شاید ما هنوز متوجه سرعت حرکتشون نشدیم.

#هوش_مصنوعی
#هوش_مصنوعی_متن_باز
#مدل_زبانی
#برنامه_نویسی
#یادگیری_ماشین
#هوش_مصنوعی_مولد

#AI
#OpenSourceAI
#OpenWeight
#LLM
#MachineLearning
#GenerativeAI
#AIEngineering

به نظرم خیلی‌ها هنوز GLM-5.3 رو جدی نگرفتن.

چیزی که بیشتر از همه توجهم رو جلب کرده، فقط عملکرد این مدل نیست؛ نسبت عملکرد به اندازه‌ی مدلشه.

این GLM با حدود ۷۴۳ میلیارد پارامتر، طبق این ادعا می‌تونه به عملکرد مدل‌هایی نزدیک بشه که چندین برابر بزرگ‌تر هستن.

اگر این نتایج در استفاده‌ی واقعی هم تکرار بشن، اتفاق مهمی محسوب می‌شه.

چون ماجرا فقط این نیست که یک مدل ارزون‌تر داریم.

بحث اینه که شاید داریم به نقطه‌ای می‌رسیم که معماری، داده، بهینه‌سازی و روش آموزش می‌تونن اهمیت بیشتری از صرفاً بزرگ‌تر کردن تعداد پارامترها داشته باشن.

برای من جذاب‌ترین بخش ماجرا همین نسبت بین هزینه و عملکرده.

اگر یک مدل کوچک‌تر بتونه بخش قابل‌توجهی از عملکرد مدل‌های بسیار بزرگ‌تر رو ارائه بده، اقتصاد اجرای مدل‌های هوش مصنوعی هم می‌تونه تغییر کنه.

به نظرم خیلی‌ها هنوز متوجه بزرگی این تغییر نشدن.

شاید رقابت آینده فقط بر سر «بزرگ‌ترین مدل» نباشه؛

بلکه بر سر «بهترین عملکرد با کمترین هزینه» باشه.

#هوش_مصنوعی
#مدل_زبانی
#یادگیری_ماشین
#هوش_مصنوعی_مولد
#مدل_متن_باز
#برنامه_نویسی

#AI
#LLM
#GLM
#MachineLearning
#GenerativeAI
#OpenSourceAI
#AIEngineering
#AIEconomics

یکی از جذاب‌ترین چالش‌ها تو دنیای هوش مصنوعی، همین نقطه‌ی تلاقی بین شکل داده‌ها و معماری شبکه‌هاست. تو تحقیقاتی که اخیرا داشتم، دوباره به یه مقاله‌ی کلاسیک و فوق‌العاده برخوردم که فهم دقیقش برای هر مهندسی واجبه.

اکثر شبکه‌های عصبی کلاسیک، داده‌های ورودی رو به شکل ماتریس یا بردار می‌بینن. مثلا پیکسل‌های عکس تو سطر و ستون، یا کلمات تو یه توالی. اما تو دنیای واقعی، خیلی از داده‌ها ساختار گراف دارن.
یعنی مجموعه‌ای از گره‌ها که با یه سری یال به هم وصل شدن. شبکه‌های اجتماعی، شبکه‌های برق و حتی مولکول‌ها بهترین مثال‌هاشون هستن.

شبکه‌های عصبی گرافی (GNNs) برای پردازش همین نوع داده‌ها اومدن. اما قبل از این مقاله، رایج‌ترین روش یعنی GCN یه اشتباه محاسباتی داشت: وقتی یه گره می‌خواست اطلاعات رو از همسایه‌هاش جمع‌آوری کنه، به همه‌شون یه وزن برابر می‌داد! انگار همه همسایه‌ها برای تصمیم‌گیری همون‌قدر مهم هستن.

اینجا مقاله‌ی معروف کنفرانس ICLR در سال ۲۰۱۸ که توسط تیم Bengio منتشر شد و الان با بیش از ۱۸ هزار ارجاع، یه شاهکار محسوب می‌شه، وارد بازی شد. این مقاله معماری Graph Attention Networks یا همون GAT رو معرفی کرد. ایده‌ی خیلی ساده اما نابش این بود: مکانیزم Attention که تو مدل‌های زبانی استفاده می‌شه رو قرض گرفت تا به هر گره اجازه بده یاد بگیره کدوم همسایه‌ش برای تسک فعلی مهم‌تره.

نکته‌ی مهندسی برجسته‌ش اینجاست: این وزن‌های Attention رو یه شبکه عصبی کوچیک و مشترک محاسبه می‌کنه که فقط به جفت گره‌های متصل نگاه می‌کنه. به خاطر همین، مدل نیازی نداره ساختار کامل گراف رو از قبل بدونه و می‌تونه روی گراف‌های کاملا جدیدی که تو فاز آموزش ندیده هم به خوبی تعمیم پیدا کنه.

از نظر من، این مقاله یه نمونه‌ی بی‌نقص از تحقیقات هوش مصنوعیه. معماری‌اش اونقدر ساده‌ست که با چند تا معادله می‌شه توصیفش کرد، اجراش به شدت موازی‌سازی شده و بهینه‌ست، و تو زمان خودش تونست تو بنچمارک‌های استاندارد، رکوردهای قبلی رو بشکنه یا حداقل باهاشون رقابت کنه.

#هوش_مصنوعی
#یادگیری_عمیق
#علم_داده

#DeepLearning
#GraphNeuralNetworks
#MachineLearning

گاهی وقتا تو فضای پر هیاهوی هوش مصنوعی، داستان‌های اصلی و بنیادی گم میشن. الان بیشتر کسایی که با AI کار می‌کنن، اصلا یادشون نیست GANها چی بودن و چه نقشی داشتن. اما تو تحقیقاتی که اخیرا داشتم، به این نتیجه رسیدم که اگه واقعا می‌خواید درک کنید سیستم‌های امروزی چطور یاد می‌گیرن و بهتر میشن.

شبکه‌های مولد تخاصمی یا همون GANها یکی از مهم‌ترین ایده‌هایی هستن که باید بشناسید.

ساختار GAN بر اساس آموزش همزمان دو تا مدل به هم دیگه کار می‌کنه:

یکی Generator یا مولد که از روی نویز، داده‌های ساختگی می‌سازه.
دومی Discriminator یا متمایزکننده که تلاش می‌کنه تشخیص بده داده واقعیه یا جعلی.
مولد با تلاش برای فریب دادن متمایزکننده بهتر می‌شه، و متمایزکننده هم با یاد گرفتن اشتباهات مولد قوی‌تر می‌شه. همین حلقه‌ی رقابتی باعث می‌شه هر دو مدل به شدت پیشرفت کنن.

چیزی که خیلی‌ها متوجهش نمیشن اینه که GANها هرگز فقط برای ساخت عکس نبودن. خیلی قبل از اینکه بحث تولید محتوا توسط هوش مصنوعی ترند بشه، GANها تو سیستم‌های عملیاتی ماشین لرنینگ استفاده میشن.


#هوش_مصنوعی
#یادگیری_عمیق
#علم_داده

#DeepLearning
#MachineLearning
#DataScience

یه مدت این سوال برام جالب شده بود که با وجود LLMها، هنوز برای Text Classification باید مدل اختصاصی بسازیم یا نه؟

مثلاً برای تشخیص احساسات، موضوع متن یا Intent، میشه خیلی راحت به یه LLM گفت این متن رو دسته‌بندی کن.
ولی داستان به این سادگی نیست.

توی یه بررسی روی ۳۲ دیتاست و ۸ زبان، چند روش مختلف رو با هم مقایسه کردن؛ از Zero-shot با LLM گرفته تا Fine-tuning و مدل‌های کلاسیک‌تر.

نتیجه جالب بود:
برای Sentiment Classification، Zero-shot با LLMها عملکرد خیلی خوبی داشت و حتی در بعضی موارد از classifier آموزش‌دیده با داده کامل بهتر بود.
اما وقتی تعداد دسته‌ها بیشتر میشه یا مسئله پیچیده‌تره، مدل‌های اختصاصی که با داده برچسب‌خورده آموزش داده شدن معمولاً بهتر عمل می‌کنن.

یه نکته دیگه هم Synthetic Data بود.
یعنی میشه از چند LLM مختلف داده مصنوعی تولید کرد و باهاش classifier ساخت. این روش در خیلی از موارد از Zero-shot بهتر بود.

پس این تصور که LLM اومده و دیگه همه مدل‌های Classification قدیمی رو بی‌مصرف کرده، خیلی دقیق نیست.

گاهی یه مدل کوچک‌تر + داده خوب + classifier ساده، هم سریع‌تره، هم ارزان‌تره و هم برای Production منطقی‌تره.

به نظرم نکته اصلی اینه:
و LLM فقط یک ابزار دیگه برای حل مسئله‌ست، نه جواب پیش‌فرض همه مسائل.
باید بر اساس نوع مسئله، حجم داده، تعداد کلاس‌ها، دقت موردنیاز و هزینه inference تصمیم بگیریم.

#AI
#LLM
#NLP
#MachineLearning
#TextClassification

یه تحقیق جدید از HiddenLayer منتشر شده که دوباره یک نکته مهم درباره امنیت LLMها رو یادآوری می‌کنه:

حتی مدل‌های خیلی قوی هم در برابر Prompt Injection و Jailbreak صددرصد امن نیستند.
اسم این تکنیک رو گذاشتن:
آقا یا خانم Policy Puppetry

ایده اصلیش اینه که مهاجم چند تکنیک ساده رو با هم ترکیب می‌کنه تا مدل رو گمراه کنه.

مثلاً:
یک متن شبیه فایل تنظیمات یا Policy جعلی می‌سازه تا مدل فکر کنه این دستور رسمی سیستمه.

بعد یک Persona خاص به مدل می‌ده تا نقش جدیدی بگیره.
بعد سعی می‌کنه جلوی پاسخ‌های امن مدل رو بگیره.
و حتی بعضی کلمات حساس رو تغییر شکل می‌ده تا فیلترهای ساده رو دور بزنه.

نکته جالب اینجاست که این حملات فقط مربوط به یک مدل خاص نیستند.

مدل‌هایی از شرکت‌های مختلف مثل OpenAI، Google، Anthropic، Meta، DeepSeek و دیگران بررسی شدند.
اما نکته مهم برای مهندس‌های AI اینه:
امنیت LLM فقط با یک System Prompt قوی حل نمی‌شه.
چند لایه دفاع لازم داریم:
- ورودی کاربر نباید با دستورهای سیستمی قاطی شود.
- برای کارهای حساس باید Permission و Approval وجود داشته باشد.
- از Sandbox برای اجرای کد یا تغییرات مهم استفاده شود.
- تست‌های Red Team و Jailbreak باید همیشه به‌روز شوند.

یک اشتباه رایج اینه که فکر کنیم:
مدل قوی‌تر = امنیت کامل‌تر
در واقع هرچه مدل توانمندتر شود، نیاز به معماری امنیتی بهتر هم بیشتر می‌شود.

آینده AI فقط ساخت مدل‌های باهوش‌تر نیست؛
ساخت سیستم‌هایی است که بدانیم چطور، کجا و با چه سطح دسترسی از این هوش استفاده کنیم.

#AI
#LLM
#CyberSecurity
#PromptInjection
#AIsecurity
#MachineLearning
#AIAgents

یه چیزی که این روزها بیشتر بهش فکر می‌کنم اینه که:
ما وقتی درباره امنیت AI صحبت می‌کنیم، خیلی وقت‌ها فقط خود مدل رو می‌بینیم.
مثلاً می‌گیم:
این مدل قویه؟

آیا Guardrail داره؟
آیا Prompt خوب براش نوشتیم؟

ولی واقعیت اینه که یک سیستم AI فقط یک مدل نیست.
پشت یک سیستم واقعی کلی بخش مختلف وجود داره:
مورد اول : Prompt
مورد دوم : Data
مورد سوم : RAG و Vector Database
مورد چهارم :Memory
مورد پنجم :Tool
مورد ششم :API

و دسترسی‌هایی که Agentها دارند.

هر کدوم از این بخش‌ها می‌تونه یک نقطه ورود برای مشکل امنیتی باشه.

یکی از چیزهایی که برای من جالب بود اینه که خیلی از حملات جدید اصلاً شبیه حملات سنتی نیستند.

گاهی فقط یک Document آلوده وارد سیستم میشه.
یا یک داده‌ای که از بیرون بازیابی شده، باعث میشه مدل رفتار متفاوتی داشته باشه.

یا یک Agent دسترسی بیشتری از چیزی که نیاز داره داشته باشه و همین تبدیل به یک ریسک بزرگ بشه.
به نظرم یکی از مهم‌ترین نکات در امنیت LLM اینه:
یک System Prompt قوی به تنهایی امنیت ایجاد نمی‌کنه.
باید معماری درست داشته باشیم.

چند تا اصل ساده ولی مهم:
🔹 هر داده خارجی را به چشم ورودی غیرقابل اعتماد ببینیم.
🔹 دسترسی Agentها را محدود کنیم.
🔹 برای عملیات حساس تأیید انسانی داشته باشیم.
🔹 خروجی مدل را قبل از استفاده بررسی کنیم.
🔹 تغییرات Prompt و Pipeline را مرتب تست امنیتی کنیم.
دنیای AI خیلی سریع در حال رشد است و همزمان با قابلیت‌های جدید، ریسک‌های جدید هم ایجاد می‌شوند.
به نظرم آینده امنیت AI فقط در ساخت مدل‌های قوی‌تر نیست.

بخش مهم‌تر اینه که یاد بگیریم چطور این مدل‌ها را در یک معماری امن و قابل اعتماد استفاده کنیم.

#AI
#LLM
#AIsecurity
#CyberSecurity
#AIAgents
#MachineLearning
#PromptInjection

تا حالا شده از ChatGPT یا Claude یه سوال بپرسی و چند ثانیه بعد جواب آماده بشه، ولی به این فکر کنی پشت این چند ثانیه چه اتفاقی میفته؟
مدل‌های زبانی مستقیم با کلمه‌هایی که ما می‌نویسیم کار نمی‌کنن.

اول متن وارد Tokenizer میشه و به بخش‌های کوچکتری به اسم Token تبدیل میشه. بعد هر Token به یک عدد تبدیل میشه تا مدل بتونه اون رو پردازش کنه.

بعد از اون، این Tokenها وارد Embedding میشن؛ جایی که مدل هر Token رو به یک بردار عددی تبدیل می‌کنه تا ارتباط و مفهوم بین کلمات رو در یک فضای چندبعدی درک کنه.
بخش اصلی کار داخل Transformer اتفاق میفته.

اینجا Self-Attention باعث میشه مدل ارتباط بین Tokenهای مختلف رو بررسی کنه؛ یعنی بفهمه کدوم بخش‌های متن برای تولید پاسخ مهم‌تر هستند.

این فرآیند در چندین لایه تکرار میشه تا مدل به یک نمایش بهتر از متن برسه.
اما تولید پاسخ فقط به خود مدل مربوط نیست.

یکی از تکنیک‌های مهم برای سرعت، KV Cache هست.
مدل به جای اینکه هر بار کل متن قبلی رو دوباره پردازش کنه، بخشی از محاسبات قبلی رو ذخیره می‌کنه. البته هرچه طول Context بیشتر بشه، مصرف حافظه هم بیشتر میشه.
بعد می‌رسیم به Sampling.

مدل در واقع یک کلمه آماده انتخاب نمی‌کنه؛ برای Tokenهای مختلف احتمال در نظر می‌گیره و بر اساس روش انتخاب، خروجی می‌تونه متفاوت باشه.
مثلاً:
مورد اول : Greedy همیشه محتمل‌ترین گزینه رو انتخاب می‌کنه.
مورد دوم : Top-K از بین چند گزینه برتر انتخاب می‌کنه.
مورد سوم :Top-P انتخاب رو بر اساس مجموع احتمال‌ها محدود می‌کنه.

آقای Temperature هم میزان خلاقیت و تصادفی بودن خروجی رو تغییر میده.

یک تکنیک جالب دیگه هم Speculative Decoding هست.
اینجا یک مدل کوچک‌تر چند Token آینده رو حدس می‌زنه و مدل اصلی اون‌ها رو بررسی می‌کنه. اگر درست باشند، سرعت تولید بیشتر میشه.

در آخر Tokenها دوباره به متن قابل فهم تبدیل میشن و پاسخ به صورت Stream نمایش داده میشه.

یک نکته مهم این وسط وجود داره:
پردازش ورودی و تولید پاسخ دو مشکل متفاوت دارند.
مرحله‌ای که مدل ورودی ما رو پردازش می‌کنه بیشتر به قدرت پردازشی وابسته است.

ولی مرحله تولید پاسخ بیشتر با محدودیت حافظه درگیر است.

برای همین بهینه‌سازی مدل‌های AI فقط به قوی‌تر کردن GPU یا بزرگ‌تر کردن مدل خلاصه نمی‌شود؛ چون هر بخش از این مسیر یک چالش متفاوت دارد.

پشت یک پاسخ ساده از یک مدل زبانی، یک زنجیره کامل از Tokenization، محاسبات Transformer و تکنیک‌های بهینه‌سازی وجود دارد.

#AI
#LLM
#Transformer
#MachineLearning
#DeepLearning
#AIInfrastructure

این جمله که «هوش مصنوعی مثل انسان یاد می‌گیره، چون هر دو بر اساس الگوها کار می‌کنند» در نگاه اول درست به نظر می‌رسه، اما از نظر معماری شدیداً گمراه‌کننده‌ست.

چرا؟ چون زیرِ پوست این دو مکانیزم، دو دنیای کاملاً متفاوت در جریانه.

یک مدل زبانی (LLM) زبان رو فقط با یک هدف دنبال می‌کنه: پیش‌بینی توکن بعدی (Next-Token Prediction).

نه کلمات، نه معنا و درک مفهومی، فقط توکن‌ها. مدل با دریافت یک دنباله، حدس می‌زنه توکن بعدی چیه. این کار رو تریلیون‌ها بار انجام میده و تنها هدفش اینه که خطای پیش‌بینی رو به صفر نزدیک کنه.

در مقابل، انسان‌ها هم از الگوها استفاده می‌کنند، اما با هدفی متفاوت. وقتی شما یک متن یا داستان رو می‌خوانید، تمرکزتون روی پیش‌بینی کلمه بعدی نیست؛ بلکه دارید رویدادها، علت‌ها، انگیزه شخصیت‌ها و پیامدها رو توی ذهنتون تحلیل و ردیابی می‌کنید.

توی ذهن انسان، پیش‌بینی صرفاً یک اثر جانبی از «درک واقعیت» است، نه خودِ هدف!

برای درک بهتر میشه این مثال رو زد:
یک سیستم GPS می‌تونه دقیق‌ترین مسیر کوچه به کوچه رو به شما بده. اما یک انسان، ساختار شهر، محله‌ها، منطق ترافیک و علت انتخاب مسیر رو می‌فهمه.

هر دو ممکن است شما رو به یک مقصد یکسان برسانند، اما فقط یکی می‌دونه «چرا» این مسیر منطقیه!

علت اینکه LLMها گاهی پاسخ‌های کاملاً منطقی و مشابه استدلال انسان می‌دهند اما ناگهان توی یک منطق ساده اشتباه فاحش می‌کنند همینه: آن‌ها اول فکر نمی‌کنند تا بعد افکارشون رو به کلمه تبدیل کنند؛ خودِ فرایندِ «تولید کلمات»، کلِ فرایندِ تفکرِ آن‌هاست!

در نهایت، خروجی کار شاید در خیلی از سناریوها یکسان به نظر برسه، اما انسان الگوها رو می‌آموزه تا جهان رو درک کنه، در حالی که مدل زبانی الگوها رو می‌آموزه تا فقط توکن بعدی رو پیش‌بینی کنه.

نتیجه‌گیری گاهی مشابه، اما دو مسیر کاملاً متفاوت در یادگیری و پردازش.

#MachineLearning
#LLM
#DeepLearning
#AIArchitecture
#NLP
#TechAnalysis

سباستین راشکا شروع کرده به انتشار ویدئوهای کتاب جدیدش درباره‌ی Reasoning Models.

اگه می‌خواید واقعاً وارد مسیر AI Engineering بشید، این ویدئوها ارزش دیدن دارن.

موضوع فقط استفاده از مدل‌ها نیست؛ بحث اینه که چطور باید با مدل‌های Reasoning عمیق‌تر و مهندسی‌تر فکر کنیم، چطور رفتار اون‌ها رو درک کنیم و چطور ازشون در سیستم‌های واقعی استفاده کنیم.

یعنی به‌جای اینکه فقط بگیم «این مدل جواب خوبی میده»، بریم سراغ اینکه چرا جواب میده، چطور reasoning می‌کنه و چطور میشه این فرآیند رو مهندسی کرد.

🎥 لینک پلی‌لیست:
https://youtube.com/playlist?list=PLfrHAQCRxtUs&si=RDlXAHoMTLFxC8bs

پ.ن. برای کسی که می‌خواد از صرفاً استفاده‌کننده‌ی AI به سمت AI Engineer شدن بره، این جنس محتوا خیلی مهم‌تر از آموزش‌های صرفاً ابزارمحوره.

#AI
#AIEngineering
#ReasoningModels
#LLM
#MachineLearning