به نظرم تفاوت اصلی OpenAI و Anthropic با Google و xAI فقط در مدل‌ها نیست و در زیرساخت هم هست.

وقتی به اقتصاد این شرکت‌ها نگاه می‌کنیم، یک تفاوت مهم دیده می‌شه.


این تفاوت روی قیمت تمام‌شده اثر مستقیم می‌ذاره.

تا وقتی فاصله‌ی عملکرد مدل‌ها خیلی زیاد بود، قیمت بالاتر قابل‌توجیه بود.

اما اگر مدل‌های رقبا از نظر کیفیت به هم نزدیک‌تر بشن، مسئله‌ی هزینه خیلی مهم‌تر می‌شه.

اینجا شرکتی که زیرساخت خودش رو کنترل می‌کنه، دست بازتری برای کاهش قیمت و افزایش حاشیه‌ی سود داره.

برای همین به نظرم رقابت آینده فقط این نیست که:

«کدوم مدل باهوش‌تره؟»

یک سؤال مهم‌تر اینه:

«کدوم شرکت می‌تونه این سطح از هوش رو با هزینه‌ی پایین‌تر ارائه بده؟»

اگر OpenAI و Anthropic نتونن دوباره با یک جهش جدی در عملکرد فاصله ایجاد کنن، ساختار هزینه و وابستگی زیرساختی می‌تونه به یکی از بزرگ‌ترین چالش‌های استراتژیکشون تبدیل بشه.

البته اینکه در نهایت چه اتفاقی برای مالکیت این شرکت‌ها می‌افته، هنوز کاملاً مشخص نیست؛ اما به نظرم اقتصاد زیرساخت می‌تونه به اندازه‌ی خود مدل‌ها تعیین‌کننده باشه.

#هوش_مصنوعی
#مدل_زبانی
#اقتصاد_هوش_مصنوعی
#زیرساخت
#تکنولوژی
#استارتاپ

#AI
#LLM
#OpenAI
#Anthropic
#Google
#xAI
#AIInfrastructure
#AIIndustry

تا حالا شده از ChatGPT یا Claude یه سوال بپرسی و چند ثانیه بعد جواب آماده بشه، ولی به این فکر کنی پشت این چند ثانیه چه اتفاقی میفته؟
مدل‌های زبانی مستقیم با کلمه‌هایی که ما می‌نویسیم کار نمی‌کنن.

اول متن وارد Tokenizer میشه و به بخش‌های کوچکتری به اسم Token تبدیل میشه. بعد هر Token به یک عدد تبدیل میشه تا مدل بتونه اون رو پردازش کنه.

بعد از اون، این Tokenها وارد Embedding میشن؛ جایی که مدل هر Token رو به یک بردار عددی تبدیل می‌کنه تا ارتباط و مفهوم بین کلمات رو در یک فضای چندبعدی درک کنه.
بخش اصلی کار داخل Transformer اتفاق میفته.

اینجا Self-Attention باعث میشه مدل ارتباط بین Tokenهای مختلف رو بررسی کنه؛ یعنی بفهمه کدوم بخش‌های متن برای تولید پاسخ مهم‌تر هستند.

این فرآیند در چندین لایه تکرار میشه تا مدل به یک نمایش بهتر از متن برسه.
اما تولید پاسخ فقط به خود مدل مربوط نیست.

یکی از تکنیک‌های مهم برای سرعت، KV Cache هست.
مدل به جای اینکه هر بار کل متن قبلی رو دوباره پردازش کنه، بخشی از محاسبات قبلی رو ذخیره می‌کنه. البته هرچه طول Context بیشتر بشه، مصرف حافظه هم بیشتر میشه.
بعد می‌رسیم به Sampling.

مدل در واقع یک کلمه آماده انتخاب نمی‌کنه؛ برای Tokenهای مختلف احتمال در نظر می‌گیره و بر اساس روش انتخاب، خروجی می‌تونه متفاوت باشه.
مثلاً:
مورد اول : Greedy همیشه محتمل‌ترین گزینه رو انتخاب می‌کنه.
مورد دوم : Top-K از بین چند گزینه برتر انتخاب می‌کنه.
مورد سوم :Top-P انتخاب رو بر اساس مجموع احتمال‌ها محدود می‌کنه.

آقای Temperature هم میزان خلاقیت و تصادفی بودن خروجی رو تغییر میده.

یک تکنیک جالب دیگه هم Speculative Decoding هست.
اینجا یک مدل کوچک‌تر چند Token آینده رو حدس می‌زنه و مدل اصلی اون‌ها رو بررسی می‌کنه. اگر درست باشند، سرعت تولید بیشتر میشه.

در آخر Tokenها دوباره به متن قابل فهم تبدیل میشن و پاسخ به صورت Stream نمایش داده میشه.

یک نکته مهم این وسط وجود داره:
پردازش ورودی و تولید پاسخ دو مشکل متفاوت دارند.
مرحله‌ای که مدل ورودی ما رو پردازش می‌کنه بیشتر به قدرت پردازشی وابسته است.

ولی مرحله تولید پاسخ بیشتر با محدودیت حافظه درگیر است.

برای همین بهینه‌سازی مدل‌های AI فقط به قوی‌تر کردن GPU یا بزرگ‌تر کردن مدل خلاصه نمی‌شود؛ چون هر بخش از این مسیر یک چالش متفاوت دارد.

پشت یک پاسخ ساده از یک مدل زبانی، یک زنجیره کامل از Tokenization، محاسبات Transformer و تکنیک‌های بهینه‌سازی وجود دارد.

#AI
#LLM
#Transformer
#MachineLearning
#DeepLearning
#AIInfrastructure