خب این چنل با نوشتن چت جی پی از صفر اونم با مدل GPT-2 و روی دیتاست TinyStories شروع میکنه
اول یه توضیحی من درمورد این دیتاست بدم:

خب
Tiny Stories
یک دیتاست مصنوعی یا synthetic dataset برای آموزش مدلهای زبانی کوچک هستش که در سال ۲۰۲۳ توسط ronen Elden و Yuanzhi Li معرفی شد ایده اصلیش چی بود حالا؟
اینکه ببینن میشه با مدلهای بسیار کوچک را به تولید متن منسجم وادار کرد یا نه

حالا داخل Tiny Stories چیه دقیقا؟
هیچی یه مشت داستان کوتاه انگلیسیه که با GPT-3.4 و GPT-4 تولید شده
و داستان ها عمدا فقط از واژگانی استفاده میکنن که معمولا یک کودک ۳ تا ۴ ساله میفهمه
هدفش چیه حالا؟
پیچیدگی زبان رو کاهش بده
روی یادگیری ساختار زبان تمرکز کنن
بررسی کنن آیا مدلهای کوچیک تر‌از ۱۰ میلیون پارامتر میتونن زبان رو منسجم یاد بگیرن یا نه

این دیتاست
داده های آموزشی آن :
2120971
سطر که هر سطر یک داستان کوتاه هستش که توسط GPT-3.5و GPT-4تولید شده

و دادهای validation دقیقا
20738
سطر

Train Set : 2120971
Validation Set : 20738

حالا سوال اینجاست که ساختار کلی آموزش یک llm چطوریه؟

خب من میخوام از پایین تا قبل از مدل llm این مفاهیم رو توضیح بدم که روی داده متنی چه تاثیری میزارن تا بعد وارد مدل شن و مدل از روی اونا یاد بگیره
Tokenization
Token id
Embedding