- 2.8T to 0.40B.
- 0.06B activated (2 of 8 experts active per token).
- Same architecture (kimi_linear (KimiK3ForConditionalGeneration)).
- Same new attention design scale.
- Same DNA, smaller version
- compressed it into a 0.40B version for testing.
- now fits in 1.5GB.
برا تحقیق و کار و توسعه روی معماری Kimi K3 ساخته شده، دنبال قدرت نباشد
چون :
Potato Hardware = Potato Model = Potato Benchmark
https://huggingface.co/inference-optimization/Kimi-K3-0.40B
@TheDeepTech
- 0.06B activated (2 of 8 experts active per token).
- Same architecture (kimi_linear (KimiK3ForConditionalGeneration)).
- Same new attention design scale.
- Same DNA, smaller version
- compressed it into a 0.40B version for testing.
- now fits in 1.5GB.
برا تحقیق و کار و توسعه روی معماری Kimi K3 ساخته شده، دنبال قدرت نباشد
چون :
Potato Hardware = Potato Model = Potato Benchmark
https://huggingface.co/inference-optimization/Kimi-K3-0.40B
@TheDeepTech
👍6
این مال هفته پیشه که راشکا منتشر کرد
جالب ترین معماری رو بین اینا، مدل Nanbeige 4.2 داره که اگه با این مدل آشنا باشید، سعی داره با یک مدل SLM با LLM ها رقابت بکنه
داخل تصویر هم اگه دقت بکنید، looped transformer استفاده کرده
یعنی بعد از اینکه token یکبار داخل transformer به طور کامل پردازش شد، برمیگیرده و یه بار دیگه هم دقیقا داخل همون وزن های Transformer پردازش میشه!
تکنیکش شبیه layer share توی مدل MobileLLM از meta هستش ...
البته اینکار به نظر من اصلا نمیصرفه ... حالا باز پایین توضیح میدم چرا
@TheDeepTech
جالب ترین معماری رو بین اینا، مدل Nanbeige 4.2 داره که اگه با این مدل آشنا باشید، سعی داره با یک مدل SLM با LLM ها رقابت بکنه
داخل تصویر هم اگه دقت بکنید، looped transformer استفاده کرده
یعنی بعد از اینکه token یکبار داخل transformer به طور کامل پردازش شد، برمیگیرده و یه بار دیگه هم دقیقا داخل همون وزن های Transformer پردازش میشه!
تکنیکش شبیه layer share توی مدل MobileLLM از meta هستش ...
البته اینکار به نظر من اصلا نمیصرفه ... حالا باز پایین توضیح میدم چرا
@TheDeepTech
اول بیا یه نگاه به مدل MobileLLM از meta بندازیم که چیکارا کرده بود :
https://arxiv.org/abs/2402.14905
https://arxiv.org/abs/2402.14905
arXiv.org
MobileLLM: Optimizing Sub-billion Parameter Language Models for...
This paper addresses the growing need for efficient large language models (LLMs) on mobile devices, driven by increasing cloud costs and latency concerns. We focus on designing top-quality LLMs...
Deep Tech
اول بیا یه نگاه به مدل MobileLLM از meta بندازیم که چیکارا کرده بود : https://arxiv.org/abs/2402.14905
ببینید این مدل چون هدف داشت زیر 1B باشه، بخش عظیمی از تمرکز خودش رو گذاشت روی معماری مدل ...
هرچند میدونید که الان ثابت شده که دیتا موثر تر هم هست ... به هر حال
اول از همه برای activiation function از swiglu استفاده کرده بودن که برا زمان خودش خیلی خوب بود ...
تکنیک بعدی، عمق در برابر عرض مدل بود
در واقع 19 تا مدل رو Train کردن و دیدن مدلی که عمیق تر هست، بیشتر وقت ها بهتر رابطه بین کلمات رو یاد میگیره ولی مدل عریض بیشتر حفظ میکنه و البته گرامر خیلی خوبی هم داره (البته اونزمان خیلی خوب مدل هارو بررسی نکردن، مقالات جدید در این رابطه منتشر شده که خیلی بهتر این موضوع رو بررسی کردن)
تکنیک بعدی که استفاده کرده بودن، Embedding Sharing بود ... چیزی که تو GPT 2 هم استفاده شده بود ..
نتایج هم نشون داده این تکنیک برای مدل های کوچیک واجبه اصلا، چون نه تنها پارامتر هارو خیلی کاهش میده، بحتی مدل بهتر هم میشه (سایز کوچیک)
و اما تکنیک آخر، یعنی Layer sharing که به 4 حالت انجامش دادن :
a = ABC
b = AABBCC
c = ABCABC
d = ABCCBA
اینکار پردازش رو طولانی تر میکنه، ولی تعداد پارامتر ها افزایش پیدا نمیکنه ...
هرچند میدونید که الان ثابت شده که دیتا موثر تر هم هست ... به هر حال
اول از همه برای activiation function از swiglu استفاده کرده بودن که برا زمان خودش خیلی خوب بود ...
تکنیک بعدی، عمق در برابر عرض مدل بود
در واقع 19 تا مدل رو Train کردن و دیدن مدلی که عمیق تر هست، بیشتر وقت ها بهتر رابطه بین کلمات رو یاد میگیره ولی مدل عریض بیشتر حفظ میکنه و البته گرامر خیلی خوبی هم داره (البته اونزمان خیلی خوب مدل هارو بررسی نکردن، مقالات جدید در این رابطه منتشر شده که خیلی بهتر این موضوع رو بررسی کردن)
تکنیک بعدی که استفاده کرده بودن، Embedding Sharing بود ... چیزی که تو GPT 2 هم استفاده شده بود ..
نتایج هم نشون داده این تکنیک برای مدل های کوچیک واجبه اصلا، چون نه تنها پارامتر هارو خیلی کاهش میده، بحتی مدل بهتر هم میشه (سایز کوچیک)
و اما تکنیک آخر، یعنی Layer sharing که به 4 حالت انجامش دادن :
a = ABC
b = AABBCC
c = ABCABC
d = ABCCBA
اینکار پردازش رو طولانی تر میکنه، ولی تعداد پارامتر ها افزایش پیدا نمیکنه ...
❤3🔥1🤔1
محقق ها به این نتیجه رسیده بودن که layer sharing سبک c عملکرد بهتری داره، و بدترین نتیجه رو هم d میده
ولی چون مدل رو قصد داشتن برای گوشی بسازن، از شکل b استفاده کردن
چون لایه ها پشت سر هم چند بار پردازش میشن و چه بهتر که وقتی داخل SRAM هست، همونجا چندبار پردازش کنیم و بعد بریم لایه بعدی
اینجوری سرعت infrence رو میتونیم خیلی بیشتر کنیم (خصوصا روی گوشی)
ولی چون مدل رو قصد داشتن برای گوشی بسازن، از شکل b استفاده کردن
چون لایه ها پشت سر هم چند بار پردازش میشن و چه بهتر که وقتی داخل SRAM هست، همونجا چندبار پردازش کنیم و بعد بریم لایه بعدی
اینجوری سرعت infrence رو میتونیم خیلی بیشتر کنیم (خصوصا روی گوشی)
👌3❤1
ولی حالا بیا برگردیم به مدل جدید Nanbeige که با 3B پارامتر کلی قدرت داره
ببینید، اون مدل هم به شکلی layer sharing رو انجام داده، ولی برای کل Transfomer Block
اینکار قدرت استدلال مدل رو بیشتر میکنه، چون توکن بجای اینکه با 22 لایه پردازش بشه، با 44 لایه پردازش میشه
ولی نه خیلی زیاد، چون وزن های مدل باید خیلی دقیق با این طرز پردازش tune بشه
پس مدل با ظرفیت عرضی پایین، کار خیلی سختیه که بتونه به خوبی از پسش بر بیاد ...
و در کل فقط یه مقدار عملکرد بهتر میشه، ولی سرعت و زمان پردازش، در نتیجه هزینه infrence و البته Train میره بالا
فقط برای یه ذره عملکرد بهتر
اما چرا؟! اونم وقتی نمیصرفه ...
چون هدف مدل اینه که با پارامتر کم اینکارو انجام بده و تمام ... دیگه هیچ چیز دیگه رو مد نظر نگرفتن
خلاصه که اینجوریا
ببینید، اون مدل هم به شکلی layer sharing رو انجام داده، ولی برای کل Transfomer Block
اینکار قدرت استدلال مدل رو بیشتر میکنه، چون توکن بجای اینکه با 22 لایه پردازش بشه، با 44 لایه پردازش میشه
ولی نه خیلی زیاد، چون وزن های مدل باید خیلی دقیق با این طرز پردازش tune بشه
پس مدل با ظرفیت عرضی پایین، کار خیلی سختیه که بتونه به خوبی از پسش بر بیاد ...
و در کل فقط یه مقدار عملکرد بهتر میشه، ولی سرعت و زمان پردازش، در نتیجه هزینه infrence و البته Train میره بالا
فقط برای یه ذره عملکرد بهتر
اما چرا؟! اونم وقتی نمیصرفه ...
چون هدف مدل اینه که با پارامتر کم اینکارو انجام بده و تمام ... دیگه هیچ چیز دیگه رو مد نظر نگرفتن
خلاصه که اینجوریا
👌6❤1
ببخشید اگه پراکنده و بد توضیح دادم، راستش وقت نذاشتم برا تایپ کردن و فرض رو بر این گذاشتم که خودتون دانش فنی رو دارید
با این حال اگه مطلب فنی به این شکل فکر میکنید بدردتون نمیخوره، ری اکشن گوریل بزنید🦍 :)
حتما رسیدگی میکنم
با این حال اگه مطلب فنی به این شکل فکر میکنید بدردتون نمیخوره، ری اکشن گوریل بزنید🦍 :)
حتما رسیدگی میکنم
👍8❤1
فردا سرم خلوت شه بازنویسی میکنم
خودم برگشتم یه دور خوندم، نفهمیدم چی نوشتم😅
خودم برگشتم یه دور خوندم، نفهمیدم چی نوشتم😅
😁6✍1👍1
علیرضام
چندتاییتون پرسیدن توی دایرکت
آیا این دوره ها باعث میشه استخدام بشیم
نه
آیا هیچ پوینت مثبتی نداره
بازم نه
ولی فکر نکنین دوره دیدی میتونی استخدام بشی
چندتاییتون پرسیدن توی دایرکت
آیا این دوره ها باعث میشه استخدام بشیم
نه
آیا هیچ پوینت مثبتی نداره
بازم نه
ولی فکر نکنین دوره دیدی میتونی استخدام بشی
Skill Self-Play: Pushing the Frontier of LLM Capability with Co-Evolving Skills
https://arxiv.org/abs/2607.22529
https://arxiv.org/abs/2607.22529
arXiv.org
Skill Self-Play: Pushing the Frontier of LLM Capability with...
LLM training is shifting from manual design and annotation to interaction-driven self-evolution. However, existing self-evolutionary methods face a fundamental dilemma between task diversity and...
❤1
1 میلیون کانتکس
برتری توی تسک های tool usage و self correction
9 میلیارد پارامتر
فایل تیون شده روی 500 میلیون توکن جنریت شده از fable 5
https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M
@TheDeepTech
برتری توی تسک های tool usage و self correction
9 میلیارد پارامتر
فایل تیون شده روی 500 میلیون توکن جنریت شده از fable 5
https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M
@TheDeepTech
❤1
Deep Tech
Photo
من خودم اینجور مدلا رو قبول ندارم
صرفا میرن یه مشت دیتا از مدل ها استخراج میکنن
بعد زارت unsloth رو برمیدارن و SFT میزنن روش
اسمشم میزارن تقطیر دانش و این حرفا ...
میگن fable رو آوردیم رو فلان مدل open source و این حرفا
در حالی که باید با توزیع وزن های مدل نرم رفتار کرد ...
distribution mismatch
اینکارا که انجام میدن ضعیف جواب میده
راه حل هم زیاده ... میدونید که ...
من خودم Vibethiner رو قبول دارم، با توجه به روشی که استفاده کرده، میشه تشخیص داد به این موضوع اهمیت داده
صرفا میرن یه مشت دیتا از مدل ها استخراج میکنن
بعد زارت unsloth رو برمیدارن و SFT میزنن روش
اسمشم میزارن تقطیر دانش و این حرفا ...
میگن fable رو آوردیم رو فلان مدل open source و این حرفا
در حالی که باید با توزیع وزن های مدل نرم رفتار کرد ...
distribution mismatch
اینکارا که انجام میدن ضعیف جواب میده
راه حل هم زیاده ... میدونید که ...
من خودم Vibethiner رو قبول دارم، با توجه به روشی که استفاده کرده، میشه تشخیص داد به این موضوع اهمیت داده
🤔1
Deep Tech
من خودم اینجور مدلا رو قبول ندارم صرفا میرن یه مشت دیتا از مدل ها استخراج میکنن بعد زارت unsloth رو برمیدارن و SFT میزنن روش اسمشم میزارن تقطیر دانش و این حرفا ... میگن fable رو آوردیم رو فلان مدل open source و این حرفا در حالی که باید با توزیع وزن های مدل…
البته اشتباه برداشت نکنید ...
در کل مدل بهتر میشه ...
ولی فرایند بهتر کردن مدل بهینه نیست با این روشا
در کل مدل بهتر میشه ...
ولی فرایند بهتر کردن مدل بهینه نیست با این روشا
علیرضام
داشتم برای یه جایی تیم سازی میکردم
اشتباهاتی که داشتن
این بود که هیچ حل مسئله ای با ابزارها نداشتن یا مسخره بود و چرا از این استفاده کردن ولی از اون یکی فریم ورک نه
و چیزی که همیشه مسخره میدونم درصد تسلط به یه ابزار
و واقعا مسخرس
بجاش درصد تسلط رو با یه پروژه نشون بده
رعایت کنید
داشتم برای یه جایی تیم سازی میکردم
اشتباهاتی که داشتن
این بود که هیچ حل مسئله ای با ابزارها نداشتن یا مسخره بود و چرا از این استفاده کردن ولی از اون یکی فریم ورک نه
و چیزی که همیشه مسخره میدونم درصد تسلط به یه ابزار
و واقعا مسخرس
بجاش درصد تسلط رو با یه پروژه نشون بده
رعایت کنید
👍2