Deep Tech
اول بیا یه نگاه به مدل MobileLLM از meta بندازیم که چیکارا کرده بود : https://arxiv.org/abs/2402.14905
ببینید این مدل چون هدف داشت زیر 1B باشه، بخش عظیمی از تمرکز خودش رو گذاشت روی معماری مدل ...
هرچند میدونید که الان ثابت شده که دیتا موثر تر هم هست ... به هر حال
اول از همه برای activiation function از swiglu استفاده کرده بودن که برا زمان خودش خیلی خوب بود ...
تکنیک بعدی، عمق در برابر عرض مدل بود
در واقع 19 تا مدل رو Train کردن و دیدن مدلی که عمیق تر هست، بیشتر وقت ها بهتر رابطه بین کلمات رو یاد میگیره ولی مدل عریض بیشتر حفظ میکنه و البته گرامر خیلی خوبی هم داره (البته اونزمان خیلی خوب مدل هارو بررسی نکردن، مقالات جدید در این رابطه منتشر شده که خیلی بهتر این موضوع رو بررسی کردن)
تکنیک بعدی که استفاده کرده بودن، Embedding Sharing بود ... چیزی که تو GPT 2 هم استفاده شده بود ..
نتایج هم نشون داده این تکنیک برای مدل های کوچیک واجبه اصلا، چون نه تنها پارامتر هارو خیلی کاهش میده، بحتی مدل بهتر هم میشه (سایز کوچیک)
و اما تکنیک آخر، یعنی Layer sharing که به 4 حالت انجامش دادن :
a = ABC
b = AABBCC
c = ABCABC
d = ABCCBA
اینکار پردازش رو طولانی تر میکنه، ولی تعداد پارامتر ها افزایش پیدا نمیکنه ...
هرچند میدونید که الان ثابت شده که دیتا موثر تر هم هست ... به هر حال
اول از همه برای activiation function از swiglu استفاده کرده بودن که برا زمان خودش خیلی خوب بود ...
تکنیک بعدی، عمق در برابر عرض مدل بود
در واقع 19 تا مدل رو Train کردن و دیدن مدلی که عمیق تر هست، بیشتر وقت ها بهتر رابطه بین کلمات رو یاد میگیره ولی مدل عریض بیشتر حفظ میکنه و البته گرامر خیلی خوبی هم داره (البته اونزمان خیلی خوب مدل هارو بررسی نکردن، مقالات جدید در این رابطه منتشر شده که خیلی بهتر این موضوع رو بررسی کردن)
تکنیک بعدی که استفاده کرده بودن، Embedding Sharing بود ... چیزی که تو GPT 2 هم استفاده شده بود ..
نتایج هم نشون داده این تکنیک برای مدل های کوچیک واجبه اصلا، چون نه تنها پارامتر هارو خیلی کاهش میده، بحتی مدل بهتر هم میشه (سایز کوچیک)
و اما تکنیک آخر، یعنی Layer sharing که به 4 حالت انجامش دادن :
a = ABC
b = AABBCC
c = ABCABC
d = ABCCBA
اینکار پردازش رو طولانی تر میکنه، ولی تعداد پارامتر ها افزایش پیدا نمیکنه ...
❤3🔥1🤔1
محقق ها به این نتیجه رسیده بودن که layer sharing سبک c عملکرد بهتری داره، و بدترین نتیجه رو هم d میده
ولی چون مدل رو قصد داشتن برای گوشی بسازن، از شکل b استفاده کردن
چون لایه ها پشت سر هم چند بار پردازش میشن و چه بهتر که وقتی داخل SRAM هست، همونجا چندبار پردازش کنیم و بعد بریم لایه بعدی
اینجوری سرعت infrence رو میتونیم خیلی بیشتر کنیم (خصوصا روی گوشی)
ولی چون مدل رو قصد داشتن برای گوشی بسازن، از شکل b استفاده کردن
چون لایه ها پشت سر هم چند بار پردازش میشن و چه بهتر که وقتی داخل SRAM هست، همونجا چندبار پردازش کنیم و بعد بریم لایه بعدی
اینجوری سرعت infrence رو میتونیم خیلی بیشتر کنیم (خصوصا روی گوشی)
👌3❤1
ولی حالا بیا برگردیم به مدل جدید Nanbeige که با 3B پارامتر کلی قدرت داره
ببینید، اون مدل هم به شکلی layer sharing رو انجام داده، ولی برای کل Transfomer Block
اینکار قدرت استدلال مدل رو بیشتر میکنه، چون توکن بجای اینکه با 22 لایه پردازش بشه، با 44 لایه پردازش میشه
ولی نه خیلی زیاد، چون وزن های مدل باید خیلی دقیق با این طرز پردازش tune بشه
پس مدل با ظرفیت عرضی پایین، کار خیلی سختیه که بتونه به خوبی از پسش بر بیاد ...
و در کل فقط یه مقدار عملکرد بهتر میشه، ولی سرعت و زمان پردازش، در نتیجه هزینه infrence و البته Train میره بالا
فقط برای یه ذره عملکرد بهتر
اما چرا؟! اونم وقتی نمیصرفه ...
چون هدف مدل اینه که با پارامتر کم اینکارو انجام بده و تمام ... دیگه هیچ چیز دیگه رو مد نظر نگرفتن
خلاصه که اینجوریا
ببینید، اون مدل هم به شکلی layer sharing رو انجام داده، ولی برای کل Transfomer Block
اینکار قدرت استدلال مدل رو بیشتر میکنه، چون توکن بجای اینکه با 22 لایه پردازش بشه، با 44 لایه پردازش میشه
ولی نه خیلی زیاد، چون وزن های مدل باید خیلی دقیق با این طرز پردازش tune بشه
پس مدل با ظرفیت عرضی پایین، کار خیلی سختیه که بتونه به خوبی از پسش بر بیاد ...
و در کل فقط یه مقدار عملکرد بهتر میشه، ولی سرعت و زمان پردازش، در نتیجه هزینه infrence و البته Train میره بالا
فقط برای یه ذره عملکرد بهتر
اما چرا؟! اونم وقتی نمیصرفه ...
چون هدف مدل اینه که با پارامتر کم اینکارو انجام بده و تمام ... دیگه هیچ چیز دیگه رو مد نظر نگرفتن
خلاصه که اینجوریا
👌6❤1
ببخشید اگه پراکنده و بد توضیح دادم، راستش وقت نذاشتم برا تایپ کردن و فرض رو بر این گذاشتم که خودتون دانش فنی رو دارید
با این حال اگه مطلب فنی به این شکل فکر میکنید بدردتون نمیخوره، ری اکشن گوریل بزنید🦍 :)
حتما رسیدگی میکنم
با این حال اگه مطلب فنی به این شکل فکر میکنید بدردتون نمیخوره، ری اکشن گوریل بزنید🦍 :)
حتما رسیدگی میکنم
👍8❤1
فردا سرم خلوت شه بازنویسی میکنم
خودم برگشتم یه دور خوندم، نفهمیدم چی نوشتم😅
خودم برگشتم یه دور خوندم، نفهمیدم چی نوشتم😅
😁6✍1👍1
علیرضام
چندتاییتون پرسیدن توی دایرکت
آیا این دوره ها باعث میشه استخدام بشیم
نه
آیا هیچ پوینت مثبتی نداره
بازم نه
ولی فکر نکنین دوره دیدی میتونی استخدام بشی
چندتاییتون پرسیدن توی دایرکت
آیا این دوره ها باعث میشه استخدام بشیم
نه
آیا هیچ پوینت مثبتی نداره
بازم نه
ولی فکر نکنین دوره دیدی میتونی استخدام بشی
Skill Self-Play: Pushing the Frontier of LLM Capability with Co-Evolving Skills
https://arxiv.org/abs/2607.22529
https://arxiv.org/abs/2607.22529
arXiv.org
Skill Self-Play: Pushing the Frontier of LLM Capability with...
LLM training is shifting from manual design and annotation to interaction-driven self-evolution. However, existing self-evolutionary methods face a fundamental dilemma between task diversity and...
❤1
1 میلیون کانتکس
برتری توی تسک های tool usage و self correction
9 میلیارد پارامتر
فایل تیون شده روی 500 میلیون توکن جنریت شده از fable 5
https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M
@TheDeepTech
برتری توی تسک های tool usage و self correction
9 میلیارد پارامتر
فایل تیون شده روی 500 میلیون توکن جنریت شده از fable 5
https://huggingface.co/empero-ai/Qwythos-9B-Claude-Mythos-5-1M
@TheDeepTech
❤1
Deep Tech
Photo
من خودم اینجور مدلا رو قبول ندارم
صرفا میرن یه مشت دیتا از مدل ها استخراج میکنن
بعد زارت unsloth رو برمیدارن و SFT میزنن روش
اسمشم میزارن تقطیر دانش و این حرفا ...
میگن fable رو آوردیم رو فلان مدل open source و این حرفا
در حالی که باید با توزیع وزن های مدل نرم رفتار کرد ...
distribution mismatch
اینکارا که انجام میدن ضعیف جواب میده
راه حل هم زیاده ... میدونید که ...
من خودم Vibethiner رو قبول دارم، با توجه به روشی که استفاده کرده، میشه تشخیص داد به این موضوع اهمیت داده
صرفا میرن یه مشت دیتا از مدل ها استخراج میکنن
بعد زارت unsloth رو برمیدارن و SFT میزنن روش
اسمشم میزارن تقطیر دانش و این حرفا ...
میگن fable رو آوردیم رو فلان مدل open source و این حرفا
در حالی که باید با توزیع وزن های مدل نرم رفتار کرد ...
distribution mismatch
اینکارا که انجام میدن ضعیف جواب میده
راه حل هم زیاده ... میدونید که ...
من خودم Vibethiner رو قبول دارم، با توجه به روشی که استفاده کرده، میشه تشخیص داد به این موضوع اهمیت داده
🤔1
Deep Tech
من خودم اینجور مدلا رو قبول ندارم صرفا میرن یه مشت دیتا از مدل ها استخراج میکنن بعد زارت unsloth رو برمیدارن و SFT میزنن روش اسمشم میزارن تقطیر دانش و این حرفا ... میگن fable رو آوردیم رو فلان مدل open source و این حرفا در حالی که باید با توزیع وزن های مدل…
البته اشتباه برداشت نکنید ...
در کل مدل بهتر میشه ...
ولی فرایند بهتر کردن مدل بهینه نیست با این روشا
در کل مدل بهتر میشه ...
ولی فرایند بهتر کردن مدل بهینه نیست با این روشا
علیرضام
داشتم برای یه جایی تیم سازی میکردم
اشتباهاتی که داشتن
این بود که هیچ حل مسئله ای با ابزارها نداشتن یا مسخره بود و چرا از این استفاده کردن ولی از اون یکی فریم ورک نه
و چیزی که همیشه مسخره میدونم درصد تسلط به یه ابزار
و واقعا مسخرس
بجاش درصد تسلط رو با یه پروژه نشون بده
رعایت کنید
داشتم برای یه جایی تیم سازی میکردم
اشتباهاتی که داشتن
این بود که هیچ حل مسئله ای با ابزارها نداشتن یا مسخره بود و چرا از این استفاده کردن ولی از اون یکی فریم ورک نه
و چیزی که همیشه مسخره میدونم درصد تسلط به یه ابزار
و واقعا مسخرس
بجاش درصد تسلط رو با یه پروژه نشون بده
رعایت کنید
👍2
یه آپدیت ریز از دیپ سیک که مدل DeepSeekV4-Flash رو توی تسک های Agentic محور، همسطح مدل های opus کرده
فعلا باید منتظر آپدیت Lmarena موند تا ببینیم اعداد این بنچمارک های واقعیه یا نه ...
Source
@TheDeepTech
فعلا باید منتظر آپدیت Lmarena موند تا ببینیم اعداد این بنچمارک های واقعیه یا نه ...
Source
@TheDeepTech
❤5
دوستان شرمنده خبر و غیره توی چنل نمیزارم
فقط یکم دیگه فرصت میخوام تا سرم خلوت شه، بعدش دیگه پست بارون میکنم🤗
فقط یکم دیگه فرصت میخوام تا سرم خلوت شه، بعدش دیگه پست بارون میکنم🤗
❤15👎1
Deep Tech
به همین دلیله داره حالم از Ai و رشته کامپیوتر بهم میخوره #alireza
کار بجایی رسیده که من تگ #Hossein نمیزنم، ولی علیرضا میزنه😁
🤣8😁1
هوش مصنوعی برای مبتدیان - یک برنامه آموزشی
مایکروسافت یه دوره روی گیت هاب داره
12 هفته
24 درس
هوش مصنوعی برای همه
جالب اینجاست که به چند زبان نوشته شده (فارسی هم داره)
دوره خیلی با کیفیتی هست
هم دایکومنت توضیحی داره
هم نوت بوک به زبان pytorch و tensorflow داره
Source
@TheDeepTech
مایکروسافت یه دوره روی گیت هاب داره
12 هفته
24 درس
هوش مصنوعی برای همه
جالب اینجاست که به چند زبان نوشته شده (فارسی هم داره)
دوره خیلی با کیفیتی هست
هم دایکومنت توضیحی داره
هم نوت بوک به زبان pytorch و tensorflow داره
Source
@TheDeepTech
❤4🔥1