Deep Tech
https://www.youtube.com/watch?v=8TjK-s0468w ایلان ماسک هم یه سری حرفا زده، بررسی میکنم فردا
یذره پراکنده از اینور و اونور حرف میزنه
ولی خب، چکیده حرفای مهمش ایناست :
یه پیش بینی از هوش مصنوعی کرد که تا 5 سال دیگه، از مجموع هوش تمام انسان ها فراتر میره (فععک نکنم)
و تو بازه زمانی 10 سال آینده، هوش مصنوعی خیلی برتر از هوش انسان میشه
در مورد یه عصر جدید هم صحبت کرد (عصر فراوانی)، گفت که هوش مصنوعی ها که فیزیکی بشن (منظورش انسان نما بود)، یه اقتصاد شبه نامحدود به وجود میاد، که تو اون عصر، هرکی هرچی بخواد رو میتونه داشته باشه
کار کردن هم گفت اختیاری میشه، مثلا یه باغبون از سر لذت میره به باغا سر میزنه
مفهوم پول هم گفت که تا سال 2036 کلا از از بین میره ... (شبیه رمال ها تاریخ دقیقم میده)
پول اهمیت نداره، چون ربات ها بیشتر از حد توان انسان ها خدمات و کالا تولید میکنن و این حرفا ...
ولی خب، چکیده حرفای مهمش ایناست :
یه پیش بینی از هوش مصنوعی کرد که تا 5 سال دیگه، از مجموع هوش تمام انسان ها فراتر میره (فععک نکنم)
و تو بازه زمانی 10 سال آینده، هوش مصنوعی خیلی برتر از هوش انسان میشه
در مورد یه عصر جدید هم صحبت کرد (عصر فراوانی)، گفت که هوش مصنوعی ها که فیزیکی بشن (منظورش انسان نما بود)، یه اقتصاد شبه نامحدود به وجود میاد، که تو اون عصر، هرکی هرچی بخواد رو میتونه داشته باشه
کار کردن هم گفت اختیاری میشه، مثلا یه باغبون از سر لذت میره به باغا سر میزنه
مفهوم پول هم گفت که تا سال 2036 کلا از از بین میره ... (شبیه رمال ها تاریخ دقیقم میده)
پول اهمیت نداره، چون ربات ها بیشتر از حد توان انسان ها خدمات و کالا تولید میکنن و این حرفا ...
😁5👍2
بعدشم یه مقدار حرفای کلیشه ای تر زد
همونایی که گادفادر ای آی میگه
گفت که شرکت های هوش مصنوعی باید 2 هفته قبل انتشار، مدل هارو بدن بهم دیگه که بتونن نظارت امنیتی کنن
گفت که هوش مصنوعی رو باید کنکجاو و حقیقت جو بار بیاریم، تا ذاتا به انسان ها اهمیت بده ... (ببین اینکه اینجوری بار بیاریم درست، ولی با توجه به هدفت، فعععک نکنم راه حل مستقیمی رو ارائه داده باشی)
خطر انقراض هم گفت وجود داره، گفت احتمال 10 20 درصد به ربات های قاتل هم برسیم و تمدن انسان ها تموم بشه. ولی گفت که به این نتیجه رسیده که این پیشرفت اجتناب ناپذیره، باید شل کرد و لذت برد :)
در مورد رقابت چین و آمریکا هم یه حرفایی زد
گفت چین تو زمینه رباتیک خیلی قدرت داره، گفت تو غرب ما مشکل برق و خنک کنندگی داریم، درحالی که چین محدودیت تراشه داره
و البته، گفت که چین از مجموع آمریکا و اروپا و هند بیشتر برق تولید میکنه و احتمالا بیشتر هم بشه
همونایی که گادفادر ای آی میگه
گفت که شرکت های هوش مصنوعی باید 2 هفته قبل انتشار، مدل هارو بدن بهم دیگه که بتونن نظارت امنیتی کنن
گفت که هوش مصنوعی رو باید کنکجاو و حقیقت جو بار بیاریم، تا ذاتا به انسان ها اهمیت بده ... (ببین اینکه اینجوری بار بیاریم درست، ولی با توجه به هدفت، فعععک نکنم راه حل مستقیمی رو ارائه داده باشی)
خطر انقراض هم گفت وجود داره، گفت احتمال 10 20 درصد به ربات های قاتل هم برسیم و تمدن انسان ها تموم بشه. ولی گفت که به این نتیجه رسیده که این پیشرفت اجتناب ناپذیره، باید شل کرد و لذت برد :)
در مورد رقابت چین و آمریکا هم یه حرفایی زد
گفت چین تو زمینه رباتیک خیلی قدرت داره، گفت تو غرب ما مشکل برق و خنک کنندگی داریم، درحالی که چین محدودیت تراشه داره
و البته، گفت که چین از مجموع آمریکا و اروپا و هند بیشتر برق تولید میکنه و احتمالا بیشتر هم بشه
👍3❤🔥1
در مورد موضوع جایگزین شدن AI هم توی زمینه شغلی یه حرفایی زد
گفت که با این اوضاع، باید یک درآمد بالای جمعی/همگانی هم وجود داشته باشه
گفت در آینده تورم هم معکوس میشه، و قیمت ها میره پایین، چون سرعت تولید کالا، بیشتر از سرعت تولید پول میشه (راستم میگه ...)
یکمم در مورد اروپا و بریتانیا و اینا حرف زد ... در مورد جنگ و رسانه ها
در مورد استارشیپ و فضا هم یه حرفای عجیب غریبی زده (چای تریاک effect)
ولی خب در کل گفت که میخواد ساعتی یه استارشیپ هوا کنه که بتونه یه تمدن چند سیاره‌ای روی ماه و مریخ ایجاد کنه
در نهایت با اشاره به اثر کاساکاندار، گفت که میانگین موفقیتش توی پیش بینی آینده خیلی بالا هست، حتی اگه مردم اول حرفاشو باور نکنن (قبول دارم)
اگه بدتون نمیاد، ری اکت هم بدید🤗
@TheDeepTech
گفت که با این اوضاع، باید یک درآمد بالای جمعی/همگانی هم وجود داشته باشه
گفت در آینده تورم هم معکوس میشه، و قیمت ها میره پایین، چون سرعت تولید کالا، بیشتر از سرعت تولید پول میشه (راستم میگه ...)
یکمم در مورد اروپا و بریتانیا و اینا حرف زد ... در مورد جنگ و رسانه ها
در مورد استارشیپ و فضا هم یه حرفای عجیب غریبی زده (چای تریاک effect)
ولی خب در کل گفت که میخواد ساعتی یه استارشیپ هوا کنه که بتونه یه تمدن چند سیاره‌ای روی ماه و مریخ ایجاد کنه
در نهایت با اشاره به اثر کاساکاندار، گفت که میانگین موفقیتش توی پیش بینی آینده خیلی بالا هست، حتی اگه مردم اول حرفاشو باور نکنن (قبول دارم)
اگه بدتون نمیاد، ری اکت هم بدید🤗
@TheDeepTech
👍10❤5🤔1🤣1
Deep Tech
https://www.youtube.com/watch?v=X34ZmkeZDos
آتیفکت هارو که توی کلاد پابلیک میکنید، توسط مرورگر ها crawl میشه بعدا ...
این وسط وقتی دکمه share رو میزنید، و چت رو براتون یه لینک میده (با دامنه claude.ai)
و خب هرکسی به اون لینک دسترسی داشته باشه، میتونه به چتتون دسترسی داشته باشه
ولی اگه شما سرچ کنید :
مرورگر بهتون هیچی نشون نمیده، چون داخل robots txt جلوی crawler هارو گرفتن
با این حال شما میتونید یه crawler اختصاصی بسازید، و سالها بزارید تا برا خودش بگرده و چت ها share شده مردم رو پیدا کنید😅
@TheDeepTech
این وسط وقتی دکمه share رو میزنید، و چت رو براتون یه لینک میده (با دامنه claude.ai)
و خب هرکسی به اون لینک دسترسی داشته باشه، میتونه به چتتون دسترسی داشته باشه
ولی اگه شما سرچ کنید :
site:claude.ai/share
مرورگر بهتون هیچی نشون نمیده، چون داخل robots txt جلوی crawler هارو گرفتن
با این حال شما میتونید یه crawler اختصاصی بسازید، و سالها بزارید تا برا خودش بگرده و چت ها share شده مردم رو پیدا کنید😅
@TheDeepTech
🤯2🤣1
Deep Tech
برا استفاده هم چند تا راه داره که میتونید برید سایت kimi.com و دوتا ویژگی منحصر به فرد هم داره یکی اپلیکیشن Kimi Work، که روی ویندوز یا مک نصب میشه و دستیار شخصیتون میشه یکی هم افزونه Kimi Code ... فعلا هم گفتن که مدل در حالت عادی روی max thinking هست، و…
کیمی 3 به صورت Open Source روی پلتفرم Hugging Face منتشر شد
https://huggingface.co/moonshotai/Kimi-K3
@TheDeepTech
https://huggingface.co/moonshotai/Kimi-K3
@TheDeepTech
🔥3👍2🎉1
- 2.8T to 0.40B.
- 0.06B activated (2 of 8 experts active per token).
- Same architecture (kimi_linear (KimiK3ForConditionalGeneration)).
- Same new attention design scale.
- Same DNA, smaller version
- compressed it into a 0.40B version for testing.
- now fits in 1.5GB.
برا تحقیق و کار و توسعه روی معماری Kimi K3 ساخته شده، دنبال قدرت نباشد
چون :
Potato Hardware = Potato Model = Potato Benchmark
https://huggingface.co/inference-optimization/Kimi-K3-0.40B
@TheDeepTech
- 0.06B activated (2 of 8 experts active per token).
- Same architecture (kimi_linear (KimiK3ForConditionalGeneration)).
- Same new attention design scale.
- Same DNA, smaller version
- compressed it into a 0.40B version for testing.
- now fits in 1.5GB.
برا تحقیق و کار و توسعه روی معماری Kimi K3 ساخته شده، دنبال قدرت نباشد
چون :
Potato Hardware = Potato Model = Potato Benchmark
https://huggingface.co/inference-optimization/Kimi-K3-0.40B
@TheDeepTech
👍6
این مال هفته پیشه که راشکا منتشر کرد
جالب ترین معماری رو بین اینا، مدل Nanbeige 4.2 داره که اگه با این مدل آشنا باشید، سعی داره با یک مدل SLM با LLM ها رقابت بکنه
داخل تصویر هم اگه دقت بکنید، looped transformer استفاده کرده
یعنی بعد از اینکه token یکبار داخل transformer به طور کامل پردازش شد، برمیگیرده و یه بار دیگه هم دقیقا داخل همون وزن های Transformer پردازش میشه!
تکنیکش شبیه layer share توی مدل MobileLLM از meta هستش ...
البته اینکار به نظر من اصلا نمیصرفه ... حالا باز پایین توضیح میدم چرا
@TheDeepTech
جالب ترین معماری رو بین اینا، مدل Nanbeige 4.2 داره که اگه با این مدل آشنا باشید، سعی داره با یک مدل SLM با LLM ها رقابت بکنه
داخل تصویر هم اگه دقت بکنید، looped transformer استفاده کرده
یعنی بعد از اینکه token یکبار داخل transformer به طور کامل پردازش شد، برمیگیرده و یه بار دیگه هم دقیقا داخل همون وزن های Transformer پردازش میشه!
تکنیکش شبیه layer share توی مدل MobileLLM از meta هستش ...
البته اینکار به نظر من اصلا نمیصرفه ... حالا باز پایین توضیح میدم چرا
@TheDeepTech
اول بیا یه نگاه به مدل MobileLLM از meta بندازیم که چیکارا کرده بود :
https://arxiv.org/abs/2402.14905
https://arxiv.org/abs/2402.14905
arXiv.org
MobileLLM: Optimizing Sub-billion Parameter Language Models for...
This paper addresses the growing need for efficient large language models (LLMs) on mobile devices, driven by increasing cloud costs and latency concerns. We focus on designing top-quality LLMs...
Deep Tech
اول بیا یه نگاه به مدل MobileLLM از meta بندازیم که چیکارا کرده بود : https://arxiv.org/abs/2402.14905
ببینید این مدل چون هدف داشت زیر 1B باشه، بخش عظیمی از تمرکز خودش رو گذاشت روی معماری مدل ...
هرچند میدونید که الان ثابت شده که دیتا موثر تر هم هست ... به هر حال
اول از همه برای activiation function از swiglu استفاده کرده بودن که برا زمان خودش خیلی خوب بود ...
تکنیک بعدی، عمق در برابر عرض مدل بود
در واقع 19 تا مدل رو Train کردن و دیدن مدلی که عمیق تر هست، بیشتر وقت ها بهتر رابطه بین کلمات رو یاد میگیره ولی مدل عریض بیشتر حفظ میکنه و البته گرامر خیلی خوبی هم داره (البته اونزمان خیلی خوب مدل هارو بررسی نکردن، مقالات جدید در این رابطه منتشر شده که خیلی بهتر این موضوع رو بررسی کردن)
تکنیک بعدی که استفاده کرده بودن، Embedding Sharing بود ... چیزی که تو GPT 2 هم استفاده شده بود ..
نتایج هم نشون داده این تکنیک برای مدل های کوچیک واجبه اصلا، چون نه تنها پارامتر هارو خیلی کاهش میده، بحتی مدل بهتر هم میشه (سایز کوچیک)
و اما تکنیک آخر، یعنی Layer sharing که به 4 حالت انجامش دادن :
a = ABC
b = AABBCC
c = ABCABC
d = ABCCBA
اینکار پردازش رو طولانی تر میکنه، ولی تعداد پارامتر ها افزایش پیدا نمیکنه ...
هرچند میدونید که الان ثابت شده که دیتا موثر تر هم هست ... به هر حال
اول از همه برای activiation function از swiglu استفاده کرده بودن که برا زمان خودش خیلی خوب بود ...
تکنیک بعدی، عمق در برابر عرض مدل بود
در واقع 19 تا مدل رو Train کردن و دیدن مدلی که عمیق تر هست، بیشتر وقت ها بهتر رابطه بین کلمات رو یاد میگیره ولی مدل عریض بیشتر حفظ میکنه و البته گرامر خیلی خوبی هم داره (البته اونزمان خیلی خوب مدل هارو بررسی نکردن، مقالات جدید در این رابطه منتشر شده که خیلی بهتر این موضوع رو بررسی کردن)
تکنیک بعدی که استفاده کرده بودن، Embedding Sharing بود ... چیزی که تو GPT 2 هم استفاده شده بود ..
نتایج هم نشون داده این تکنیک برای مدل های کوچیک واجبه اصلا، چون نه تنها پارامتر هارو خیلی کاهش میده، بحتی مدل بهتر هم میشه (سایز کوچیک)
و اما تکنیک آخر، یعنی Layer sharing که به 4 حالت انجامش دادن :
a = ABC
b = AABBCC
c = ABCABC
d = ABCCBA
اینکار پردازش رو طولانی تر میکنه، ولی تعداد پارامتر ها افزایش پیدا نمیکنه ...
❤3🔥1🤔1
محقق ها به این نتیجه رسیده بودن که layer sharing سبک c عملکرد بهتری داره، و بدترین نتیجه رو هم d میده
ولی چون مدل رو قصد داشتن برای گوشی بسازن، از شکل b استفاده کردن
چون لایه ها پشت سر هم چند بار پردازش میشن و چه بهتر که وقتی داخل SRAM هست، همونجا چندبار پردازش کنیم و بعد بریم لایه بعدی
اینجوری سرعت infrence رو میتونیم خیلی بیشتر کنیم (خصوصا روی گوشی)
ولی چون مدل رو قصد داشتن برای گوشی بسازن، از شکل b استفاده کردن
چون لایه ها پشت سر هم چند بار پردازش میشن و چه بهتر که وقتی داخل SRAM هست، همونجا چندبار پردازش کنیم و بعد بریم لایه بعدی
اینجوری سرعت infrence رو میتونیم خیلی بیشتر کنیم (خصوصا روی گوشی)
👌3❤1
ولی حالا بیا برگردیم به مدل جدید Nanbeige که با 3B پارامتر کلی قدرت داره
ببینید، اون مدل هم به شکلی layer sharing رو انجام داده، ولی برای کل Transfomer Block
اینکار قدرت استدلال مدل رو بیشتر میکنه، چون توکن بجای اینکه با 22 لایه پردازش بشه، با 44 لایه پردازش میشه
ولی نه خیلی زیاد، چون وزن های مدل باید خیلی دقیق با این طرز پردازش tune بشه
پس مدل با ظرفیت عرضی پایین، کار خیلی سختیه که بتونه به خوبی از پسش بر بیاد ...
و در کل فقط یه مقدار عملکرد بهتر میشه، ولی سرعت و زمان پردازش، در نتیجه هزینه infrence و البته Train میره بالا
فقط برای یه ذره عملکرد بهتر
اما چرا؟! اونم وقتی نمیصرفه ...
چون هدف مدل اینه که با پارامتر کم اینکارو انجام بده و تمام ... دیگه هیچ چیز دیگه رو مد نظر نگرفتن
خلاصه که اینجوریا
ببینید، اون مدل هم به شکلی layer sharing رو انجام داده، ولی برای کل Transfomer Block
اینکار قدرت استدلال مدل رو بیشتر میکنه، چون توکن بجای اینکه با 22 لایه پردازش بشه، با 44 لایه پردازش میشه
ولی نه خیلی زیاد، چون وزن های مدل باید خیلی دقیق با این طرز پردازش tune بشه
پس مدل با ظرفیت عرضی پایین، کار خیلی سختیه که بتونه به خوبی از پسش بر بیاد ...
و در کل فقط یه مقدار عملکرد بهتر میشه، ولی سرعت و زمان پردازش، در نتیجه هزینه infrence و البته Train میره بالا
فقط برای یه ذره عملکرد بهتر
اما چرا؟! اونم وقتی نمیصرفه ...
چون هدف مدل اینه که با پارامتر کم اینکارو انجام بده و تمام ... دیگه هیچ چیز دیگه رو مد نظر نگرفتن
خلاصه که اینجوریا
👌6❤1