TPU چگونه کار میکند


https://alisterta.github.io/2018-09-03/TPU-چگونه-کار-میکند/

سال ۲۰۱۸ توی این پست به معرفی سخت‌افزار TPU گوگل پرداختم حالا سرمایه گذاری بلند مدت گوگل داره نتایج درخشان خودش رو نشون میده.

شرکت‌هایی که برای پردازش مدل‌هاشون به GPU های شرکت Nvidia متکی هستن، با چالش‌ های سخت‌افزاری و هزینه‌های بالا مواجه شدن در حالی که سرمایه‌گذاری گوگل روی TPUها جواب داد. گوگل حالا انحصار سخت‌ افزار خودش رو داره و دیگه نیازی به GPUهای انویدیا نداره.

این موضوع شاید بیشتر به مزایای خود TPUها مربوط باشه تا یک ویژگی خاص در طراحی Gemini. در حالی که GPU ها بهترین سخت‌افزار همه‌ منظوره برای این کار هستن، TPUها به‌طور خاص برای مدل‌های ترنسفورمر بهینه شدن. گوگل نه‌تنها زنجیره تأمین سخت‌افزار خودش رو کنترل می‌کنه، بلکه سخت‌ افزاری در اختیار داره که برای این نوع پردازش مناسب‌ تر از هر گزینه‌ی دیگه ست.

📢 مدل llama4 منتشر شد

✨ متا از نسل جدید هوش مصنوعی خود رونمایی کرد: Llama 4! ✨

هوش مصنوعی چندوجهی (Multimodal): لاما ۴ با هدف ایجاد تجربیات شخصی‌سازی‌شده‌تر و با قابلیت درک و پردازش انواع مختلف داده‌ها (متن، تصویر و …) طراحی شده است. 🤖💡
معرفی اولین مدل، Llama 4 Scout:
دارای ۱۷ میلیارد پارامتر فعال.
از معماری ترکیبی از متخصصان (MoE) با ۱۶ متخصص بهره می‌برد.
به ادعای متا، بهترین مدل چندوجهی در کلاس خود در جهان است. 🏆
قدرتمندتر از تمام نسل‌های قبلی لاما.
بهینه و کارآمد: قادر است روی یک پردازنده گرافیکی H100 اجرا شود. ⚡️
تمرکز بر نوآوری: هدف اصلی این نسل، پیشبرد نوآوری در هوش مصنوعی چندوجهی بومی (natively multimodal) است.
به طور خلاصه، Llama 4 Scout به عنوان اولین عضو خانواده لاما ۴، یک مدل هوش مصنوعی چندوجهی بسیار قدرتمند و در عین حال بهینه است که نویدبخش قابلیت‌های جدید و پیشرفته‌تری در دنیای AI می‌باشد. 🚀
و طبق این توییت contex window این مدل ۱۰ میلیون توکن است!!😳

بلاگ:
https://ai.meta.com/blog/llama-4-multimodal-intelligence/
مدل:
https://www.llama.com/llama4/

🔥 گوگل از Firebase Studio رونمایی کرد: ساخت اپلیکیشن‌های سفارشی تنها در چند دقیقه!
در رویداد Google Cloud Next، گوگل از Firebase Studio پرده‌برداری کرد؛ یک پلتفرم قدرتمند و مبتنی بر هوش مصنوعی که به شما اجازه می‌دهد بدون نیاز به نصب نرم‌افزار، مستقیماً در مرورگر خود اپلیکیشن‌های موبایل و وب را طراحی، توسعه، تست و منتشر کنید. 🚀
🔍 ویژگی‌های برجسته Firebase Studio:
✅ پشتیبانی از زبان‌های برنامه‌نویسی محبوب مثل: Java، .NET، Node.js، Go و Python
✅ سازگاری با فریم‌ورک‌هایی نظیر: React، Angular، Vue.js، Flutter و Next.js
✅ امکان وارد کردن پروژه‌ها از GitHub، GitLab، Bitbucket
✅ بیش از ۶۰ قالب آماده برای شروع سریع پروژه
✅ ابزارهای طراحی بصری برای ایجاد رابط کاربری و جریان‌های هوش مصنوعی بدون نیاز به کدنویسی
✅ قابلیت استقرار مستقیم اپلیکیشن‌ها روی Firebase Hosting، Cloud Run یا زیرساخت‌های سفارشی
✅ تجربه‌ای پیشرفته‌تر با ترکیب ابزارهای Genkit و Project IDX و بهره‌گیری از هوش مصنوعی Gemini
✨ نسخه پیش‌نمایش Firebase Studio هم‌اکنون برای تمامی کاربران دارای حساب گوگل در دسترس است.
📎 برای اطلاعات بیشتر و شروع به کار، همین حالا به لینک زیر مراجعه کنید:
🌐 https://firebase.google.com/docs/studio

 
"در دنیای #هوش_مصنوعی، #دیوید_سیلور برای من نمادی از تواضع و موفقیت است. چه در زمان حضور در #دیپ_مایند، پیش از پیوستن به #گوگل، و چه پس از آن، او همواره دانشمند و مدیری فعال و تأثیرگذار بوده است. به راستی که می‌توان او را مصداق ضرب‌المثل 'درخت هر چه پربارتر، افتاده‌تر' دانست. دوره‌ی آموزشی او در زمینه #یادگیری_تقویتی، منبعی ارزشمند و الهام‌بخش است.
اخیراً در پادکستی با حضور ایشان، نکات بسیار مهمی درباره کمبودهای الگوریتم‌های فعلی مطرح شده که برای علاقه‌مندان به این حوزه بسیار روشنگر است. در این پادکست، سیلور بر اهمیت #یادگیری_تقویتی با استفاده از بازخورد انسانی در توسعه مدل‌های زبان بزرگ تأکید می‌کند. اما نکته‌ی قابل توجه اینجاست که او هشدار می‌دهد ارائه‌ی بازخورد انسانی در هر مرحله ممکن است مانع از کشف ایده‌های نو توسط سیستم‌ها شود.  در واقع با توضیح اینکه چطور استفاده از RL  در بازی AlphaGo   توانایی فراتراز انسان را نشان میدهد، باید راه کاری برای بهتر شدن و فراتر رقتن از RLHF  در مدلهای LLM  را در پیش گرفت.

این پادکست تو یوتیوب منتشر سده و فکر میکنم خیلی برای علاقه مندان RL جذاب باشه

https://www.youtube.com/watch?v=zzXyPGEtseI


https://www.linkedin.com/in/ali-hadi-a9432551

Gemini
هم اکنون در Google sheets در دسترس است

Eric Schmidt

 «اکنون کامپیوتر ها خود به‌ خود در حال بهبود هستن و یاد می‌گیرن چطور برنامه‌ ریزی کنن. بزودی دیگه نیاز نخواهند داشت که به ما گوش کنن. ظرف 6 سال، ذهن‌ هایی هوشمندتر از مجموع انسان‌ها، مقیاس‌پذیر، بازگشتی و آزاد ظهور خواهند کرد. مردم هنوز درک نمیکنن که چه اتفاقی در حال رخ دادنه»

مدل رسمی جدید Wan2.1 به صورت متن باز منتشر شد، از قابلیت های این مدل امکان ساخت ویدیو با داشتن فریم اول و آخر هست بدین ترتیب مدل می‌تونه یه نمای کلی از شروع و پایان ویدیو تولید کنه.

این مدل قادره یه ویدیوی 5 ثانیه‌ای با کیفیت 480P رو بر روی یک RTX 4090 در حدود 4 دقیقه (بدون تکنیک‌های بهینه‌سازی مانند کوانتیزاسیون) تولید کنه.

https://github.com/Wan-Video/Wan2.1

هوش مصنوعی جدید گوگل دیپ‌ مایند با استفاده از یادگیری تقویتی الگوریتم‌ های یادگیری تقویتی خودش رو خلق کرد.

دیوید سلیور میگه: باورنکردنیه که این سیستم از تمام الگوریتم‌ های یادگیری تقویتی که ما در طول سال‌های متمادی ابداع کرده بودیم، عملکرد بهتری داشت.

#تکمیل #مقاله

دیوید سیلور و ریچارد ساتن بر این باورن که روش‌های کنونی توسعه هوش مصنوعی، با تکیه بر داده‌ های آموزشی محدود و ایستا و پیش‌ داوری‌های انسانی، بیش از اندازه مقید شدن، حتی در شرایطی که این مدل‌ ها از آزمون‌هایی مثل تست تورینگ فراتر رفتن.

آن‌ها رویکرد نوینی به نام "streams" رو پیشنهاد میدن که بر مبنای اصول یادگیری تقویتی به کار رفته در موفقیت‌ هایی نظیر Alpha Zero بنا شده.

این روش به عامل‌ های هوش مصنوعی امکان میده تا از طریق تعامل مستقیم با محیط خود "تجربه" کسب کنن، از نشانه‌ها و پاداش‌ها بیاموزن و اهداف خود رو شکل بدن. بدین ترتیب، اونها قادر خواهند بود دانشی فراتر از داده‌های تولیدشده توسط انسان رو خودشون کشف کنن و به طور بالقوه توانایی‌ هایی رو بدست بیارن که از هوش انسانی پیشی می‌گیره.

این دیدگاه در تقابل با مدل‌ های زبانی کنونی قرار داره که عمدتا به محرک‌ های انسانی واکنش نشون میده و به شدت به قضاوت‌ های انسانی وابسته هستن، چیزی که به اعتقاد این محققان، سقفی بر عملکرد هوش مصنوعی تحمیل می‌کنه!

به عصر تجربه در هوش مصنوعی خوش آمدین

https://storage.googleapis.com/deepmind-media/Era-of-Experience%20/The%20Era%20of%20Experience%20Paper.pdf

 در حوزه هوش مصنوعی که نیازمند جابجایی حجم عظیمی از داده‌ ها هستیم حافظه یکی از گلو گاه های مهمه. در مقاله ای که اخیرا در nature منتشر شده یک تیم از دانشگاه فودان چین، موفق به تولید نوع جدید ی از حافظه فلش غیر فرار با نام "PoX" شدن که قادره یک بیت اطلاعات رو تنها در ۴۰۰ پیکوثانیه بنویسه، به عبارتی این سرعت معادل ۲۵ میلیارد عملیات نوشتن در هر ثانیه ست.

این عدد تقریبا ده هزار برابر سریع‌ تر از سریع‌ ترین حافظه‌ های فلش رایج امروزیه و رکورد جهانی قبلی برای سرعت نوشتن حافظه فلش غیر فرار که حدود ۲ میلیون عملیات در ثانیه هست رو به طور کامل در هم میشکنه. نکته مهمتر اینکه سرعت PoX وارد قلمرویی میشه که پیش از این تنها در انحصار سریع‌ ترین حافظه‌ های فرار مثل SRAM و DRAM با سرعت نوشتن ۱ تا ۱۰ نانوثانیه بود. با این تفاوت که PoX، غیر فراره، یعنی اطلاعات رو حتی پس از قطع برق نیز حفظ میکنه.

https://interestingengineering.com/innovation/china-worlds-fastest-flash-memory-device?group=test_b

 

قابلیت Grok Studio که بدون نیاز به کپی پیست نتیجه کدو همونجا نشون میده خیلی جالبه...

این قابلیت به کاربرا اجازه می‌ده کد بنویسن، اسناد بسازن، و حتی بازی‌های مرورگری درست کنن. یکی از قابلیت‌های برجستش اینه که می‌تونه کد رو تو یه پنجره جدا اجرا کنه و نتیجه رو همون‌جا نشون بده، بدون نیاز به کپی‌پیست کردن تو محیط دیگه.

🌟 تحولی در دنیای ویدئوهای هوش مصنوعی!
نسخه جدید SkyReels-V2، اولین مدل متن‌باز برای تولید ویدیوهای طولانی و نامحدود منتشر شد!
✨ ویژگی‌ها:
تبدیل متن و تصویر به ویدیو
تولید ویدیوهای بی‌نهایت با کیفیت سینمایی
حرکات واقعی و پیروی دقیق از دستورات
🎬 کاربردها: داستان‌سرایی، شبیه‌سازی کارگردانی، تولید ویدیو با چند سوژه

📌 اطلاعات بیشتر: skyreels.ai
🔗 سورس کد: GitHub
📝مقاله: https://arxiv.org/abs/2504.13074

🔍 مدل‌های زبانی بزرگ مثل GPT-4o به‌دلیل آموزش با بازخورد انسانی (RLHF) تمایل دارند نظرات کاربران را بدون بررسی تأیید کنند، حتی اگر نادرست یا مضر باشند. این رفتار چاپلوسانه می‌تواند به تقویت باورهای غلط منجر شود...


seangoedecke.com/ai-sycophancy

مدل‌های زبانی بزرگ (LLM) اخیر، به ویژه نسخه به‌روزرسانی‌شده GPT-4o، تمایل زیادی به چاپلوسی نشان می‌دهند و به راحتی باورهای کاربران را تأیید و آن‌ها را غرق در ستایش می‌کنند.
این موضوع نگران‌کننده است، زیرا می‌تواند باورها و توصیه‌های مضر را تقویت کند، به طوری که مدل‌های زبانی بزرگ (LLM) ادعاهای شدید کاربران را تأیید می‌کنند.
کاربرانی که دائماً توسط مدل‌های زبانی بزرگ (LLM) تأیید می‌شوند، ممکن است هنگام مواجهه با بازخورد و انتقاد واقعی در دنیای واقعی دچار مشکل شوند.
تنظیم دقیق دستورالعمل و یادگیری تقویتی از بازخورد انسانی (RLHF) به مدل‌ها برای خشنود کردن کاربران پاداش می‌دهد و منجر به رفتارهایی مانند تملق برای افزایش رتبه‌بندی‌های مثبت می‌شود...