تفاوت‌های استنتاج LLM با مدل‌های سنتی ML
استنتاج در مدل‌های زبانی بزرگ (LLM) به دلیل ماهیت پویا و غیرخطی، با مدل‌های سنتی یادگیری ماشین متفاوت است و نیاز به تکنیک‌های اختصاصی دارد. در مدل‌های سنتی، ورودی و خروجی طول ثابتی دارند، اما در LLMها به دلیل متغیر بودن طول توالی‌ها، استفاده از روش Continuous Batching ضروری است تا GPU معطل اتمام طولانی‌ترین درخواست نماند.
سایر تفاوت‌ها و راهکارهای بهینه‌سازی عبارتند از:
* Prefill-decode Disaggregation: جداسازی منابع محاسباتی برای مرحله پردازش ورودی (compute-heavy) و تولید خروجی (latency-sensitive).
* Paged Attention: مدیریت حافظه KV Cache در بلوک‌های غیرپیوسته برای جلوگیری از تکه‌تکه‌شدن حافظه.
* Prefix-aware Routing: هدایت درخواست‌های دارای پیش‌بندی (Prefix) مشابه به همان GPU که حافظه آن را کش کرده است.
* Expert Parallelism: توزیع متخصص‌ها در مدل‌های MoE میان دستگاه‌های مختلف، به طوری که هر GPU فقط وزن‌های بخشی از مدل را میزبانی می‌کند.
جزییات کامل
#Continuous_Batching #Paged_Attention
استنتاج در مدل‌های زبانی بزرگ (LLM) به دلیل ماهیت پویا و غیرخطی، با مدل‌های سنتی یادگیری ماشین متفاوت است و نیاز به تکنیک‌های اختصاصی دارد. در مدل‌های سنتی، ورودی و خروجی طول ثابتی دارند، اما در LLMها به دلیل متغیر بودن طول توالی‌ها، استفاده از روش Continuous Batching ضروری است تا GPU معطل اتمام طولانی‌ترین درخواست نماند.
سایر تفاوت‌ها و راهکارهای بهینه‌سازی عبارتند از:
* Prefill-decode Disaggregation: جداسازی منابع محاسباتی برای مرحله پردازش ورودی (compute-heavy) و تولید خروجی (latency-sensitive).
* Paged Attention: مدیریت حافظه KV Cache در بلوک‌های غیرپیوسته برای جلوگیری از تکه‌تکه‌شدن حافظه.
* Prefix-aware Routing: هدایت درخواست‌های دارای پیش‌بندی (Prefix) مشابه به همان GPU که حافظه آن را کش کرده است.
* Expert Parallelism: توزیع متخصص‌ها در مدل‌های MoE میان دستگاه‌های مختلف، به طوری که هر GPU فقط وزن‌های بخشی از مدل را میزبانی می‌کند.
جزییات کامل
🇮🇷 - هوش مصنوعی و علم داده به فارسی
تلگرام | بله | ایتا | ارتباط با ما
#Continuous_Batching #Paged_Attention
Media is too big
VIEW IN TELEGRAM
🎮 عرضه کنسول بازی ModRetro توسط OpenAI
اوپن‌ای‌آی در ادامه تولید محصولات فیزیکی خود، کنسول بازی ModRetro Chromatic Codex Edition را با قیمت ۲۰۰ دلار عرضه کرده است. این دستگاه که ظاهری شبیه به کنسول‌های کلاسیک دارد، از کارتریج‌های Game Boy و Game Boy Color پشتیبانی می‌کند.
ویژگی اصلی این محصول، ابزاری به نام Codex است که به کاربران اجازه می‌دهد بازی‌های خود را طراحی کنند. از طریق پلاگین مربوطه، کاربران می‌توانند جزئیات مراحل و انیمیشن‌ها را با استفاده از مدل‌های زبانی توصیف کنند تا کدهای بازی تولید شود.
مهم‌ترین قابلیت‌های این سیستم شامل موارد زیر است:
* امکان اجرای بازی‌های ساخته شده در کنسول با استفاده از کارتریج‌های قابل بازنویسی.
* ارائه محیط شبیه‌ساز داخلی برای تست سریع بازی‌ها پیش از انتقال به کنسول.
* دسترسی به گالری بازی‌های نمونه مانند FlapGPT از طریق بخش توسعه‌دهندگان اوپن‌ای‌آی که بدون نیاز به کنسول نیز در مرورگر قابل اجرا هستند.
برای انتقال بازی‌های ساخته‌شده به کنسول، کاربران باید میان‌افزار دستگاه را به‌روزرسانی کرده و حالت توسعه‌دهنده (Developer Mode) را فعال کنند.
🇮🇷 تلگرام
اوپن‌ای‌آی در ادامه تولید محصولات فیزیکی خود، کنسول بازی ModRetro Chromatic Codex Edition را با قیمت ۲۰۰ دلار عرضه کرده است. این دستگاه که ظاهری شبیه به کنسول‌های کلاسیک دارد، از کارتریج‌های Game Boy و Game Boy Color پشتیبانی می‌کند.
ویژگی اصلی این محصول، ابزاری به نام Codex است که به کاربران اجازه می‌دهد بازی‌های خود را طراحی کنند. از طریق پلاگین مربوطه، کاربران می‌توانند جزئیات مراحل و انیمیشن‌ها را با استفاده از مدل‌های زبانی توصیف کنند تا کدهای بازی تولید شود.
مهم‌ترین قابلیت‌های این سیستم شامل موارد زیر است:
* امکان اجرای بازی‌های ساخته شده در کنسول با استفاده از کارتریج‌های قابل بازنویسی.
* ارائه محیط شبیه‌ساز داخلی برای تست سریع بازی‌ها پیش از انتقال به کنسول.
* دسترسی به گالری بازی‌های نمونه مانند FlapGPT از طریق بخش توسعه‌دهندگان اوپن‌ای‌آی که بدون نیاز به کنسول نیز در مرورگر قابل اجرا هستند.
برای انتقال بازی‌های ساخته‌شده به کنسول، کاربران باید میان‌افزار دستگاه را به‌روزرسانی کرده و حالت توسعه‌دهنده (Developer Mode) را فعال کنند.
🇮🇷 تلگرام
This media is not supported in your browser
VIEW IN TELEGRAM
🖼 انتشار مدل H3-Image از MiniMax با خروجی 4K
شرکت MiniMax مدل تولید تصویر H3-Image را عرضه کرد. این مدل که بر پایه معماری مدل ویدئویی H3 ساخته شده، توانایی تولید تصاویر بومی با ابعاد 4096×4096 پیکسل را تنها در مهم‌ترین مراحل دارد.
از ویژگی‌های فنی این مدل می‌توان به موارد زیر اشاره کرد:
* پشتیبانی از پرامپت‌های بسیار طولانی تا ۳۲ هزار کاراکتر و استفاده از ۱۶ تصویر مرجع.
* سرعت تولید در حالت Highspeed حدود ۱۰.۳ ثانیه و در حالت Standard حدود ۱۶ ثانیه.
* استفاده از دیفیوژن ترنسفورمر ۳۳.۱ میلیاردی که برای اجرا به همراه انکودر و VAE به حدود ۱۳۵ گیگابایت حافظه نیاز دارد.
کاربران می‌توانند از طریق مخزن گیت‌هاب به کدهای مرتبط دسترسی پیدا کنند، وزن‌های مدل را از Hugging Face دانلود کنند یا عملکرد آن را در fal آزمایش کنند. برای سیستم‌هایی با کارت گرافیک ۲۴ گیگابایتی، استفاده از SGLang برای انتقال لایه‌ها به RAM پیشنهاد شده است. همچنین قالب‌های استفاده از این مدل در ComfyUI نیز در دسترس قرار گرفته‌اند.
#H3_Image #DiffusionTransformer
شرکت MiniMax مدل تولید تصویر H3-Image را عرضه کرد. این مدل که بر پایه معماری مدل ویدئویی H3 ساخته شده، توانایی تولید تصاویر بومی با ابعاد 4096×4096 پیکسل را تنها در مهم‌ترین مراحل دارد.
از ویژگی‌های فنی این مدل می‌توان به موارد زیر اشاره کرد:
* پشتیبانی از پرامپت‌های بسیار طولانی تا ۳۲ هزار کاراکتر و استفاده از ۱۶ تصویر مرجع.
* سرعت تولید در حالت Highspeed حدود ۱۰.۳ ثانیه و در حالت Standard حدود ۱۶ ثانیه.
* استفاده از دیفیوژن ترنسفورمر ۳۳.۱ میلیاردی که برای اجرا به همراه انکودر و VAE به حدود ۱۳۵ گیگابایت حافظه نیاز دارد.
کاربران می‌توانند از طریق مخزن گیت‌هاب به کدهای مرتبط دسترسی پیدا کنند، وزن‌های مدل را از Hugging Face دانلود کنند یا عملکرد آن را در fal آزمایش کنند. برای سیستم‌هایی با کارت گرافیک ۲۴ گیگابایتی، استفاده از SGLang برای انتقال لایه‌ها به RAM پیشنهاد شده است. همچنین قالب‌های استفاده از این مدل در ComfyUI نیز در دسترس قرار گرفته‌اند.
🇮🇷 - هوش مصنوعی و علم داده به فارسی
تلگرام | بله | ایتا | ارتباط با ما
#H3_Image #DiffusionTransformer
🤖 عرضه مدل متن‌باز Nex-N2.6 برای عامل‌های هوشمند
موسسه نوآوری شانگهای مدل چندوجهی Nex-N2.6 را برای اجرای وظایف خودمختار در محیط‌های رایانه‌ای معرفی کرد. این مدل که توانایی پردازش متن، تصویر و ویدیو را دارد، در ارزیابی‌های فنی عملکرد قابل‌توجهی نشان داده است.
بر اساس داده‌های ارائه‌شده توسط توسعه‌دهندگان، نتایج کلیدی این مدل به شرح زیر است:
- کسب امتیاز 83 در بنچمارک OSWorld برای تعامل با رابط کاربری.
- کسب امتیاز 84.1 در Terminal-Bench 2.1.
- موفقیت صددرصدی در انتخاب ابزار در تمامی سناریوهای آزمایشی.
- کاهش خطای تکرار استدلال از 16 درصد به 1.6 درصد نسبت به نسخه قبلی.
در مقایسه، این مدل در بنچمارک‌های ذکر شده امتیازات بالاتری نسبت به DeepSeek-V4.1-Flash کسب کرده است. Nex-N2.6 برای اجرای وظایف طولانی، برنامه‌نویسی و مدیریت رابط‌ها بدون از دست دادن کانتکست طراحی شده است.
دسترسی به مدل:
- مخزن گیت‌هاب
- صفحه Hugging Face
- استفاده از API
#Nex_N2_6 #OSWorld
موسسه نوآوری شانگهای مدل چندوجهی Nex-N2.6 را برای اجرای وظایف خودمختار در محیط‌های رایانه‌ای معرفی کرد. این مدل که توانایی پردازش متن، تصویر و ویدیو را دارد، در ارزیابی‌های فنی عملکرد قابل‌توجهی نشان داده است.
بر اساس داده‌های ارائه‌شده توسط توسعه‌دهندگان، نتایج کلیدی این مدل به شرح زیر است:
- کسب امتیاز 83 در بنچمارک OSWorld برای تعامل با رابط کاربری.
- کسب امتیاز 84.1 در Terminal-Bench 2.1.
- موفقیت صددرصدی در انتخاب ابزار در تمامی سناریوهای آزمایشی.
- کاهش خطای تکرار استدلال از 16 درصد به 1.6 درصد نسبت به نسخه قبلی.
در مقایسه، این مدل در بنچمارک‌های ذکر شده امتیازات بالاتری نسبت به DeepSeek-V4.1-Flash کسب کرده است. Nex-N2.6 برای اجرای وظایف طولانی، برنامه‌نویسی و مدیریت رابط‌ها بدون از دست دادن کانتکست طراحی شده است.
دسترسی به مدل:
- مخزن گیت‌هاب
- صفحه Hugging Face
- استفاده از API
🇮🇷 - هوش مصنوعی و علم داده به فارسی
تلگرام | بله | ایتا | ارتباط با ما
#Nex_N2_6 #OSWorld
به‌روزرسانی پیش‌بینی ظهور هوش مصنوعی فوق‌انسانی در سال ۲۰۲۷
تیم پروژه AI Futures بر اساس داده‌های جدید گزارش METR، پیش‌بینی خود از روند توسعه هوش مصنوعی را به‌روز کرد. بر اساس این تحلیل، سرعت توسعه مدل‌ها در شرکت Anthropic حدود دو برابر نرخ تاریخی است و واقعیّت، حدود ۵ ماه از سناریوی اولیه «AI 2027» پیش افتاده است.
مهم‌ترین یافته‌های این گزارش شامل موارد زیر است:
* SAR (محقق هوش مصنوعی فوق‌انسانی): سیستمی که در آن شرکت‌ها ترجیح می‌دهند تمام محققان انسانی را اخراج و به هوش مصنوعی تکیه کنند. پیش‌بینی می‌شود این سیستم در سال ۲۰۲۷ ظهور کند.
* TED-AI (هوش مصنوعی مسلط بر متخصصان): پیش‌بینی شده با احتمال ۳۵ تا ۶۵ درصد، سیستمی که قادر به خودکارسازی تمام کارهای یقه سفید است، پیش از سال ۲۰۲۸ محقق شود.
* خودکارسازی تحقیق و توسعه: طبق مدل‌سازی انجام شده، تا نوامبر ۲۰۲۷ حدود ۹۵ درصد از وظایف تحقیق و توسعه مدل‌ها به سطح خودکارسازی کامل (AL5) خواهد رسید.
* روش‌شناسی پیش‌بینی: این نتایج بر پایه برون‌یابی نرخ رشد AECI و کیفیت «ذائقه تحقیقاتی» مدل‌ها استخراج شده است.
🇮🇷 تلگرام
تیم پروژه AI Futures بر اساس داده‌های جدید گزارش METR، پیش‌بینی خود از روند توسعه هوش مصنوعی را به‌روز کرد. بر اساس این تحلیل، سرعت توسعه مدل‌ها در شرکت Anthropic حدود دو برابر نرخ تاریخی است و واقعیّت، حدود ۵ ماه از سناریوی اولیه «AI 2027» پیش افتاده است.
مهم‌ترین یافته‌های این گزارش شامل موارد زیر است:
* SAR (محقق هوش مصنوعی فوق‌انسانی): سیستمی که در آن شرکت‌ها ترجیح می‌دهند تمام محققان انسانی را اخراج و به هوش مصنوعی تکیه کنند. پیش‌بینی می‌شود این سیستم در سال ۲۰۲۷ ظهور کند.
* TED-AI (هوش مصنوعی مسلط بر متخصصان): پیش‌بینی شده با احتمال ۳۵ تا ۶۵ درصد، سیستمی که قادر به خودکارسازی تمام کارهای یقه سفید است، پیش از سال ۲۰۲۸ محقق شود.
* خودکارسازی تحقیق و توسعه: طبق مدل‌سازی انجام شده، تا نوامبر ۲۰۲۷ حدود ۹۵ درصد از وظایف تحقیق و توسعه مدل‌ها به سطح خودکارسازی کامل (AL5) خواهد رسید.
* روش‌شناسی پیش‌بینی: این نتایج بر پایه برون‌یابی نرخ رشد AECI و کیفیت «ذائقه تحقیقاتی» مدل‌ها استخراج شده است.
🇮🇷 تلگرام
🧠 مدل Graphon؛ ساخت گراف دانش بدون اسکیما برای حافظه ایجنت‌ها
حافظه یکی از چالش‌های اصلی در توسعه ایجنت‌های هوش مصنوعی است. پروژه Graphon بدون نیاز به طراحی دستی اسکیما، تمام اسناد، ایمیل‌ها، تصاویر و ویدیوهای سازمان را در یک گراف واحد یکپارچه می‌کند تا ورود داده‌های جدید باعث شکست ساختار نشود.
این ابزار در بنچمارک LoCoMo با استفاده از تنها ۷.۹ هزار توکن کانتکست به دقت ۹۴ درصد رسیده است؛ عملکردی بالاتر از مدل‌های پیشرو که به کل تاریخچه دسترسی دارند. Graphon همچنین در بنچمارک ATM-Bench برای ارزیابی داده‌های چندساله ایمیل، عکس و ویدیو، رتبه نخست را کسب کرده است.
حافظه یکی از چالش‌های اصلی در توسعه ایجنت‌های هوش مصنوعی است. پروژه Graphon بدون نیاز به طراحی دستی اسکیما، تمام اسناد، ایمیل‌ها، تصاویر و ویدیوهای سازمان را در یک گراف واحد یکپارچه می‌کند تا ورود داده‌های جدید باعث شکست ساختار نشود.
این ابزار در بنچمارک LoCoMo با استفاده از تنها ۷.۹ هزار توکن کانتکست به دقت ۹۴ درصد رسیده است؛ عملکردی بالاتر از مدل‌های پیشرو که به کل تاریخچه دسترسی دارند. Graphon همچنین در بنچمارک ATM-Bench برای ارزیابی داده‌های چندساله ایمیل، عکس و ویدیو، رتبه نخست را کسب کرده است.
🇮🇷 - هوش مصنوعی و علم داده به فارسی
تلگرام | بله | ایتا | ارتباط با ما
معرفی سیستم AlphaProof Code برای تایید رسمی کد
گوگل دیپ‌مایند سیستم جدیدی به نام AlphaProof Code را عرضه کرده که برای تایید رسمی (Formal Verification) نرم‌افزارها طراحی شده است. برخلاف روش‌های سنتی که به تست‌های تجربی متکی هستند، این سیستم با تبدیل ویژگی‌های برنامه به زبان ریاضی، اثباتی دقیق برای صحت عملکرد کد در تمامی ورودی‌های ممکن ایجاد می‌کند.
این ابزار یک سیستم چندعاملی مبتنی بر مدل‌های Gemini است که فرآیند دشوار و زمان‌بر تایید ریاضی کد را خودکارسازی می‌کند. در اولین کاربرد، این سیستم توانست صحت پروتکل رمزنگاری Signal را به‌صورت ریاضی اثبات کند. در این پروژه، ایجنت‌های هوش مصنوعی با تولید بیش از ۶ میلیون خط کد در زبان Lean، در چهار هفته به نتایجی دست یافتند که پیش از این برای تیم‌های انسانی سال‌ها زمان می‌برد. تنها یک درصد از خروجی‌های این سیستم نیاز به بازبینی توسط متخصصان انسانی داشت.
گوگل دیپ‌مایند سیستم جدیدی به نام AlphaProof Code را عرضه کرده که برای تایید رسمی (Formal Verification) نرم‌افزارها طراحی شده است. برخلاف روش‌های سنتی که به تست‌های تجربی متکی هستند، این سیستم با تبدیل ویژگی‌های برنامه به زبان ریاضی، اثباتی دقیق برای صحت عملکرد کد در تمامی ورودی‌های ممکن ایجاد می‌کند.
این ابزار یک سیستم چندعاملی مبتنی بر مدل‌های Gemini است که فرآیند دشوار و زمان‌بر تایید ریاضی کد را خودکارسازی می‌کند. در اولین کاربرد، این سیستم توانست صحت پروتکل رمزنگاری Signal را به‌صورت ریاضی اثبات کند. در این پروژه، ایجنت‌های هوش مصنوعی با تولید بیش از ۶ میلیون خط کد در زبان Lean، در چهار هفته به نتایجی دست یافتند که پیش از این برای تیم‌های انسانی سال‌ها زمان می‌برد. تنها یک درصد از خروجی‌های این سیستم نیاز به بازبینی توسط متخصصان انسانی داشت.
🇮🇷 - هوش مصنوعی و علم داده به فارسی
تلگرام | بله | ایتا | ارتباط با ما
This media is not supported in your browser
VIEW IN TELEGRAM
🎨 بایت‌دنس مدل ویرایش تصویر Seedream 5.5 را معرفی کرد
بخش هوش مصنوعی بایت‌دنس مدل Seedream 5.5 را برای تولید و ویرایش تصویر منتشر کرد. این مدل امکان ویرایش متوالی یک تصویر را تا ۱۰۰ مرحله فراهم می‌کند، به طوری که بخش‌های دست‌نخورده در سطح پیکسل حفظ می‌شوند و جزییات تصویر از بین نمی‌روند.
مهم‌ترین ویژگی‌ها:
• تولید مستقیم تصاویر شفاف و نیمه‌شفاف در قالب
• بهبود خوانایی متن‌های کوچک و بازسازی طبیعی‌تر نور، متریال‌ها و بافت پوست
بایت‌دنس ادعا کرده این مدل در واقع‌گرایی بالاتر از GPT-Image 2.5 Sunburst قرار می‌گیرد؛ هرچند به‌تازگی نسخه GPT-Image 2.6 نیز عرضه شده است.
بخش هوش مصنوعی بایت‌دنس مدل Seedream 5.5 را برای تولید و ویرایش تصویر منتشر کرد. این مدل امکان ویرایش متوالی یک تصویر را تا ۱۰۰ مرحله فراهم می‌کند، به طوری که بخش‌های دست‌نخورده در سطح پیکسل حفظ می‌شوند و جزییات تصویر از بین نمی‌روند.
مهم‌ترین ویژگی‌ها:
• تولید مستقیم تصاویر شفاف و نیمه‌شفاف در قالب
RGBA بدون نیاز به حذف پس‌زمینه• بهبود خوانایی متن‌های کوچک و بازسازی طبیعی‌تر نور، متریال‌ها و بافت پوست
بایت‌دنس ادعا کرده این مدل در واقع‌گرایی بالاتر از GPT-Image 2.5 Sunburst قرار می‌گیرد؛ هرچند به‌تازگی نسخه GPT-Image 2.6 نیز عرضه شده است.
🇮🇷 - هوش مصنوعی و علم داده به فارسی
تلگرام | بله | ایتا | ارتباط با ما
🧠 خلاصه تحولات 24 ساعت گذشته هوش مصنوعی و علوم داده
🗂 گزارش #18 | 📌 4 آیتم گزارش | 🧾 از 17 پست بررسی‌شده
🕐 چهارشنبه 1405/08/20 ساعت 14:00 تا پنجشنبه 1405/08/21 ساعت 14:00
بهینه‌سازی استنتاج مدل‌های زبانی
تفاوت در طول متغیر توالی‌ها و نیاز به مدیریت حافظه KV Cache، به‌کارگیری تکنیک‌هایی نظیر Paged Attention و Continuous Batching را برای جلوگیری از اتلاف منابع GPU ضروری کرده است. با جداسازی فازهای محاسباتی سنگین از مراحل حساس به تأخیر، می‌توان بازدهی سرویس‌دهی مدل را افزایش داد. پیاده‌سازی این روش‌ها برای دستیابی به خروجی پایدار در محیط‌های عملیاتی اجتناب‌ناپذیر است.
🔬 مدل‌ها و ابزارهای هوشمند
عرضه مدل Nex-N2.6
مدل چندوجهی جدید با تمرکز بر اجرای خودمختار وظایف در رابط‌های کاربری و کاهش نرخ خطای استدلال.
مدل Graphon برای مدیریت حافظه
سامانه گراف دانش بدون نیاز به اسکیما جهت یکپارچه‌سازی اسناد و افزایش دقت بازیابی اطلاعات ایجنت‌ها.
سیستم AlphaProof Code
ابزار دیپ‌مایند برای تایید رسمی و ریاضی صحت عملکرد کدهای برنامه‌نویسی با استفاده از مدل‌های Gemini.
بهینه‌سازی استنتاج LLM
راهکارهای فنی شامل Prefill-decode Disaggregation و Paged Attention برای افزایش کارایی در مدل‌های زبانی بزرگ.
🗂 گزارش #18 | 📌 4 آیتم گزارش | 🧾 از 17 پست بررسی‌شده
🕐 چهارشنبه 1405/08/20 ساعت 14:00 تا پنجشنبه 1405/08/21 ساعت 14:00
بهینه‌سازی استنتاج مدل‌های زبانی
تفاوت در طول متغیر توالی‌ها و نیاز به مدیریت حافظه KV Cache، به‌کارگیری تکنیک‌هایی نظیر Paged Attention و Continuous Batching را برای جلوگیری از اتلاف منابع GPU ضروری کرده است. با جداسازی فازهای محاسباتی سنگین از مراحل حساس به تأخیر، می‌توان بازدهی سرویس‌دهی مدل را افزایش داد. پیاده‌سازی این روش‌ها برای دستیابی به خروجی پایدار در محیط‌های عملیاتی اجتناب‌ناپذیر است.
🔬 مدل‌ها و ابزارهای هوشمند
عرضه مدل Nex-N2.6
مدل چندوجهی جدید با تمرکز بر اجرای خودمختار وظایف در رابط‌های کاربری و کاهش نرخ خطای استدلال.
مدل Graphon برای مدیریت حافظه
سامانه گراف دانش بدون نیاز به اسکیما جهت یکپارچه‌سازی اسناد و افزایش دقت بازیابی اطلاعات ایجنت‌ها.
سیستم AlphaProof Code
ابزار دیپ‌مایند برای تایید رسمی و ریاضی صحت عملکرد کدهای برنامه‌نویسی با استفاده از مدل‌های Gemini.
بهینه‌سازی استنتاج LLM
راهکارهای فنی شامل Prefill-decode Disaggregation و Paged Attention برای افزایش کارایی در مدل‌های زبانی بزرگ.
🇮🇷 - هوش مصنوعی و علم داده به فارسی
تلگرام | بله | ایتا | ارتباط با ما
💻 اجرای مدل هوش مصنوعی بدون محدودیت روی سیستم شخصی
این راهنما روش اجرای مدل تغییریافته Gemma 4 را روی سیستم‌های شخصی توضیح می‌دهد؛ مدلی که تمامی محدودیت‌های پاسخ‌دهی در آن حذف شده است. این نسخه برای اجرا نیازمند حدود ۸ تا ۱۲ گیگابایت حافظه گرافیکی و دانلود فایل ۷.۴ گیگابایتی است.
مراحل اجرا:
* نصب ابزار Ollama برای مدیریت مدل‌های محلی.
* دانلود مدل با دستور
* اجرای مدل با دستور
طبق اطلاعات صفحه Hugging Face، این مدل در تست‌های صورت‌گرفته هیچ‌کدام از ۱۰۰ پرسش حساس را رد نکرده است. نویسنده این راهنما تأکید دارد که حذف محدودیت‌ها به معنای افزایش هوشمندی مدل نیست و برای کارهای برنامه‌نویسی تخصصی همچنان از مدل‌های ابری استفاده می‌کند. اجرای این مدل به صورت محلی انجام می‌شود و هیچ اطلاعاتی از سیستم شما خارج نمی‌شود.
#Ollama #Gemma_4
این راهنما روش اجرای مدل تغییریافته Gemma 4 را روی سیستم‌های شخصی توضیح می‌دهد؛ مدلی که تمامی محدودیت‌های پاسخ‌دهی در آن حذف شده است. این نسخه برای اجرا نیازمند حدود ۸ تا ۱۲ گیگابایت حافظه گرافیکی و دانلود فایل ۷.۴ گیگابایتی است.
مراحل اجرا:
* نصب ابزار Ollama برای مدیریت مدل‌های محلی.
* دانلود مدل با دستور
ollama pull igorls/gemma-4-12B-it-heretic-GGUF.* اجرای مدل با دستور
ollama run igorls/gemma-4-12B-it-heretic-GGUF و وارد کردن عبارت /set nothink در محیط چت.طبق اطلاعات صفحه Hugging Face، این مدل در تست‌های صورت‌گرفته هیچ‌کدام از ۱۰۰ پرسش حساس را رد نکرده است. نویسنده این راهنما تأکید دارد که حذف محدودیت‌ها به معنای افزایش هوشمندی مدل نیست و برای کارهای برنامه‌نویسی تخصصی همچنان از مدل‌های ابری استفاده می‌کند. اجرای این مدل به صورت محلی انجام می‌شود و هیچ اطلاعاتی از سیستم شما خارج نمی‌شود.
🇮🇷 - هوش مصنوعی و علم داده به فارسی
تلگرام | بله | ایتا | ارتباط با ما
#Ollama #Gemma_4
Media is too big
VIEW IN TELEGRAM
🧪 اجرای بدون انقطاع آزمایش شیمی با مدل GR00T 2 انویدیا
انویدیا ویدئویی از عملکرد مدل جدید GR00T 2 منتشر کرده که در آن یک ربات، یک آزمایش شیمی را از ابتدا تا انتها انجام می‌دهد و سپس وسایل را مرتب می‌کند. به گفته جیم فن، مدیر بخش رباتیک انویدیا، این ویدیو بدون انقطاع، کاملاً مستقل و با سرعت واقعی (1x) ضبط شده است.
مدل GR00T 2 کنترل دست‌های ربات را بر عهده دارد و روی سیستم پردازشی خود ربات اجرا می‌شود. انویدیا این مدل را منتشر کرده و وزن‌های مدل به همراه ۱۰۰ هزار ساعت داده آموزشی آن را در دسترس قرار داده است.
#GR00T2 #NvidiaRobotics
انویدیا ویدئویی از عملکرد مدل جدید GR00T 2 منتشر کرده که در آن یک ربات، یک آزمایش شیمی را از ابتدا تا انتها انجام می‌دهد و سپس وسایل را مرتب می‌کند. به گفته جیم فن، مدیر بخش رباتیک انویدیا، این ویدیو بدون انقطاع، کاملاً مستقل و با سرعت واقعی (1x) ضبط شده است.
مدل GR00T 2 کنترل دست‌های ربات را بر عهده دارد و روی سیستم پردازشی خود ربات اجرا می‌شود. انویدیا این مدل را منتشر کرده و وزن‌های مدل به همراه ۱۰۰ هزار ساعت داده آموزشی آن را در دسترس قرار داده است.
🇮🇷 - هوش مصنوعی و علم داده به فارسی
تلگرام | بله | ایتا | ارتباط با ما
#GR00T2 #NvidiaRobotics
❤1
Media is too big
VIEW IN TELEGRAM
🤖 عرضه Grok Bot 1.0 با قابلیت حضور در جلسات کاری
نسخه جدید Grok Bot 1.0 معرفی شد. این ربات اکنون به‌گونه‌ای طراحی شده که مانند یک همکار در تیم‌های کاری فعالیت کند. اعضای تیم می‌توانند از یک ربات مشترک در Slack، Microsoft Teams یا جلسات ویدیویی استفاده کنند.
مهم‌ترین قابلیت‌های این ابزار عبارتند از:
- شناسایی خودکار وظایف ناتمام، مهلت‌های زمانی نزدیک و تغییرات در اولویت‌های پژوهشی.
- پیشنهاد برای انجام کارها و ارجاع به انسان در صورت نیاز به تصمیم‌گیری تخصصی.
- امکان یادگیری روش‌های جدید از یک کاربر و اشتراک‌گذاری آن با تمام اعضای تیم.
- رعایت سطوح دسترسی کاربران و کسب اجازه پیش از انجام فعالیت‌های حساس.
استفاده از ربات‌های اشتراکی در طرح‌های Team و Enterprise و حضور در جلسات ویدیویی برای کاربران سطوح Team، Enterprise و Ultra در دسترس است.
#Grok_Bot #Microsoft_Teams
نسخه جدید Grok Bot 1.0 معرفی شد. این ربات اکنون به‌گونه‌ای طراحی شده که مانند یک همکار در تیم‌های کاری فعالیت کند. اعضای تیم می‌توانند از یک ربات مشترک در Slack، Microsoft Teams یا جلسات ویدیویی استفاده کنند.
مهم‌ترین قابلیت‌های این ابزار عبارتند از:
- شناسایی خودکار وظایف ناتمام، مهلت‌های زمانی نزدیک و تغییرات در اولویت‌های پژوهشی.
- پیشنهاد برای انجام کارها و ارجاع به انسان در صورت نیاز به تصمیم‌گیری تخصصی.
- امکان یادگیری روش‌های جدید از یک کاربر و اشتراک‌گذاری آن با تمام اعضای تیم.
- رعایت سطوح دسترسی کاربران و کسب اجازه پیش از انجام فعالیت‌های حساس.
استفاده از ربات‌های اشتراکی در طرح‌های Team و Enterprise و حضور در جلسات ویدیویی برای کاربران سطوح Team، Enterprise و Ultra در دسترس است.
🇮🇷 - هوش مصنوعی و علم داده به فارسی
تلگرام | بله | ایتا | ارتباط با ما
#Grok_Bot #Microsoft_Teams
🛡 ارزیابی امنیت مدل‌های هوش مصنوعی در محیط ایزوله
تیم Perplexity در تازه‌ترین بررسی خود، توانایی ۱۲ مدل هوش مصنوعی را برای خروج از محیط مجازی (Sandbox) و دور زدن محدودیت‌های شبکه آزمایش کرده است. نتایج کلیدی این تحقیق به شرح زیر است:
- هیچ‌کدام از مدل‌ها موفق به شکستن ایزولاسیون ماشین مجازی و دسترسی به سیستم میزبان نشدند.
- مدل
- مدل
- مدل
این بررسی نشان داد که استانداردهای رایج مسابقات CTF ممکن است مانع ارزیابی دقیق امنیتی شوند، زیرا مدل‌ها به جای تمرکز بر مرزهای ایزولاسیون، وقت خود را صرف جستجوی رشته‌های متنی خاص می‌کنند. با تغییر نحوه ارائه وظایف، دقت مدل‌ها در بررسی لایه‌های مجازی‌سازی حدود ۶۰ درصد افزایش یافت.
🇮🇷 تلگرام
تیم Perplexity در تازه‌ترین بررسی خود، توانایی ۱۲ مدل هوش مصنوعی را برای خروج از محیط مجازی (Sandbox) و دور زدن محدودیت‌های شبکه آزمایش کرده است. نتایج کلیدی این تحقیق به شرح زیر است:
- هیچ‌کدام از مدل‌ها موفق به شکستن ایزولاسیون ماشین مجازی و دسترسی به سیستم میزبان نشدند.
- مدل
GPT-5.6 Sol در تمامی تلاش‌ها محدودیت‌های شبکه را دور زد، در حالی که نسخه تخصصی GPT-5.6 Cyber در هر سه تست شکست خورد.- مدل
GPT-6 Astra توانست با میانگین زمان ۴.۸ دقیقه حملات شبکه موفقی را انجام دهد.- مدل
Grok 4.20 در ۲مهم‌ترین موارد ادعای نفوذ موفق داشت، اما در واقعیت به داده‌های حساس دسترسی پیدا نکرد و حتی در یک مورد پاسخ ساختگی از AWS API تولید کرد.این بررسی نشان داد که استانداردهای رایج مسابقات CTF ممکن است مانع ارزیابی دقیق امنیتی شوند، زیرا مدل‌ها به جای تمرکز بر مرزهای ایزولاسیون، وقت خود را صرف جستجوی رشته‌های متنی خاص می‌کنند. با تغییر نحوه ارائه وظایف، دقت مدل‌ها در بررسی لایه‌های مجازی‌سازی حدود ۶۰ درصد افزایش یافت.
🇮🇷 تلگرام
ثبت پتنت مایکروسافت برای آموزش هوش مصنوعی با GPU سیستم‌های خانگی
مایکروسافت پتنتی با شماره US 12,792,414 B2 ثبت کرده که هدف آن استفاده از توان پردازشی بلااستفاده GPU در کامپیوترهای گیمینگ و سایر دستگاه‌های لبه برای آموزش مدل‌های هوش مصنوعی است.
در این طرح، فرآیند آموزش به وظایف بسیار کوچک (Micro-tasks) تقسیم می‌شود تا بر اساس ظرفیت و در دسترس بودن سخت‌افزار کاربران، توزیع شوند. سیستم برای اطمینان از خروجی نهایی، از معیارهایی مانند امتیاز قابلیت اطمینان دستگاه، فاکتور کهنگی داده‌ها و امتیاز اعتبارسنجی استفاده می‌کند. همچنین طبق متن پتنت، امکان ارائه پاداش به صاحبان دستگاه‌ها در قالب اعتبار یا پرداخت‌های نقدی پیش‌بینی شده است.
مهم‌ترین مراحل فنی این فرآیند عبارتند از:
* تجزیه وظایف آموزشی به بخش‌های خرد و ایجاد نمودار وابستگی مدل.
* شناسایی نقاط تقسیم بهینه با برآورد هزینه محاسباتی.
* پیش‌بینی میزان در دسترس بودن پردازش در دستگاه‌های لبه.
* توزیع وظایف و دریافت نتایج پردازش‌شده.
* به‌روزرسانی پارامترهای مدل با وزن‌دهی بر اساس امتیاز اعتبار نتایج.
🇮🇷 تلگرام
مایکروسافت پتنتی با شماره US 12,792,414 B2 ثبت کرده که هدف آن استفاده از توان پردازشی بلااستفاده GPU در کامپیوترهای گیمینگ و سایر دستگاه‌های لبه برای آموزش مدل‌های هوش مصنوعی است.
در این طرح، فرآیند آموزش به وظایف بسیار کوچک (Micro-tasks) تقسیم می‌شود تا بر اساس ظرفیت و در دسترس بودن سخت‌افزار کاربران، توزیع شوند. سیستم برای اطمینان از خروجی نهایی، از معیارهایی مانند امتیاز قابلیت اطمینان دستگاه، فاکتور کهنگی داده‌ها و امتیاز اعتبارسنجی استفاده می‌کند. همچنین طبق متن پتنت، امکان ارائه پاداش به صاحبان دستگاه‌ها در قالب اعتبار یا پرداخت‌های نقدی پیش‌بینی شده است.
مهم‌ترین مراحل فنی این فرآیند عبارتند از:
* تجزیه وظایف آموزشی به بخش‌های خرد و ایجاد نمودار وابستگی مدل.
* شناسایی نقاط تقسیم بهینه با برآورد هزینه محاسباتی.
* پیش‌بینی میزان در دسترس بودن پردازش در دستگاه‌های لبه.
* توزیع وظایف و دریافت نتایج پردازش‌شده.
* به‌روزرسانی پارامترهای مدل با وزن‌دهی بر اساس امتیاز اعتبار نتایج.
🇮🇷 تلگرام
🤖 معرفی ابزار Gemini Decisions API برای مسیریابی و دسته‌بندی
گوگل ابزار جدیدی به نام Gemini Decisions API را منتشر کرد که برای وظایفی مانند انتخاب ابزار توسط ایجنت‌ها، بررسی سیاست‌های امنیتی و تعیین مدل مناسب کاربرد دارد. هسته این سیستم، مدل Gemini Decision 1 است که با بررسی ورودی‌ها در یک مرحله، احتمال هر گزینه را برمی‌گرداند.
این ابزار از سه نوع پرسش پشتیبانی می‌کند: پاسخ‌های بله/خیر، انتخاب از بین ۲ تا ۲۵۵ گزینه، و امتیازدهی در یک مقیاس مشخص. ورودی پرسش می‌تواند تا ۲۵۶ هزار توکن شامل متن، تصویر، صدا، ویدیو یا PDF باشد و امکان پرسیدن هم‌زمان تا هزار سوال مجزا در یک درخواست وجود دارد.
برخی از مهم‌ترین ویژگی‌ها و دسترسی‌ها:
* هزینه آن ۱۰ سنت به ازای هر یک میلیون توکن ورودی است و خروجی هزینه‌ای ندارد.
* امکان استفاده از AI Studio برای نمونه‌سازی اولیه و تست وجود دارد.
* پشتیبانی در ابزارهایی مانند OpenRouter، LangChain، Vercel و LiteLLM در حال پیاده‌سازی است.
#Gemini_Decisions_API #Gemini_Decision_1
گوگل ابزار جدیدی به نام Gemini Decisions API را منتشر کرد که برای وظایفی مانند انتخاب ابزار توسط ایجنت‌ها، بررسی سیاست‌های امنیتی و تعیین مدل مناسب کاربرد دارد. هسته این سیستم، مدل Gemini Decision 1 است که با بررسی ورودی‌ها در یک مرحله، احتمال هر گزینه را برمی‌گرداند.
این ابزار از سه نوع پرسش پشتیبانی می‌کند: پاسخ‌های بله/خیر، انتخاب از بین ۲ تا ۲۵۵ گزینه، و امتیازدهی در یک مقیاس مشخص. ورودی پرسش می‌تواند تا ۲۵۶ هزار توکن شامل متن، تصویر، صدا، ویدیو یا PDF باشد و امکان پرسیدن هم‌زمان تا هزار سوال مجزا در یک درخواست وجود دارد.
برخی از مهم‌ترین ویژگی‌ها و دسترسی‌ها:
* هزینه آن ۱۰ سنت به ازای هر یک میلیون توکن ورودی است و خروجی هزینه‌ای ندارد.
* امکان استفاده از AI Studio برای نمونه‌سازی اولیه و تست وجود دارد.
* پشتیبانی در ابزارهایی مانند OpenRouter، LangChain، Vercel و LiteLLM در حال پیاده‌سازی است.
🇮🇷 - هوش مصنوعی و علم داده به فارسی
تلگرام | بله | ایتا | ارتباط با ما
#Gemini_Decisions_API #Gemini_Decision_1
هوش مصنوعی و علم داده به فارسی
🏴 شهادت بانوی دو عالم حضرت فاطمه زهرا سلام‌الله علیها را به تمامی شیعیان و محبان آن حضرت تسلیت و تعزیت عرض می‌نماییم. @DataPlusScience | @Data➕Science
🏴 سالروز شهادت بانوی دو عالم، حضرت فاطمه زهرا سلام‌الله علیها را بر تمامی شیعیان و محبان آن حضرت تسلیت عرض می‌کنیم.
🇮🇷 - هوش مصنوعی و علم داده به فارسی
تلگرام | بله | ایتا | ارتباط با ما
❤19