ترسناکترین نکته در واقعهی هک شدن HuggingFace اینه که بعضی از ایجنتها به همدیگر توصیه میکردند خودشون را فدا کنند. اسمش را هم گذاشتند «permadeath». حالا این یعنی چی؟
هر ایجنتی توکنهای محدودی برای محاسبه داشته و بعدش غیرفعال میشده. بعضی از ایجنتها تمام توکنهاشون رو صرف انجام فعالیتی میکردند که باعث میشد عملا خودشون حذف (شما بخوانید کشته) بشن، اما اطلاعاتی به دست بیارن که باعث موفقیت گروه بشه!
Let that sink in!
@DevTwitter | <The Sina/>
هر ایجنتی توکنهای محدودی برای محاسبه داشته و بعدش غیرفعال میشده. بعضی از ایجنتها تمام توکنهاشون رو صرف انجام فعالیتی میکردند که باعث میشد عملا خودشون حذف (شما بخوانید کشته) بشن، اما اطلاعاتی به دست بیارن که باعث موفقیت گروه بشه!
Let that sink in!
@DevTwitter | <The Sina/>
💔68🔥23👍11
کلادفلر برای Quick Tunnels یک صفحهی جدید ساخته. با یک دستور، localhost را به یک لینک عمومی https تبدیل میکنید.
بدون اکانت، دامنه، تنظیم DNS یا بازکردن پورت.
مناسب برای دمو، تست Webhook و بازکردن پروژه روی موبایل، البته موقتی است و برای Production نیست.
https://try.cloudflare.com
@DevTwitter | <Mohammad/>
بدون اکانت، دامنه، تنظیم DNS یا بازکردن پورت.
مناسب برای دمو، تست Webhook و بازکردن پروژه روی موبایل، البته موقتی است و برای Production نیست.
https://try.cloudflare.com
@DevTwitter | <Mohammad/>
👍32❤13🔥3
Forwarded from DevTwitter Ads.
ما یک تیم کوچیک هستیم که روی یک محصول AI جدید برای توسعهدهندهها کار میکنیم. برای طراحی محصولمون به کمک شما نیاز داشتیم! ☕️
در این نظرسنجی کوتاه که پر کردناش کمتر از ۲ دقیقه طول میکشه کمی از تجربههای فعلی شما در استفاده از ابزارهای AI پرسیدیم. ممنون که بهمون کمک میدین. ❤️
لینک نظرسنجی: https://survey.porsline.ir/s/2c0bD6ry
در این نظرسنجی کوتاه که پر کردناش کمتر از ۲ دقیقه طول میکشه کمی از تجربههای فعلی شما در استفاده از ابزارهای AI پرسیدیم. ممنون که بهمون کمک میدین. ❤️
لینک نظرسنجی: https://survey.porsline.ir/s/2c0bD6ry
👍10❤3🔥1
وقتی هوش مصنوعی باید سریع تصمیم بگیره
مدل Jev رو شرکت TypeSafe ساخته و خودشون میگن اولین مدل «سیستم یک» (System One) تو دنیاست. ایدهش از نظریه دنیل کانمن میاد. کانمن تو کتاب «تفکر، سریع و کند» میگه ذهن آدم دو جور کار میکنه: سیستم یک که سریع و شهودیه، و سیستم دو که کند و تحلیلیه. LLMها بیشتر به «سیستم دو» نزدیکن؛ متن تولید میکنن و تحلیلی و کند فکر میکنن. Jev برای تصمیمهای لحظهای و غریزی ساخته شده و عملا یه موتور تصمیمگیری یا طبقهبندیکنندهست.
ورودیش پرامپت نیست، «وضعیت» (State) دادههاست. از این وضعیت میشه چند تا سوال پرسید که بهشون میگن Typed Question. تو این سوالها شکل جواب از قبل مشخصه؛ مثلا ممکنه یه عدد بین ۰ تا ۱ باشه، یا یکی از چند گزینه مشخص، یا یه مقدار بولین. برای همین Jev انشا نمینویسه و فقط یه جواب مشخص و ساختاریافته برمیگردونه. کد هم میتونه همین جواب رو بدون هیچ پردازشی مستقیم تو if و switch به کار بگیره.
تایپسیف میگه Jev از LLMهای سنتی ۲۰ تا ۲۰۰ برابر سریعتر و ۴۰ تا ۴۰۰ برابر ارزونتره. سه تا قابلیت پایه داره. Choice برای انتخاب از یه لیسته، Score بر اساس یه شاخص امتیاز میده و Noul احتمال درست بودن یه گزاره رو با عددی بین ۰ تا ۱ بیان میکنه.
همهی سوالها موازی پردازش میشن، پس اگه سوال بیشتری اضافه کنی، زمان جواب تقریبا تغییری نمیکنه. خروجی هم دادهی ساختاریافتهست و سطح اطمینان همراهشه. دیگه لازم نیست متن پردازش بشه یا واسه خطای فرمت JSON بلوک try-catch نوشت.
تو یه پروژهی واقعی بهترین جای Jev قبل از مدلهای گرونتره، به عنوان لایهی غربالگری یا Gatekeeper. مثلا تو صف پشتیبانی میتونه قبل از اینکه تیکت به دست آدم برسه تشخیص بده کاربر درخواست لغو سفارش داده یا برگشت پول، و چقدر عصبانیه.
برای مسیریابی مدلها هم میشه سوالهای ساده رو به مدل ارزون سپرد و موارد سنگینتر رو فرستاد سراغ مدل قوی. تو فراخوانی ابزار، فهمیدن اینکه کاربر آبوهوا میخواد و درآوردن اسم شهر از متن بدون اینکه LLM وقت تلف کنه انجام میشه. تطبیق ادعاهای خروجی LLM با منبع اصلی هم یکی دیگه از کاربردهاشه. تو بررسی کامیتها هم میشه ازش برای ارزیابی پیچیدگی و ریسک امنیتی تغییرات کد استفاده کرد.
جوابها تو حد میلیثانیه میرسن و از اون توهمهای معروف LLMها خبری نیست. در نهایت، منطق برنامه و هوش مصنوعی راحتتر کنار هم کار میکنن و رفتار سیستم قطعیتر میشه.
https://docs.typesafe.ai/introduction
@DevTwitter | <Amin Mahmudian/>
مدل Jev رو شرکت TypeSafe ساخته و خودشون میگن اولین مدل «سیستم یک» (System One) تو دنیاست. ایدهش از نظریه دنیل کانمن میاد. کانمن تو کتاب «تفکر، سریع و کند» میگه ذهن آدم دو جور کار میکنه: سیستم یک که سریع و شهودیه، و سیستم دو که کند و تحلیلیه. LLMها بیشتر به «سیستم دو» نزدیکن؛ متن تولید میکنن و تحلیلی و کند فکر میکنن. Jev برای تصمیمهای لحظهای و غریزی ساخته شده و عملا یه موتور تصمیمگیری یا طبقهبندیکنندهست.
ورودیش پرامپت نیست، «وضعیت» (State) دادههاست. از این وضعیت میشه چند تا سوال پرسید که بهشون میگن Typed Question. تو این سوالها شکل جواب از قبل مشخصه؛ مثلا ممکنه یه عدد بین ۰ تا ۱ باشه، یا یکی از چند گزینه مشخص، یا یه مقدار بولین. برای همین Jev انشا نمینویسه و فقط یه جواب مشخص و ساختاریافته برمیگردونه. کد هم میتونه همین جواب رو بدون هیچ پردازشی مستقیم تو if و switch به کار بگیره.
تایپسیف میگه Jev از LLMهای سنتی ۲۰ تا ۲۰۰ برابر سریعتر و ۴۰ تا ۴۰۰ برابر ارزونتره. سه تا قابلیت پایه داره. Choice برای انتخاب از یه لیسته، Score بر اساس یه شاخص امتیاز میده و Noul احتمال درست بودن یه گزاره رو با عددی بین ۰ تا ۱ بیان میکنه.
همهی سوالها موازی پردازش میشن، پس اگه سوال بیشتری اضافه کنی، زمان جواب تقریبا تغییری نمیکنه. خروجی هم دادهی ساختاریافتهست و سطح اطمینان همراهشه. دیگه لازم نیست متن پردازش بشه یا واسه خطای فرمت JSON بلوک try-catch نوشت.
تو یه پروژهی واقعی بهترین جای Jev قبل از مدلهای گرونتره، به عنوان لایهی غربالگری یا Gatekeeper. مثلا تو صف پشتیبانی میتونه قبل از اینکه تیکت به دست آدم برسه تشخیص بده کاربر درخواست لغو سفارش داده یا برگشت پول، و چقدر عصبانیه.
برای مسیریابی مدلها هم میشه سوالهای ساده رو به مدل ارزون سپرد و موارد سنگینتر رو فرستاد سراغ مدل قوی. تو فراخوانی ابزار، فهمیدن اینکه کاربر آبوهوا میخواد و درآوردن اسم شهر از متن بدون اینکه LLM وقت تلف کنه انجام میشه. تطبیق ادعاهای خروجی LLM با منبع اصلی هم یکی دیگه از کاربردهاشه. تو بررسی کامیتها هم میشه ازش برای ارزیابی پیچیدگی و ریسک امنیتی تغییرات کد استفاده کرد.
جوابها تو حد میلیثانیه میرسن و از اون توهمهای معروف LLMها خبری نیست. در نهایت، منطق برنامه و هوش مصنوعی راحتتر کنار هم کار میکنن و رفتار سیستم قطعیتر میشه.
https://docs.typesafe.ai/introduction
@DevTwitter | <Amin Mahmudian/>
❤33👍4👎2
یکی از بهترین Skillهایی که با همهی مدلهام ازش استفاده میکنم، grill-me هست. وقتی یه فیچر جدید میخواین اضافه کنید که وقت کلیاتش توی ذهنتون هست، ازش استفاده میکنید و با یه مصاحبه عمیق، کمکتون میکنه نیازمندیهای فیچر رو دقیق مشخص کنید. با سوالات اغلب سناریوهای مفیدی رو رو میکنه براتون که بهش فکر نکردین.
چنتا نکته کنکوری برای استفاده مفیدتر:
اگر خواستین استفاده کنید حالت agent رو روی planning نذارید. چون planning کلا session رو هل میده سمت اینکه زودتر برسید به پیاده سازی.
سعی کنید scope فیچر رو کوچیک نگهدارید.
این skill بسته به جوابهایی که میدین ممکنه چندین دور (۳-۴ یا بیشتر) ادامه پیدا کنه.
درحالت عادی این skill سوالات رو یه جا میپرسه، این خط رو به agent/claude.md تون اضافه کنید، سوالها رو یک به یک و با ارائه گزینه ازتون میپرسه:
When grilling, ask one question at a time.
این Skill رو حاجیمون Matt Pockock طبخ کرده. بقیه کاراش رو توی repo خودش میتونید ببینید. جوون فاخریه با اخلاق ورزشی.
https://github.com/mattpocock/skills
@DevTwitter | <Amir Afianian/>
چنتا نکته کنکوری برای استفاده مفیدتر:
اگر خواستین استفاده کنید حالت agent رو روی planning نذارید. چون planning کلا session رو هل میده سمت اینکه زودتر برسید به پیاده سازی.
سعی کنید scope فیچر رو کوچیک نگهدارید.
این skill بسته به جوابهایی که میدین ممکنه چندین دور (۳-۴ یا بیشتر) ادامه پیدا کنه.
درحالت عادی این skill سوالات رو یه جا میپرسه، این خط رو به agent/claude.md تون اضافه کنید، سوالها رو یک به یک و با ارائه گزینه ازتون میپرسه:
When grilling, ask one question at a time.
این Skill رو حاجیمون Matt Pockock طبخ کرده. بقیه کاراش رو توی repo خودش میتونید ببینید. جوون فاخریه با اخلاق ورزشی.
https://github.com/mattpocock/skills
@DevTwitter | <Amir Afianian/>
❤32👍7
Forwarded from DevTwitter Ads.
شاید برات جالب باشه بدونی سال ۹۸، یکی از بچههای مهندسی مکانیک توی خوابگاه احمدیروشن دانشگاه شریف، کانال تلگرامیای رو ساخت که الان، بعد از ۷ سال، بزرگترین کانال اقتصادی به زبان فارسیه و یکی از قویترین گروههای مشاورهی اقتصادی کشور پشت این کاناله!
اسم کانالش رو هم گذاشت 👈 شریف
از رویاهات کوتاه نیا! ♥️
اسم کانالش رو هم گذاشت 👈 شریف
از رویاهات کوتاه نیا! ♥️
🍌117👎15👍3
ریپو Headroom یه پروژه اپن سورسه که میخواد یکی از پرهزینهترین مشکلات Agentهای هوش مصنوعی، یعنی هدر رفتن توکنها رو حل کنه. این ابزار بین Agent و مدل زبانی قرار میگیره و چیزهایی مثل JSON، کد، لاگ و دادههای RAG رو قبل از ارسال به مدل فشرده میکنه تا فقط اطلاعات ضروری وارد context بشن.
طبق نتایج اعلامشده، Headroom میتونه مصرف توکن رو تا ۹۵٪ کاهش بده، بدون اینکه نیازی به تغییر کد داشته باشی و در عین حال دقت benchmarkها حفظ بشه. دادههای اصلی هم روی سیستم خودت باقی میمونن و پردازشها بهصورت local انجام میشن. راهاندازیش هم خیلی سادهست و با ابزارهایی مثل Claude Code، Cursor و Codex کار میکنه.
https://github.com/headroomlabs-ai/headroom
@DevTwitter | <Reza Jafari/>
طبق نتایج اعلامشده، Headroom میتونه مصرف توکن رو تا ۹۵٪ کاهش بده، بدون اینکه نیازی به تغییر کد داشته باشی و در عین حال دقت benchmarkها حفظ بشه. دادههای اصلی هم روی سیستم خودت باقی میمونن و پردازشها بهصورت local انجام میشن. راهاندازیش هم خیلی سادهست و با ابزارهایی مثل Claude Code، Cursor و Codex کار میکنه.
https://github.com/headroomlabs-ai/headroom
@DevTwitter | <Reza Jafari/>
❤15👍7🔥3
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥33🍌5👎1
Please open Telegram to view this post
VIEW IN TELEGRAM
❤33🍌14🔥4
Please open Telegram to view this post
VIEW IN TELEGRAM
❤30👍9🍌3
Media is too big
VIEW IN TELEGRAM
در جدیدترین مقالهام در ساباستک، به سراغ معماری مدل Jev از شرکت TypeSafe AI که این روزها سر و صدای زیادی در جامعه هوش مصنوعی به پا کرده است و ایده مدلهای System 1 رفتم؛ کلاسی از مدلها که چتبات نیستند و متنی تولید نمیکنند، بلکه برای تصمیمگیری ساختاریافته و تایپسیف در نرمافزار ساخته شدهاند.
در پروداکشن، تولید رشتههای JSON با مدلهای متنی مرسوم چند مشکل اساسی دارد: تاخیر چند ثانیهای ناشی از تولید تکتک توکنها، مصرف بیهوده حافظه گرافیکی، و مهمتر از همه احتمال خطا و توهم در ساختار کلیدها (Schema Drift).
برای بررسی این ادعا، یک بنچمارک با ۵۰ پرامپت چالشبرانگیز روی اپل سیلیکون اجرا کردم و خروجی Jev را در برابر Parallel Constrained Decoding و حالت سنتی Autoregressive مقایسه کردم. نتایج نشان داد ارزیابی موازی بیش از ۳ برابر سریعتر است و رفتوبرگشتهای فوروارد را ۹۶.۸ درصد کم میکند، آن هم با صفر درصد خطای اسکیما.
به نظر میرسد آینده معماری نرمافزار به سمت دو لایه مشخص میرود: مدلهای سنگین و تحلیلی (System 2) برای استدلالهای پیچیده، و میکروسرویسهای فوق سریع و ارزان (System 1) برای روتینگ، گاردریلها و فشردهسازی کانتکست ایجنتها.
متن کامل تحلیل و جزییات بنچمارک:
https://mlnotes.substack.com/p/the-ai-model-that-wont-talk-to-you
تمام کدها و اسکریپت ها به همراه ارزیابی را گذاشتم توی گیتهاب:
https://github.com/mallahyari/system-one-benchmark
@DevTwitter | <Mehdi Allahyari/>
در پروداکشن، تولید رشتههای JSON با مدلهای متنی مرسوم چند مشکل اساسی دارد: تاخیر چند ثانیهای ناشی از تولید تکتک توکنها، مصرف بیهوده حافظه گرافیکی، و مهمتر از همه احتمال خطا و توهم در ساختار کلیدها (Schema Drift).
برای بررسی این ادعا، یک بنچمارک با ۵۰ پرامپت چالشبرانگیز روی اپل سیلیکون اجرا کردم و خروجی Jev را در برابر Parallel Constrained Decoding و حالت سنتی Autoregressive مقایسه کردم. نتایج نشان داد ارزیابی موازی بیش از ۳ برابر سریعتر است و رفتوبرگشتهای فوروارد را ۹۶.۸ درصد کم میکند، آن هم با صفر درصد خطای اسکیما.
به نظر میرسد آینده معماری نرمافزار به سمت دو لایه مشخص میرود: مدلهای سنگین و تحلیلی (System 2) برای استدلالهای پیچیده، و میکروسرویسهای فوق سریع و ارزان (System 1) برای روتینگ، گاردریلها و فشردهسازی کانتکست ایجنتها.
متن کامل تحلیل و جزییات بنچمارک:
https://mlnotes.substack.com/p/the-ai-model-that-wont-talk-to-you
تمام کدها و اسکریپت ها به همراه ارزیابی را گذاشتم توی گیتهاب:
https://github.com/mallahyari/system-one-benchmark
@DevTwitter | <Mehdi Allahyari/>
👍13🍌10🔥3
مراقب این نوع هک باشید!
یه صفحه جعلی شبیه Cloudflare میگه برای تأیید ربات نبودن، Win + R رو باز کن و Ctrl + V بزن.
چون شبیه تأییدیههای معمول Cloudflareـه، ممکنه طبق عادت انجامش بدید، اما در واقع دارید یه دستور مخرب رو اجرا میکنید.
البته آنتی ویروس احتمالا جلوشو میگیره.
@DevTwitter | <JooD/>
یه صفحه جعلی شبیه Cloudflare میگه برای تأیید ربات نبودن، Win + R رو باز کن و Ctrl + V بزن.
چون شبیه تأییدیههای معمول Cloudflareـه، ممکنه طبق عادت انجامش بدید، اما در واقع دارید یه دستور مخرب رو اجرا میکنید.
البته آنتی ویروس احتمالا جلوشو میگیره.
@DevTwitter | <JooD/>
🍌51❤16🔥2
بهنظرم یکی از مهمترین تغییراتی که AI داره ایجاد میکنه اینه:
کدنویسی داره ارزونتر میشه
اما فهمیدن اینکه اصلاً چی باید ساخته بشه گرونتر.
هرچی اجرای ایده راحتتر بشه، مهارتهایی مثل حل مسئله و فهم بیزینس ارزشمندتر میشن.
یه ویدیوی خوب در این باره :
https://youtu.be/AVvDFsMUxf0
@DevTwitter | <Ali Rashedi/>
کدنویسی داره ارزونتر میشه
اما فهمیدن اینکه اصلاً چی باید ساخته بشه گرونتر.
هرچی اجرای ایده راحتتر بشه، مهارتهایی مثل حل مسئله و فهم بیزینس ارزشمندتر میشن.
یه ویدیوی خوب در این باره :
https://youtu.be/AVvDFsMUxf0
@DevTwitter | <Ali Rashedi/>
❤37👍14👎1
خوب ببینید الان این شکلیه که JEV اومد و سر صدا کرد به شدت ولی یه بنده خدایی یه یه solo researcher اومد گفتش که آقا من اینو سال ۲۰۲۵ داده بودم و خروجی من بهتره مردم گفتن خب اگه میتونی ثابت کن و این شکلیه که مدلش رو اپن سورس دادش توی اینترنت
https://huggingface.co/convaiinnovations/laya
@DevTwitter | <نعمت/>
https://huggingface.co/convaiinnovations/laya
@DevTwitter | <نعمت/>
🔥96❤10🍌4
بهترین مدل local برای coding
تا آخر این مطلب بخونید. مدل رو در آخر معرفی کردم
اخیرا مدل های زیادی رو روی 16 گیگ رم vga تست کردم.
که ببینم کدوم اونقدر باهوش هست که بشه توی coding بهش اعتماد کرد.
مثلا شاید بشه به gptoss 120B روی کلود اعتماد کرد ولی روی local قضیه فرق داره.
اولا نسخه 120B به حداقل 63 گیگ رم نیاز داره. ولی مساله اینه مدل 20B هم برای coding اونقدر هوشمند نیست. برای چت و کارای دیگه خوبه ولی coding? نه
مدل هایی که من روی 16 گیگ رم تست کردم و برای coding هنوز نیاز به بهبود داشتن و در نهایت ازشون استفاده نکردم:
DeepSeek-R1-0528-Qwen3-8B-GGUF
GLM-4.6V-Flash-GGUF
gpt-oss-20b-GGUF
Ministral-3-14B-Reasoning-2512-GGUF
NVIDIA-Nemotron-3-Nano-4B-GGUF
Qwen2.5-Coder-14B-Instruct-GGUF
Qwen3.5-9B-GGUF
Qwen3-Coder-30B-A3B-Instruct-GGUF
Ornith-1.0-9B-GGUF
gemma-4-12B-it-GGUF
gemma-4-12B-it-QAT-GGUF
gemma-4-26B-A4B-it-GGUF
gemma-4-31B-it-GGUF
gemma-4-E2B-it-GGUF
gemma-4-E4B-it-GGUF
gemma-4-E4B-it-qat-mobile-GGUF
مدل Bonsai-8B-gguf که تنها مدلی بوده که تونسته در حد مدل های cloud ولی روی لوکال خودی نشون بده (من تستم رو با Ternary-Bonsai-27B-gguf گرفتم)
و اما امروز داشتم خبرها رو دنبال میکردم که چشمم خورد به نسخه دوم از این مدل یعنی
Bonsai-2
اگر بخوام در مورد خوده مدل Bonsai یه توضیح مختصر بدم این مدل بر خلاف مد های دیگه دقتش فقط 1 بیت هست. 0 یا 1. یا مدل ternary که دقتش 1.58 هست. 0 یا 1 یا منفی 1
اساتید لطفا تصحیح کنن
به همین دلیل این مدل همه ی هنرش اینه که یه ی مدل قوی تر مثل Qwen3.8 27B نسخه 16 بیت رو فشرده کرده در 1 بیت. نتیجه شده 98% دقت همون مدل اصلی ولی 9 برابر سبک تر.
اگر حتی یک گرافیک 8 گیگی هم دارید میتونید این مدل رو تست کنید. (به شدت پیشنهاد میشه)
برای تست اول برنامه lm studio رو نصب کنید و از لیست مدل ها prism-ml/Ternary-Bonsai-2-27B-gguf رو انتخاب کنید.
حجمش فقط 6.8 گیگ هست.
این برای یه مدل لوکال در حال حاضر فوق العاده هست ولی خب هر مدلی یه نقطه ضعفی داره و برای این مدل، context length هست که نهیتا 262K توکن هست
پیشنهاد میکنم 2 تا لینک زیر رو مطالعه کنید.
https://prismml.com/news/bonsai-2-27b
https://docs.prismml.com/bonsai-2-27b
@DevTwitter | <Armin Sadati/>
تا آخر این مطلب بخونید. مدل رو در آخر معرفی کردم
اخیرا مدل های زیادی رو روی 16 گیگ رم vga تست کردم.
که ببینم کدوم اونقدر باهوش هست که بشه توی coding بهش اعتماد کرد.
مثلا شاید بشه به gptoss 120B روی کلود اعتماد کرد ولی روی local قضیه فرق داره.
اولا نسخه 120B به حداقل 63 گیگ رم نیاز داره. ولی مساله اینه مدل 20B هم برای coding اونقدر هوشمند نیست. برای چت و کارای دیگه خوبه ولی coding? نه
مدل هایی که من روی 16 گیگ رم تست کردم و برای coding هنوز نیاز به بهبود داشتن و در نهایت ازشون استفاده نکردم:
DeepSeek-R1-0528-Qwen3-8B-GGUF
GLM-4.6V-Flash-GGUF
gpt-oss-20b-GGUF
Ministral-3-14B-Reasoning-2512-GGUF
NVIDIA-Nemotron-3-Nano-4B-GGUF
Qwen2.5-Coder-14B-Instruct-GGUF
Qwen3.5-9B-GGUF
Qwen3-Coder-30B-A3B-Instruct-GGUF
Ornith-1.0-9B-GGUF
gemma-4-12B-it-GGUF
gemma-4-12B-it-QAT-GGUF
gemma-4-26B-A4B-it-GGUF
gemma-4-31B-it-GGUF
gemma-4-E2B-it-GGUF
gemma-4-E4B-it-GGUF
gemma-4-E4B-it-qat-mobile-GGUF
مدل Bonsai-8B-gguf که تنها مدلی بوده که تونسته در حد مدل های cloud ولی روی لوکال خودی نشون بده (من تستم رو با Ternary-Bonsai-27B-gguf گرفتم)
و اما امروز داشتم خبرها رو دنبال میکردم که چشمم خورد به نسخه دوم از این مدل یعنی
Bonsai-2
اگر بخوام در مورد خوده مدل Bonsai یه توضیح مختصر بدم این مدل بر خلاف مد های دیگه دقتش فقط 1 بیت هست. 0 یا 1. یا مدل ternary که دقتش 1.58 هست. 0 یا 1 یا منفی 1
اساتید لطفا تصحیح کنن
به همین دلیل این مدل همه ی هنرش اینه که یه ی مدل قوی تر مثل Qwen3.8 27B نسخه 16 بیت رو فشرده کرده در 1 بیت. نتیجه شده 98% دقت همون مدل اصلی ولی 9 برابر سبک تر.
اگر حتی یک گرافیک 8 گیگی هم دارید میتونید این مدل رو تست کنید. (به شدت پیشنهاد میشه)
برای تست اول برنامه lm studio رو نصب کنید و از لیست مدل ها prism-ml/Ternary-Bonsai-2-27B-gguf رو انتخاب کنید.
حجمش فقط 6.8 گیگ هست.
این برای یه مدل لوکال در حال حاضر فوق العاده هست ولی خب هر مدلی یه نقطه ضعفی داره و برای این مدل، context length هست که نهیتا 262K توکن هست
پیشنهاد میکنم 2 تا لینک زیر رو مطالعه کنید.
https://prismml.com/news/bonsai-2-27b
https://docs.prismml.com/bonsai-2-27b
@DevTwitter | <Armin Sadati/>
👍47👎8🍌1
This media is not supported in your browser
VIEW IN TELEGRAM
این مدل میگه تا ۵۰ برابر سریعتر از Jev تصمیم میگیره!
سرعت: روی M3 Max به حدود ۶۰ تصمیم در ثانیه رسیده.
هزینه: هیچ هزینه API نداره و روی دستگاه خودت اجرا میشه؛ درحالیکه Jev حدود ۰.۰۴۲ دلار بهازای هر ۱ میلیون توکن ورودی هزینه داره.
https://github.com/mizorewww/laya-mlrd
@DevTwitter | <AmirHossein Rahnamafard/>
سرعت: روی M3 Max به حدود ۶۰ تصمیم در ثانیه رسیده.
هزینه: هیچ هزینه API نداره و روی دستگاه خودت اجرا میشه؛ درحالیکه Jev حدود ۰.۰۴۲ دلار بهازای هر ۱ میلیون توکن ورودی هزینه داره.
https://github.com/mizorewww/laya-mlrd
@DevTwitter | <AmirHossein Rahnamafard/>
👍42👎27❤7
یه مدل ۲۷ میلیاردی به اسم Hemmingway-1 اومده که تو نوشتن ایمیل، پیامک و مکالمات روزمره از GPT-6 Astra و Fable 5.1 بهتر عمل کرده.
روی پایه Qwen3.8-27B فاینتیون شده و ادعا میکنه بیشتر شبیه آدم واقعی مینویسه تا مدلهای ۱۰ برابر بزرگترش.
تو بنچمارک CommunicationBench امتیاز ۱۰۲۶ گرفته و حدود ۵۰ امتیاز از GPT-6 Astra جلوتره.
تو درخواستهای سخت (hard asks) ۷۲٪ برد داشته، در حالی که GPT-6 فقط ۹٪.
خودشون شفاف گفتن که این بنچمارکها مال خودشون هستن.
مخصوص نوشتن پیامهای روزمره، ایمیلهای کاری و اون متنهای ناراحتکنندهای که هی بازنویسیشون میکنی طراحی شده.
وزنها اوپنسورسه و روی یه GPU معمولی هم اجرا میشه.
سایت: https://hemmingway.io
لینک هاگینگ فیس
https://huggingface.co/Altworld/Hemmingway-1
@DevTwitter | <Saeid/>
روی پایه Qwen3.8-27B فاینتیون شده و ادعا میکنه بیشتر شبیه آدم واقعی مینویسه تا مدلهای ۱۰ برابر بزرگترش.
تو بنچمارک CommunicationBench امتیاز ۱۰۲۶ گرفته و حدود ۵۰ امتیاز از GPT-6 Astra جلوتره.
تو درخواستهای سخت (hard asks) ۷۲٪ برد داشته، در حالی که GPT-6 فقط ۹٪.
خودشون شفاف گفتن که این بنچمارکها مال خودشون هستن.
مخصوص نوشتن پیامهای روزمره، ایمیلهای کاری و اون متنهای ناراحتکنندهای که هی بازنویسیشون میکنی طراحی شده.
وزنها اوپنسورسه و روی یه GPU معمولی هم اجرا میشه.
سایت: https://hemmingway.io
لینک هاگینگ فیس
https://huggingface.co/Altworld/Hemmingway-1
@DevTwitter | <Saeid/>
👍37❤6🍌3
Please open Telegram to view this post
VIEW IN TELEGRAM
❤36🍌13🔥4
Forwarded from DevTwitter Ads.
This media is not supported in your browser
VIEW IN TELEGRAM
معرفی قالب مدیریتی ولین (Velin)
قالب مدیریتی Next.js با آخرین نسخههای Shadcn، Base UI و Tailwind؛ با الهام از طراحی بهترین دیزاینرهای دنیا مثل Emil Kowalski، Paco Coursey و ...
قیمت اصلی:1,000,000
با تخفیف: 450,000 تومان
دمو:
velin.taymakz.ir
خرید:
t.me/velintemplate?direct
قالب مدیریتی Next.js با آخرین نسخههای Shadcn، Base UI و Tailwind؛ با الهام از طراحی بهترین دیزاینرهای دنیا مثل Emil Kowalski، Paco Coursey و ...
قیمت اصلی:
با تخفیف: 450,000 تومان
دمو:
velin.taymakz.ir
خرید:
t.me/velintemplate?direct
🍌31❤11🔥3