🚀 Величезні AI-моделі тепер можна запускати навіть на ноутбуках

З’явився експериментальний рушій для MoE-моделей, який вирішує одну з головних проблем локального AI — нестачу відеопам’яті.

Замість того щоб покладати всю роботу на GPU, система одночасно використовує відеокарту, процесор та оперативну пам’ять, розподіляючи між ними різних «експертів» моделі 🧠

А цифри вже виглядають дуже цікаво:

⚡ Qwen3.6-35B-A3B — RTX 4060 Laptop 8 ГБ → близько 39 токенів/с

⚡ DeepSeek-V4-Flash 284B — RTX 5090 → приблизно 22–25 токенів/с

⚡ GLM-5.2 753B — RTX PRO 6000 → близько 15 токенів/с

Тобто моделі на сотні мільярдів параметрів поступово перестають бути розвагою виключно для серверів 🤯

🍎 Щоправда, без дискретної відеокарти магії поки не буде — власники Mac цього разу спостерігають збоку 😅

🔹 Задача по TypeScript (Generics)