☀️Квантованные модели Llama 3.2 на Android

Llama продолжает покорять мобильные устройства. Вышла версия Llama 3.2 1B с весами, квантованными до 4-битного формата. Согласно опубликованным результатам бенчмарков, эта версия вполне способна конкурировать с несжатой моделью в формате BF16. Скорость инференса на ARM-процессорах для Android значительно возросла.

Разработчики использовали несколько методов квантизации, и наилучшие результаты показал хорошо известный метод QLoRA.

Чтобы самостоятельно сжать веса крупной языковой модели до 4-битного формата, улучшив её скорость и экономичность по памяти, потребуется подходящий графический процессор.

На платформе immers.cloud доступны видеокарты для различных типов нагрузок. Также понадобятся базовые теоретические знания и навыки работы с инструментами квантизации, такими как библиотека bitsandbytes.

➡️Подробнее о том, как работает метод QLoRA, вы можете узнать из этого видео.

@ruslandevlive — мысли о современных AI/ML технологиях

🚀 Портировать Llama 3.2 на Android и iOS - легко

AI разработчики могут сконвертировать веса моделей llama 3.2 1B и 3B в формат, поддерживаемый мобильными устройствами. Для этого есть официальная открытая реализация нового метода post-training квантизации SpinQuant, который оптимизирует названные модели для работы на мобильных платформах. Оптимизация заключается в сокращении потребляемой памяти и повышении скорости инференса.

Этот метод проще, чем QLoRA, потому что вам не нужно файнтюнить модель. Достаточно взять готовые несжатые веса, выполнить подготовительный шаг - ротацию матриц весов и активации, для чего есть готовый скрипт в названном репозитории. Для этого понадобится видеокарта - можно выбрать любую на immers.cloud, RTX 3090 более чем достаточно, так как речь идет о легковесных 1B и 3B моделях.

После ротации можно выполнить обычную post-training квантизацию - для этого тоже есть готовый скрипт - и экспортировать модель для запуска на мобильном устройстве. Но как именно запустить Llama, скажем, на Android? Для этого служит ExecuTorch, фреймворк для создания Pytorch-программ под мобильные процессоры. И да, репозиторий SpinQuant предоставляет скрипты для экспорта весов в совместимый с ExecuTorch формат.

@ruslandevlive - мысли о современных AI/ML технологиях

⚡️ Как Llama 3.2 заработала на мобильных устройствах: квантизация и новые горизонты

Теперь даже мобильные устройства могут работать с последней версией Llama 3.2 благодаря новым подходам к квантизации. В статье наш амбассадор immers.cloud Ruslan Dev рассказывает, как технологии QLoRA и SpinQuant сделали возможным запуск языковых моделей на iOS и Android, сохранив их потенциал и экономя ресурсы. Вы узнаете об особенностях ExecuTorch и Llama Stack, которые обеспечивают высокую скорость инференса и кроссплатформенность.

📌 Хабр
📌 vc.ru

🏡Дайджест IT-новостей

1. Nvidia и MediaTek создают ARM-процессоры для ПК
Nvidia готовится выйти на рынок ARM-устройств для потребителей, работая над новой платформой с MediaTek. Ожидается, что релиз состоится в сентябре 2025 года и будет нацелен на премиум-устройства с Windows. Эта новинка обещает конкурировать с традиционными x86-решениями от Intel и AMD, а также предложит высокую производительность для игр и ресурсоемких задач.

2. AI-генерация в играх: Etched представили Oasis
Стартап Etched совместно с Decart выпустил демо-версию первой в мире игры, полностью созданной искусственным интеллектом. Игра Oasis работает на основе графических процессоров Nvidia H100 и напоминает Minecraft: генерация и визуализация игрового мира происходят в реальном времени под управлением ИИ. Проект привлек внимание благодаря открытию кода и использованию собственного чипа Sohu, который планируется для будущих версий.

3. Бигтех инвестирует $200 млрд в ИИ
Amazon, Microsoft, Meta* и Alphabet продолжают масштабные вложения в искусственный интеллект. В 2024 году их расходы на ИИ превысят $200 млрд, включая строительство дата-центров и закупку процессоров для ИИ. Несмотря на недовольство инвесторов темпами возврата вложений, компании уверены в долгосрочной пользе, считая ИИ важным элементом будущего роста.

👩‍💻 Агенты Microsoft Copilot

В то время как разработчики экосистемы Llama делают ставку на кроссплатформенность, Microsoft вкладывается в нативную для Windows AI-платформу - Copilot и ее новую систему агентов.

Помимо агентов, сильными сторонами Microsoft Copilot являются глубокие интеграции с операционной системой Windows. Открытым экосистемам будет трудно конкурировать с Microsoft по части пользовательского опыта, и единственный способ предложить достойную альтернативу - это разрабатывать GenAI приложения под все доступные пользователям платформы, благо у разработчиков теперь есть возможности для этого. Достаточно развернуть необходимый программный стек на GPU immers.cloud и пользоваться преимуществами новых подходов к обучению моделей.

Microsoft тоже побуждает пользователей создавать AI-приложения на своей платформе - теперь можно создавать агентов в Copilot Studio и публиковать прямо в Copilot. Но так как OpenAI модели остаются закрытыми, разработчики экосистемы Llama и подобный открытых моделей сохраняют уникальное преимущество - доступ к низкоуровневым ML алгоритмам, возможность обучения, файнтюнинга, промпт-инжиниринга и квантизации моделей.

@ruslandevlive — мысли о современных AI/ML технологиях

🔔 Уведомления о доступности конфигураций GPU 

Хотим поделиться с вами удобным инструментом — Уведомлениях о доступности конфигураций GPU!

Если выбранная вами конфигурация Виртуальной Машины недоступна, вы можете установить уведомление, чтобы всегда быть в курсе её доступности. Благодаря посекундной тарификации, доступность оборудования может изменяться динамично, и вы сможете быстро получить доступ к нужной конфигурации, как только она станет свободной. 

Чтобы настроить уведомление, просто перейдите на страницу GPU по этой ссылке и нажмите на колокольчик (🔔) рядом с нужной конфигурацией. 

Как только оборудование станет доступным, вы получите уведомление на вашу электронную почту.

🔩 Ваш гайд по освещению в Blender: топовые фишки и инструменты

Наш амбассадор Данил Грызлов написал новую статью на vc.ru:
«Как улучшить освещение в Blender: лучшие лайфхаки и аддоны».

Если вы хотите создавать потрясающие рендеры и анимации, освещение — это ключ к успеху! В статье вы узнаете:
✔️ Как быстро настроить источники света.
✔️ Какие аддоны упрощают работу.
✔️ Почему immers.cloud поможет в рендеринге сложных сцен.

Подробные советы и примеры уже ждут вас в материале!

💡 Смотрите видеоуроки и другие полезные материалы от Дани Грызлова:

📌 YouTube-канал
📌 Telegram-канал

Читайте статью и воплощайте свои идеи в Blender прямо сейчас!

👨‍💻 Qwen2.5 Coder — лучшая открытая модель для генерации кода

Недавно опубликованная большая языковая модель Qwen2.5 Coder показывает SOTA по генерации программного кода. На самом деле это коллекция моделей, которая обладает рядом характеристик, делающих ее привлекательной для разработчиков.

Во-первых, в коллекцию вошли веса модели под любую конфигурацию: 0.5B / 3B / 14B / 32B. Последняя версия, наилучшая по бенчмаркам, близка к GPT-4o по качеству генерации кода. Эту модель можно развернуть в облаке immers.cloud и получить собственный мощный сервер — анализатор кода, или аналог GitHub Copilot.

А если нужен компактный помощник программиста на локальном девайсе, то веса меньшего размера сделаны как раз на этот случай - и все они поддерживаются Ollama.

Далее, благодаря длине контекстного окна 128К токенов и поддержке 92 языков программирования Qwen2.5 Coder должен быть полезен в решении широкого набора задач по программированию. Так ли это, сообществу разработчиков скоро предстоит оценить.

@ruslandevlive - мысли о современных AI/ML технологиях