🏡Новости из мира IT

1. В России разработали «распределяющую шляпу» с нейроинтерфейсом для выбора профессии
Новая технология в виде «распределяющей шляпы» с нейроинтерфейсом создана для помощи людям в выборе профессии. Инновация позволяет анализировать предпочтения и способности пользователей, предоставляя рекомендации по наиболее подходящим карьерным путям. Этот проект может значительно упростить процесс выбора профессии и помочь молодым специалистам найти свое призвание.

2. Интерес российского бизнеса к искусственному интеллекту вырос в семь раз
Аналитические исследования показывают, что интерес российских компаний к технологиям искусственного интеллекта с 2022 года увеличился в семь раз. Это свидетельствует о стремлении бизнеса к внедрению ИИ-решений для повышения эффективности и оптимизации процессов. Увеличение инвестиций в данную сферу открывает новые возможности для инновационных стартапов и улучшения конкурентоспособности на рынке.

3. Этические стандарты в разработке ИИ: новое видение от разработчиков
В условиях быстрого развития технологий искусственного интеллекта возникает необходимость в установлении этических стандартов. Разработчики обсуждают важность этих норм для обеспечения ответственного использования ИИ. Вопросы о том, как ИИ влияет на общество, безопасность данных и личные права становятся актуальными как никогда, и специалисты стремятся выработать подходы для их регулирования.

🔥Создание мультимодальных приложений с использованием Llama 3.2 и Llama Stack

В нашей новой статье амбассадора Ruslan Dev вы узнаете о возможностях мультимодальных приложений, созданных на базе Llama 3.2 и Llama Stack. Откройте для себя, как эти технологии меняют подход к разработке приложений и какие преимущества они предлагают. Не пропустите интересные идеи и практические примеры!

👉 Хабр: Мультимодальные приложения на Llama 3.2
👉 vc.ru: Как создавать мультимодальные приложения

📣 Как создать текстуры в Blender в стиле «Аркейна» — гайд от Дани Грызлова

Наш амбассадор, Даня Грызлов, делится секретами создания текстур в Blender, вдохновлёнными визуальным стилем культового мультсериала «Аркейн». Узнайте, как использовать ноды, настраивать кисти и слои, чтобы добиться художественного эффекта, напоминающего 2D-графику, и даже работать с виртуальными GPU для ускорения процесса.

Читайте статьи по ссылкам ниже, чтобы понять, как воплотить этот стиль в своих проектах и сэкономить на оборудовании!

📌 ВКонтакте
📌 vc.ru

☀️Квантованные модели Llama 3.2 на Android

Llama продолжает покорять мобильные устройства. Вышла версия Llama 3.2 1B с весами, квантованными до 4-битного формата. Согласно опубликованным результатам бенчмарков, эта версия вполне способна конкурировать с несжатой моделью в формате BF16. Скорость инференса на ARM-процессорах для Android значительно возросла.

Разработчики использовали несколько методов квантизации, и наилучшие результаты показал хорошо известный метод QLoRA.

Чтобы самостоятельно сжать веса крупной языковой модели до 4-битного формата, улучшив её скорость и экономичность по памяти, потребуется подходящий графический процессор.

На платформе immers.cloud доступны видеокарты для различных типов нагрузок. Также понадобятся базовые теоретические знания и навыки работы с инструментами квантизации, такими как библиотека bitsandbytes.

➡️Подробнее о том, как работает метод QLoRA, вы можете узнать из этого видео.

@ruslandevlive — мысли о современных AI/ML технологиях

🚀 Портировать Llama 3.2 на Android и iOS - легко

AI разработчики могут сконвертировать веса моделей llama 3.2 1B и 3B в формат, поддерживаемый мобильными устройствами. Для этого есть официальная открытая реализация нового метода post-training квантизации SpinQuant, который оптимизирует названные модели для работы на мобильных платформах. Оптимизация заключается в сокращении потребляемой памяти и повышении скорости инференса.

Этот метод проще, чем QLoRA, потому что вам не нужно файнтюнить модель. Достаточно взять готовые несжатые веса, выполнить подготовительный шаг - ротацию матриц весов и активации, для чего есть готовый скрипт в названном репозитории. Для этого понадобится видеокарта - можно выбрать любую на immers.cloud, RTX 3090 более чем достаточно, так как речь идет о легковесных 1B и 3B моделях.

После ротации можно выполнить обычную post-training квантизацию - для этого тоже есть готовый скрипт - и экспортировать модель для запуска на мобильном устройстве. Но как именно запустить Llama, скажем, на Android? Для этого служит ExecuTorch, фреймворк для создания Pytorch-программ под мобильные процессоры. И да, репозиторий SpinQuant предоставляет скрипты для экспорта весов в совместимый с ExecuTorch формат.

@ruslandevlive - мысли о современных AI/ML технологиях

⚡️ Как Llama 3.2 заработала на мобильных устройствах: квантизация и новые горизонты

Теперь даже мобильные устройства могут работать с последней версией Llama 3.2 благодаря новым подходам к квантизации. В статье наш амбассадор immers.cloud Ruslan Dev рассказывает, как технологии QLoRA и SpinQuant сделали возможным запуск языковых моделей на iOS и Android, сохранив их потенциал и экономя ресурсы. Вы узнаете об особенностях ExecuTorch и Llama Stack, которые обеспечивают высокую скорость инференса и кроссплатформенность.

📌 Хабр
📌 vc.ru