🌟 GRIN MoE: Mixture-of-Experts от Microsoft.

Модель GRIN (GRadient-INformed) MoE разработана Microsoft для использования в ИИ-системах и приложениях, где требуется мышление (задачи программирования, математики и логики), в сценариях с ограниченным временем ожидания и средах с ограниченным объемом ресурсов.

Модель построена на архитектуре Transformer. Отличительной чертой GRIN MoE является использование слоя Mixture-of-Experts (MoE) в качестве слоя feedforward.

Модель оперирует 16 экспертами и использует top-2 маршрутизацию, активируя два эксперта для каждого токена на каждом слое. GRIN MoE использует алгоритм SparseMixer-v2 для оценки градиента и обучения маршрутизации экспертов.

В отличие от традиционных MoE моделей, GRIN MoE не использует распараллеливание по экспертам и отбрасывание токенов во время обучения.

Технические характеристики модели:

🟢total parameters: 16x3.8B;
🟢active parameters: 6.6B;
🟢context length: 4096;
🟢number of embeddings 4096;
🟢number of layers: 32;

Для обучения GRIN MoE использовался набор данных из 4 трллн. токенов, состоящий из общедоступных документов, образовательных материалов, кода и синтетических данных для обучения математике, программированию и рассуждению.

Тестирование GRIN MoE проводилось на наборе данных Phi-3 в популярных бенчмарках. Модель показала высокие результаты, превзойдя 7B модель и сравнявшись по метрикам с 14B моделью.

GRIN MoE набрала 79.4 балла в тесте MMLU, 74.4 - в HumanEval и 58.9 - в MATH. Несмотря на высокую эффективность в задачах, связанных с кодом и математикой, GRIN MoE показала более низкие результаты в задачах обработки языка, что может быть связано с особенностями обучающего корпуса.

📌Лицензирование : MIT License.


🟡Arxiv
🟡Модель
🟡Demo
🖥Github


@ai_machinelearning_big_data

#AI #ML #LLM #MoE #Microsoft

🌟 VPTQ: экстремальное квантование векторов LLM с низким битрейтом от Microsoft.

Vector Post-Training Quantization (VPTQ) - экспериментальный метод, который использует векторное квантование LLM c сохранением высокой точности при сверхнизкой битовой ширине (<2 бит).

🔥 VPTQ позволяет сжать 70B до 1-2 бит без переобучения и запустить ее на потребительской 4090.

VPTQ использует технику оптимизации второго порядка для векторного квантования в LLM. Ключевым алгоритмом VPTQ является "Channel-Independent Second-Order Optimization" - квантование каждого столбца матрицы весов независимо и использование взвешенной по матрице Гессе инициализации центроидов.

Оптимизация в VPTQ состоит из применения взвешенных К-средних для центроидов, остаточного векторного квантования (RVQ) в качестве балансировщика ошибки и исключения выбросов в весах для повышения точности .

Эксперименты на моделях LLaMA-2, LLaMA-3 и Mistral-7B показали, что в сравнении с существующими методами, VPTQ обеспечивает сопоставимую или более высокую точность при 2-битном квантовании, уменьшая перплексию на 0.01-0.34, 0.38-0.68 и 4.41-7.34 соответственно.

🏸 VPTQ отличается низкими вычислительными затратами процесса квантования (10.4-18.6% от времени аналогичных алгоритмов) и высокой пропускной способностью при инференсе (в 1.6-1.8 раза выше, чем у SOTA)

В сообществе VPTQ на Huggingface выложена 41 модель в разрядностях VPTQ-квантования от 1.375 до 4 bits:

🟢Llama 3.1 Instruct (8B, 70B и 405B);

🟢Qwen 2.5 Instruct (7B, 14B и 72B) .

Посчитать битность и размер модели по названию на примере Meta-Llama-3.1-70B-Instruct-v8-k65536-256-woft:

🟢v8 - длина вектора, равная 8
🟢k65536 - количество центроидов (2^16)
🟢256 - количество остаточных центроидов (2^8)
🟠woft - маркировка without finetune, в расчете не участвует.

Расчет итоговой битности: индекс: log2(65536) = 16 / 8 = 2 bits, остаточный индекс: log2(256) = 8 / 8 = 1 bit, итоговое значение 2 bits+1 bit, = 3 bits.

Расчет размера модели (без учета codebook): 70B * 3 bits / 8 bits = 26.25 GB.

▶️Локальная установка и примеры инференса в разных режимах:

# Set up CUDA PATH:
export PATH=/usr/local/cuda-12/bin/:$PATH

# Clone repo:
pip install git+https://github.com/microsoft/VPTQ.git --no-build-isolation

# Simple generation:
python -m vptq --model=VPTQ-community/Meta-Llama-3.1-70B-Instruct-v8-k65536-0-woft --prompt="..."

# Chatbot example: 
python -m vptq --model=VPTQ-community/Meta-Llama-3.1-70B-Instruct-v8-k65536-0-woft --chat

# Gradio Web App
python -m vptq.app

📌Лицензирование кода : MIT License.

📌Лицензирование моделей: cогласно родительской модели.


▪Коллекция моделей на HF
▪Arxiv
▪Сообщество в HF
▪GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Quantization #Microsoft #VPTQ #hardcore

🌟 OmniParser: инструмент для распознавания UI в структурированный формат от Microsoft.

OmniParser - инструмент для анализа скриншотов пользовательского интерфейса, разработанный для улучшения работы агентов UI на основе LLM.

Он преобразует скриншоты в структурированный формат, выделяя интерактивные области и описывая функции элементов(кнопки, иконки, значки и т.д) и не требует исходного HTML или иерархии представлений.

OmniParser состоит из двух моделей:

🟢Модель обнаружения интерактивных элементов, основанная на YOLOv8 и обученная на датасете из 67 тысяч скриншотов веб-страниц с аннотациями кликабельных областей.

🟢Модель описания функций элементов UI, основанная на BLIP-2, обученная на 7 тысячах пар "элемент-описание", созданных с помощью GPT-4o.

OmniParser был протестирован в бенчмарках ScreenSpot, Mind2Web и AITW, где превзошел агентов на основе GPT-4V и модели, обученные на данных графических интерфейсов (SeeClick, CogAgent и Fuyu).

⚠️ OmniParser может испытывать трудности с распознаванием повторяющихся элементов, текста и с определением точных границ кликабельных областей.

На сегодняшний день занимает первое место в трендах среди 1078 938 моделей.


▶️Локальная установка и запуск в Gradio UI :

# Create conda env
conda create -n "omni" python==3.12
conda activate omni

# Install requirement
pip install -r requirement.txt

# Run Gradio UI
python gradio_demo.py
📌Лицензирование: MIT License.


🟡Страница проекта
🟡Набор моделей
🟡Arxiv
🖥Github


@ai_machinelearning_big_data

#AI #ML #Microsoft #YOLO8 #BLIP #OmniParser

🌟 TinyTroupe: мультиагентное моделирование личностей.

TinyTroupe - экспериментальная библиотека Python от Microsoft, которая симулирует поведение людей с определенными личностями, интересами и целями. Эти агенты, TinyPerson, могут слушать нас и друг друга, отвечать и жить своей жизнью в симулированных средах TinyWorld.

Симуляция реалистичного имитационного поведения достигается за счет использования возможностей LLM (GPT-4) . С помощью TinyTroupe можно создать свои собственные сценарии и изучать, как личности с разными характерами будут взаимодействовать и реагировать в разных ситуациях.

Библиотека TinyTroupe помогает понять поведенческие факторы персоналий, но не пытается напрямую им помочь (в отличие от виртуальных помощников). Вместо этого она создает специальные инструменты, которые работают только в смоделированных условиях. TinyTroupe отличается от других ролевых инструментов тем, что она направлена на решение реальных бизнес-задач и повышение эффективности проектов, а не просто на игру.

Как и любая мультиагентная система, TinyTroupe предоставляет 2 ключевые абстракции:

🟢TinyPerson - агенты (смоделированные личности) с определенными чертами характера, интересами и целями.

🟢TinyWorld - среда, в которой агенты существуют и взаимодействуют.

Обе сущности настраиваются через различные параметры в config.ini, там же - тип API (Azure OpenAI Service или OpenAI API), параметры модели и уровень логирования.

TinyTroupe предлагает ряд утилит, которые облегчают создание симуляций и извлечение ценной информации из них:

🟠TinyPersonFactory для генерации новых TinyPerson с использованием LLM;

🟠TinyTool - симулированные инструменты, которые могут использоваться TinyPerson;

🟠TinyStory для создания и управления историей, рассказываемой через симуляции;

🟠TinyPersonValidator для проверки поведения TinyPerson;

🟠ResultsExtractor и ResultsReducer для извлечения и сокращения результатов взаимодействия между агентами.

Чтобы получить представление о том, на что способен TinyTroupe, в репозитории опубликовано несколько примеров его использования. Эти примеры находятся в папке examples/, и, на выбор, можно просмотреть предварительно скомпилированные Jupyter-блокноты, либо запустить их самостоятельно локально.

⚠️ TinyTroupe находится на ранней стадии разработки и API библиотеки может меняться.

⚠️ Для использования TinyTroupe нужен OpenAI API Key или Azure OpenAI Service API KEY.


▶️Установка:

# Create & activate conda env
conda create -n tinytroupe python=3.10
conda activate tinytroupe

# Clone the repository
git clone https://github.com/microsoft/tinytroupe
cd tinytroupe

# Create and run TinyPerson
from tinytroupe.examples import create_lisa_the_data_scientist

lisa = create_lisa_the_data_scientist() # instantiate a Lisa from the example builder
lisa.listen_and_act("Tell me about your life.")

📌 Лицензирование: MIT License.


🖥Github


@ai_machinelearning_big_data

#AI #ML #Microsoft #TinyTroupe #Рersonalities

🌟 MatterSim: DL-модель для предсказания свойств материалов от Microsoft.

MatterSim - усовершенствованная модель глубокого обучения в области материаловедения, предназначенная для моделирования свойств материалов в широком диапазоне элементов, температур и давлений. Она способна точно предсказывать свойства материалов по всей периодической таблице в диапазоне температур от 0 до 5000K и давления до 1000GPa.

MatterSim использует архитектуру M3GNet, которая включает в себя двух- и трехчастичные взаимодействия. Модель обучается с использованием функции потерь, учитывающей энергию на атом, вектор силы на каждом атоме и напряжение.

Особенность MatterSim - способность к активному и непрерывному обучению. Модель способна оценивать неопределенность своих прогнозов и выбирать структуры для активного обучения, что полезно для повышения точности моделирования сложных систем. MatterSim может быть настроена для моделирования на произвольном уровне теории.

Модель демонстрирует высокую точность в предсказании свободной энергии Гиббса и 10-кратное улучшение точности по сравнению с универсальными силовыми полями, обученными на траекториях релаксации на наборах данных MPF-TP и Random-TP.

Модель может быть точно настроена для атомистических симуляций на желаемом уровне теории или для прямых предсказаний "структура-свойство"с сокращением требований к данным до 97%.

▶️В релизе представлены 2 версии модели:

🟢MatterSim-v1.0.0-1M - мини-версия модели, которая работает быстрее;
🟢MatterSim-v1.0.0-5M - увеличенная версия, которая является более точной.

⚠️ Рекомендуется устанавливать MatterSim с помощью mamba или micromamba, поскольку conda может работать значительно медленнее при разрешении зависимостей в environment.yaml.

▶️ Установка и использование на примере ASE калькулятора:

# Install package with the latest version
pip install git+https://github.com/microsoft/mattersim.git

# Create env via mamba
mamba env create -f environment.yaml
mamba activate mattersim
uv pip install -e .
python setup.py build_ext --inplace

# Minimal example using ASE calculator
import torch
from ase.build import bulk
from ase.units import GPa
from mattersim.forcefield import MatterSimCalculator

device = "cuda" if torch.cuda.is_available() else "cpu"
print(f"Running MatterSim on {device}")

si = bulk("Si", "diamond", a=5.43)
si.calc = MatterSimCalculator(device=device)
print(f"Energy (eV)                 = {si.get_potential_energy()}")
print(f"Energy per atom (eV/atom)   = {si.get_potential_energy()/len(si)}")
print(f"Forces of first atom (eV/A) = {si.get_forces()[0]}")
print(f"Stress[0][0] (eV/A^3)       = {si.get_stress(voigt=False)[0][0]}")
print(f"Stress[0][0] (GPa)          = {si.get_stress(voigt=False)[0][0] / GPa}")

📌Лицензирование: MIT License.


🟡Модель
🟡Документация
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #DL #Mattersim #Microsoft

⚡️ TRELLIS: универсальная модель для генерации 3D-контента от Microsoft.

TRELLIS - модель для создания высококачественных 3D-объектов на основе текстового промпта или изображения с помощью унифицированного представления Structured LATent (SLAT), которое декодирует данные в форматы: Radiance Fields, 3D-гауссианы и полигональные сетки.

SLAT обладает универсальностью, используя комбинацию из разреженной 3D-сетки и плотных визуальных признаков, извлеченных моделью DINOv2 из входного изображения.

TRELLIS использует модифицированные rectified flow transformers, адаптированные для работы с SLAT. Обучение набора моделей TRELLIS, размерами до 2 млрд. параметров, выполнялось на датасете из 500 тыс. разнообразных 3D-объектов.

Пока в открытый доступ опубликована только Image-to-3D версия - TRELLIS-image-large с 1.2 млрд. параметров. Остальные вариации модели для генерации 3D по тексту: TRELLIS-text-base (342М), TRELLIS-text-large (1.1В) и TRELLIS-text-xlarge (2В) и код для их трейна будут представлены позже (сроки не указаны).

⚠️ Для локального запуска TRELLIS-image-large рекомендуется NVIDIA GPU с VRAM 16GB или больше.

▶️Установка и запуск c WebUI (Gradio):

# Clone repo
git clone --recurse-submodules https://github.com/microsoft/TRELLIS.git
cd TRELLIS

# Create conda env and install dependencies
. ./setup.sh --new-env --basic  --flash-attn --diffoctreerast --spconv 
--mipgaussian --kaolin --nvdiffrast

# Install web demo via Gradio
. ./setup.sh --demo

# Run WebUI
python app.py

📌Лицензирование: MIT License.


🟡Страница проекта
🟡Модель
🟡Arxiv
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #ImageTo3D #Trellis #Microsoft

🌟 VidTok: Универсальный токенизатор видео от Microsoft.

VidTok – универсальный и открытый видео токенизатор, демонстрирующий высокую производительность как в непрерывной, так и в дискретной токенизации.

Токенизация видео, преобразующая исходные данные в компактные латентные токены - важнейший шаг для задач генерации и понимания видео. VidTok предлагает ряд улучшений, которые позволяют ему превзойти существующие методы: модельную архитектуру, методы квантования и стратегии обучения.

В архитектуре VidTok пространственное и временное сэмплирование обрабатываются раздельно, используя 2D свертки для пространственных модулей и оператор AlphaBlender для временных, при этом сохраняя 3D свертки для слияния информации.

Для дискретной токенизации используется конечное скалярное квантование (FSQ), которое оптимизирует неявный кодовый словарь, улучшая стабильность обучения. Эффективность обучения достигается двухэтапной стратегией: предварительное обучение на видео с низким разрешением, а затем дообучение декодера на видео с высоким разрешением.

VidTok обучался на датасете видеоданных с разным разрешением (400 000 видео 480p и 10 000 видео 1080p). Производительность измерялась с использованием метрик PSNR, SSIM, LPIPS и FVD, результаты показали превосходство VidTok по сравнению с другими токенизаторами как в дискретной, так и в непрерывной токенизации.

При сравнении с MAGVIT-v2, OmniTokenizer, CV-VAE, Open-Sora и Cosmos-Tokenizer, VidTok достиг лучших показателей, с меньшим размером модели.

▶️ В открытый доступ опубликованы 12 чекпоинтов, расшифровка нейминга:

🟢vidtok - базовое название;
🟢kl или fsq - тип регуляризации и квантования латентного пространства;
🟢causal или noncausal - тип обработки временной информации (покадрово или все кадры сразу);
🟢488 или 41616 - компрессионное соотношение (VCR), которое определяет степень сжатия видео по времени, высоте и ширине. Например, 4x8x8 и 4x16x16;
🟢4chn, 8chn или 16chn - количество каналов в латентном пространстве для непрерывных токенизаторов. Чем больше каналов - тем качественней видео;
🟢262144, 32768 или 4096 - размер codebook для дискретных токенизаторов с использованием FSQ. Чем больше - тем точнее представлятся информация.


▶️Локальная установка и пример запуска как для непрерывной, так и для дискретной токенизации и как для каузальных, так и для некаузальных моделей:

# Clone repo
git clone https://github.com/microsoft/VidTok
cd VidTok

# Create conda env
conda env create -f environment.yaml
conda activate vidtok

# Inference 
import torch
from scripts.inference_evaluate import load_model_from_config

cfg_path = "configs/vidtok_kl_causal_488_4chn.yaml"
ckpt_path = "checkpoints/vidtok_kl_causal_488_4chn.ckpt"
is_causal = True

device = torch.device("cuda") if torch.cuda.is_available() else torch.device("cpu")    
# load pre-trained model
model = load_model_from_config(cfg_path, ckpt_path)
model.to(device).eval()
# random input
num_frames = 17 if is_causal else 16
x_input = (torch.rand(1, 3, num_frames, 256, 256) * 2 - 1).to(device)  # [B, C, T, H, W], range -1~1
# model forward
_, x_recon, _ = model(x_input)
assert x_input.shape == x_recon.shape

📌Лицензирование: MIT License.


🟡Набор моделей
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Microsoft #VidTok

🔥 Microsoft только что выпустила Phi-4 LLM, обученный на 9,4 триллионах токенов.

Лицензия MIT!

🤗 HF: https://huggingface.co/microsoft/phi-4

🧠Demo: https://huggingface.co/spaces/Tonic/Phi-4

@ai_machinelearning_big_data

#phi4 #llm #Microsoft

📄 ML NEWS

🤖 Microsoft Research только что опубликовали новую версию AutoGen - суперпопулярного фреймворка для работы с агентами с открытым исходным кодом

AutoGen v0.4 это переработанный фреймворк, в котором значительно улучшена масштабируемость, добавлена модульность и новая система отладки процессов agentic AI за счет внедрения асинхронной архитектуры, управляемой событиями.
▪ Github

🖥 Google представил архитектуру Titans, которая возможно станет очень важным элементом развития больших языковых моделей (LLM) в 2025 году.

Архитектура состоит из 3х типов памяти:
- Краткосрочная память – для оперативной обработки данных.
- Долгосрочная память – для всей сохранения значимой информации.
- Постоянная память – для фиксации важной информации.
По заявлениям разработчиков Titans может эффективно обрабатывать контекст превышающим 2 миллионов токенов.
▪Подробнее

🖥 ChatGPT теперь таск-менеджер:
ИИ теперь способен инициировать диалог благодаря новой функции Tasks. Ранее он только отвечал на запросы, а теперь способен самостоятельно выполнять задачи.

Tasks позволяют пользователям давать ChatGPT задачи с указанием времени выполнения.
▪Подробнее

📱 DeepSeek V3 вышел на айфонах
Приложение доступно AppStore бесплатно и работает очень быстро
▪Скачать можно здесь.

⚡️ Выпущена новая открытая модель Omni!
MiniCPM-o 2.6 - мультимодальная модель с 8B параметрами, работающая на edge девайсах.
- 8B параметров (SigLip-400M + Whisper-300M + ChatTTS-200M + Qwen2.5-7B)
- Превосходит GPT-4V в vision задачах с 70. 2 баллами на OpenCompass
- Лучшие в своем классе возможности двуязычной речи с разговором в реальном времени и клонированием голоса
▪ Model

👩‍💻 Stable point-aware 3D от Stability AI

Свежий инструмент с открытым исходным кодом, который отлично справляется с созданием 3D объектов по одному изображению.
▪Github

@ai_machinelearning_big_data


#news #ml #digest #Stability #chatgpt #google #microsoft #deepSeek #MiniCPM

⭐️ Вышел PyTorch 2.6 !
В релиз добавлен ряд улучшений:
🔥 torch.compile теперь поддерживает Python 3.13
🔥 Новый torch.compiler.set_stance
🔥 Улучшения в AOTInductor
🔥 Поддержка FP16 на процессорах X86.
🟢 Релиз

⭐️ OpenAi поделились результатами раннего тестирования o3. Они превосходят практически всех экспертов-людей.
Сегодня утром был опубликован Международный отчет о безопасности искусственного интеллекта, и OpenAI поделилась предварительными результатами тестов o3.
«значительно более высокие показатели, чем у любой предыдущей модели, в ряде самых сложных тестов в области программирования, абстрактного мышления и научного мышления»
🟢International AI Safety Report

⭐️ Цукерберг хайлатит основные моменты из отчета о финансовых результатах:
- LLama 4 и LLama 4 mini (на претренинге)
- Подтверждает ризонинг в LLaMa!
- Llama 4 будет изначально мультимодальной
- это омни-модель
- она будет иметь агентские возможности.
- 👓 — идеальный форм-фактор для ИИ
- строительство центра обработки данных размером с Манхэттен

⭐️ DeepSeek был взломан — все данные, чаты, секретные ключи и бэкенд-системы оказались слиты.
Компания Wiz Research обнаружила «DeepLeak» — общедоступную базу данных ClickHouse, принадлежащую DeepSeek, которая раскрывает крайне конфиденциальную информацию, включая секретные ключи, текстовые сообщения чата, сведения о бэкэнде и журналы.

⭐️ Codegen - новая открытая библиотека Python для работы с кодом.
Codegen - это новый SDK к мощному многоязычному языковому серверу,
Который позволяет делать рефакторинг, применение паттернов, анализ целых проектов и т. д.
🟢Docs: 🟢 Github: 🟢 Community:

⭐️ Microsoft сделали модель R1 от DeepSeek доступной на Azure AI и GitHub. Microsoft на удивление быстро предоставила R1 своим клиентам Azure и планирует выпустить ее уменьшенную версию для Copilot+.
🟢Новость

🍪 Luma LabsAI обновили свой генератор видео Ray2. Теперь он поддерживает вывод 1080p и апскейлинг до 4k!
🟢Dream machine

❄ Трамп предложил ввести 100%-ные пошлины на микросхемы, произведенные на Тайване. Эти меры направлены на то, чтобы вернуть производство полупроводников в США.
Несмотря на открытие завода в Аризоне, TSMC по-прежнему производит большую часть своих чипов на Тайване.
А поскольку чипы TSMC обычно отправляются в Китай и другие азиатские страны для сборки, прежде чем попасть в США, эти пошлины в случае их введения могут привести к росту стоимости такой электроники, как iPhone, игровые графические процессоры и ноутбуки.

⭐️ Atla Selene Mini - новая мощная маленькая модель 8B (SLMJ).
- превосходит лучшие малые модели в задачах оценки на 11 бенчмарках
- превосходит GPT-4o в RewardBench и EvalBiasBench
- отлично работает в реальных приложениях
🟢Ссылка

⭐️Выпущены гайды по работе с Qwen2.5-VL!
Коллекция записных книжек, демонстрирующих варианты использования Qwen2.5-VL, включая локальную модель и API. Примеры включают в себя использование вычислений, пространственное понимание, разбор документов, мобильный агент, распознавание текста, Универсальное распознавание, понимание видео.
🟢Cookbook

@ai_machinelearning_big_data

#pytorch #pytorchrelease #opensource #LLama #LLama4 #openai #chatgpt #ai #news #ml #llm #ainews #LumaLabsAI #Microsoft #DeepSeek #qwen

✔️ OpenAI планирует выпуск GPT-4.5 и GPT-5.

CEO OpenAI Сэм Альтман опубликовал в X (Twitter) планы по выпуску GPT-4.5 и GPT-5.
GPT-4.5, которую раньше называли Orion, станет последней моделью без использования цепочек рассуждений. GPT-5 будет представлена как система, объединяющая сразу несколько технологий, включая бэкграунд o3. Как отдельная модель, о3 перестанет существовать.

Бесплатные пользователи ChatGPT получат неограниченный доступ к GPT-5 на стандартном уровне возможностей модели, а подписчики Plus и Pro — на более высоких уровнях. Точные сроки выпуска GPT-4.5 и GPT-5 не названы, но ожидаются в течение нескольких недель или месяцев. OpenAI также стремится упростить свой продуктовый ряд, отказавшись от выбора моделей и стремясь к «магическому унифицированному интеллекту».
x.com

✔️ Adobe выпустила публичную бета-версию ИИ-генератора видео.

Генератор видео от Adobe - Generate Video позволяет создавать видео из текста или изображений. Инструмент доступен через веб-приложение Firefly и интегрирован с Creative Cloud, Photoshop и Premiere Pro. Пользователи могут настраивать стиль, углы камеры, движение и расстояние съемки. Видео выводится в формате 1080p при 24 кадрах в секунду. Для генерации клипов продолжительностью до 5 секунд требуется в среднем 90 секунд.

Помимо Generate Video, Adobe представила 2 новых инструмента: Scene to Image и Translate Audio and Video и открыла планы подписки на Firefly: Standard (9,99 долл. США в месяц) и Firefly Pro (29,99 долл. США в месяц). Подписка дает кредиты на создание видео/аудио.
blog.adobe.com

✔️ Perplexity AI представила новую ультрабыструю поисковую модель Sonar.

Perplexity запустила обновленную версию поисковой модели Sonar, которая основана на Llama 3.3 70B и работает на мощностях от Cerebras Systems. Внутренние тесты, проведенные Perplexity показали, что Sonar превосходит GPT-4o mini и Claude 3.5 Haiku по удовлетворенности пользователей и сравнивается с GPT-4o и Claude 3.5 Sonnet в поисковых задачах.

Cerebras Systems использует уникальные Wafer Scale Engines, позволяющие Sonar обрабатывать 1200 токенов в секунду, что дает почти мгновенные ответы. Доступ к Sonar ограничен для платных пользователей Pro, но Perplexity планирует сделать его более широко доступным в будущем.
perplexity.ai

✔️ Microsoft закрывает разработку HoloLens.

Microsoft официально подтвердила, что полностью прекращает разработку оборудования HoloLens и объявила о прекращении разработки HoloLens 2. Робин Сейлер, вице-президент подразделения смешанной реальности Microsoft, заявил, что компания перейдет от разработки оборудования к облачным технологиям и технологиям ИИ, но по-прежнему будет предоставлять аппаратную и программную поддержку для HoloLens 2 до 2027 года.
theverge.com

✔️ MIT создал рой роботов-насекомых, способных летать в 100 раз дольше предыдущих моделей.

Новые конструкции роботов-насекомых легче и имеют достаточно места для размещения батарей. Эти роботы, размером меньше скрепки, могут выполнять опыление и увеличить урожайность без вреда для окружающей среды.

Предыдущие модели имели 8 крыльев и имели меньшую производительность. Новая конструкция состоит из 4 блоков, каждый с одним крылом, что позволяет стабилизировать вертикальное движение. Улучшенная точность и ловкость роботов, ставшая возможной за счет внедрения новой системы, имитирующей механику мышц, уменьшили нагрузку на крылья. Ученые планируют интегрировать в этих роботов датчики, батареи и вычислительные возможности в ближайшие 5 лет.
livescience.com

✔️ Audiobox Aesthetics - новая модель с открытым исходным кодом, обученная на 562 часах данных, аннотированных профессиональными музыкантами, которая позволят автоматически оценивать эстетику речи, музыки и звука.
Github

✔️ Ovis2 мультимодальная LLM, выпущенная командой Alibaba AIDC.
✨ 1B/ 2B /4B/8B/16B/34B
HF

@ai_machinelearning_big_data

#news #ai #ml #openai #chatgpt #MIT #Microsoft #Adobe

🔥 Бесплатный курс от Microsoft «ИИ-агенты для начинающих»

Курс содержит пошаговые инструкции с примерами кода, которые помогут научиться создавать автономных агентов с использованием машинного обучения.

Фокус на AI-агентах:
Если вас интересует именно разработка агентов — например, для симуляций, игр или интерактивных систем — данный курс будет полезен.

Каждый урок включает в себя:
- Лекцию, (видео уроки появятся в марте 2025 года)
- Примеры кода на Python с поддержкой Azure AI Foundry и Github Models
- Практические задания
- Ссылки на полезные дополнительные ресурсы

Если это ваш первый опыт работы с агентами, у Microsoft есть еще 1 курс «Генеративный ИИ для начинающих», который содержит 21 урок по построению моделей с помощью GenAI, лучше начать с него.

Переведен на 9 различных языков (русского нет).

▪ Github

@ai_machinelearning_big_data

#course #Microsoft #aiagents #ai #ml #opensource #freecourse

✔️ OpenAI опубликовали статью, в которой описан план создания лучшего в мире ИИ-кодера.
В статье исследуется применение обучения с подкреплением (RL) к большим языковым моделям (LLMs) улучшает их способность решать сложные задачи программирования и рассуждений. Авторы сравнивают три модели: общую модель o1, её специализированную версию o1-ioi (адаптированную для соревнований IOI) и более продвинутую модель o3.

Модель o1 значительно превосходит модели без цепочек рассуждений (например, gpt-4o) по показателям на платформе CodeForces.
Специализированная o1-ioi, оптимизированная для соревнований IOI, показывает хорошие результаты с ручными стратегиями, но её успех зависит от дополнительной настройки и тестовых стратегий.
Модель o3, обученная только с RL и без доменно-специфичных стратегий, демонстрирует ещё более высокую производительность, достигая результатов на уровне элитных программистов мира как на CodeForces, так и на IOI.
Применение в реальных задачах:
Масштабирование RL для общего использования, а не применение специализированных ручных стратегий, является эффективным путём достижения передового уровня ИИ в задачах рассуждения и программирования.
Статья

✔️ Google о квантовых вычислениях «Наш последний прорыв: мы смогли выполнить сложные вычисление за 5 минут, на что одному из самых быстрых суперкомпьютеров в мире потребовалось бы более 10 миллиардов лет — это дольше, чем существует наша Вселенная».
Тред

✔️ Илон Маск анонсировал выпуск новой версии Grok 3 от его стартапа xAI. Он заявил, что это будет «самый умный ИИ на земле»
Релиз состоится 18 февраля в 04:00 (GMT+3). Похоже, что Grok-3 выйдет с режимом рассуждений.

✔️ Вслед за «Последним экзаменом человечества» ScaleAI
выпустили новую очень сложную оценку рассуждений LLM:
EnigmaEval: 1184 мультимодальные головоломки, настолько сложные, что на их решение группам людей требуется от многих часов до нескольких дней.
Все топ-модели набрали 0% в Hard set и < 10% в Normal set
Scale

✔️ 4 SOTA модели компьютерного зрения
От оценки позы до обнаружения объектов в реальном времени - свежие, передовые инструменты компьютерного зрения на Hugging Face, которые очень просты в использовании.
- ViTPose для оценки позы
- RT-DETRv2 для обнаружения объектов в реальном времени
- DAB-DETR улучшает оригинальный DETR, решая проблемы медленного обучения
- DepthPro от Apple для оценки глубины на одном изображении, выдавая расстояния на уровне пикселей в метрах менее чем за секунду.

✔️ Computer use ootb
Свежий инструмент, который представляет собой готовое решение для создания десктопного GUI-агента. С его помощью можно отдавать команды и автоматизировать задачи на ПК (Windows и macOS) через веб-интерфейс, доступный с любого устройства с интернетом.
Github

@ai_machinelearning_big_data


#news #ai #ml #openai #grok #grok3 #Microsoft #ScaleAI #elonmusk #cv #sota #opensource #agents

🌟 Magma – это фундаментальная модель от Microsoft, предназначенная для создания мульти-модальных AI-агентов, способных воспринимать окружение и действовать в цифровом и физическом мире.

Эта модель объединяет данные из различных источников (изображения, видео, данные о робототехнических манипуляциях и тд) и позволяет решать сложные задачи, требующие одновременной обработки текстовой, визуальной и пространственной информации.

Как работает Magma:
🟢 Используется единый визуальный энкодер, который преобразует изображения и видео в векторные представления, обеспечивая универсальное понимание визуальных данных.
🟢 Далее применяется техника Set-of-Mark (SoM) для маркировки ключевых объектов в изображениях (например, интерактивных кнопок или частей робота), что позволяет модели точно «привязывать» действия к нужным элементам сцены.
🟢Техника Trace-of-Mark (ToM) отвечает за планирование действий, анализируя динамику видеоданных и предсказывая последовательности будущих движений или изменений состояния объектов.
🟢Интеграция визуальной информации с текстовыми данными осуществляется через языковую модель, которая генерирует ответы в виде текста, пространственных координат или команд для выполнения конкретных задач.

Для чего нужен:

🟢Magma обеспечивает мульти-модальное понимание данных, объединяя вербальный, пространственный и временной аспекты, что значительно расширяет возможности AI-агентов.
🟢 Применим в широком спектре задач – от навигации по пользовательским интерфейсам до управлени роботами и играми – благодаря способности адаптироваться к новым задачам без дообучения (zero-shot).
🟢Позволяет разрабатывать интеллектуальные системы, которые не просто анализируют данные, но и планируют и осуществляют последовательность действий, что особенно важно для робототехники и интерактивных приложений.

🟡Github
🟡Проект
🟡Статья
🟡HF
🟡Video

@ai_machinelearning_big_data

#AI #ML #LLM #opensource #agents #Microsoft