Исследователи из Китая создали мультимодальный датасет, который по эффективности превосходит наборы во много раз больше

Помните, как Андрей Карпаты говорил, что "модели должны стать больше, прежде чем они станут меньше"? По его теории, большие LLM должны помочь нам сделать данные, на которых мы учим модели, эффективнее: сейчас в трейнах моделей очень много шума, из-за которого модели разбухают, но умнее не становятся. Если этот шум убрать, и оставить только то, что действительно важно, на получившихся сжатых данных можно обучать маленькие модельки, которые на метриках будут не уступать большим.

Ученые из Китая попытались реализовать именно такой сценарий. Их датасет состоит не просто из текстов и картинок, как это обычно бывает, а из обработанных опенсорсной моделью RAM++ данных: это описания изображений, визуальные инструкции, выборочные текстовые задачи и, наконец, синтетика.

На итоговом наборе Infinity-MM они обучили малышку-модель Aquila-VL-2B (в качестве базовой модели взяли Qwen-2.5). Учили тоже непросто: в несколько этапов, каждый раз на отдельном виде данных. В итоге модель набрала 54,9% на мультимодальном бенче MMStar: это лучший результат в таком весе. Неплохие результаты получились и на других мультимодальных и математических тестах: 43% на HallusionBench, 75,2% на MMBench, 59% на MathVista.

И... хорошая новость: и датасет, и модельку выложили в опенсорс. А статью полностью можно прочитать здесь.

AGI достигнут, расходимся v4

Наш друг и коллега Саша Толмачев – CDO Ozon Fintech – приглашает подписчиков Data Secrets на стенд Озона на Матемаркетинг!

Подробности розыгрыша билетов на Data патибас здесь.

Facebook Research представили новую библиотеку optimizers

Этих ребят мы уважаем, – они подарили нам Faiss, Prophet и Pearl, а теперь подогнали еще и optimizers. Это новая библиотека с продвинутой реализацией оптимизаторов. Там есть привычные SGD, Adagrad, RMSProp и Adam, но реализованы они с помощью Distributed Shampoo.

Это означает, что все операции оптимизированы для тензорных пространств: за счет этого обучение в целом сходится быстрее. Наглядно 👇

Вот пример использования обычного Adam:

import torch
from torch.optim import Adam

model = instantiate_model()

optimizer = Adam(
model.parameters(),
lr=0.001,
betas=(0.9, 0.999),
eps=1e-08,
weight_decay=1e-05,
)



А вот с DS:

import torch
from distributed_shampoo.distributed_shampoo import DistributedShampoo
from distributed_shampoo.shampoo_types import AdamGraftingConfig

model = instantiate_model()

optimizer = DistributedShampoo(
model.parameters(),
lr=0.001,
betas=(0.9, 0.999),
epsilon=1e-12,
weight_decay=1e-05,
max_preconditioner_dim=8192,
precondition_frequency=100,
use_decoupled_weight_decay=False,
grafting_config=AdamGraftingConfig(
beta2=0.999,
epsilon=1e-08,
),
)



Больше примеров и исходный код – здесь

А вот и скандал вокруг Anthropic

Подобное не обходит ни одну большую компанию или стартап. Речь об оказании услуг заказчикам из сферы обороны. Говорят, что Anthropic объединяется с Palantir и AWS и планирует "поставлять" минобороне США ИИ.

Вообще, они такие не одни. Не так давно Meta* объявила о том, что они тоже делают свои модели доступными "партнерам из минобороны", а у OpenAI в совете по безопасности и вовсе сидит отставной генерал разведки (при этом слухи о том, что стартап на короткой ноге с военными ходят уже год).

Так что на Anthropic все обозлились скорее не из-за факта сотрудничества, а просто потому что обычно компания продвигает alignment и всевозможный safe AI, а такое поведение заставляет думать, что стартап отказывается от своих ценностей