Сегодня рассмотрим статью про метод «определение аппаратно‑программной платформы» (HSPI), который позволяет по вход‑выходному поведению модели машинного обучения определить, на каком GPU и с каким программным стеком она запущена.

Большие языковые модели и современные сверточные нейронные сети требуют существенных вычислительных ресурсов для решения реальных задач. По этой причине популярным решением становится аренда вычислительных мощностей, на которых проходит инференс, например, LLM-ок.

Возникает вопрос: как проверить, что поставщик железа и софта добросовестно выполняет свои обязательства? То есть, не инферит менее поздние модели на более старых видеокартах? Эту задачу попытался решить коллектив авторов из ICL, UoC и Google Deepmind.

Детали

Основная идея работы — посмотреть на задачи классификации и подобрать картинки или промпты, для которых на выходы модели будут влиять как железо, так и софт из-за различия в арифметических операциях, например — округления.

В контексте задачи классификации отличие двух архитектур будет ярко проявляться на границе между двумя классами, когда различные способы округления и упорядочивания в арифметических операциях будут приводить к различиям в классе, который предсказывает модель.
Авторы рассматривают два алгоритма: HSPI-BI (работает только на лейблах, предсказанных моделькой) и HSPI-LD (работает с вероятностями принадлежности определенному классу).

Результаты

Рассматривалось два сценария: White-Box — когда есть доступ к значениям в каждом нейроне, и Black-Box — когда есть доступ только к выходу модели. В качестве бэйзлайна рассматривался Random Guess. Авторам удалось существенно превзойти точность случайных угадываний в обеих постановках: в White-Box-сценарии точность детектирования типа железа и софта варьировалась от 83% до 100%. В Black-Box-сценарии удалось превзойти random guess примерно в три раза: 25% против 60%.

Авторы планируют дальше развивать предложенный ими метод, так как некоторые архитектуры неразличимы для текущей версии алгоритма. Кроме того, не исследована зависимость результатов от размера батча, что планируется исследовать в будущем.

Предыдущие обзоры статей с ICML от команды AI VK:
🔸Высокопроизводительные трансформеры на базе MatMuls;
🔸Проблемы оценки качества наборов данных для графового машинного обучения

✔️ "Developing superintelligence is now in sight.
We should act as if it's going to be ready in the next 2–3 years.” — Mark Zuckerberg

Его компании больше не просто развивает соцсети — она строит будущее искусственного интеллекта.

И делает ставку всерьёз, вкладывая: миллиарды на инфраструктуру и сотни миллионов — на лучших разарбов.

💰 Цукерберг объясняет, почему готов платить $100–200 млн топ-исследователям:

> «Мы потратим сотни миллиардов на вычисления и дата-центры.
> Тогда $100 млн за гения, способного продвинуть нас вперёд — это мелочь.»

📌 Почему это меняет игру:
— В мире всего сотни разраюотчиков, способных работать на грани AGI
— Каждая компания в ммре борется за них
— Цукерберг собирается собрать свою элиту — 50–70 человек
— И всё это — с прицелом на *2–3 года*, а не десятилетия

Superintelligence теперь не фантастика, а инвестиционный план.

@machinelearning_interview

🖥 Нашли кладезь знаний из 800+ SQL-вопросов с задачами — идеально для подготовки к собеседованиям.

Подойдёт, чтобы:
— прокачать SQL-навыки с нуля до продвинутого уровня
— быстро освежить синтаксис перед интервью
— попрактиковаться на реальных задачах

Полезно как джунам, так и мидлам. Отличный способ проверить себя и закрыть пробелы.

В рекомендациях есть две точки зрения:

1. Бигтех: закинем в нейросеть пару петабайт данных, добавим побольше трансформерных блоков, тысячи видеокарт — и вот вам рексис нового поколения. Но вы не сможете это проверить, потому что только у нас столько данных.
2. Академия: пораскинем мозгами, добавим inductive bias в линейный автоэнкодер и получим соту на всех открытых датасетах. Обучаем на макбуке 19 года.

Мы любим оба подхода, но на ридинг-группе поговорим про второй. Роман Логойда, ML-инженер AI VK, представит статью Why is Normalization Necessary for Linear Recommenders?
🔹Начало встречи 24 июля в 18:00.

Зум: ссылка
ID: 313 292 5940
Код: 473906

Параллельно запустим стрим прямо в канале AI VK Hub.