В Google презентовали VideoPrism: базовую модель для "понимая" видео

Удивительно, но факт: в эпоху SORA универсальный энкодер для видео (ViFM), который справляется с широким спектром задач, долго оставался голубой мечтой. Однако теперь Google превратили это в реальность.

VideoPrism умеет почти все: описывать видео, искать или локализовать объекты, классифицировать, отвечать на вопросы. Обучена модель на 36 миллионах video-text пар и 582 миллионах видео с субтитрами.

Под капотом – вижн трансформер (ViT), который обучается в два этапа: сначала с триплет-лоссами, чтобы научить сеточку сопоставлять видео подходящее описание; а затем на masked роликах, заставляя модель "дополнять" пропущенные участки (все, как дедушка BERT завещал). Получается, что исследователи как бы учат модель понимать и семантику видео, и динамику кадра.

И работает это классно: на 30 из 33 бенчмарков выбивает SOTA. Теперь исследователи планируют прикрутить сюда LLM. Ждем и надеемся, что такие наработки приведут к чему-то фееричному (еще одна SORA?)...

В каких еще областях нас планирует удивить OpenAI?

На днях компания подала заявку на регистрацию товарного знака для цифрового голосового помощника и голосового движка. Технология охватит распознавание речи, ее генерацию, и, возможно, генерацию других звуковых выходов.

Siri и Alexa тихо закурили в сторонке

CEO HyperWriteAI, ресерчер Мэтт Шумер, только что катнул в опенсурс инструмент, файнтюнящий LLM под специфик-таски по промпту

И вот как это работает. От пользователя поступает описание модели, которую он хочет получить для конкретной задачи. Этот промпт попадает в Claude-3, который генерит соответствующий датасет. Далее на этих данных дообучается Llama-2. Прикольно, да?

Шумер отмечает, что использовал для этого проекта свое древнее легаси, поэтому файнтюнит именно ламу. Он предложил всем желающим попробовать законтрибьютить в проект, в том числе попытаться заменить ламу на Mistral.

Пу-пу-пуууу, больше не первые, получается

Большие новости: Яндекс анонсировал линейку языковых моделей третьего поколения YandexGPT.

На сайте Yandex Cloud уже доступна YandexGPT 3 Pro — это первая нейросеть, которая вошла в линейку YandexGPT 3. В дальнейшем их станет больше: каждая будет ориентирована на решение задач определённого типа.

Бизнес сможет дообучить YandexGPT 3 Pro на своих скриптах в сервисе ML-разработки Yandex DataSphere, а потом встроить технологию в продукты через API и использовать её по цене в почти два раза дешевле. Тут можно потыкаться в демо-режиме.

Новости о дикой погоне за AI-специалистами на Google не заканчиваются. В последнее время отовсюду так и сыпятся подобные истории.

Например Цукерберг, в отличии от Брина, сотрудникам с мольбами остаться еще не звонит, НО хантинговые емейлы уже пишет. Кстати, тоже ребятам из Google :) В этих письмах он предлагает работу кандидатам без каких-либо интервью и рассказывает о том, что к концу года Meta обзаведется 340 тысячами GPU H100 и станет первой на ИИ-рынке.

А вот у Perplexity для хантинга железа пока маловато. Их CEO, Аравинд Шринивас, пытался переманить ресерчера из Meta, но тот ответил "Приходите, когда у вас будет 10 тысяч чипов Nvidia H100. До свидания."

Бывает...

Пополнение в рядах опенсурс LLM. AI21 выпустили Jamba. Вот, что нам известно:

– 52В параметров, из них 12В активных
– Контекст в 256к токенов
– Перформанс сравнимый с Mixtral
– Лицензия Apache 2.0. (веса)
– Новая архитектура: гибридный SSM трансформер. Пропускная способность в 3 раза больше, чем у обычного трансформера
– Скоро появится Instruct модель

Ян Лекун провел большую лекцию в Гарварде (завидуем, да). Она называлась «Объектно-ориентированный ИИ: на пути к системам, которые могут учиться, запоминать, рассуждать и планировать»

Записи пока нет, но есть довольно подробные слайды. Лежат вот тут. Нужно оценить в первую очередь название слайда под номером один. «ML sucks» – дословно гласит он… Что ж, всем известно, что Лекун умеет выдавать базу.

Вообще слайдов аж 97 штук (прямо небольшая такая книга). Охватывают риски, тренды, свежие архитектуры моделей. Читаются легко, хорошо рисуют общую картину лекции.

Идеально для общего развития и насмотренности.

Тот самый ресерчер из Meta с 10 тысячами GPU

Анонсирован Grok-1.5

Это LLM от xAI - стартапа Илона Маска. Из нового – контекстное окно в 128к токенов (в 16 раз больше, чем в предыдущем гроке) + судя по бенчмаркам, большой прирост сеточка получила на математических задачах. Кроме того, наблюдаем +10% на HumanEval.

В тест обещают выкатить в ближайшие дни.

Breaking: Mojo теперь в опенсурс

Mojo – питоноподобный язык программирования от создателей PyTorch и TensorFlow, заточенный специально под Data Science. Он быстрее Python примерно в 35 тысяч раз.

Хайп вокруг языка начался примерно год назад, а сейчас разрабы открыли код под лицензией Apache 2.0.

Желающим законтрибьютить: вот инструкция

Кто вдохновился попробовать: вот вам наш пошаговый гайд по установке Mojo

Поделитесь советом, связанным с работой, который вы бы дали себе, если бы попали в прошлое

Мы начнем:

Уделяй больше внимания данным и их обработке. Плохие данные = плохая модель. Если модель хорошая, значит она училась на качественных данных.