Google добавили в Notebook LM возможность обработки YouTube видео

Notebook LM – это тот самый инструмент от Google, который может превратить любой pdf в подкаст, объяснить любой текст (включая сайты по ссылке) и ответить на вопросы по нему.

Инструменту уже год, но его постоянно развивают: функцию с подкастами вот добавили меньше месяца назад. А теперь в подкаст или текстовую объяснялку/гайд можно превратить не только текст, но и видео/аудио.

Выглядит супер удобно и попробовать можно бесплатно.

P.S. Кстати буквально вчера на Hugging Face появился опенсорс аналог Notebook LM на основе Llama 3.1. С видео пока не работает, но c PDF-to-podcast справляется вроде неплохо.

Как вам такая литература?

Просто визуализируем план человечества по мотивам вчерашнего интервью CEO Nvidia

Liquid AI представили новое семейство моделей с оригальной архитектурой: они выбивают SOTA метрики в своих классах

Самое интересное: это НЕ трансформеры, а так называемые ликвидные сети. Ликвидными (то есть жидкими) их называют потому, что, в отличие от обычных нейросетей, где веса – это просто числа, в ликвидных моделях веса вообще может не быть: здесь обмен сигналами между нейронами — вероятностный процесс, управляемый нелинейной функцией. Такие подходят для моделирования любых последовательных данных, включая видео, аудио, текст, временные ряды и сигналы.

Всего доступно три модели: 1.3B, 3.1B, 40.3B MoE. Все они, судя по бенчмаркам в релизе, показывают себя очень неплохо, особенно на математике и длинном контексте. На схеме наверху – метрики по MMLU, а более детально можно посмотреть здесь. Если все действительно так, как представлено, то перед нами очень многообещающая альтернатива трансформерам (спойлер: r в "Strawberry" все равно посчитать не может).

Еще одна хорошая новость: модели уже можно попробовать. Они доступны в Liquid Playground и Perplexity Labs.

P.S. Если хотите почитать про архитуктуру подробнее, то вам сюда. По этой ссылке ресерчеры Liquid AI оставили упорядоченную подборку статей (собственных и не только) о том, как развивались ликвидные нейросети.

LMAO

База

Как работает новый Prompt Caching OpenAI

Краткий ликбез: Prompt Caching – штука, позволяющая кешировать промпты, которые используются часто, а не кормить их модели заново при каждом запросе. Основная цель – понижать косты. Вчера OpenAI добавили его в свое API, а у Anthropic этой фичей можно пользоваться уже полтора месяца.

Однако, в отличие от Anthropic, у OpenAI запросы к моделям (это относится к GPT-4o, GPT-4o mini, o1-preview, o1-mini) будут кэшироваться автоматически. Экономия получается хорошая: можно скостить 50% затрат и 80% задержки ответов.

Разберемся, как этим пользоваться:

1) Чтобы у вас заработал Prompt Caching, запрос должен быть не короче 1024 токенов. Кстати, далее каждые 128 токенов размер максимально возможного кэша увеличивается.

2) Кроме того, кэширование заведется только если префиксы промптов, которые и будут кешироваться, совпадали идеально (фича ориентирована именно на какие-то системные промпты вашего приложения).

3) Система отправляет запросы на серверы, которые недавно обрабатывали идентичные запросы, и кэширует longest prefix. При этом кэш очищается через 5–10 минут бездействия, а максимальный срок хранения – 1 час.

На случай, вы еще не видели демку полноценной модели o1 с DevDay, которая просто взяла и на ходу за один промпт написала рабочее приложение для управления квадрокоптером.

А еще сразу после DevDay OpenAI сразу закрыла новый раунд финансирования: они привлекли $6.6 миллиаров

Это больше, чем бюджет некоторых африканских стран. При этом оценка стартапа составила $157 миллиардов. Раунд возглавила Thrive Capital, и, включая эти $6.6 миллиаров, валовые инвестиции в OpenAI достигли $17.9 миллиардов.

Самое интересное: OpenAI попросила инвесторов избегать вложений в кокурентов, таких как Anthropic и xAI. Вот она, здоровая конкуренция.

Продолжение истории про Reflection

Для тех, кто успел подзабыть: Reflection – это та самая модель Шредингера, которая породила так много споров в начале сентября (мы писали об этом случае тут). Вкратце, авторы наобещали невероятные метрики, а потом модель сдулась. Разрабы при этом написали, что у них почему-то "не получается воспроизвети результаты экспериментов".

Месяц про модель ничего не было слышно. А сегодня тот самый разработчик, у которого не воспроизводились эксперименты, написал, что готов "исправить ошибку".

Он выложил веса, код и другие артефакты и написал, что воспроизвел все, кроме двух показателей на MATH и GSM8K ("Scores differ due to a bug in the initial benchmarking code").

"Надеюсь, этот постмортем внесет ясность в то, что произошло", – написал он.

Что ни день, то новость про то, что кто-то ушел из OpenAI

На этот раз компанию покинул Тим Брукс. Он был одним из руководителей проекта SORA. Ушел он в DeepMind, где будет также работать над генерацией видео и "world simulators"