Вот он, поворотный момент для человечества

Там Anthropic предложили новую технику для RAG. Разбираемся:

Как работает обычный RAG:
1. Документы в корпусе разбиваются на чанки
2. Из каждого такого чанка мы достаем эмбеддинг и кладем его в векторную БД
3. Когда поступает запрос (промпт), мы ищем в этой БД семантически близкие к нему чанки и добавляем их в промпт, чтобы модель могла использовать эту информацию для ответа

В чем тут проблема?
Дело в том, что таким образом мы можем упустить важный контекст и детали запроса. Например, пользователь запрашивает "Error code TS-999". Поиск найдет информацию про коды ошибок в целом, но может упустить точное совпадение «TS-999». К тому же, при возвращении конкретного чанка из базы может случится так, что он будет вырван из какого-то важного контекста, и это может помешать модели.

Что предлагают Anthropic?
Во-первых, они предлагают извлекать не только обычные эмбеддинги, но и делать TF-IDF энкодинг чанков с помощью BM25. TF-IDF утроен так, чтобы как раз отбрасывать наиболее "общие" вещи в тексте, и фокусироваться на редких и самых важных словах. Это поможет не упускать детали при поиске, как в примере с ошибкой TS-999.

Во-вторых, чтобы избавиться от проблемы отсутствия контекста, они предлагают этот контекст добавлять искусственно (то есть делать из такого: "Прибыль росла на 3%." ... такое: "Этот чанк относится к отчету компании ACME за Q2 2023; прибыль росла на 3%.").

Для этого перед извлечением эмбеддингов и TF-IDF энкодингом каждый чанк аннотируется с помощью отдельного запроса к модели (в случае Anthropic это делается с помощью Клода). Да, дорого. Но с помощью фишки Prompt Caching, которую недавно завезли в API, можно хорошо скостить цену.

В итоге все это дает достаточно ощутимый прирост к метрикам качества поиска. Например, фактических ошибок становится меньше на 35%, а это ничего себе!

Нашли клевые слайды с выступления сеньора-ресерчера из Google DeepMind

Он недавно вступал с гостевой лекцией в университете McGill на курсе по LLM и выложил свою презентацию. В ней поднимаются все самые «волнующие» темы: синтетические данные (с точки зрения математики, очень интересно), масштабируемость, ризонинг, RL.

В общем, просмотреть точно стоит: в конце концов, это просто красиво.

Внезапно: губернатор Калифорнии все-таки не подписал закон о регуляции ИИ. Вместо этого он наложил на него вето

Причина: он считает закон недостаточно адаптивным, потому что в нем строгие стандарты применяются даже к самым базовым функциям, НО только для крупных моделей. При этом для моделей поменьше не учтены почти никакие нюансы. Подробнее о законопроекте мы писали тут.

«SB 1047 сосредоточен только на самых дорогих и масштабных моделях, хотя меньшие, специализированные
модели могут оказаться такими же или даже более опасными. Я согласен — мы не можем позволить себе ждать, пока произойдет крупная катастрофа. Калифорния не откажется от своей ответственности. Однако я не согласен, что для обеспечения общественной безопасности мы должны согласиться на решение, которое идет вразрез с эмпирическим анализом траектории развития ИИ.»

Вот так. Сам губернатор обещает внести «разумный» законопроект уже в течение года.

Google добавили в Notebook LM возможность обработки YouTube видео

Notebook LM – это тот самый инструмент от Google, который может превратить любой pdf в подкаст, объяснить любой текст (включая сайты по ссылке) и ответить на вопросы по нему.

Инструменту уже год, но его постоянно развивают: функцию с подкастами вот добавили меньше месяца назад. А теперь в подкаст или текстовую объяснялку/гайд можно превратить не только текст, но и видео/аудио.

Выглядит супер удобно и попробовать можно бесплатно.

P.S. Кстати буквально вчера на Hugging Face появился опенсорс аналог Notebook LM на основе Llama 3.1. С видео пока не работает, но c PDF-to-podcast справляется вроде неплохо.

Как вам такая литература?

Просто визуализируем план человечества по мотивам вчерашнего интервью CEO Nvidia

Liquid AI представили новое семейство моделей с оригальной архитектурой: они выбивают SOTA метрики в своих классах

Самое интересное: это НЕ трансформеры, а так называемые ликвидные сети. Ликвидными (то есть жидкими) их называют потому, что, в отличие от обычных нейросетей, где веса – это просто числа, в ликвидных моделях веса вообще может не быть: здесь обмен сигналами между нейронами — вероятностный процесс, управляемый нелинейной функцией. Такие подходят для моделирования любых последовательных данных, включая видео, аудио, текст, временные ряды и сигналы.

Всего доступно три модели: 1.3B, 3.1B, 40.3B MoE. Все они, судя по бенчмаркам в релизе, показывают себя очень неплохо, особенно на математике и длинном контексте. На схеме наверху – метрики по MMLU, а более детально можно посмотреть здесь. Если все действительно так, как представлено, то перед нами очень многообещающая альтернатива трансформерам (спойлер: r в "Strawberry" все равно посчитать не может).

Еще одна хорошая новость: модели уже можно попробовать. Они доступны в Liquid Playground и Perplexity Labs.

P.S. Если хотите почитать про архитуктуру подробнее, то вам сюда. По этой ссылке ресерчеры Liquid AI оставили упорядоченную подборку статей (собственных и не только) о том, как развивались ликвидные нейросети.

LMAO

База

Как работает новый Prompt Caching OpenAI

Краткий ликбез: Prompt Caching – штука, позволяющая кешировать промпты, которые используются часто, а не кормить их модели заново при каждом запросе. Основная цель – понижать косты. Вчера OpenAI добавили его в свое API, а у Anthropic этой фичей можно пользоваться уже полтора месяца.

Однако, в отличие от Anthropic, у OpenAI запросы к моделям (это относится к GPT-4o, GPT-4o mini, o1-preview, o1-mini) будут кэшироваться автоматически. Экономия получается хорошая: можно скостить 50% затрат и 80% задержки ответов.

Разберемся, как этим пользоваться:

1) Чтобы у вас заработал Prompt Caching, запрос должен быть не короче 1024 токенов. Кстати, далее каждые 128 токенов размер максимально возможного кэша увеличивается.

2) Кроме того, кэширование заведется только если префиксы промптов, которые и будут кешироваться, совпадали идеально (фича ориентирована именно на какие-то системные промпты вашего приложения).

3) Система отправляет запросы на серверы, которые недавно обрабатывали идентичные запросы, и кэширует longest prefix. При этом кэш очищается через 5–10 минут бездействия, а максимальный срок хранения – 1 час.