POV: к вам в команду пришел джун и пытается решить все задачи нейронками

PyTorch в тренде: они представили альфа-релиз библиотеки для end-to-end настройки LLM

Новая либа с красивым названием torchtune включает инструменты для:

– скачивания и подготовки датасетов
– построения архитуктур с помощью разнообразных строительных блоков (как в torch)
– логирования
– квантизации моделей
– файнтюнинга и расстановки чекпоинтов
– оценки моделей на классических бенчмарках
– запуска локального инференса
– и многого другого.

Уже выложили код и туториалы, а еще, чтобы лучше осознать возможности библиотеки, можно почитать блогпост.

Сегодня День Рождения LISP!

С этого языка началось функциональное программирование и анализ данных. Его изобрели ученые из MIT ровно 64 года назад. Вот статья, в которой он впервые упоминается.

Сегодня LISP все еще активно используется. На нем работает система обработки данных Apache Storm, текстовый анализатор Grammarly, софт, который мониторит состояние самолетов, программа, управляющая лондонским метро и многое другое.

Кстати, язык разрабатывался специально для ИИ. В основе лежала эта идея:

Чтобы искусственный интеллект работал как настоящий, он должен быть устроен точно так же. А раз наш интеллект основан на мыслях, которые мы можем выразить словами, то нам нужно научить компьютер разбираться в словах, их смыслах и взаимосвязи между ними.

С др, короче

Если ваш шопинг выглядит не так, не зовите меня

Сайты пытаются выпутаться из нейросетей

Российские СМИ начали запрещать «Яндексу» использовать свой контент для нейросетевых сервисов, которые пересказывают содержание веб-страниц, позволяя пользователям получать ответы без посещения сайтов.

Вот вам и Нейро

График, с помощью которого можно сравнить LLM сразу по трем категориям: длина контекста, цена и рейтинг на чат-бот арене.

Напоминаем, что менее, чем через 24 часа, ИИ-ряды также пополнит Llama-3.

Красивое

У Microsoft вышла VASA-1, которая очень реалистично оживляет фотографии

Становится все сложнее различать, что реально, а что нет: в VASA можно контролировать эмоции, направление взгляда и даже расстояние до камеры, а синхронизация губ просто поражает.

И кроме того, сила VASA в том, что она может поддерживать онлайн-генерацию видео 512х512 со скоростью до 40 кадров в секунду. До этого такой скорости мы еще не видели.

Под капотом, что интересно, не прямая генерация видеокадров, а генерация динамики лица и движения головы в латентном пространстве на основе звуковой дорожки (тут работает диффузионный трансформер). На это пространство затем навешивается декодер.

Декодер, кроме кодов из пространства, принимает также фичи лица, которые вытаскивает энкодер из фото, а на выходе из декодера мы уже получаем реалистичное видео.

Больше интересных примеров можно найти в блогпосте. Больше про архитектуру – в статье.

Помните, пару недель назад мы показывали вам график резкого роста медицинских статей, в котором используется слово delve (вникать), любимое слово ChatGPT?

Так вот, это слово уже давно принято считать признаком, что текст сгенерирован. Но люди до сих пор недоумевают, почему именно delve? Что за тайна такая вокруг этого слова?

Кажется, мы разгадали, в чем тут дело.

Да, в США слово delve употребляется редко, но вот в Нигерии очень распространено: его, например, часто произносят учителя в начальной школе.

А в GPT есть RLHF, где качество ответов модели развернуто оценивается людьми. Над RLHF часто работают люди, чей труд дешевле, чем у среднего жителя США.

Понимаете, куда мы клоним? Для RLHF нанимают людей из Нигерии, для которых слово delve - классика, они описывают ответы модели, используя это слово («вникай глубже»), а затем их отзывы подгружаются обратно модель для дообучения. Вот она и запоминает это слово как «хорошее».

С вами была программа «Следствие вели» с DataSecrets

Тем временем Mistral активно ищет инвестиции

В декабре стартап уже привлек $415 млн. Тогда они оценивались в $2 млрд. Сейчас оценка компании – $5 млрд. К тому же, недавно Mistral стал получать доход.

Короче, несложная математика и здравый смысл подсказывает, что компания может привлечь сотни миллионов долларов. Среди инвесторов: Andreessen Horowitz, Microsoft (OpenAI ревнует, да) и др.

На днях вышла новая книга по Computer Vision от трех крутых авторов: Antonio Torralba, Bill Freeman и Phillip Isola

Авторы работали над книгой почти 10 лет. В ней собрано вообще все, от линейных фильтров и оптики до современных диффузионнок. Скорее всего, чтиво скоро будет признано сообществом как мастрид.

Самая приятная вещь в книге - авторские иллюстрации. Ну и вообще, на выходные самое то.

Опенсорс вперед ❤️

Миниатюра: я пытаюсь файнтюнить новую Llama-3 на своем линово 2001 года

Визуализация эмбеддингов от TensorFlow

Пространство эмбеддингов с огромной размерностью представить себе очень сложно. Поэтому иногда, чтобы лучше понять задачу и/или наглядно оценить качество векторов, полезно посмотреть на эмбеддинги меньшей размерности. Крутейший залипательный инструмент для этого – Embedding Projector.

Что делаем: загружаем свои эмбеддинги/выбираем предобученные -> выбираем алгоритм сокращения размерности -> любуемся. На картинке сверху, например, можно увидеть кластер чисел снизу слева. Это означает, что эмбеддинги неплохо отражают семантическую близость слов.

Красивое...