Написал статью про плагин-ретривер к ChatGPT

https://habr.com/ru/articles/727146/

Альтернативные интерфейсы для ChatGPT

Пытался найти сторонний вариант интерфейса для бесед с ChatGPT, так как стал пользоваться им каждый день. Свой интерфейс на LangChain писать лень, поэтому проделал небольшой ресерч и оформил это в развернутый пост.

Итог: нашел класный тул на Rust, который позволяет вызывать ChatGPT из терминала.

Напишите в комментах, если есть какие-то хорошие враперы над ChatGPT, которыми пользуетесь.

Читать пост.

@ai_newz

Невероятно крутая статья, не похожая вообще ни на что, что я до этого видела – Generative Agents: Interactive Simulacra of Human Behavior
https://arxiv.org/pdf/2304.03442.pdf

Если кратко, то игру по типу Симс населили 25 персонажами, каждый со своим описанием личности, со своими воспоминаниями и со своими целями. Все действия персонажей и взаимодействия друг с другом происходили через генерацию LLM. В итоге персонажи очень быстро стали имитировать довольно сложное человеческое поведение – например, вместе организовали вечеринку в честь дня Святого Валентина, раздвали приглашения и назначали свидании. Более того, их действия, согласно оценкам размечиков, были более human, чем поведение людей, которых попросили играть за этих персонажей

У авторов очень прикольная идея с использованием контекста модели: все действия и наблюдения за окружающим миром сохраняются, далее из этой памяти достаются какие-то релевантные воспоминания. Их используют, чтобы генерить следующее действие / реплику в разговоре, и еще для модель просят над ними порефлексировать, чтобы сформулировать более долгосрочные планы. Так что персонаж может в observation, planning, and reflection

Кажется что это вообще бомба для всяких отыгрываний тех или иных агентов в чатах и может быть так будут выглядеть NPC будущего

UPD: забыла приложить также отличное демо – https://reverie.herokuapp.com/arXiv_Demo/

и довольно подробный тред о статье

​🚀Dolly 2.0 – первая открытая 12B Chat-LLM, которую можно использовать в коммерческих продуктах

Databricks удивили! Ребята заметили, что все опен-соурсные ChatGPT-клоны либо используют LLaMA, в которой некоммерческая лицензия, либо используют данные, которые запрещают коммерческое использование (как например датасет инструкций от Alpaca, сгенерированный с помощью GPT-3).

В чем преимущество OpenAI перед опен-суорсом, если не брать в расчет размер GPU кластера? В данных. Чтобы дообучить ChatGPT было собрано много качественных диалогов и иструкций от реальных людей, ну, и плюс RL from Human Feedback (RLHF), где люди оценивали ответы языковой модели.

Было решено собрать свой датасет. В Databricks работает ≈5000 человек, их всех и попросили написать вручную несколько семплов для обучения клона ChatGPT. Нужно было составить качественные пары Вопрос-Ответ, либо Инструкция-Ответ, на которых можно было бы добучить опенсоурсную авторегрессионную LLM, которая умеет просто продолжать текст, а не вести диалог. В итоге с помощью пряников в виде бонусов за написание лучших примеров, было собран высококачественный датасет на 15000 семплов!

Далее, они взяли свежу языковую модель Pythia-12B от EleutherAI с MIT лицензией и дообучили на своем датасете, получив Dolly 2.0* которую тоже харелизили под MIT лицензией вместе с кодом и весами. Разве не прелесть?

generatetext = pipeline(model="databricks/dolly-v2-12b", torchdtype=torch.bfloat16, trustremotecode=True, devicemap="auto")

generatetext("Who is Shcmidhuber?")


Теперь ожидаем, пока умельцы кванитизуют Dolly в 4 бита и ускорят для запуска на CPU, а так же ждем шага от OpenAssistant, которые по слухам зарелизят свою модел в ближайшие дни.

*Dolly 1.0 была обучена на тех же инструкциях, что и Alpaca.

Блогпост про Dolly 2.0

@ai_newz

https://youtu.be/8y7GRYaYYQg

Разработчик игр задался целью сделать игру в Unity с помощью GPT-4, при этом введя одно условие: он не пишет код, только копипастит и выполняет инструкции от бота.
Для начала описал игру и попросил написать верхнеуровневый тезисный план разработки, а затем ему следовал. Скрины изначального промпта можно найти тут.

Итеративно, с дополнением и уточнением, модель справилась со всем, включая фикс багов в игровой логике. Почти во всех запросах, что показаны в видео, человек лишь высказывает свои пожелания сделать то или это, а не указывает на конкретные ошибки с учётом экспертизы. Однако несколько раз модели всё же пришлось подсказать с точки зрения эксперта, как нужно сделать по-умному, а она уже переводила это в код.

Автор отмечает, что его задачи сместились с более рутинных вроде написания кода к дизайнерским (в том числе расположение объектов на сцене, дизайн классов и верхнеуровневой логики)

Ну и бонус - весь визуал тоже сделан генеративной моделью :)

Промпт для того что бы ChatGPT накатал вам MindMap!

Create a mindmap of [YOUR IDEa].
List the topic's central idea, main branches, and subbranches.
Also output the same mindmap in a raw markdown format for copying.

🐶Робопёсик Spot научился говорить

Ребята из Boston Dynamics, которые создают всем известных роботов, прикрутили ChatGPT к своему робопёсику. Это дало роботу возможность докладывать о результатах выполненных миссий и отвечать на любые вопросы о ходе выполнения задания на человеческом языке.

Например, миссией пса могла быть пройти по локации и проверить некоторые датчики.

ChatGPT на вход получает огромный json файл с конфигурацией миссии и данными, собранными во время выполнения. И бот отвечает на любые вопросы пользователя используя инфу из json. Т.к. данных много, вместить весь файл в контекст ChatGPT не получится (пока... я тут писал про попытки вместить до 1млн токенов). Поэтому файл разбивается на маленькие куски, для каждого из которых считается эмбединг. Во время инференса: по заданному вопросу быстро ищутся наиболее релевантные куски, используя расстояния между эмбедингами и отправляются
в контекст GPT, чтобы выдать наиболее точный ответ.

Для озвучки пёсика взяли text2speech API от Гугла.

@ai_newz

В дополнение к AI-учителю из предыдущего поста. Такой промпт в формате json позволяет легко подстраивать учителя под себя.

Например, чтобы позволить ему генерировать примеры на Python, достаточно добавить в конфиге python_enabled: true.

А чтобы изменить язык, как предложил подписчик, можно добавить language: "Russian".

Что касается истинности информации, которую AI-учитель выдает, то когда будет открыт доступ к плагинам, ChatGPT сможет гуглить информацию и подкреплять свои ответы ссылками на статьи в интернете. Вот тогда заживём :) А пока просто читаем выдачу ChatGPT со щепоткой скептицизма.

Важно: промпт уверенно работает только в ChatGPT-4. ChatGPT-3.5 может не потянуть и выдавать не такие хорошие результаты.