Нужна картинка, аналогичная оной для SpaceX: "вот когда модели пройдут тест на модель мира, тогда и поговорим", "вот когда модель сможет доказать новую теорему, тогда и поговорим"

Большой список примеров использования ChatGPT + плагин на исполнение кода. Например, можно скормить модели картинку и попросить написать и запустить программу, которая извлечёт весь текст на ней. Или найдет лица людей (используя готовы библиотеки)

Всё, что казалось делом весьма далёкого будущего (как минимум пару-тройку лет подождать), теперь стало внезапно банальным. Помощник, который слушает твои разговоры и подсказывает как дальше общаться в реальном времени - это топ вообще. Дальше можно представить систему, которая будет «переводить» непонятные моменты на твой личный уровень, помогать добиваться целей в разговоре и т.д.

https://fxtwitter.com/bryanhpchiang/status/1639830383616487426

(спасибо Серёге из Ангарска за новость и формулировку)

Ну что, ждём возвращения Google Glass, которые будут на маленький экранчик в поле зрения выводить текст?

🦙 LLaMa не стоит на месте

Есть уже куча примеров какие чудеса кулибины вытворяют с моделькой LLaMa. А вчера чел соорудил подобие Джарвиса, или Алексы, если хотите, прямо у себя в терминале на MacBook M1 Pro.

Причем все работает реалиайм на связке Whisper + LLaMa.

Под капотом: ggml / whisper.cpp / llama.cpp / Core ML
STT: Whisper Small
LLM: 13B LLaMA

Другой Кулибин начал прикручивать плагины от ChatGPT к опенсоурсной LLaMa. Уже работает text-retrieval плагин, и есть код.

@ai_newz

AI-ассистент финансовому аналитику

Тут один британский учёный инженер решил на коленке склепать себе ассистента для анализа финансовой отчётности с помощью GPT. Как proof-of-concept он загрузил примерно тысячу страниц PDF-файлов из отчётности Tesla за 2020-2022 года. Понятно, что человеку, даже опытному, достаточно тяжело в таком ориентироваться.

Но что если на помощь позвать ассистента, которому можно задать вопрос, а он найдет на него ответ из файлов, ещё и может приложить свою экспертизу?

Вот 40-минутное видео с детальным объяcнением принципа работы, а код весь открыт тут. Очень клёвая идея для петпроекта, ещё бы добавить возможность модели самой задавать вопросы и на них отвечать (aka "чеклист проверки отчётности") - и вообще огнище будет!

На скриншоте - диаграмма пайплайна

Умный ассистент Siri появился больше 10 лет назад, в 2011. Кажется, что многие тогда думали "ухххх через 10-то лет будет такой умной! Настоящий ИИ!"

Парень с твиттера прикрутил к Siri в Apple Watch вызовы GPT-4. Далее он сказал своим часам, мол, мне надо в репозиторий с моим проектом добавить вот такую кнопку, так и так, можешь помочь?". Дальше происходит магия, и на GitHub появляется пулл-реквест от GPT-шки, с написанным кодом.

Ухххх поскорее бы аналог Джарвиса из "Железного Человека"...

3-минутное видео с демонстрацией: https://fxtwitter.com/i/status/1641204093074145281

Наткнулся на занятную статью "8 вещей, которые надо знать о больших языковых моделях"

Краткое содержание:
1. LLM предсказуемо становятся более "способными" с увеличением затрат в $, даже без крутых инноваций. Главное тут - предсказуемость, что было показано в статье про GPT-4: учили 5-7 маленьких моделек с бюджетом 0.1% от финального, а затем по этому делали предсказание для огромной модели. Для общей оценки перплексии и метрик на подвыборке одной конкретной задаче такое предсказание было очень точным.

2. Однако конкретные важные навыки, как правило, возникают непредсказуемо как побочный продукт увеличения затрат на обучение (дольше тренировать, больше данных, больше модель) - практически невозможно предсказать, когда модели начнут выполнять определенные задачи. Подробнее об этом мы писали в статье про историю развития GPT-моделей, которую, надеюсь, многие из вас читали. На картинке - распределение роста качества моделей в разных задачах. В трети маленькие модели ничего не показывают, средние в целом тоже, а большие БАХ! И учатся решать.

3. LLM часто выучивают и используют представления внешнего мира. Тут приводится много примеров, и вот один из них: модели, обученные играть в настольные игры на основе описаний отдельных ходов, никогда не видя изображения игрового поля, выучивают внутренние представления о состоянии доски на каждом ходу.

4. Не существует надежных методов управления поведением LLM. Хотя и был достигнут некоторый прогресс в понимании и смягчении разных проблем (в том числе ChatGPT и GPT-4 с обучением из обратной связи), нет единого мнения о том, сможем ли мы их решить. Растет обеспокоенность, что проблемы alignment'а станут катастрофическими, когда проявятся в более крупных системах будущего.

5. Эксперты пока не могут интерпретировать внутреннюю работу LLM. Yе существует методики, которая позволила бы каким-либо удовлетворительным образом изложить, какие виды знаний, рассуждений или целей использует модель, когда она генерирует какой-либо результат.

6. Качество выполнения задач человеком не является верхней границей для LLM. Хотя они и обучены в первую очередь имитировать поведение человека при написании текста, но всё равно потенциально могут превзойти нас во многих задачах. Так происходит в более узких задачах вроде шахмат или игры в Го.

7. LLM не должны выражать ценности своих создателей или ценности, закодированные в выборке из интернета. Они не должны повторять стереотипы, теории заговора или стремиться оскорбить кого-либо.

8. Оценки способности модели по первым впечатлениям часто вводят в заблуждение. Очень часто нужно додумать правильный промпт, подсказать модели, может, показать примеры - и она начнёт справляться куда лучше. То есть она "умнее", чем кажется на первый взгляд.

Картинка ко второму пункту.

Если ориентироваться на выборку из 202 задач из датасета BIG-Bench (специально делался сложным, чтобы языковые модели тестировать от и до), то как правило (в среднем) модели демонстрируют повышение качества с увеличением масштаба, но по отдельности метрики в задачах могут:
— улучшаться постепенно
— улучшаться резко
— оставаться на одном уровне
— ухудшаться
— колебаться

Все это приводит к невозможности уверенно экстраполировать производительность какой-либо будущей системы.

Особенно интересна зелёная часть - это как раз где показатели качества резко скачут вверх ни с того, ни с сего.

Написал статью про плагин-ретривер к ChatGPT

https://habr.com/ru/articles/727146/

Альтернативные интерфейсы для ChatGPT

Пытался найти сторонний вариант интерфейса для бесед с ChatGPT, так как стал пользоваться им каждый день. Свой интерфейс на LangChain писать лень, поэтому проделал небольшой ресерч и оформил это в развернутый пост.

Итог: нашел класный тул на Rust, который позволяет вызывать ChatGPT из терминала.

Напишите в комментах, если есть какие-то хорошие враперы над ChatGPT, которыми пользуетесь.

Читать пост.

@ai_newz

Невероятно крутая статья, не похожая вообще ни на что, что я до этого видела – Generative Agents: Interactive Simulacra of Human Behavior
https://arxiv.org/pdf/2304.03442.pdf

Если кратко, то игру по типу Симс населили 25 персонажами, каждый со своим описанием личности, со своими воспоминаниями и со своими целями. Все действия персонажей и взаимодействия друг с другом происходили через генерацию LLM. В итоге персонажи очень быстро стали имитировать довольно сложное человеческое поведение – например, вместе организовали вечеринку в честь дня Святого Валентина, раздвали приглашения и назначали свидании. Более того, их действия, согласно оценкам размечиков, были более human, чем поведение людей, которых попросили играть за этих персонажей

У авторов очень прикольная идея с использованием контекста модели: все действия и наблюдения за окружающим миром сохраняются, далее из этой памяти достаются какие-то релевантные воспоминания. Их используют, чтобы генерить следующее действие / реплику в разговоре, и еще для модель просят над ними порефлексировать, чтобы сформулировать более долгосрочные планы. Так что персонаж может в observation, planning, and reflection

Кажется что это вообще бомба для всяких отыгрываний тех или иных агентов в чатах и может быть так будут выглядеть NPC будущего

UPD: забыла приложить также отличное демо – https://reverie.herokuapp.com/arXiv_Demo/

и довольно подробный тред о статье