Простой хак, чтобы выжать больше качества из Instruct-based LLM

Все ещё в ожидании, когда промпт инжиниринг перестанет быть актуальным 😵‍💫

Ну а пока вот вам лайфхак, как заставить LLM’ки отвечать лучше: апеллируйте к эмоциям. В статье показали, что добавление в конец промпта эмоциональную добавку типа This is very important to my career улучшает качество.

Замерили как на генеративных задачах с помощью асессоров, так и на дискриминативных с помощью обычных метрик типа accuracy. Везде есть прирост. Выиграли даже у мощнешйего бейзлайна Let’s think step by step 👏

Объясняют это тем, что эмоциональная добавка делает так, что модель уделяет больше внимания и на сам промпт перед ней (рис. 2).

Но вообще если приглядеться, то в статье не совсем корректные сравнения: 1 гипотеза с оригинальным промптом сравнивается с максимальным качеством по 11 разным эмоциональным добавкам. И на их усредненном значении видно, что работает это не всегда лучше (рис. 3). Впрочем, чаще всего даже среднее выигрывает, так что подход точно имеет смысл попробовать! ✔

Честный замер LLM на способность следовать инструкциям

Пара проблем в современных бенчмарках для LLM'ок:
- неточный замер используя GPT-4 (часто замеряются модели, которые GPT-4 и дистиллировали :D)
- огромный претрейн датасет может пересекаться или иметь очень похожие примеры на тестовый (метрики завышаются)

Про второе можно почитать в этом блогпосте от lmsys, проблема важная.

А частично про первое ресерчеры из гугла написали прикольную статью: Instruction-Following Evaluation for Large Language Models

Они предложили использовать verifiable instructions: инструкции (промпты), выполнение которых легко проверить кодом.

Они выделили 25 типов таких заданий (см. картинку 1): выдать ответ в формате json / написать ровно 2 абзаца / ровно 3 пункта / закончить такой то фразой / etc. Конкретные примеры на картинке 2.

Эти инструкции проверяют именно умение instruction following и не зависят от внешнего оценивания типа GPT-4.

Они даже выложили код 👏
Можно скриптом в 1 строчку оценить результаты вашей собственной LLM'ки.

Идея классная. Выглядит несложным для любого домена написать таких примеров и автоматически замерять, behavioural testing кажется называется)

Ещё они замерили свой гугловый PaLM 2 (small) против GPT-4 (картинка 3) и проиграли ему везде =)
Интересно почему они сравнивали со small моделью. Ваши гипотезы?)

Читаем подкаст за 5 минут ⌛

В гугловом bard’е есть классная фича: можно кинуть ссылку на ютуб видео и попросить короткое содержание или просто задать вопрос по нему.

Плагин в GPT-4 например отказался делать такое, так как видео очень длинное 👎

Bard может и на русском языке ответ выдать 👍 (хотя в России он вроде не доступен :D)

Это конечно огромное преимущество гугла: гигантский объем полезных данных в легком доступе + много продуктов с пользователями, куда ИИ можно внедрять и получать фидбек.

(мемы немного в тему, взял здесь)

Подумал, что CEO - максимальная стадия VC (venture capitalist).

Типа VC анализирует, выбирает несколько стартапов, инвестриует. Ведь он не знает, что реально выстрелит, а что нет. Поэтому не кладет все яица в одну корзину. Диверсицифирует и надеется, что хоть в среднем будет хорошо 🍞

А CEO уверенный чел, инвестирует в свой стартап 100% усилий, чтобы получить максимальный return on investment 😎

(это всё шутка конечно; VC, если читаете, не обижайтесь 😉)

Небольшая база по dataviz'у 📊📈📉

Классный репозиторий с наглядными примерами по тому, как правильно визуализировать данные, аналитику.

Впервые про dataviz я узнал в магистратуре на предмете с названием "Математические методы визуализации данных". До первой пары я думал, что это какая то бесполезная фигня и было бы классно забить на это дело 🏃‍♂️

Но в итоге узнал про интересные концепции и приоткрыл для себя целый новый мир dataviz'а. Например:

🔹 Про цвет полезней думать не в базисе RGB, а в базисе тон, насыщенность, яркость.

Отсюда легко понять, что можно сделать цветовую шкалу, в которой варьируется только яркость и она подойдет для данных, которые имеют направленность (можно сравнить на больше / меньше). А если данные категориальные, то нужна цветовая шкала с разными тонами.

🔹 Человек сравнивает площади и объемы сильно хуже, чем линии. Поэтому Pie Chart стоит разворачивать в Stacked Bar Plot (скрин 3)

👁 И вообще, зрительный канал обладает самой большой пропускной способностью (пока brain-computer interface еще не сделали 🚬). Поэтому точно полезно почитать про dataviz и использовать его эффективно, чтобы донести максимум инсайтов для воспринимающего 💡 Как в научных статьях, так и на работе.