Анонс на февраль
1⃣3⃣ Откуда есть пошел термин “промпт”?
1⃣5⃣➖1⃣6⃣ NLP-марафон. Присоединяйтесь!
1⃣9⃣ О профессии “промпт-инженер”
2⃣2⃣ My prompt is longer than yours. Или зачем нужны такие длинные промпты
2⃣6⃣ Разметка Markdown и другие особенности форматирования в ответах моделей

И.. первый пост про промптинг

Откуда есть пошел термин “промпт”?
Давным-давно (в 2010-е гг.) в компьютерной лингвистике было два клана, один побольше, другой поменьше. Классификаторы 🧝 - программы, которые могли находить в тексте упоминания людей и организаций, определять юмор и части речи, выявлять пропаганду - были очень большим кланом, который участвовал в соревнованиях на Kaggle и сделал репутацию многим сениорам в айти-гигантах. Языковые модели 🧚‍♀️ были таким странным кланом поменьше, который манил ученых и разных фриковатых персонажей, вроде стримеров, которые на трансляциях спрашивали у моделей-ботов разные пакости. Но все поменялось, когда пришли трансформеры 🦾 Трансформеры научили моделей добывать огонь делать классификацию лучше и быстрее, чем это делала глубокая нейросеть типа bi-LSTM (один из топовых классификаторов своей эпохи). И тогда классификаторы стали служить моделям на стадии обучения - стали вроде ножки гриба, а модели стали шляпкой-классификатором 🍄
Для нейросетей задача классификации ставится определенным образом: сеть получает на вход текст (иксы) и лейбл (игреки), который указывает к какому классу относится данный текст (“имя”, “часть речи”, “шутка”). Для языковой модели задачу можно сформулировать интуитивно, простым языком. Даете пример классификации (текст и ответ) и спрашиваете про новый текст, к какому классу он относится. Языковая модель отвечает вам на естественном языке. Люди тотчас кинулись пробовать разные способы, как более успешно поставить модели задачу, и обнаружили, что есть методы, лайфхаки 💡, которые работают лучше. А ученые и инженеры айти-компаний тут же предложили называть запросы к моделям техническим термином “промпт”, а новую деятельность по поиску хороших промптов - “промпт-инжинирингом”. Хотя, может, это и не ученые и инженеры были.. Но это уже вопрос для дата-журналистов.

#база #эссеиистика

Итак, завтра мы с тюменским кружком по NLP проведем онлайн марафон - будем решать, нужен ли Скайнет или можно обойтись без него. Вот объявление. И в канале кружка уже есть ссылка на видеоконференцию.

Псст.. Продолжаем делиться секретными материалами. 15 и 16 февраля с 14:00 до 19:00 по Москве (16:00-21:00 по Тюмени) у нас на квартирнике произойдет битва между техноскептиками и технооптимистами. Среди приглашенных гостей: инженеры, преподаватели и студенты, ученые из разных областей (социальные и гуманитарные науки, IT) и просто хорошие люди. Все будут взвешены, измерены и признаны скептиками или оптимистами. Посмотрим, чья сторона силы восторжествует?
Вы тоже можете присоединиться к зуму (ссылку кинем в этот канал), написать в чате свои вопросы спикерам и участвовать в битве цифрового с аналоговым. Хотите получше узнать, о чем речь? Смотрите пилотный выпуск нашего подкаста.

А картинку мы взяли из вот этой игры.

Разметка Markdown и другие особенности форматирования на чатбот-арене

Что есть разметка текста? Когда, печатая, мы выделяем текст курсивом, жирным шрифтом или форматируем как заголовок, с точки зрения программы, которая работает с нашим текстом (текстового редактора вроде Microsoft Word, LibreOffice Writer, Блокнот или Google Document), мы к текстовым символам добавляем символы разметки. Чаще всего редактор выводит нам на экран уже форматированный текст, где эти символы скрыты, а соответствующие текстовые символы начертаны при помощи курсива и других особых конфигураций шрифта. Словарь разметки, который мы при этом используем, ограничен и составлен из таких последовательностей, которые редко встречаются в языке. Например, в типе разметки HTML для жирного шрифта нужно поставить тэг <b>; выделенное жирным шрифтом слово будет выглядеть вот так: <b>кот<\b>. Вряд ли мы будем использовать последовательности в виде тэгов в реальной речи, разве что если будем писать инструкцию по их использованию. Язык разметки - это свод правил, словарь таких правил разметки. Чаще всего они касаются разных видов выделений, структуры документа (название, заголовок первого уровня, второго, список и т.д.) и указания версии разметки. Среди таких языков самыми популярными являются, наверно:

🪐 HTML (эйч ти эм эль) для сайтов

🪐 JSON (джейсОн) и XML (икс эм эль) для структур данных

🪐 TeX (текс) для типографии

🪐 упомянутый в заголовке Markdown (маркдАун) для разметки текстовых файлов, включая математические формулы

🪐 YAML (йамл) - попытка создать простейший и универсальнейший язык для разметки всего; судя по-моему опыту, используется в основном в программировании для указания конфигураций программы или данных, потому что у других языков тоже есть свои киллер-фичи.

А теперь про Markdown. Если вы уже общались с БЯМами на чатбот-арене, то, возможно, видели, что иногда ответ модели приходит красивеньким, а иногда в нем вылазят какие-то непонятные символы-козявочки. Текстовый редактор чатбот-арены поддерживает разметку Markdown. Вот так в ней будет выглядеть разметка заголовка:
### 1. **Markdown-подобная разметка**
Но иногда модель “забывает” поставить, например, закрывающий символ, и разметка слетает: редактор не видит правила и печатает символы разметки как они есть. Правила разметки (их еще называют синтаксисом) не очень сложны, и пофиксить это обычно можно вручную. Шпаргалочка по Markdown.

Нужно ли мне форматировать мое сообщение маркдауном? Кратко: если у вас и так все хорошо с моделями, то не нужно, но если вам мешают все эти символы-козявочки, то пора ими озаботиться. Длинно:.. Если БЯМы нужны для учебы, работы, в вашем тексте есть формулы, вы тратите много времени на форматирование текста после модели, а она еще и глючит из-за того, что ваш входной текст содержал непечатаемые символы, то лучше подготовить текст - сделать его AI-ready (ИИ-готовым). Если вы работаете именно с текстовыми файлами, то маркдаун подходит лучше всего. А вот, обращаясь к моделям в коде, многие используют JSON.

А почему именно маркдаун так нравится моделям? Скорее всего, они на нем больше всего обучаются и поэтому так легко на нем говорят. Официально компании свои обучающие корпуса для моделей не публикуют, но судя по тому, что использование маркдауна уменьшает количество токенов в вашем сообщении модели по сравнению с JSON и др., сочетания символов с маркдауном в БЯМах являются очень частыми. Подробнее об особенностях токенизации в БЯМах (объясняют, почему это так) я писала тут.

#база

Если вам интересно, какую магистратуру я делаю в Европейском университете в Санкт-Петербурге, то подключайтесь к нашему с коллегами онлайну 1 марта. Предупреждаю, может возникнуть желание в нее поступить 😎

О профессии “промпт-инженер”

Почему я не пишу посты в свой канал при помощи больших языковых моделей? Ведь могла бы взять любую модель на чатбот-арене, дать ей промпт “Напиши пост о профессии промпт-инженер” и получила бы неплохой контент. Когда-то у меня была лекция о креативности языковых моделей. Одна из ее основных идей заключалась в том, что, если вы и так хорошо пишете, то модель сделает ваш текст менее оригинальным и полезным. А я скромно считаю, что пишу лучше, чем ChatGPT.

Тогда какие профессиональные навыки может заменить промптинг? На этот вопрос я обычно отвечаю “рутинные”. Например, не так давно я писала о промптах, которые можно использовать, чтобы генерировать тесты для своих учебных материалов. Так же рутинно можно генерировать рабочие программы дисциплин, которые строятся по определенному шаблону. Не с нуля, конечно, а, например, задав им определенный тематический план. Можно писать аннотации к своим статьям и подбирать для них ключевые слова, делать краткие выжимки из работ других авторов, редактировать свой текст. Но это все примеры, в которых действующее лицо - человек, который сам владеет компетенцией (учитель, преподаватель, ученый) и пишет промпт, чтобы облегчить рутинные задачи в собственной сфере.

Кто же такой промпт-инженер? Какая у него специализация? Первый раз о такой профессии я прочитала на сайте ИТ-компании, которая делает свою языковую модель. Они искали “настройщиков”, тестировщиков и людей, которые будут проверять уязвимости в их продукте. Причем обращались в том числе к выпускникам лингвистических факультетов. Было это в ковидные времена, то есть по меркам прогресса довольно давно. Я еще подумала, что наконец-то у лингвистов появится новая профессиональная ниша, помимо преподавания, перевода и разметки данных. Потом я заметила, что промпт-инженеров ищут не только крупные компании, которые тратят миллионы на обучение своей модели, но и стартапы, которые разрабатывают свои приложения. В случае с готовыми приложениями, которые генерируют тесты, например, на основе вашей презентации, в бэкэнде (то есть в коде) приложения зашиты промпты с детальной инструкцией для модели, что она должна сделать с вашим запросом. Промпт-инженер должен был настраивать модель при помощи разных техник, чтобы результат генерации был эффективным. Лингвисты, вроде как, подходят на эту роль лучше всего.

А что сейчас? Мне кажется, отдельная профессия все-таки не сформировалась. Судя по вакансиям, которых немного, промпт-инженеры должны уметь программировать, писать нейросети и обладать смежными техническими навыками. Я думаю, это потому, что, во-первых, овладеть технологией создания хорошего промпта может каждый, не только лингвист. Более того, есть даже языковые модели, которые сами за ваc промпт напишут. Как “двое из ларца одинаковы с лица”: одна модель дает запрос, а другая тут же отвечает. Во-вторых, как и в целом в ИТ, вот вы хорошо написали промпт и запустили приложение, т.е. по сути завершили проект, и что дальше будете делать? Отсюда и спрос на дополнительные навыки либо предложения временной занятости в проекте.
Но прекарность и мультинавыки - это тренд не только в ИТ. Посмотрим, как будет дальше.

Кстати, я обещала привести еще примеры промптов для генерации тестов. Я создала вот такой сайт, где можно подробно ознакомиться с задачей и моими промптами.

#эссеиистика

My prompt is longer than yours. Или зачем нужны такие длинные промпты
Я тут немного пропала и не постила, а все потому что готовлю серию мероприятий - причем не только в Питере. О мероприятиях напишу в следующем посте, а сейчас пора добить февральские темы.

Почему не нужно следовать интуитивному желанию написать промпт для большой языковой модели так, как хочется?.. А почему не нужно? Если вас устроил ответ модели, то все ок, вы написали хороший короткий промпт. Я считаю вредным меряться длиной промптов, Хирша и прочих KPI, т.к. люди уже давно доказали, что любую метрику можно хакнуть.
Но, если вас все же не устроил ответ модели, значит, это повод задуматься о несовершенстве не только самой модели, но и вашего промпта. Ибо “что посеешь, то и пожнешь”, или “мусор на входе - мусор на выходе” (garbage in - garbage out, гАбидж ин гАбидж Аут). Можно, не удаляя диалога с моделью, объяснить ей, чем вас не устроил ее ответ, и попросить сделать задание снова. Но, если это не сработало, промпт можно доработать вот так.

💫 Дать развернутую инструкцию, что и как нужно делать, подробно описать результат, которого ждете. В общем не скупиться на слова. А если, говоря словами известной песни, words don’t come easy to you, или слова нелегко приходят на ум, попросите саму модель написать вам промпт к вашей задаче. Затем перезапустите диалог и проверьте ее промпт. Если все еще недостаточно хорошо, скорректируйте результат вручную или попросите модель снова отредактировать промпт. Получится модель, которая кусает сама себя за промпт 🐉

💫 Попробовать разные речевые жанры. Например, для доработки научного текста помогают формальный язык и вежливые обращения (пожалуйста, будь добра, спасибо), можно вычитать в своем промпте опечатки и стилистические ошибки. Это связано с тем, кто каждое слово в диалоге подтягивает за собой статистически значимые связи с другими словами. Формальный язык обычно используют в энциклопедиях, новостях; вежливые обращения “подтягивают” благожелательность. А вот для креативных задач вроде написания сказки подойдут всякие шутки-прибаутки.

💫 Попробовать внушить модели, что она некая личность, персонаж и говорит от его лица; попросить ее поиграть с вами в ролевую игру. Опять же персонаж зависит от жанра, которому будет принадлежать желаемый вами сгенерированный текст. Этот эффект усилит то, что вы выражаете в собственном тоне. Это, кстати, один из методов хакинга моделей - они “заигрываются” и начинают подтягивать недопустимую информацию. Но разработчики усиленно работают над тем, чтобы такого не происходило.

💫 Дать модели один или несколько хороших примеров. Это техника few-shot (фью шот) промптинга. Начинайте с одного примера, а если его недостаточно, то попробуйте увеличить число примеров, но не сильно. Судя по кейсам, с которыми я знакома, восемь-десять примеров - это максимум.

💫 Дайте модели текст-опору, из которого она почерпнет факты и информацию, на которую будет опираться. Это помогает, если у вас узкая предметная область или модель ошибается в фактах в вашей задаче. Если помните, что такое machine reading comprehension (машинное усвоение навыка чтения), то вычитывать информацию и генерить на ее основе текст - это базовая функция языковых моделей, с ней они справляются успешно.

Хотя можно попробовать и просто сменить модель. Например, известно, что Claude Sonnet хорошо умеет писать стихи, а ChatGPT решать математику.

Всем удачного промптинга! 🍀

#спискИИ

Дорогие подпИИсчики! 💐

Хочу поделиться своими планами на апрель, т.к., возможно, вы захотите ко мне присоединиться. А план такой: провести уже наконец-то обещанные в кружочках канала интенсивы 🤪
Вот честно, если б я когда-то не обещала, то сейчас наверняка делала бы что-то другое 😁
Часть интенсивов у нас получилась по договоренности с вузами: вход строго по инвайтам, фейс-, дресс-, эйдж- и даже нэйл- (nail, ногти) контроль 😷👮 А вот два - полный разгуляй, хиппи-стайл и вообще приходи, кто хочет 👨‍🎤 но... надо будет зарегистрироваться в LeaderID, т.к. проводить их мы будем в Точках кипения.
Итак, барабанная дробь, приходите ко мне лечиться учиться на интенсив по здоровой генерации научных работ при помощи ИИ "Цифровые инструменты в социальных и гуманитарных науках":

08.04. с 10:00 до 14:00 - Точка кипения в Ельцин-Центре, г. Екатеринбург - рега
10.04. с 12:00 до 16:00 - Точка кипения в Технопарке, г. Тюмень - рега

По традиции в рекламное сообщение нужно добавить отзывы довольных клиентов. Но.. это не рекламное сообщение, а комьюнити-менеджмент. Ведь я зову вас стать частью сообщества ученых, которые бережно трансформируют науку под давлением технического прогресса 🧐👾
Но довольное комьюнити я вам все-таки буду присылать в свой канал в виде фоточек с интенсивов. Потому что мне давно хотелось повод под вот эту песню выкладывать, как мы с искусственным интеллектом тусим по разным городам.

Ах да, это бисплатна 🤑 Всем, кто досидит до конца, выдадим электронный сертификат участника от ЕУСПб 📜

В общем, увидимся!

#меропрИИятия

Это олимпиада для поступающих в магистратуру ПАНДАН, которой я сейчас соруковожу с Иваном Бибиловым из Яндекс Образования.

Мультимодальные модели и другие скороговорки 21 века
Апрельское пощение я буду делать без анонсов постов, т.к. я в дороге и тут случается много неожиданного.

Вот ведь что такое мультимодальность? Мульти (multi), с английского, “много”; модальность (modality), с английского, ну в общем-то модальность. Тут нужен лингвистический контекст.
В лингвистике модальность высказывания - это собирательное понятие, которое указывает на то, что в процессе коммуникации важно не только, какие звуки мы произносим или буквы пишем/печатаем, но и с какой интонацией, использовали ли капслок, говорим ли о реальных вещах или воображаем, какие эмоции при этом у нас на лице, как мы жестикулируем, показываем ли пальцем на картинку, а может, вообще поем. Модальность - это все дополнительные источники информации, которые наслаиваются на сообщение, добавляя ему смыслы.
В компьютерной лингвистике мультимодальные языковые модели могут анализировать и генерировать данные из разных источников: не только печатный текст, но и звуковые файлы, изображения и видео. Т.е. используют четыре модальности, доступные сейчас почти каждому гаджету: текст, аудио, графика и видео.

Первыми появились, конечно, текстовые языковые модели (text-to-text, текст на входе и на выходе), т.к. у них относительно простой принцип работы. Потом для обучения текстовых моделей стали использовать архитектуру “трансформер”. Затем примерно параллельно в задачах распознавания и генерации звуков и изображений начали применять трансформеры таким образом, чтобы кодирование текстовой информации было связано с аудио и графическими данными. Ведь то и то можно представить в виде числового ряда и поместить в одну большую таблицу - матрицу эмбеддингов (векторов, в которых сжато хранится информация обо всех данных, с которыми встретилась модель). Аудио - это точки (Герцы, зарегистрированные датчиками частоты), графика - цвет пикселя, например, в палитре RGB, где он представлен тремя числами. Последними подключились генераторы видео, т.к. они требуют обработки большого объема данных.

В моделях (и их названиях) заложено, что и во что должно перетекать:

🗣 text-to-speech (текст ту спич, текст-в речь): генерация звучащей речи, озвучка текста
📝 speech-to-text (спич ту текст, речь в текст): расшифровка звучащей речи
🧑‍🎨 text-to-image (текст ту Имидж, текст в изображение), text-to-video (текст ту вИдео, текст в видео): генерация изображения или видео на основе текста-запроса (промпта)
👩‍🎤 image-text-to-text: генерация текста по запросу, в котором есть и изображение, и текст

А также image-to-image, video-to-text, text-to-3D и многие другие. Берем разные модальности и придумываем задачу, в которой они связаны, например, распознать объекты на картинке и назвать их словами - вот вам и image-to-text. Появляются и модели-универсалы, которые могут вообще во все модальности сразу: any-to-any (Эни ту Эни, любые в любые). На платформе HuggingFace, где живут языковые модели, можно посмотреть на все разнообразие мультимодальных задач.

А я завершаю пост парой мультимодальных ноутбучеков, которые можно запустить в Google Colaboratory:
text-to-speech
text-to-image
image-text-to-text

#база #notebook

Немного апдейтов:

1⃣ Вчера я психанула на модель Llava "image-text-to-text", т.к. ноутбучек, который всегда запускался, сказал, что в нем ошибки в установке библиотек. Но сегодня, бахнув кофейку, я таки его запустила. И... вот еще одна мультимодальная модель, которая запускается в Google Colaboratory (а не на сотне Nvidia GeForce за 300К 💰 в наносекунду): зэ ноутбук (я его и в прошлый пост сейчас добавлю).

2⃣ Не устаю напоминать (особенно после выпитого ☕), что у нас завтра интенсив в Екатеринбурге, а 10-го в Тюмени. Если вы еще не записались + можете + хочете прийти, то вот мой вдохновляющий кружок из Еката. И ссылки на регу (можно регаться с ВК ID):
➖ 8 апреля 10:00-14:00 Точка кипения в Ельцин-центре, Екатеринбург: рега
➖ 10 апреля 12:00 - 16:00 Точка кипения в Технопарке, Тюмень: рега

3⃣ В апреле в Европейском университете в Санкт-Петербурге, где я сейчас работаю, проходят дни открытых дверей. Об этом тоже в кружочке и на сайте ЕУСПб. Мероприятия туть.

#меропрИИятия

Турне по регионам закончилось еще в понедельник, но с него осталось много материалов, идей, контактов и запросов, на которые я попробую ответить в следующих постах. А пока делюсь с вами своей любимой фотой из Точки кипения в Тюмени - это я показываю, как правильно тыкать в экран планшета, чтобы выбрать нужную модель на чатбот-арене.

А еще завтра в ЕУСПб (универе, где работаю) пройдет лекция (оф- и онлайн) "Когда ИИ надевает очки, или как мультимодальные языковые модели учатся видеть?" от нашего исследователя Александра Сергеева - это как раз по теме моих апрельских постов. Залейтайте! Ссылка на регу.

А у меня..

1⃣ ..новые зумеры 😁 Мы с ними были на кружке NLP в субботу. Занятие было по мультимодальным моделям. Вел его исследователь Школы вычислительных наук ЕУСПб Александр Сергеев. Вот тут чат кружка - там постятся анонсы встреч.

2⃣ ..сакура на Литейном цветет. После кружка мы как раз пошли на нее посмотреть.

3⃣ ..месяц постов по мультимодальным моделям и в связи с этим ноутбучек по визуально-языковой модели Qwen 2.5 VL для запросов к картинкам. Ноутбук сделан по материалам Александра с заседания кружка.

4⃣ ..анонс открытой лекции «Тонкое искусство промпта: как эффективно общаться с языковыми моделями», которую я буду читать завтра в ЕУСПб. Если вы внимательно читаете мой канал, то местами вам будет скучновато 😅

5⃣ ..пустые строки между абзацами - Евгений, смотрите, я улучшаю свой UX 😇

#notebook #меропрИИятия