Что такое machine reading comprehension?

Machine reading comprehension (мэшИн рИдин компрехЕншен, “машинное усвоение навыка чтения”) - это довольно узкая, но очень важная область компьютерной лингвистики, которая изучает, как алгоритмы искусственного интеллекта прочитывают и понимают тексты. Эта область много позаимствовала из методики освоения иностранных языков, т.к. ей важно в первую очередь правильно протестировать алгоритм. А методика в том числе изучает методы тестирования и экзаменовки на разных уровнях владения. Мы же предполагаем, что ИИ как бы взрослеет, учась все лучше отвечать. И также она связана с вопросно-ответными (QA) системами, потому что многие такие системы создаются с целью сравнить, насколько правильно отвечают разные алгоритмы.
А зачем мне machine reading comprehension для генерации тестов? В задаче m.r.c. мы просим модель прочитать текст и ответить на вопрос к нему, при этом указав тот кусочек текста, который содержит ответ. Этот кусочек называется span (спэн). Кстати, эту задачу часто используют при обучении современных трансформеров вроде ChatGPT. А нам, как пользователям ИИ, эта область объясняет, как нужно взаимодействовать с ИИ, если мы хотим повысить качество вопросов.
Судя по опыту, проблемы, с которыми мы можем столкнуться, когда задаем ИИ сгенерировать тест бывают следующими:
➖ неверные/выдуманные факты приводят к ошибкам в вопросе и ответе
➖ тест сформулирован некачественно:
➖➖ задан плохой вопрос:
➖➖➖ неотвечабельный (“В чем смысл?”)
➖➖➖ слишком узкоспецифический (“Что лежит у меня в кармане?”)
➖➖➖ неопределенный (“Как звали английскую королеву?”)
➖➖➖ бесполезный, тавтологичный (“Как зовут Александра Пушкина?”)
➖➖ даны плохие варианты ответа (похожие проблемы, что с вопросом, но главное - они будут вызывать трудности у того, кто реально знает ответ на вопрос).
Так вот все эти трудности решаются, в общем-то, двумя вещами (ну не всегда, но очень помогают эти две):
1⃣ хорошо сформулированный промпт
2⃣ вопрос и ответ должны быть в тексте, который мы предоставляем модели, чтобы она на него опиралась
Еще лучше будет попросить модель дать комментарий к правильному ответу, в котором пусть она процитирует кусочек текста (span), который содержит подтверждение правильности ответа.
Вот поэтому в моем прошлом обзоре встретился отдельный вид генераторов тестов, которые на вход требуют что-то “текстовое”. Даже картинка и презентация для них в итоге становится текстом, на который они опираются при генерации тестов.

#база

Наш коллаб с тюменским кружком Q2C представляет...

Та-дааам! Мы запускаем собственный подкаст про NLP — «А смысл?»🥳

Уже в пилотном выпуске ты узнаешь, кому стоит учиться кодить, почему DC круче Marvel, а также за что искусственный интеллект готов бить нас током. А дальше мы вместе с топовыми спикерами будем ааасмыслять роль ИИ в самых разных областях: от археологии до музыки. Давай к нам на огонёк!🎧

Смотреть на YouTube:

https://youtu.be/GmL5PY2RSJI?si=3CypkA0HI3OM8aBF

Как генерить разные виды тестовых вопросов

В позапрошлом посте я писала о готовых приложениях-генераторах. Из-за их ограничений вам поможет инструмент, который более гибок и доступен, но и потребует от вас определенных навыков — большие языковые модели, вроде ChatGPT. Казалось бы, все сейчас ими пользуются, рынок моделей растет и отовсюду в медиа звучат восторженные отзывы. Но мой личный опыт показывает, что техноскептиков отнюдь не меньше, чем оптимистов. И этот скептицизм часто основан также на их личном опыте — попытках решить простую задачу при помощи ИИ, которые привели к потере времени, иногда некоторых средств (на коммерческие модели, например) и в итоге разочарованию. С восторгами в медиа тоже все не так однозначно. Часто это так называемый cherry-picking (чЕри пИкин) — собирание вишенок с торта: когда пример подбирается таким образом, чтобы продемонстрировать наилучший эффект.
На деле постановка задачи для большой языковой модели сейчас представляет собой отдельную прикладную область компьютерной лингвистики под названием prompt-engineering (промпт-инжинИринг). В компьютерных науках есть один важный принцип: “garbage in — garbage out” (гАбидж ин гАбидж Аут), или “мусор на входе — мусор на выходе”. Более известная версия этой мудрости звучит так: “что посеешь, то и пожнешь”. Написание промпта для модели таким образом, чтобы получить нужный результат, а не мусор, это и искусство, и наука, и рабочие места специалистов. Но наша задача генерации тестов не так сложна, у нас есть примеры и инструкции, так что можно дерзнуть.
Еще один принцип, который нужно помнить в промпт-инжиниринге, прежде чем я перейду к делу: “Language models are few-shot learners” — языковой модели часто достаточно пары примеров, может быть даже и одного, чтобы дать хороший результат. Руководствуясь этим принципом и остальными, которым посвятила январские посты, я создала промпт для одного типа тестов, который довольно нетривиален. Вам нужно выбрать не только правильный ответ, но и дать обоснование выбору. Проверяться ваше обоснование будет на основе ответа-эталона.
Промпт я прогнала на Gemini на чатбот-арене, т.к. это бесплатно, доступно без ВПН и на ней есть топовые коммерческие модели. Описание промпта и результат слишком велики (от слова "великий"😁), чтобы помещать их сюда, поэтому вот ссылка на файл.
А давайте проверим, сколько среди вас людей, которым тоже на работе задали писать тесты для студентов - ставьте 🎉, если вы теперь тоже генератор тестов. Если нас тут много, то я добавлю в документ промпты для остальных типов тестов.

#база

Дорогие друзья!

Во-первых, я определилась с темой февральских постов - буду писать про промпт-инжиниринг. Анонс будет на днях.
Во-вторых, я закинула свои ноутбуки из этого канала на GitHub в папочки по темам - жмякайте! (GitHub, или просто Гит, это платформа, на которой разработчики публикуют код в виде его версий, т.к. невозможно написать программу идеально раз и навсегда. На Гите также можно взять чужой код и сделать свою версию.)
В-третьих, в следующие выходные 15 и 16 февраля мы с Александром 🐝 , Лилией 🪷 и Артёмом 👨‍🎤 из тюменского NLP-кружка проведем онлайн-марафон по ИТ-технологиям в социальных и гуманитарных науках. Будем общаться с экспертами и друг с другом, а также отвечать на ваши вопросы в чате. Подробности скину позже.

В общем, stay tuned! А я полетела в Тюмень ✈️

Анонс на февраль
1⃣3⃣ Откуда есть пошел термин “промпт”?
1⃣5⃣➖1⃣6⃣ NLP-марафон. Присоединяйтесь!
1⃣9⃣ О профессии “промпт-инженер”
2⃣2⃣ My prompt is longer than yours. Или зачем нужны такие длинные промпты
2⃣6⃣ Разметка Markdown и другие особенности форматирования в ответах моделей

И.. первый пост про промптинг

Откуда есть пошел термин “промпт”?
Давным-давно (в 2010-е гг.) в компьютерной лингвистике было два клана, один побольше, другой поменьше. Классификаторы 🧝 - программы, которые могли находить в тексте упоминания людей и организаций, определять юмор и части речи, выявлять пропаганду - были очень большим кланом, который участвовал в соревнованиях на Kaggle и сделал репутацию многим сениорам в айти-гигантах. Языковые модели 🧚‍♀️ были таким странным кланом поменьше, который манил ученых и разных фриковатых персонажей, вроде стримеров, которые на трансляциях спрашивали у моделей-ботов разные пакости. Но все поменялось, когда пришли трансформеры 🦾 Трансформеры научили моделей добывать огонь делать классификацию лучше и быстрее, чем это делала глубокая нейросеть типа bi-LSTM (один из топовых классификаторов своей эпохи). И тогда классификаторы стали служить моделям на стадии обучения - стали вроде ножки гриба, а модели стали шляпкой-классификатором 🍄
Для нейросетей задача классификации ставится определенным образом: сеть получает на вход текст (иксы) и лейбл (игреки), который указывает к какому классу относится данный текст (“имя”, “часть речи”, “шутка”). Для языковой модели задачу можно сформулировать интуитивно, простым языком. Даете пример классификации (текст и ответ) и спрашиваете про новый текст, к какому классу он относится. Языковая модель отвечает вам на естественном языке. Люди тотчас кинулись пробовать разные способы, как более успешно поставить модели задачу, и обнаружили, что есть методы, лайфхаки 💡, которые работают лучше. А ученые и инженеры айти-компаний тут же предложили называть запросы к моделям техническим термином “промпт”, а новую деятельность по поиску хороших промптов - “промпт-инжинирингом”. Хотя, может, это и не ученые и инженеры были.. Но это уже вопрос для дата-журналистов.

#база #эссеиистика

Итак, завтра мы с тюменским кружком по NLP проведем онлайн марафон - будем решать, нужен ли Скайнет или можно обойтись без него. Вот объявление. И в канале кружка уже есть ссылка на видеоконференцию.

Псст.. Продолжаем делиться секретными материалами. 15 и 16 февраля с 14:00 до 19:00 по Москве (16:00-21:00 по Тюмени) у нас на квартирнике произойдет битва между техноскептиками и технооптимистами. Среди приглашенных гостей: инженеры, преподаватели и студенты, ученые из разных областей (социальные и гуманитарные науки, IT) и просто хорошие люди. Все будут взвешены, измерены и признаны скептиками или оптимистами. Посмотрим, чья сторона силы восторжествует?
Вы тоже можете присоединиться к зуму (ссылку кинем в этот канал), написать в чате свои вопросы спикерам и участвовать в битве цифрового с аналоговым. Хотите получше узнать, о чем речь? Смотрите пилотный выпуск нашего подкаста.

А картинку мы взяли из вот этой игры.

Разметка Markdown и другие особенности форматирования на чатбот-арене

Что есть разметка текста? Когда, печатая, мы выделяем текст курсивом, жирным шрифтом или форматируем как заголовок, с точки зрения программы, которая работает с нашим текстом (текстового редактора вроде Microsoft Word, LibreOffice Writer, Блокнот или Google Document), мы к текстовым символам добавляем символы разметки. Чаще всего редактор выводит нам на экран уже форматированный текст, где эти символы скрыты, а соответствующие текстовые символы начертаны при помощи курсива и других особых конфигураций шрифта. Словарь разметки, который мы при этом используем, ограничен и составлен из таких последовательностей, которые редко встречаются в языке. Например, в типе разметки HTML для жирного шрифта нужно поставить тэг <b>; выделенное жирным шрифтом слово будет выглядеть вот так: <b>кот<\b>. Вряд ли мы будем использовать последовательности в виде тэгов в реальной речи, разве что если будем писать инструкцию по их использованию. Язык разметки - это свод правил, словарь таких правил разметки. Чаще всего они касаются разных видов выделений, структуры документа (название, заголовок первого уровня, второго, список и т.д.) и указания версии разметки. Среди таких языков самыми популярными являются, наверно:

🪐 HTML (эйч ти эм эль) для сайтов

🪐 JSON (джейсОн) и XML (икс эм эль) для структур данных

🪐 TeX (текс) для типографии

🪐 упомянутый в заголовке Markdown (маркдАун) для разметки текстовых файлов, включая математические формулы

🪐 YAML (йамл) - попытка создать простейший и универсальнейший язык для разметки всего; судя по-моему опыту, используется в основном в программировании для указания конфигураций программы или данных, потому что у других языков тоже есть свои киллер-фичи.

А теперь про Markdown. Если вы уже общались с БЯМами на чатбот-арене, то, возможно, видели, что иногда ответ модели приходит красивеньким, а иногда в нем вылазят какие-то непонятные символы-козявочки. Текстовый редактор чатбот-арены поддерживает разметку Markdown. Вот так в ней будет выглядеть разметка заголовка:
### 1. **Markdown-подобная разметка**
Но иногда модель “забывает” поставить, например, закрывающий символ, и разметка слетает: редактор не видит правила и печатает символы разметки как они есть. Правила разметки (их еще называют синтаксисом) не очень сложны, и пофиксить это обычно можно вручную. Шпаргалочка по Markdown.

Нужно ли мне форматировать мое сообщение маркдауном? Кратко: если у вас и так все хорошо с моделями, то не нужно, но если вам мешают все эти символы-козявочки, то пора ими озаботиться. Длинно:.. Если БЯМы нужны для учебы, работы, в вашем тексте есть формулы, вы тратите много времени на форматирование текста после модели, а она еще и глючит из-за того, что ваш входной текст содержал непечатаемые символы, то лучше подготовить текст - сделать его AI-ready (ИИ-готовым). Если вы работаете именно с текстовыми файлами, то маркдаун подходит лучше всего. А вот, обращаясь к моделям в коде, многие используют JSON.

А почему именно маркдаун так нравится моделям? Скорее всего, они на нем больше всего обучаются и поэтому так легко на нем говорят. Официально компании свои обучающие корпуса для моделей не публикуют, но судя по тому, что использование маркдауна уменьшает количество токенов в вашем сообщении модели по сравнению с JSON и др., сочетания символов с маркдауном в БЯМах являются очень частыми. Подробнее об особенностях токенизации в БЯМах (объясняют, почему это так) я писала тут.

#база

Если вам интересно, какую магистратуру я делаю в Европейском университете в Санкт-Петербурге, то подключайтесь к нашему с коллегами онлайну 1 марта. Предупреждаю, может возникнуть желание в нее поступить 😎

О профессии “промпт-инженер”

Почему я не пишу посты в свой канал при помощи больших языковых моделей? Ведь могла бы взять любую модель на чатбот-арене, дать ей промпт “Напиши пост о профессии промпт-инженер” и получила бы неплохой контент. Когда-то у меня была лекция о креативности языковых моделей. Одна из ее основных идей заключалась в том, что, если вы и так хорошо пишете, то модель сделает ваш текст менее оригинальным и полезным. А я скромно считаю, что пишу лучше, чем ChatGPT.

Тогда какие профессиональные навыки может заменить промптинг? На этот вопрос я обычно отвечаю “рутинные”. Например, не так давно я писала о промптах, которые можно использовать, чтобы генерировать тесты для своих учебных материалов. Так же рутинно можно генерировать рабочие программы дисциплин, которые строятся по определенному шаблону. Не с нуля, конечно, а, например, задав им определенный тематический план. Можно писать аннотации к своим статьям и подбирать для них ключевые слова, делать краткие выжимки из работ других авторов, редактировать свой текст. Но это все примеры, в которых действующее лицо - человек, который сам владеет компетенцией (учитель, преподаватель, ученый) и пишет промпт, чтобы облегчить рутинные задачи в собственной сфере.

Кто же такой промпт-инженер? Какая у него специализация? Первый раз о такой профессии я прочитала на сайте ИТ-компании, которая делает свою языковую модель. Они искали “настройщиков”, тестировщиков и людей, которые будут проверять уязвимости в их продукте. Причем обращались в том числе к выпускникам лингвистических факультетов. Было это в ковидные времена, то есть по меркам прогресса довольно давно. Я еще подумала, что наконец-то у лингвистов появится новая профессиональная ниша, помимо преподавания, перевода и разметки данных. Потом я заметила, что промпт-инженеров ищут не только крупные компании, которые тратят миллионы на обучение своей модели, но и стартапы, которые разрабатывают свои приложения. В случае с готовыми приложениями, которые генерируют тесты, например, на основе вашей презентации, в бэкэнде (то есть в коде) приложения зашиты промпты с детальной инструкцией для модели, что она должна сделать с вашим запросом. Промпт-инженер должен был настраивать модель при помощи разных техник, чтобы результат генерации был эффективным. Лингвисты, вроде как, подходят на эту роль лучше всего.

А что сейчас? Мне кажется, отдельная профессия все-таки не сформировалась. Судя по вакансиям, которых немного, промпт-инженеры должны уметь программировать, писать нейросети и обладать смежными техническими навыками. Я думаю, это потому, что, во-первых, овладеть технологией создания хорошего промпта может каждый, не только лингвист. Более того, есть даже языковые модели, которые сами за ваc промпт напишут. Как “двое из ларца одинаковы с лица”: одна модель дает запрос, а другая тут же отвечает. Во-вторых, как и в целом в ИТ, вот вы хорошо написали промпт и запустили приложение, т.е. по сути завершили проект, и что дальше будете делать? Отсюда и спрос на дополнительные навыки либо предложения временной занятости в проекте.
Но прекарность и мультинавыки - это тренд не только в ИТ. Посмотрим, как будет дальше.

Кстати, я обещала привести еще примеры промптов для генерации тестов. Я создала вот такой сайт, где можно подробно ознакомиться с задачей и моими промптами.

#эссеиистика

My prompt is longer than yours. Или зачем нужны такие длинные промпты
Я тут немного пропала и не постила, а все потому что готовлю серию мероприятий - причем не только в Питере. О мероприятиях напишу в следующем посте, а сейчас пора добить февральские темы.

Почему не нужно следовать интуитивному желанию написать промпт для большой языковой модели так, как хочется?.. А почему не нужно? Если вас устроил ответ модели, то все ок, вы написали хороший короткий промпт. Я считаю вредным меряться длиной промптов, Хирша и прочих KPI, т.к. люди уже давно доказали, что любую метрику можно хакнуть.
Но, если вас все же не устроил ответ модели, значит, это повод задуматься о несовершенстве не только самой модели, но и вашего промпта. Ибо “что посеешь, то и пожнешь”, или “мусор на входе - мусор на выходе” (garbage in - garbage out, гАбидж ин гАбидж Аут). Можно, не удаляя диалога с моделью, объяснить ей, чем вас не устроил ее ответ, и попросить сделать задание снова. Но, если это не сработало, промпт можно доработать вот так.

💫 Дать развернутую инструкцию, что и как нужно делать, подробно описать результат, которого ждете. В общем не скупиться на слова. А если, говоря словами известной песни, words don’t come easy to you, или слова нелегко приходят на ум, попросите саму модель написать вам промпт к вашей задаче. Затем перезапустите диалог и проверьте ее промпт. Если все еще недостаточно хорошо, скорректируйте результат вручную или попросите модель снова отредактировать промпт. Получится модель, которая кусает сама себя за промпт 🐉

💫 Попробовать разные речевые жанры. Например, для доработки научного текста помогают формальный язык и вежливые обращения (пожалуйста, будь добра, спасибо), можно вычитать в своем промпте опечатки и стилистические ошибки. Это связано с тем, кто каждое слово в диалоге подтягивает за собой статистически значимые связи с другими словами. Формальный язык обычно используют в энциклопедиях, новостях; вежливые обращения “подтягивают” благожелательность. А вот для креативных задач вроде написания сказки подойдут всякие шутки-прибаутки.

💫 Попробовать внушить модели, что она некая личность, персонаж и говорит от его лица; попросить ее поиграть с вами в ролевую игру. Опять же персонаж зависит от жанра, которому будет принадлежать желаемый вами сгенерированный текст. Этот эффект усилит то, что вы выражаете в собственном тоне. Это, кстати, один из методов хакинга моделей - они “заигрываются” и начинают подтягивать недопустимую информацию. Но разработчики усиленно работают над тем, чтобы такого не происходило.

💫 Дать модели один или несколько хороших примеров. Это техника few-shot (фью шот) промптинга. Начинайте с одного примера, а если его недостаточно, то попробуйте увеличить число примеров, но не сильно. Судя по кейсам, с которыми я знакома, восемь-десять примеров - это максимум.

💫 Дайте модели текст-опору, из которого она почерпнет факты и информацию, на которую будет опираться. Это помогает, если у вас узкая предметная область или модель ошибается в фактах в вашей задаче. Если помните, что такое machine reading comprehension (машинное усвоение навыка чтения), то вычитывать информацию и генерить на ее основе текст - это базовая функция языковых моделей, с ней они справляются успешно.

Хотя можно попробовать и просто сменить модель. Например, известно, что Claude Sonnet хорошо умеет писать стихи, а ChatGPT решать математику.

Всем удачного промптинга! 🍀

#спискИИ

Дорогие подпИИсчики! 💐

Хочу поделиться своими планами на апрель, т.к., возможно, вы захотите ко мне присоединиться. А план такой: провести уже наконец-то обещанные в кружочках канала интенсивы 🤪
Вот честно, если б я когда-то не обещала, то сейчас наверняка делала бы что-то другое 😁
Часть интенсивов у нас получилась по договоренности с вузами: вход строго по инвайтам, фейс-, дресс-, эйдж- и даже нэйл- (nail, ногти) контроль 😷👮 А вот два - полный разгуляй, хиппи-стайл и вообще приходи, кто хочет 👨‍🎤 но... надо будет зарегистрироваться в LeaderID, т.к. проводить их мы будем в Точках кипения.
Итак, барабанная дробь, приходите ко мне лечиться учиться на интенсив по здоровой генерации научных работ при помощи ИИ "Цифровые инструменты в социальных и гуманитарных науках":

08.04. с 10:00 до 14:00 - Точка кипения в Ельцин-Центре, г. Екатеринбург - рега
10.04. с 12:00 до 16:00 - Точка кипения в Технопарке, г. Тюмень - рега

По традиции в рекламное сообщение нужно добавить отзывы довольных клиентов. Но.. это не рекламное сообщение, а комьюнити-менеджмент. Ведь я зову вас стать частью сообщества ученых, которые бережно трансформируют науку под давлением технического прогресса 🧐👾
Но довольное комьюнити я вам все-таки буду присылать в свой канал в виде фоточек с интенсивов. Потому что мне давно хотелось повод под вот эту песню выкладывать, как мы с искусственным интеллектом тусим по разным городам.

Ах да, это бисплатна 🤑 Всем, кто досидит до конца, выдадим электронный сертификат участника от ЕУСПб 📜

В общем, увидимся!

#меропрИИятия

Это олимпиада для поступающих в магистратуру ПАНДАН, которой я сейчас соруковожу с Иваном Бибиловым из Яндекс Образования.