Делюсь ссылкой на презентацию по итогам своей вчерашней лекции про то, как ChatGPT меняет современное образование. Во время лекции я просила слушателей сформулировать отношение к четырем тезисам (они есть в презентации) по шкале "негативное - нейтральное - позитивное". Самым неоднозначным оказался тезис No. 2 "Работы, в которых авторы использовали ChatGPT, будут получать более низкие оценки". Тут есть сложность с формулировкой: речь идёт не о том, чтобы согласиться "да, так будет" или "нет, так не будет", а именно о том, какие чувства в вас вызывает этот тезис - позитивные или негативные. В итоге я решила запилить опрос: действительно ли этот тезис такой спорный? 🤔 Поделитесь в комментариях, пожалуйста, как думаете, будут ли реально работы с ChatGPT получать более низкие оценки?

Ну что ж, результаты к концу дня, если смотреть на соотношение негатива ➖ и позитива ➕, повторяют то, что было на лекции.
Попробую предположить, что негатив связан с тем, что если уж использование ChatGPT разрешено, то дискриминировать за него несправедливо 🤨 Да и не обязательно иметь хороший навык письма, если вы, например, инженер. Главное, что ChatGPT помогает сформулировать и донести собственную мысль. Поэтому за что тут снимать балл? За непрофильные навыки? Позитив, возможно, показывает отношение к использованию ChatGPT: лучше обходиться без него, чтобы сохранять и развивать свой навык письма, а кто его использует, тот, возможно, недостаточно квалифицирован, чтобы писать самостоятельно 🍤
А вот чего не было на лекции, так это нейтрального отношения 0️⃣ Тут позволю себе предположить, что голосовавших тема просто не интересует. А вот на лекцию слушатели шли именно на такую тему, поэтому не остались равнодушными.

Генерим поэзию ✍

Эксперименты в творческом письме, скорее, норма. Уильям Шекспир привнес в высокий штиль английской драматургии повседневные слова вроде "грядки" и "чулки". Экспериментами прославились абсурдисты, например Эжен Ионеско. И все еще никто толком не может сказать, о чем же книга "Поминки по Финнегану". Серебряный век русской поэзии прославил эксперименты Маяковского, Хлебникова, Хармса. И, конечно, появление ЭВМ не осталось незамеченным поэтами. Вот что говорил об использовании компьютерной программы Дэвид Боуи: "Я беру статьи из газет, стихи, которые я написал, кусочки книг других людей и помещаю все это в этот маленький склад, в этот контейнер информации, а затем нажимаю кнопку случайного выбора, и все будет случайным образом перемешано". А на платформе Стихи.ру есть программа, которая поможет подобрать рифму. Но писать стихи самостоятельно на хорошем уровне ИИ научилось совсем недавно.
👨‍🌾 Относительно старая (по современным меркам) языковая модель на основе большой языковой русскоязычной модели GPT-2 Порфирьевич имеет отдельную папку в репозитории GitHub, файлы в которой содержат следы дообучения модели рифмованию и примеры сгенерированных стихотворений. Осторожно, модель матерится! Стихи тоже странноватые.
🤵‍♂️ Разработчики "AI да Пушкин" (программы-генератора четверостиший по первым словам от команды Т-Банка) в 2022 г. тоже использовали GPT-2. Ее дообучили писать ритмичный и рифмованный текст. Причем рифмование оказалось самой непростой задачей. Проект недавно закрылся, но в блоге есть примеры (особенно в комментариях). Там уже все цивильно в плане лексики. Заданная рамка (четверостишие) не позволяет модели уйти в галлюцинирование.
🧑‍🎨 Видимо, рамка есть и у GigaChat от Сбера. Скорее всего, модель тоже дообучена писать стихи по определенным правилам. Несколько попыток генерации выдали четырехстопные четверостишья (магия числа 4 прям таки чувствуется). Есть траблы с ритмом и рифмой. Все-таки стихи - это не совсем их профиль.
🤹 Ну и, конечно, среди обитателей моей любимой Чат-бот Арены тоже есть поэты. По ссылке пример генерации от модели Sonnet 3.5.
🧑‍🎤 Но больше всего мне понравился генератор стихов от IT-стартапа RoboText.io. Я попросила его продолжить Пушкина. Ответ меня так порадовал, что привожу его здесь целиком. Правда, с генерациями не разбежишься - бесплатно можно только один раз.

Я вас любил. Любовь еще быть может.
Кто вам сказал, что это не любовь.
И пусть она вас больше не тревожит,
Тревожит сердце, не волнует кровь.

Я часто вспоминаю наши встречи.
И каждое желанье, что дарил.
Когда я уходил от вас в тот вечер,
Как я держался из последних сил.

ПС. Я чуть было не всплакнула в конце 😢
ПС2. Недавно на просторах Интернета появился фейковый патриотический поэт. Он даже успел выиграть в конкурсе поэтов. Интересно, генерировал ли он стихи 🤔

#эссеиистика #спискии

У меня очередное объявление

Я перешла работать из ТюмГУ в Европейский Университет в Санкт-Петербурге. В связи с этим оффлайновая локация моих мероприятий изменится, но онлайн - все тут же. А еще я надеюсь, что можно будет сделать что-нибудь межуниверситетское 🌏

Кто проходил мои интенсивы, будучи студентом, и в связи с этим не получил удостоверение. Ваши контакты в ТюмГУ, которые помогут вам добраться до удостоверений:
1⃣ Команда Открытого UTMN:
➖ Руководитель: Коломийчук Ирина Александровна i.a.kolomijchuk@utmn.ru
➖ Специалист: Харьковец Дарья Евгеньевна d.e.kharkovets@utmn.ru
2⃣ Помощник директора Института социально-гуманитарных наук Медведева Виктория Олеговна v.o.medvedeva@utmn.ru
Не пишите им, пожалуйста, всем сразу. Начните с Открытого UTMN. Именно он оформляет удостоверения. Если будет совсем глухо, пишите мне в ЛС или сюда в комментарии.

ПС. Я нашла еще одно классное стихотворение от ИИ. Там ИИ рассуждает на тему самого себя. Философично 👾 🎩

Знакомимся с Lightning

Тру разработчики ИИ сидят не на Keras’е (кЕрасе), а на Torch’е (торчЕ) - если вам непонятен смысл этой фразы, можно ознакомиться с постами про Keras и PyTorch. Ну, или, если кратко: есть базовая библиотека для нейронных сетей - Keras 🤳, а есть базированная - PyTorch 🦾. Вторая более сложная. В том смысле, что написать простой код простой сети на PyTorch примерно так же трудно, как написать сложный код сложной сети на PyTorch.
Если зайти в документацию PyTorch, то одним из первых в ней стоит модуль torch.nn. Это основной модуль для построения архитектуры нейронки; можно сказать, самый важный. И есть модули, которые отвечают за разные другие особенности архитектуры, например, подключение к графическому процессору. Lightning облегчает работу с некоторыми модулями PyTorch, например torch.nn.Module, который в посте с простой сетью как раз использовался, чтобы ее создать. На сайте библиотеки (доступен через VPN) перечислены такие ее преимущества:
👉 уменьшает количество шаблонного кода (boilerplate code, бОйлеплейт кОуд) - т.е. буквально позволяет убрать повторы, которыми страдает PyTorch (из-за этого приходится писать много, чтобы сделать мало)
👉 позволяет быстро менять компоненты архитектуры - меньше текста, проще найти то, что нужно заменить
👉 делает код более читабельным
👉 упрощает подключение к графическим процессорам
👉 упрощает тестирование (встроенные функции для тестирования обучения в разных точках)
Ну и чтобы не быть голословной, создала я… ноутбучек, в котором взяла код нейросети для классификации чисел во MNIST, и переделала его в PyTorch+Lightning. Жмякайте сколько душе угодно
💓

ПС. Это последний пост апрельского номера, хе-хе. Думаю, пора уже признаться себе в собственной малописучести и перейти на формат один выпуск за два месяца.

#notebook

Сентябрьский анонс

🍁Приближается сентябрь, а это значит, что пора начать поститься. Вот и анонс сентябрьского номера нашего журнала:

4⃣ Фейковые научные статьи - откуда они берутся?
7⃣ Как измерить креативность AI (Пост по следам моей открытой лекции в Летней школе)
1⃣1⃣ RLHF, SFT, PPO и DPO - разбираемся в настройке больших языковых моделей
1⃣4⃣ Да кто такой этот ваш random.seed?
1⃣8⃣ Кто все-таки делает открытия в NLP: лингвисты или инженеры?
2⃣1⃣ В чем польза нейропоиска
2⃣5⃣ TPU versus GPU. Или сколько видеокарт нужно, чтобы достичь Sota
2⃣8⃣ ИИ-слизь. Теория метрового Интернета

🤖 А еще будет рубрика #лайфхак : микро-посты с.. лайф-хаками, связанными с ИИ. Микро-посты не анонсирую - буду писать по мере сил.

И, конечно, вдогонку обложка сентябрьского номера..

С первым сентября, дорогие подписчики! С днём знаний! ✨💐✨

А раз такой повод, я решила немного порассуждать на тему знаний. Все, что дальше, это мое скромное мнение и может не совпадать со мнением организаций, где я работаю, ем, тусуюсь и перевыпускаю транспортную карту, а также со мнением моих друзей и коллег.
Сегодня только ленивый не говорит о том, что вокруг очень много информации и люди становятся менее восприимчивы к ней. К чему это ведёт в образовании?
Специализация версус междисциплинарность. Можно быть доктором наук, защитившимся по хеттскому языку, а можно быть компьютерным лингвистом в Яндексе. Т.е. либо оттачиваем знания в конкретной области (финальные курсы специалитета), либо формируем широкий кругозор в нескольких областях (а потом в них тоже что-нибудь оттачиваем - бакалавриат и магистратура, мейджоры и майноры).
Hard versus soft skills (жёсткие версус мягкие навыки). Можно паять платы, а можно организовывать работу проектной группы. Раньше, вроде бы, считалось, что первое круче, но есть такой анекдот про обезьянку.
Теория версус практика. Про первое понятно - это те самые то ли устаревшие школьные знания, которые никогда не пригодятся, то ли база (это просто знать надо.. или не надо..). Про второе: проектные методы, кейс-стади, полевые исследования - главное, чтобы решало реальную проблему, давало выход в виде патента, рекомендаций и т.п.
Онлайн версус оффлайн. Чем сильнее специализация, чем она техничнее, чем более заточена под hard skills, тем критичнее необходимость в оффлайне. Т.е. информацию мы будем получать, скорее, через собственные биологические сенсоры.
Профессия версус компетентность. Профессия сегодня есть, а завтра нет, а вот навыки останутся (портфолио, допобразование, МООКи).

Ну а дальше, как говорится, choose your fighter 🌓: крутим тумблеры, нажимаем кнопочки на приборной панели современного образования и становимся очень гибкими и в то же время стойкими в этом неспокойном и меняющемся мире. Всем удачного академического года! 🍀

#эссеиистика

Фейковые научные статьи - откуда они берутся?

..И создал человек первую языковую модель, которая могла написать грамматически связный, но бессмысленный текст.. Что могло пойти не так?
Эта история хорошо задокументирована в анналах интернета, но я кратко перескажу вехи.
🗿 SciGEN - генератор, созданный в 2005 г. тремя студентами MIT Джереми Стриблингом, Дэном Агуайо и Максом Кроном (Jeremy Stribling, Dan Aguayo, Max Krohn). Их статья “Rooter: A Methodology for the Typical Unification of Access Points and Redundancy” (это заглавие невозможно осмысленно перевести на русский - примерно как “глокая куздра”) прошла на IT-конференцию WMSCI-2005. Более того, они сделали целую секцию на этой конференции! Их продолжатели проделали то же самое еще с рядом конференций - на странице проекта есть список.
Метод, который используется в SciGEN, называется “контекстно-свободная грамматика”: при помощи правил алгоритм подставляет разные слова в синтаксически правильные конструкции. Например, вместо “глокая куздра” можно сгенерировать “зеленая идея”.
🗿 В 2008 г. Михаил Гельфанд из Института проблем передачи информации РАН дополнил метод SciGEN машинным переводом. При помощи известной в 2000-2010-х гг. программы ЭТАП-3 он перевел статью Стриблинга и др. на русский. Получился тот самый “Корчеватель: Алгоритм типичной унификации точек доступа и избыточности”. Корчевателя можно вспоминать в тусовках олдовых компьютерных лингвистов, если хотите сойти за своего (можете упомянуть, что там в списке литературы есть известный ученый K. Softporn). Статья вышла в журнале перечня ВАК “Журнал научных публикаций аспирантов и докторантов”.
🗿 Американский журналист Джон Боханнон (John Bohannon) в 2013 году вместе с коллегами из фармакологии написал статью об эксперименте с раковыми клетками. В статье было множество методологических ошибок и только поддельные данные. Затем он написал компьютерную программу, которая синонимизировала некоторые слова и подставляла вместе одних терминов другие (похоже на метод SciGEN). Джон сам придумал автора Ocorrafoo Cobange (как это читается?) из Африки и разослал сгенерированные версии статьи в 304 научных журнала. 157 журналов приняли их к публикации. Т.к. он делал это для эксперимента, то статьи он отозвал. Весь процесс подробно описан в его материале “Who's Afraid of Peer Review?” (“Кто боится пир-ревью?”) в журнале Science.

На этом, конечно, история не заканчивается. Вот, например, эксперимент, в котором подсчитано, что в статьях на Google Scholar (база данных научных статей) фраза “as of my last knowledge update” в 2023 году встречается 66 раз (в 2022-м, год выпуска ChatGPT - всего пару раз). Кто с ChatGPT на английском говорил, тот знает, что с нее начинается ответ модели. А еще в 21 веке появилась новая профессия: fake-paper detective - детектив, который охотится за сгенерированными статьями.
А еще рецензенты статей тоже не промах и вовсю генерят рецензии. Но это совсем другая история..

#эссеиистика #байкиизсклепа

Лайфхак № 1. Добавляем ChatGPT в гуглотаблицы (Google Sheets), чтобы вместо запросов к данным писать промпты

💡 Регистрируем аккаунт в Google, если еще не..
💡 Включаем ВПН
💡 Логинимся в OpenAI с Google ID
💡 Создаем гуглотаблицу
💡 Заходим в гуглотаблице в меню Расширения (Extensions) -> Дополнения (Add-ons) -> Установить дополнения (Get add-ons)
💡 Ищем в магазине Chrome приложение "ChatGPT in Google Sheets and Docs" от Talarian. Жмякаем "установить"
💡 Возвращаемся в гуглотаблицу. В меню "Расширения" выбираем "ChatGPT in Google Sheets and Docs" и жмякаем "Открыть"
Теперь вы можете создать набор данных и делать к нему запросы прямо в ячейках таблицы при помощи функции =GPT(...). Вот пример моей таблицы с проверкой.
Сервис может работать и без ВПН, но иногда подтупливает.

#лайфхакИИ

Наши постоянные читатели, возможно, помнят, что был у меня пост про энтропию, а к нему был конкурс, в котором я разыгрывала книгу. Барабанная дробь... Книга нашла победителя! На фото: Булат Маликов, специалист в области ИТ и математики, (слева) и бестселлер о поиске смысла жизни в нашу необычную эпоху (справа). Мои поздравления им обоим 🥳🎉

Как измерить креативность AI
Этот пост я написала сама. По мотивам Летней школы в Дубне

Есть такой вид развлечения: угадывать, какой контент был сгенерирован, а какой создан человеком. Несмотря на то, что у продуктов генерации есть особенности, которые часто служат основой для верной отгадки (типичные фразы вроде “Вот что я могу предложить..”, галлюцинации, вежливый стиль речи), сама постановка задачи (“угадать”) ставит машину на один уровень креативности с человеком, а ИИ-продукты не перестают нас удивлять.
Креативность считается свойством, присущим в большей степени человеку, нежели, например, животным. При этом авторы уже давно используют инженерные находки в комбинаторной креативности - процессе совместного порождения творческого продукта. Например, Дэвид Боуи использовал программу Verbasizer, чтобы получать случайные сочетания слов. При этом автор выбирает удачные сочетания по принципам новизны, разноообразия, полезности, т.е. тем же принципам, которые работают и для контента, создаваемого людьми. Решение все еще за автором. Примерно так этот процесс творчества происходит и сегодня, хотя генераторы становятся все более совершенными. Например, достаточно творческий процесс обучения базовой школьной программе уже автоматизирован на уровне, достаточном, чтобы заменить репетитора. Языковая модель GPT4o режиссирует процесс так хорошо, как будто сценарий урока был написан заранее.
Так как оценить уровень креативности? Если машина будет плохо генерить контент, то время на отбор годных сгенеренных вариантов будет увеличиваться. Следовательно, надо оценивать машину здесь и сейчас по результатам, которые она выдает: что генерит и насколько хорошо.
Перплексия, температура, энтропия. Оригинальность языковой модели можно повысить, увеличивая долю редких сочетаний слов при генерации. Чем ниже перплексия, тем более стандартные, предсказуемые ответы у модели. Повышение температуры (это параметр модели) приводит к более оригинальным ответам, но за ними может потеряться смысл как во фразе лингвиста Ноама Хомского “Зеленые идеи яростно спят”. (Перплексия связана с энтропией - см. тот пост, за который Булат выиграл книжку.)
Панель экспертов, тест Тьюринга. Как в игре выше, можно сравнить модели на предмет того, кто из них больше похож на человека. Но есть и более сложные дизайны, например, когда сгенерированный продукт вручную оценивается по разным параметрам (новизна, неожиданность и т.д.).
Автоматические методы оценки в большей степени относятся к оценке инженерных находок, предложенных ИИ:
🎄деревья функций, которые оценивают физические принципы продукта, принципы работы, воплощение, детали
🤴графы и кластерные модели для выявления степени сходства/различия разных сгенерированных образцов
👩‍🔬формульные методы для оценки разнообразия, новизны и т.д.
Интересно, что они сходятся к одному понятию - убывающая предельная полезность (отчасти скопированному из экономики): с определенного момента добавление нового атрибута в продукт, например, дообучение модели писать стихи, перестает увеличивать его полезность.
Выручка. Раз уж мы живем в рыночных отношениях, давайте посмотрим, какая модель принесла больше прибыли своему соавтору. Хотя кожаные уже пытаются воровать хлеб у ИИ.
А, может, вообще не использовать ИИ для генерации контента? Исследования показали, что если вы средней руки автор, то вы сможете убыстрить генерацию годноты. При этом вы потратите время на взаимодействие с ИИ, а не на прокачивание собственной креативности. Если вы - топчик, то сильно понизите свою оригинальность. Да, в моменте это может привлечь к вам больше народных масс, но в перспективе вы станете очень похожи на конкурентов.

#эссеиистика

Случайно нашла годноту в тему предыдущего поста 🧑‍🎨

RLHF, SFT, PPO и DPO — разбираемся в настройке больших языковых моделей
☣️ Здесь будут ссылки на научные статьи. Они сложные - не обязательно в них погружаться.

Большие языковые модели (БЯМ, LLM) по сути это программа, которая генерирует текст. У нее есть так называемые эмбеддинги (словарь токенов - слов и их частей - и их веса) и надстройка в виде нейронной сети, которая предсказывает вероятность следующего токена на основе весов. Чтобы получить эмбеддинги, модель нужно обучить. Современные модели обучают в основном при помощи архитектуры “трансформер” - этот этап называется pre-training (претрЕйнинг), а полученная модель - предобученной (pre-trained). И что же получается, после обучения модель уже не скорректировать? Современные БЯМы можно дообучать и настраивать, то есть файн-тьюнить (fine-tune). При этом веса модели могут меняться полностью или частично. Вот несколько популярных методов файн-тьюнинга:
➡️ Supervised fine-tuning (сьюпевАйзд фАйнтьюнинг), настройка с учителем, SFT основано на специфических задачах. Например, пусть модель обучалась на задаче генерации текста вообще, а файн-тьюнить мы ее будем на написание стихов. В результате она будет писать стихи, но, вероятнее всего, просядет по каким-то другим задачам. Обучать можно на несколько разных задач; несколько задач, связанных между собой; на нескольких примерах, которых будет достаточно (few-shot, фью-шОт).
➡️ Reinforcement learning (реинфОсмент лЁнинг), обучение с подкреплением. Материалом для обучения становится реальное поведение модели и реакция на него, например, когда человек, который получил ответ на промпт, поставил лайк или оценку. В методе RLHF (reinforcement learning with human feedback - обучение с подкреплением на основе отзывов людей) создается отдельная модель, которую люди учат награждать или штрафовать другую модель. Proximal Policy Optimization (PPO, оптимизация проксимальной политики) - это алгоритм, который помогает найти баланс между корректированием весов после фидбэка людей и дообучением на новых данных. Другими словами, он уравнивает влияние новых данных, поступивших в модель, с ее оценкой своего поведения после дообучения.
➡️ Parameter Efficient Fine-Tuning (парАметер эфИшент файн-тьЮнинг), PEFT, файн-тьюнинг с эффективной настройкой параметров. Чем меньше параметров нужно скорректировать при настройке, тем меньше времени и других ресурсов займет настройка. Т.е. это тот же файн-тьюнинг, но он по-разному меняет параметры модели. Среди методов PEFT выделяют следующие:
➡️ ➡️ Low-Rank Adaptation (LoRA, низкоранговая адаптация) - вместо большой матрицы эмбеддингов создаются две матрицы поменьше, после обучения они складываются опять в одну.
➡️ ➡️ Direct Preference Optimization (DPO, прямая оптимизация предпочтений) - в модель добавляется вес, который делает генерацию того или иного токена более или менее предпочтительной в каких-либо условиях: “dynamic, per-example importance weight” (динамический вес важности примера).
➡️ In-Context Learning (ICL), контекстное обучение - это даже не файн-тьюнинг. Ведь можно не менять параметры модели. Можно поменять промпт, дав модели больше контекста, и она в диалоге с вами начнет выполнять нужную вам задачу. Но это другая большая история..

#спискии #база

Да кто такой этот ваш random.seed?

Случайное число - это такое число, вероятность получить которое такая же, как получить любое другое число из ряда. То есть это изначально и не одно число, а целый ряд чисел. Плюс какая-то процедура, как мы будем это число доставать. В Python самая популярная библиотека для генерации случайных чисел называется random. В ней есть генератор псевдослучайных чисел и методы для различного "доставания" чисел из ряда.
Почему “псевдослучайных” и есть ли случайные события в природе? Этот вопрос делит ученых на детерминистов, готовых найти закономерности, которые привели к определенным событиям, и сказать, что ничто не случайно, и индетерминистов, которые не верят, что в этом вообще есть смысл. Псевдослучайным генератор называется потому, что в нем есть закономерность (!), которая приводит к равновероятному появлению любого числа - если не знать про закономерность. Однако, если в нее углубиться, можно предсказать каждое следующее число, что противоречит идее равновероятности.
Генерация случайных чисел - это важная процедура для моделирования явлений, в которых мы принимаем неопределенность и не стремимся к описанию всех сложных закономерностей. Машинное обучение и нейронные сети работают как раз по этому принципу, поэтому в них часто встречаются генераторы случайных чисел. В нейронных сетях это, например, инициализация весов (weight initialization). Получается, что удачная инициализация может привести к более успешному результату модели. Но если мы что-то поменяем в модели, например, количество признаков, функцию активации и т.п., то мы должны быть уверены, что новый результат обусловлен именно нашими нововведениями, а не удачей. Для этого есть метод random.seed.
В генераторе псевдослучайных чисел нужно стартовое число seed, с которого начнется генерация. По дефолту это будет время запуска кода, поэтому seed будет меняться с каждым запуском. Но вы можете задать свой seed, и веса в нейройнке будут каждый раз задаваться на первом шаге одинаковые. Поэтому если ваша библиотека нейронных сетей использует библиотеку random (а это очень-очень вероятно), то поместите в начале вашего кода вот эти три строки, и эффект удачной инициализации весов пройдет (кликбейтное получилось предложение☺️):

import random

random.seed(10)
print(random.random())

Вот тут можно посмотреть результат выполнения этого кода.
NB! Для некоторых библиотек есть свои правила, как задать seed - смотрите документацию.
Интересно, что часто в примерах для seed’а используют число 42. Эта пасхалочка отсылает к роману Дугласа Адамса «Автостопом по галактике» и отвечает на главный вопрос жизни, вселенной и всего такого. Всем удачной генерации!
🍀

#база #байкиизсклепа

Последнее "Что? Где? Когда?" человечества

Есть один разработчик больших языковых моделей для русского языка по имени Илья Гусев (работает сеньором по маш.обучу в компании Booking.com). Я давно фанат его моделей - выложены тут. У Ильи есть канал. А в этом канале есть пост, который является репостом более массового канала “Сиолошная”. Ну не суть.. Главное, о чем их посты. А они о “Последнем экзамене человечества”.
Как вы помните, техгиганты прямо сейчас пытаются создать такой искусственный интеллект, который не то, что достигнет среднего уровня человека (AGI), но даже переплюнет самых умных людей и захватит что-нибудь, например, человечество (ASI). Создатель популярных бенчмарков для языковых моделей Дэн Хендрикс предлагает помочь техгигантам и придумать вопросы, которые будут по силам только экспертам уровня магистратуры и выше. Этот набор будет использован для обучения моделей и проверки на AGI, ASI. Вопросы нужно присылать на английском.
У русского языка есть необычное для мира наследие - вопросы спортивной версии игры “Что? Где? Когда?” Они необычны тем, что в них требуется выкрутка - помимо использования фактов, игроки проходят несколько логических ступеней, прежде чем получат ответ. И.. барабанная дробь.. Внимание, конкурс!
Я хочу протестировать современные языковые модели на тему того, как успешно они решают вопросы в стиле викторины "Что? Где? Когда?" или ее спортивной версии. К сожалению, большинство вопросов есть в Интернете. Поэтому важно понять, нашла ли модель ответ или действительно его “выкрутила” логически.
Объявляю конкурс вопросов:
➡ Придумайте вопрос в стиле ЧГК.
➡ Протестируйте топовую большую языковую модель (лучше несколько, это можно сделать на чат-бот арене).
➡ Если модель не справляется, присылайте вопрос мне через вот эту форму до 25 октября 2024.
➡ Я дообучу на них русскоязычную модель и устрою ей большой экзамен из вопросов, которых пока нет в Интернете..
➡ ..а компетентное жюри из знатоков и ИИ-разработчиков оценит ваши вопросы и выберет победителей (по своим человеческим субъективным критериям).
Результаты конкурса будут объявлены 3 ноября 2024 в моем канале.
Победители получат во-о-от такие призы:
🎉 Промокод на курс “Основы Python для исследований и анализа данных”
🎉 Электронные подарочные сертификаты в магазин «Читай-город»

Всем удачного промптинга и криэйтив-райтинга! 🍀

#конкурс #ниипетпроект

Кто все-таки делает открытия в NLP: лингвисты или инженеры?

Если кратко, то и те, и те. Если не кратко, то нужно понять, почему такой вопрос возник.
Возник он не у меня. Мне его иногда задают очень разные люди. Мне кажется, это потому, что свой путь в инженерию я проделала из лингвистики.
Немного предыстории. В старших классах я училась в Гимназии при ТюмГУ на почти все пятерки (получила в итоге серебряную медаль). После школы хотела поступать на генную инженерию, но родители настояли, чтобы я пять лет изучала английский на специалитете Факультета романо-германской филологии. Подозреваю, что родители хотели, чтобы я вышла замуж за богатого иностранца, но у меня что-то не срослось с иностранцами🇷🇺 Поработав преподавателем английского, я поняла, что мои научные амбиции лежат не в сфере филологии. Уже в 2006 у меня дома был модем для выхода в Интернет, и мне стали попадаться статьи по компьютерной лингвистике. Интуиция мне не подсказывала, что вот скоро изобретут ChatGPT, но мне нравилось, что компьютерные лингвисты брали все эти, как я скромно считаю, высосанные из пальца лингвистические теории и раскладывали их по местам, поверяя экспертное мнение цифрой. Я взяла пару курсов на Coursera - вот тут пригодился английский - и доказала свои компетенции на программе магистратуры “Прикладная информатика в экономике” (у меня всего две тройки в дипломе - по матметодам в экономике). С 2017 публикуюсь в хороших сборниках по компьютерной лингвистике (например, от ACL - Association of Computational Linguistics) и участвую в научных конференциях наравне с учеными с инженерным образованием. Что еще нужно, чтобы ответить на вопрос из заголовка этого поста?
Мне кажется, этот вопрос задается, скорее, чтобы я подбодрила тех, кто хочет избавиться от стереотипа (неважно, внутри он у них или кто-то на них давит снаружи), что если профильное образование далеко от инженерии, то в науку тебе не попасть. Мой способ не невозможный, но очень трудный. Это совсем не про картинку из рекламы инфоцыганских курсов, где вы за час сделаете первого чат-бота на Питоне. Я просто всю жизнь параллельно с работой учусь - это я не в порыве гордости; это, правда, так. А за это приходится, как с пафосом говорят главные герои сериалов, платить высокую цену. Например, долгое время у меня не было хобби. Бывали периоды, когда я не общалась с друзьями. А когда горел дедлайн, то семья могла установить со мной зрительный контакт только утром, пока я не погрузилась в работу.
Можно ли как-то проще? Можно. Последние пару лет я не штурмую вершины. Публикуюсь в России, езжу на конференции по социологии - там тоже нужно NLP и анализ данных, но там не такая толкучка, как на конференциях по компьютерной лингвистике. А еще сегодня много образовательных траекторий и есть ясность, что нужно и для каких исследований.
А что о топовых открытиях вроде алгоритма word2vec или архитектуры “трансформер”? word2vec открыл Томаш Миколов, инженер из Чехии; трансформер сделала команда инженеров Google. Но если посмотреть их образовательную траекторию, то на уровне магистратуры или докторантуры они все специализировались в узкой области компьютерной лингвистики. Если отмотаем лет на 50-70 назад, то увидим, что этой области не было и лингвисты заходили в инженерию, чтобы заложить ее основы: Ноам Хомский (трансформационная грамматика), Игорь Мельчук (модель “Смысл-Текст”), Андрей Зализняк (“Грамматический словарь русского языка”). В общем, сейчас просто период такой, когда на разработках лингвистов, математиков и других специалистов инженеры сделали много прорывных открытий в NLP.
А завтра, по-любому, все поменяется, потому что селяви.

#эссеиистика

В чем польза нейропоиска

Если смотрите телевизор, то, скорее всего, видели рекламу про нейропоиск от Яндекса. Это новый поисковик, который на основе языковых моделей и других архитектур глубокого обучения генерирует ответ вместо того, чтобы искать его в сети и возвращать вам список сайтов, ранжированный по принципу от самого полезного до тех страниц, где просто есть слова из вашего запроса. (Если интересно, как доставать информацию из набора текстов традиционными методами, то напоминаю, что у меня есть про это ноутбучек с кодом.) Звучит очень похоже на то, как многие используют ChatGPT - задают ей вопросы на знание фактов, математические вычисления и прочие кейсы, где нужно дать точный ответ (“exact match”, стопроцентное попадание в ответ).
Что добавил в эту историю Яндекс? Мультимодальность (сеть вам еще и картинку нарисует) и пояснение к ответу. Чтобы не было как в романе Дугласа Кларка “Автостопом по галактике”, где был дан ответ на главный вопрос жизни, вселенной и всего такого, но осталось неясно, почему ответ такой? Ответ, кстати, 42.
Польза от нейропоиска: вместо вороха документов (сайтов), которые вам придется прочесать, вы сразу получите столько точной информации, сколько требуется для погружения в вопрос на уровне статьи из энциклопедии. Т.е. сеть буквально создаст страницу а-ля "из Википедии" под ваш запрос. Минусы: нейронки могут глючить, через какое-то время теряют нить диалога, в них много ограничений на темы 😈🤬
Вот такой краткий пост. А если хотите больше, например, узнать, какие вопросы можно задавать сетям, а на какие они пока не могут ответить, то… Барабанная дробь.. Объявляю октябрь месяцем “вопрос-ответ-ности” (question-answering, QA) 🎉 и приглашаю тех, кто в Питере, прийти ко мне на занятие по основам QA-задач. А кто не в Питере или не хочет мерзнуть, добираясь до Дворцовой набережной, подключайтесь онлайн.
На лекционной части мы разберем типы задач, где нужно ответить на вопрос, и заглянем под капот QA: в датасеты и NLP - алгоритмы от базовых, вроде поиска ответа по готовой таблице, до генерации тестовых вопросов по научному тексту.
На практике мы разберем так называемый Trivia QA датасет вопросов из спортивной версии викторин “Что? Где? Когда” и “Своя игра” и проверим, действительно ли языковые модели уже стали умнее уважаемых знатоков, как утверждает один хабровчанин. Спойлер: нет, а то стали бы мы об этом в анонсе писать.
Когда: 5 октября 2024 (в эту субботу) 16.00-18:00 по московскому времени (!)
Где: дворец Серебряковой, по адресу наб. Кутузова, 22 в Санкт-Петербурге
С собой ноутбуки, Python и хорошее настроение.
Встреча будет проходить онлайн и в офлайн формате.
Ссылка на регистрацию туть.
Подключайтесь к онлайну туть (без смс, но с регистрацией по ссылке выше).

#база