Знакомимся с Keras

До того, как все разговоры стали о ChatGPT, все разговоры были про нейросети. Я попыталась вспомнить, о чем были все разговоры до нейросетей, и не смогла. Видимо, до них говорили всё про разное. Или, может, вообще молчали…
Есть ли надобность в нейросетях сегодня, раз они больше не на слуху? Большие языковые модели типа ChatGPT обучаются и генерируют ответ при помощи нейронных сетей. Только архитектуры этих сетей довольно однообразны - разработчики и ученые уже сообразили, что работает хорошо, а что лучше не трогать. Но есть еще много задач, где трудятся нейросети разных архитектур и размеров. А есть и задачи, где можно обойтись алгоритмами машинного обучения, в которых нет нейросетей. Машинное обучение - это когда, чтобы решить задачу, алгоритм тренируется и тестирует свою эффективность на размеченном наборе данных. Например, для задачи определения спама быстрый и простой Наивный классификатор Байеса все еще считается хорошим решением, хотя им пользуются уже около двадцати лет. Но, если у вас нетривиальная задача или вы создали датасет и хотите быстро проверить, как справятся нейросети с его разметкой, или вы хотите доработать обученную языковую модель под вашу задачу, нужно разобраться с нейросетями.
С чего лучше начать знакомство? Наверно, самая простая и понятная библиотека для машинного обучения, в которой есть и очень простая нейросеть, это Scikit-Learn. Но она не позволяет делать сеть с разными видами слоев. В ней есть только базовый вариант: многослойный персептрон. Поэтому, если вы уже немного в теме, стоит перейти к Keras. В их тьюториале для начинающих есть даже советы по работе в Google Collaboratory. Вот здесь пример многослойной сети на задаче распознавания рукописных цифр в датасете MNIST. В основном используются сверточные слои (convolutional, конволЮшонал), MaxPooling (макспУлинг), который улучшает их работу, и дополнительные слои для линейной классификации, которые нужны, например, чтобы задать количество классов (в датасете MNIST их 10 - по числу цифр в десятичной системе).
Но у меня, конечно, есть свой ноутбучек из одного давнего поста с подробным разбором более простой архитектуры на той же задаче
😉

#база #notebook

Мы с Артёмом тут случайно попали в огни стробоскопа 💫🌟 и решили напомнить, что вот так мы выглядим, когда пишем посты в канал 😎

Знакомимся с PyTorch

Прошлый пост был о том, как на чилле и раслабоне делать сети с помощью Keras (кЕрас). К слову, Keras разработан программистом из Google и использует еще одну библиотеку от Google: TensorFlow. Сразу после Keras’а (в 2016 г.) на свет появилась библиотека PyTorch (пайтОрч) с внутрянкой на чем-то загадочном: Matlab-подобной библиотекой для Lua (тоже такой язык программирования). По моим воспоминаниям все советовали делать сети именно в Keras’е, а про PyTorch говорили, что он усложнен донельзя, но более мощный. Мощный в плане того, что позволяет сложный дизайн нейронной сети под нетривиальные задачи. Я с какими-либо ограничениями в Keras’е никогда не сталкивалась, чтобы переходить на PyTorch. Но вот архитектура трансформеров, которая лежит в основе больших языковых моделей (БЯМов), требовала именно сложного дизайна. Поэтому с бумом этой архитектуры пришел и наплыв кода с PyTorch’ем. Пришлось погрузиться, но остаться на мелководье. Честно, я до сих пор считаю, что PyTorch нужен именно для запуска чужих, готовых моделей. Производственных мощностей, навыка разработки БЯМов с нуля и желания погружаться в их внутрянку у меня нет, чтобы заходить в эту тему глубже. А желания нет потому, что в этой теме сегодня (по моему скромному мнению) money talks (говорят деньги). Люди, которые делают прорывные открытия в области БЯМов, работают в основном в коммерческом секторе, где зарплаты традиционно выше академии, а БЯМы приносят компаниям выручку. Академия - это про slow science (слОу сАенс, медленную науку, где можно не торопиться). Я работаю в академии, поэтому предпочитаю задачи, в которых коммерческая выгода не ставится во главу угла. Но при этом, поскольку нужно поддерживать форму, я периодически использую готовые инструменты и решения (с подобающими ссылками на их авторов).
Так вот, чтобы в этот раз сделать ноутбучек с простой сетью на PyTorch, я решила не напрягаться и… обратилась к Gemini от Google на чат-бот арене (не устаю ее рекламировать - никаких тебе логинов, паролей, а теперь можно еще и в мультимодальность - картинки подгружать). Сеть, которая получилась, по моему скромному мнению, выглядит куда сложнее, чем такое же на Keras. Хотя бы потому, что там обязательно использовать объект-ориентированное программирование - создавать классы (Class). Хорошо, что есть БЯМы, которые могут обучать таким вот темам. Кстати, на тему БЯМов в обучении я буду послезавтра читать открытую лекцию “Как меняется образование с появлением ChatGPT?” в Питере. Можно послушать онлайн (видеозаписи не будет) - регистрируйтесь, если еще не.

#база #notebook

Выбирай красную.. ну то есть левую кнопку! 😉

Еду в магазин гучи в Санкт-Петербурге.. и продумываю завтрашнюю лекцию про ChatGPT в современном образовании 🧐

Делюсь ссылкой на презентацию по итогам своей вчерашней лекции про то, как ChatGPT меняет современное образование. Во время лекции я просила слушателей сформулировать отношение к четырем тезисам (они есть в презентации) по шкале "негативное - нейтральное - позитивное". Самым неоднозначным оказался тезис No. 2 "Работы, в которых авторы использовали ChatGPT, будут получать более низкие оценки". Тут есть сложность с формулировкой: речь идёт не о том, чтобы согласиться "да, так будет" или "нет, так не будет", а именно о том, какие чувства в вас вызывает этот тезис - позитивные или негативные. В итоге я решила запилить опрос: действительно ли этот тезис такой спорный? 🤔 Поделитесь в комментариях, пожалуйста, как думаете, будут ли реально работы с ChatGPT получать более низкие оценки?

Ну что ж, результаты к концу дня, если смотреть на соотношение негатива ➖ и позитива ➕, повторяют то, что было на лекции.
Попробую предположить, что негатив связан с тем, что если уж использование ChatGPT разрешено, то дискриминировать за него несправедливо 🤨 Да и не обязательно иметь хороший навык письма, если вы, например, инженер. Главное, что ChatGPT помогает сформулировать и донести собственную мысль. Поэтому за что тут снимать балл? За непрофильные навыки? Позитив, возможно, показывает отношение к использованию ChatGPT: лучше обходиться без него, чтобы сохранять и развивать свой навык письма, а кто его использует, тот, возможно, недостаточно квалифицирован, чтобы писать самостоятельно 🍤
А вот чего не было на лекции, так это нейтрального отношения 0️⃣ Тут позволю себе предположить, что голосовавших тема просто не интересует. А вот на лекцию слушатели шли именно на такую тему, поэтому не остались равнодушными.

Генерим поэзию ✍

Эксперименты в творческом письме, скорее, норма. Уильям Шекспир привнес в высокий штиль английской драматургии повседневные слова вроде "грядки" и "чулки". Экспериментами прославились абсурдисты, например Эжен Ионеско. И все еще никто толком не может сказать, о чем же книга "Поминки по Финнегану". Серебряный век русской поэзии прославил эксперименты Маяковского, Хлебникова, Хармса. И, конечно, появление ЭВМ не осталось незамеченным поэтами. Вот что говорил об использовании компьютерной программы Дэвид Боуи: "Я беру статьи из газет, стихи, которые я написал, кусочки книг других людей и помещаю все это в этот маленький склад, в этот контейнер информации, а затем нажимаю кнопку случайного выбора, и все будет случайным образом перемешано". А на платформе Стихи.ру есть программа, которая поможет подобрать рифму. Но писать стихи самостоятельно на хорошем уровне ИИ научилось совсем недавно.
👨‍🌾 Относительно старая (по современным меркам) языковая модель на основе большой языковой русскоязычной модели GPT-2 Порфирьевич имеет отдельную папку в репозитории GitHub, файлы в которой содержат следы дообучения модели рифмованию и примеры сгенерированных стихотворений. Осторожно, модель матерится! Стихи тоже странноватые.
🤵‍♂️ Разработчики "AI да Пушкин" (программы-генератора четверостиший по первым словам от команды Т-Банка) в 2022 г. тоже использовали GPT-2. Ее дообучили писать ритмичный и рифмованный текст. Причем рифмование оказалось самой непростой задачей. Проект недавно закрылся, но в блоге есть примеры (особенно в комментариях). Там уже все цивильно в плане лексики. Заданная рамка (четверостишие) не позволяет модели уйти в галлюцинирование.
🧑‍🎨 Видимо, рамка есть и у GigaChat от Сбера. Скорее всего, модель тоже дообучена писать стихи по определенным правилам. Несколько попыток генерации выдали четырехстопные четверостишья (магия числа 4 прям таки чувствуется). Есть траблы с ритмом и рифмой. Все-таки стихи - это не совсем их профиль.
🤹 Ну и, конечно, среди обитателей моей любимой Чат-бот Арены тоже есть поэты. По ссылке пример генерации от модели Sonnet 3.5.
🧑‍🎤 Но больше всего мне понравился генератор стихов от IT-стартапа RoboText.io. Я попросила его продолжить Пушкина. Ответ меня так порадовал, что привожу его здесь целиком. Правда, с генерациями не разбежишься - бесплатно можно только один раз.

Я вас любил. Любовь еще быть может.
Кто вам сказал, что это не любовь.
И пусть она вас больше не тревожит,
Тревожит сердце, не волнует кровь.

Я часто вспоминаю наши встречи.
И каждое желанье, что дарил.
Когда я уходил от вас в тот вечер,
Как я держался из последних сил.

ПС. Я чуть было не всплакнула в конце 😢
ПС2. Недавно на просторах Интернета появился фейковый патриотический поэт. Он даже успел выиграть в конкурсе поэтов. Интересно, генерировал ли он стихи 🤔

#эссеиистика #спискии

У меня очередное объявление

Я перешла работать из ТюмГУ в Европейский Университет в Санкт-Петербурге. В связи с этим оффлайновая локация моих мероприятий изменится, но онлайн - все тут же. А еще я надеюсь, что можно будет сделать что-нибудь межуниверситетское 🌏

Кто проходил мои интенсивы, будучи студентом, и в связи с этим не получил удостоверение. Ваши контакты в ТюмГУ, которые помогут вам добраться до удостоверений:
1⃣ Команда Открытого UTMN:
➖ Руководитель: Коломийчук Ирина Александровна i.a.kolomijchuk@utmn.ru
➖ Специалист: Харьковец Дарья Евгеньевна d.e.kharkovets@utmn.ru
2⃣ Помощник директора Института социально-гуманитарных наук Медведева Виктория Олеговна v.o.medvedeva@utmn.ru
Не пишите им, пожалуйста, всем сразу. Начните с Открытого UTMN. Именно он оформляет удостоверения. Если будет совсем глухо, пишите мне в ЛС или сюда в комментарии.

ПС. Я нашла еще одно классное стихотворение от ИИ. Там ИИ рассуждает на тему самого себя. Философично 👾 🎩

Знакомимся с Lightning

Тру разработчики ИИ сидят не на Keras’е (кЕрасе), а на Torch’е (торчЕ) - если вам непонятен смысл этой фразы, можно ознакомиться с постами про Keras и PyTorch. Ну, или, если кратко: есть базовая библиотека для нейронных сетей - Keras 🤳, а есть базированная - PyTorch 🦾. Вторая более сложная. В том смысле, что написать простой код простой сети на PyTorch примерно так же трудно, как написать сложный код сложной сети на PyTorch.
Если зайти в документацию PyTorch, то одним из первых в ней стоит модуль torch.nn. Это основной модуль для построения архитектуры нейронки; можно сказать, самый важный. И есть модули, которые отвечают за разные другие особенности архитектуры, например, подключение к графическому процессору. Lightning облегчает работу с некоторыми модулями PyTorch, например torch.nn.Module, который в посте с простой сетью как раз использовался, чтобы ее создать. На сайте библиотеки (доступен через VPN) перечислены такие ее преимущества:
👉 уменьшает количество шаблонного кода (boilerplate code, бОйлеплейт кОуд) - т.е. буквально позволяет убрать повторы, которыми страдает PyTorch (из-за этого приходится писать много, чтобы сделать мало)
👉 позволяет быстро менять компоненты архитектуры - меньше текста, проще найти то, что нужно заменить
👉 делает код более читабельным
👉 упрощает подключение к графическим процессорам
👉 упрощает тестирование (встроенные функции для тестирования обучения в разных точках)
Ну и чтобы не быть голословной, создала я… ноутбучек, в котором взяла код нейросети для классификации чисел во MNIST, и переделала его в PyTorch+Lightning. Жмякайте сколько душе угодно
💓

ПС. Это последний пост апрельского номера, хе-хе. Думаю, пора уже признаться себе в собственной малописучести и перейти на формат один выпуск за два месяца.

#notebook

Сентябрьский анонс

🍁Приближается сентябрь, а это значит, что пора начать поститься. Вот и анонс сентябрьского номера нашего журнала:

4⃣ Фейковые научные статьи - откуда они берутся?
7⃣ Как измерить креативность AI (Пост по следам моей открытой лекции в Летней школе)
1⃣1⃣ RLHF, SFT, PPO и DPO - разбираемся в настройке больших языковых моделей
1⃣4⃣ Да кто такой этот ваш random.seed?
1⃣8⃣ Кто все-таки делает открытия в NLP: лингвисты или инженеры?
2⃣1⃣ В чем польза нейропоиска
2⃣5⃣ TPU versus GPU. Или сколько видеокарт нужно, чтобы достичь Sota
2⃣8⃣ ИИ-слизь. Теория метрового Интернета

🤖 А еще будет рубрика #лайфхак : микро-посты с.. лайф-хаками, связанными с ИИ. Микро-посты не анонсирую - буду писать по мере сил.

И, конечно, вдогонку обложка сентябрьского номера..

С первым сентября, дорогие подписчики! С днём знаний! ✨💐✨

А раз такой повод, я решила немного порассуждать на тему знаний. Все, что дальше, это мое скромное мнение и может не совпадать со мнением организаций, где я работаю, ем, тусуюсь и перевыпускаю транспортную карту, а также со мнением моих друзей и коллег.
Сегодня только ленивый не говорит о том, что вокруг очень много информации и люди становятся менее восприимчивы к ней. К чему это ведёт в образовании?
Специализация версус междисциплинарность. Можно быть доктором наук, защитившимся по хеттскому языку, а можно быть компьютерным лингвистом в Яндексе. Т.е. либо оттачиваем знания в конкретной области (финальные курсы специалитета), либо формируем широкий кругозор в нескольких областях (а потом в них тоже что-нибудь оттачиваем - бакалавриат и магистратура, мейджоры и майноры).
Hard versus soft skills (жёсткие версус мягкие навыки). Можно паять платы, а можно организовывать работу проектной группы. Раньше, вроде бы, считалось, что первое круче, но есть такой анекдот про обезьянку.
Теория версус практика. Про первое понятно - это те самые то ли устаревшие школьные знания, которые никогда не пригодятся, то ли база (это просто знать надо.. или не надо..). Про второе: проектные методы, кейс-стади, полевые исследования - главное, чтобы решало реальную проблему, давало выход в виде патента, рекомендаций и т.п.
Онлайн версус оффлайн. Чем сильнее специализация, чем она техничнее, чем более заточена под hard skills, тем критичнее необходимость в оффлайне. Т.е. информацию мы будем получать, скорее, через собственные биологические сенсоры.
Профессия версус компетентность. Профессия сегодня есть, а завтра нет, а вот навыки останутся (портфолио, допобразование, МООКи).

Ну а дальше, как говорится, choose your fighter 🌓: крутим тумблеры, нажимаем кнопочки на приборной панели современного образования и становимся очень гибкими и в то же время стойкими в этом неспокойном и меняющемся мире. Всем удачного академического года! 🍀

#эссеиистика

Фейковые научные статьи - откуда они берутся?

..И создал человек первую языковую модель, которая могла написать грамматически связный, но бессмысленный текст.. Что могло пойти не так?
Эта история хорошо задокументирована в анналах интернета, но я кратко перескажу вехи.
🗿 SciGEN - генератор, созданный в 2005 г. тремя студентами MIT Джереми Стриблингом, Дэном Агуайо и Максом Кроном (Jeremy Stribling, Dan Aguayo, Max Krohn). Их статья “Rooter: A Methodology for the Typical Unification of Access Points and Redundancy” (это заглавие невозможно осмысленно перевести на русский - примерно как “глокая куздра”) прошла на IT-конференцию WMSCI-2005. Более того, они сделали целую секцию на этой конференции! Их продолжатели проделали то же самое еще с рядом конференций - на странице проекта есть список.
Метод, который используется в SciGEN, называется “контекстно-свободная грамматика”: при помощи правил алгоритм подставляет разные слова в синтаксически правильные конструкции. Например, вместо “глокая куздра” можно сгенерировать “зеленая идея”.
🗿 В 2008 г. Михаил Гельфанд из Института проблем передачи информации РАН дополнил метод SciGEN машинным переводом. При помощи известной в 2000-2010-х гг. программы ЭТАП-3 он перевел статью Стриблинга и др. на русский. Получился тот самый “Корчеватель: Алгоритм типичной унификации точек доступа и избыточности”. Корчевателя можно вспоминать в тусовках олдовых компьютерных лингвистов, если хотите сойти за своего (можете упомянуть, что там в списке литературы есть известный ученый K. Softporn). Статья вышла в журнале перечня ВАК “Журнал научных публикаций аспирантов и докторантов”.
🗿 Американский журналист Джон Боханнон (John Bohannon) в 2013 году вместе с коллегами из фармакологии написал статью об эксперименте с раковыми клетками. В статье было множество методологических ошибок и только поддельные данные. Затем он написал компьютерную программу, которая синонимизировала некоторые слова и подставляла вместе одних терминов другие (похоже на метод SciGEN). Джон сам придумал автора Ocorrafoo Cobange (как это читается?) из Африки и разослал сгенерированные версии статьи в 304 научных журнала. 157 журналов приняли их к публикации. Т.к. он делал это для эксперимента, то статьи он отозвал. Весь процесс подробно описан в его материале “Who's Afraid of Peer Review?” (“Кто боится пир-ревью?”) в журнале Science.

На этом, конечно, история не заканчивается. Вот, например, эксперимент, в котором подсчитано, что в статьях на Google Scholar (база данных научных статей) фраза “as of my last knowledge update” в 2023 году встречается 66 раз (в 2022-м, год выпуска ChatGPT - всего пару раз). Кто с ChatGPT на английском говорил, тот знает, что с нее начинается ответ модели. А еще в 21 веке появилась новая профессия: fake-paper detective - детектив, который охотится за сгенерированными статьями.
А еще рецензенты статей тоже не промах и вовсю генерят рецензии. Но это совсем другая история..

#эссеиистика #байкиизсклепа

Лайфхак № 1. Добавляем ChatGPT в гуглотаблицы (Google Sheets), чтобы вместо запросов к данным писать промпты

💡 Регистрируем аккаунт в Google, если еще не..
💡 Включаем ВПН
💡 Логинимся в OpenAI с Google ID
💡 Создаем гуглотаблицу
💡 Заходим в гуглотаблице в меню Расширения (Extensions) -> Дополнения (Add-ons) -> Установить дополнения (Get add-ons)
💡 Ищем в магазине Chrome приложение "ChatGPT in Google Sheets and Docs" от Talarian. Жмякаем "установить"
💡 Возвращаемся в гуглотаблицу. В меню "Расширения" выбираем "ChatGPT in Google Sheets and Docs" и жмякаем "Открыть"
Теперь вы можете создать набор данных и делать к нему запросы прямо в ячейках таблицы при помощи функции =GPT(...). Вот пример моей таблицы с проверкой.
Сервис может работать и без ВПН, но иногда подтупливает.

#лайфхакИИ

Наши постоянные читатели, возможно, помнят, что был у меня пост про энтропию, а к нему был конкурс, в котором я разыгрывала книгу. Барабанная дробь... Книга нашла победителя! На фото: Булат Маликов, специалист в области ИТ и математики, (слева) и бестселлер о поиске смысла жизни в нашу необычную эпоху (справа). Мои поздравления им обоим 🥳🎉

Как измерить креативность AI
Этот пост я написала сама. По мотивам Летней школы в Дубне

Есть такой вид развлечения: угадывать, какой контент был сгенерирован, а какой создан человеком. Несмотря на то, что у продуктов генерации есть особенности, которые часто служат основой для верной отгадки (типичные фразы вроде “Вот что я могу предложить..”, галлюцинации, вежливый стиль речи), сама постановка задачи (“угадать”) ставит машину на один уровень креативности с человеком, а ИИ-продукты не перестают нас удивлять.
Креативность считается свойством, присущим в большей степени человеку, нежели, например, животным. При этом авторы уже давно используют инженерные находки в комбинаторной креативности - процессе совместного порождения творческого продукта. Например, Дэвид Боуи использовал программу Verbasizer, чтобы получать случайные сочетания слов. При этом автор выбирает удачные сочетания по принципам новизны, разноообразия, полезности, т.е. тем же принципам, которые работают и для контента, создаваемого людьми. Решение все еще за автором. Примерно так этот процесс творчества происходит и сегодня, хотя генераторы становятся все более совершенными. Например, достаточно творческий процесс обучения базовой школьной программе уже автоматизирован на уровне, достаточном, чтобы заменить репетитора. Языковая модель GPT4o режиссирует процесс так хорошо, как будто сценарий урока был написан заранее.
Так как оценить уровень креативности? Если машина будет плохо генерить контент, то время на отбор годных сгенеренных вариантов будет увеличиваться. Следовательно, надо оценивать машину здесь и сейчас по результатам, которые она выдает: что генерит и насколько хорошо.
Перплексия, температура, энтропия. Оригинальность языковой модели можно повысить, увеличивая долю редких сочетаний слов при генерации. Чем ниже перплексия, тем более стандартные, предсказуемые ответы у модели. Повышение температуры (это параметр модели) приводит к более оригинальным ответам, но за ними может потеряться смысл как во фразе лингвиста Ноама Хомского “Зеленые идеи яростно спят”. (Перплексия связана с энтропией - см. тот пост, за который Булат выиграл книжку.)
Панель экспертов, тест Тьюринга. Как в игре выше, можно сравнить модели на предмет того, кто из них больше похож на человека. Но есть и более сложные дизайны, например, когда сгенерированный продукт вручную оценивается по разным параметрам (новизна, неожиданность и т.д.).
Автоматические методы оценки в большей степени относятся к оценке инженерных находок, предложенных ИИ:
🎄деревья функций, которые оценивают физические принципы продукта, принципы работы, воплощение, детали
🤴графы и кластерные модели для выявления степени сходства/различия разных сгенерированных образцов
👩‍🔬формульные методы для оценки разнообразия, новизны и т.д.
Интересно, что они сходятся к одному понятию - убывающая предельная полезность (отчасти скопированному из экономики): с определенного момента добавление нового атрибута в продукт, например, дообучение модели писать стихи, перестает увеличивать его полезность.
Выручка. Раз уж мы живем в рыночных отношениях, давайте посмотрим, какая модель принесла больше прибыли своему соавтору. Хотя кожаные уже пытаются воровать хлеб у ИИ.
А, может, вообще не использовать ИИ для генерации контента? Исследования показали, что если вы средней руки автор, то вы сможете убыстрить генерацию годноты. При этом вы потратите время на взаимодействие с ИИ, а не на прокачивание собственной креативности. Если вы - топчик, то сильно понизите свою оригинальность. Да, в моменте это может привлечь к вам больше народных масс, но в перспективе вы станете очень похожи на конкурентов.

#эссеиистика

Случайно нашла годноту в тему предыдущего поста 🧑‍🎨

RLHF, SFT, PPO и DPO — разбираемся в настройке больших языковых моделей
☣️ Здесь будут ссылки на научные статьи. Они сложные - не обязательно в них погружаться.

Большие языковые модели (БЯМ, LLM) по сути это программа, которая генерирует текст. У нее есть так называемые эмбеддинги (словарь токенов - слов и их частей - и их веса) и надстройка в виде нейронной сети, которая предсказывает вероятность следующего токена на основе весов. Чтобы получить эмбеддинги, модель нужно обучить. Современные модели обучают в основном при помощи архитектуры “трансформер” - этот этап называется pre-training (претрЕйнинг), а полученная модель - предобученной (pre-trained). И что же получается, после обучения модель уже не скорректировать? Современные БЯМы можно дообучать и настраивать, то есть файн-тьюнить (fine-tune). При этом веса модели могут меняться полностью или частично. Вот несколько популярных методов файн-тьюнинга:
➡️ Supervised fine-tuning (сьюпевАйзд фАйнтьюнинг), настройка с учителем, SFT основано на специфических задачах. Например, пусть модель обучалась на задаче генерации текста вообще, а файн-тьюнить мы ее будем на написание стихов. В результате она будет писать стихи, но, вероятнее всего, просядет по каким-то другим задачам. Обучать можно на несколько разных задач; несколько задач, связанных между собой; на нескольких примерах, которых будет достаточно (few-shot, фью-шОт).
➡️ Reinforcement learning (реинфОсмент лЁнинг), обучение с подкреплением. Материалом для обучения становится реальное поведение модели и реакция на него, например, когда человек, который получил ответ на промпт, поставил лайк или оценку. В методе RLHF (reinforcement learning with human feedback - обучение с подкреплением на основе отзывов людей) создается отдельная модель, которую люди учат награждать или штрафовать другую модель. Proximal Policy Optimization (PPO, оптимизация проксимальной политики) - это алгоритм, который помогает найти баланс между корректированием весов после фидбэка людей и дообучением на новых данных. Другими словами, он уравнивает влияние новых данных, поступивших в модель, с ее оценкой своего поведения после дообучения.
➡️ Parameter Efficient Fine-Tuning (парАметер эфИшент файн-тьЮнинг), PEFT, файн-тьюнинг с эффективной настройкой параметров. Чем меньше параметров нужно скорректировать при настройке, тем меньше времени и других ресурсов займет настройка. Т.е. это тот же файн-тьюнинг, но он по-разному меняет параметры модели. Среди методов PEFT выделяют следующие:
➡️ ➡️ Low-Rank Adaptation (LoRA, низкоранговая адаптация) - вместо большой матрицы эмбеддингов создаются две матрицы поменьше, после обучения они складываются опять в одну.
➡️ ➡️ Direct Preference Optimization (DPO, прямая оптимизация предпочтений) - в модель добавляется вес, который делает генерацию того или иного токена более или менее предпочтительной в каких-либо условиях: “dynamic, per-example importance weight” (динамический вес важности примера).
➡️ In-Context Learning (ICL), контекстное обучение - это даже не файн-тьюнинг. Ведь можно не менять параметры модели. Можно поменять промпт, дав модели больше контекста, и она в диалоге с вами начнет выполнять нужную вам задачу. Но это другая большая история..

#спискии #база