Бесплатный курс по файнтюнингу LLM

OpenAI только вчера представили инструменты для файнтюнинга GPT, а DeepLearning.AI уже ловко подхватили этот тренд и опубликовали краткий курс "Файнтюнинг больших языковых моделей"!

Ведущая курса - Шарон Чжоу, основатель и CEO Lamini. Курс предназначен для оттачивания навыков в файнтюнинге, что позволит использовать GPT на полную!

Вас ждут:
• Разбор кейсов, где файнтюнинг даст максимальный эффект.
• Подготовка данных для файнтюнинга.
• Тренировка и оценка вашей модели.

Знание Python и PyTorch - обязательно. Жаждете узнать больше о файнтюнинге?

😎 Регистрируйтесь

В продолжение к посту выше: эта история мне напомнила еще один недавний случай, где метрика сыграла большую роль. Не так давно в Твиттере/Реддите стали появляться сообщения, что ChatGPT что-то "сильно отупела". Конкретно, в задачах, где нужно генерировать код, стала выдавать невалидный код. Который тупо не запускается. Потом еще ребята из Стенфорда выпустили статью, где основательно сравнили перформанс ChatGPT и GPT-4 в марте и июне 2023 года. Эти сравнения были очень выразительными: в марте где-то 50% кода, выданного ChatGPT, было корректным, а в июне этот показатель стал 10%. Вот твит с парой таких картинок.

Это навело какую-то шумиху, я даже в нескольких чатах видела обсуждение (ну и правда, было интересно, что такое случилось). Ну а что же там произошло на самом деле: оказывается, снова дело было в метрике. В том, как авторы статьи измеряли "корректность" кода, выданного ChatGPT. Измерялась она, похоже, так: берем код, который выдает модель, запускаем. Запустилось — хорошо, не запустилось — плохо. И с мартовской версией ChatGPT большинство кода работало, с июньской версией перестало. В чем же дело?
А дело в том, что OpenAI поменяла вид, в котором ChatGPT выдает код. Теперь весь код в выводе обрамляется кавычками, и рядом еще ставится приписка, какой язык программирования используется. И именно это нововведение сломало прямой запуск кода в выводе ChatGPT. Т.е. модель продолжила выдавать правильный код, но запуск этого кода стал ломаться из-за добавленных кавычек.

Вот такая история. Подробнее про нее и другие аспекты этой статьи можно почитать в Сиолошной. Это еще один повод, чтобы чуть исследовать удивительные открытия, перед тем как писать "this is huge" (сори, у меня немного аллергия на посты, которые начинаются с таких фраз)

Code Llama – еще один шажок к ИИ программистам

Meta сегодня представила Code Llama, модель, которая обещает стать новым словом в мире программирования. Она была создана для того, чтобы ускорить и упростить процесс разработки для программистов и помочь новичкам.

- Открытая и бесплатная модель, основанная на платформе Llama 2.
- Три версии: основная, для Python и с акцентом на исполнение инструкций.
- В тестах превзошла другие известные LLM.

Meta надеется, что их новый инструмент даст толчок к инновациям в сфере программирования и поможет всему сообществу разработчиков.

🐙 Код
🤩 Веса
🤓 Статья
🙃 Блог-пост

🌾 Как современные технологии помогают классифицировать урожай

Вы когда-нибудь задумывались, как ученые и фермеры определяют различные виды культур на огромных площадях земли? Используя последние достижения в области спутниковой съемки, исследователи создали уникальный датасет, который помогает различать разнообразные культуры по всем Соединенным Штатам.

Используя изображения от спутников Landsat и Sentinel, ученые смогли собрать данные о различных культурах за 2022 год. Эти изображения не просто фотографии – они содержат информацию о растениях в разных спектрах света (видимый и инфракрасный), что позволяет точно классифицировать типы растений.

Датасет включает в себя «патчи» - небольшие участки земли размером 224 x 224 пикселя. Каждый такой "патч" содержит информацию о растительности в трех различных временных точках в течение сезона роста. Так, ученые могут отслеживать изменения на полях в разное время года.

Основная цель датасета - обучение компьютерных моделей, что бы они могли различать и классифицировать разные типы растений. Это может помочь в сельском хозяйстве, экологии и многих других областях.

💡 Как это было сделано?
Исследователи отобрали 5,000 "патчей" из данных USDA, а затем выбрали наилучшие изображения без облаков. Эти изображения были проанализированы, скомбинированы и отсортированы, чтобы создать окончательный датасет из 3,854 "патчей".

🤩 Датасет

Подпишись на @nn_for_science

🔧 Как файнтюнить (образно) языковые модели на что угодно?

Сегодня у нас интересная статья о том, как сделать из большой языковой модели - модель специализирующуюся на конкретной предметной области.

Автор, Иван Ямщиков, использует в качестве примера создание модели, разбирающейся в стратегии Civilization 6.

В статье дается пошаговая инструкция:

1. Найти подходящие тексты и документы по теме.

2. Разбить их на небольшие части.

3. Закодировать тексты в векторные представления.

4. Сохранить векторы и тексты в базу данных.

5. При составлении запроса к ИИ искать в базе данных релевантные тексты и включать их в запрос.

6. Выбрать подходящую модель ИИ.

7. Протестировать модель на заранее подготовленных вопросах.

8. Оценить качество ответов модели, сравнив их с ответами людей или более сильной модели ИИ.

9. Проанализировать результаты тестирования.

10. Выбрать лучшую модель.

Такая методика позволяет создать ИИ, хорошо разбирающийся в какой-то конкретной предметной области. Полезная информация для тех, кто хочет обучить ИИ работе с конкретными данными!

🗒️ Заметка

Подпишись на @nn_for_science

Tesla готовится к первому суду по ДТП с применением автопилота и летальным исходом

🚔Запланированное на середину сентября заседание в суде штата Калифорния включает в себя исковое заявление, в котором утверждается, что система автопилота заставила автомобиль Model 3 владельца Мики Ли внезапно съехать с шоссе со скоростью 65 миль в час и столкнуться с пальмой.

🚓Второе судебное разбирательство, назначенное на начало октября в суде штата Флорида, будет об аварии, произошедшей в 2019 году, когда автомобиль Model 3 владельца Стивена Баннера столкнулся с прицепом 18-колесного грузовика.

🙅‍♂️Tesla отрицает свою ответственность за оба происшествия, возлагая вину на ошибку водителей, и подчеркивает, что автопилот это вспомогательная система, и водители должны контролировать автомобиль.

👀 Учитывая прецедентное право в США результаты данных процессов могут иметь далеко идущие последствия

🚘 Статья

Подпишись на @nn_for_science

Explainable AI для self-supervised learning

Self-supervised learning (#SSL) - подход в машинном обучении, в котором модель учит представление данных (скрытую структуру, лежащую в основе данных), не требуя для этого никакой ручной разметки. Такие модели ещё называют энкодерами, потому что на выходе у них эмбеддинги.

В последнее время SSL демонстрирует впечатляющие результаты и поэтому важно понимать, что модель выучила на сама деле, перед тем как использовать её в таких критических сферах, как, например, здравоохранение.

Explainable AI (#XAI) помогает понять, как модель пришла к определенному решению. В компьютерном зрении это могут быть тепловые карты регионов изображения, которые были решающими для классификации.

Проблема в том, что классические подходы XAI из supervised learning тут не работают, так как для вычисления метрики “соответствия истине” (score function) требуются лейблы.

Например, в Grad-CAM мы можем вычислить отклонение предсказания от целевого лейбла и обратным распространением ошибки получить тепловую карту важных областей для этого класса. Подробнее об этом методе мы писали тут.

К сожалению, для SSL моделей такой подход работать не будет, так как нам не с чем сравнивать их вывод. На данный момент для SSL очень мало XAI методов и в следующих постах я бы хотел поделиться наиболее перспективными из них.

Подпишись на @nn_for_science

RELAX: Representation Learning Explainability

Aдаптация #XAI метода RISE для #SSL моделей, в котором случайным образом маскируются части изображения.

Если в RISE в качестве score function сравнивается отклонение предсказания от целевого класса замаскированных изображений, RELAX в качестве score function использует меру сходства (cosine similarity или L2 норму) между эмбеддингом, полученный из исходного изображения с эмбеддингами маскированных изображений.

Другими словами, эмбеддинг исходного изображения используется как лейбл, что позволяет определить, какие области изображения больше всего «отдаляют» эмбеддинги маскированных изображений от исходного. Суммируя все маскировочные карты, умноженные на этот коэффициент, получаем тепловую карту.

Минусы такого подхода - низкое разрешение тепловых карт, так как для маскировки всех комбинаций пикселей не хватит никаких ресурсов (для изображения 32х32 понадобится 2^1024 карт маскировки).

Кроме того, мы не можем быть уверены, что модель выучила реальное представление данных. Поэтому исходный эмбеддинг не обязательно является истинным.

📄 Статья

Подпишись на @nn_for_science

Мы открываем набор на осенний семестр школы глубокого обучения Deep Learning School!

DLschool — это школа при ФПМИ МФТИ, где мы учим нейронным сетям с самых азов до продвинутого уровня. Полный курс состоит из двух частей, каждая из которых длится полгода.
- Первая часть посвящена введению в нейросети и компьютерному зрению. Начинаем с основ машинного обучения и нейросетей, переходим к CNN для обработки картинок, заканчиваем переносом стиля изображений и ГАНами.
- Вторая часть полностью посвящена обработке естественного языка (NLP) и обработке звука.

Сейчас идет набор на первую часть. О новостях второй части курса напишем отдельно (скоро).

Особенность нашей школы в том, что мы даем много практики (теория при этом тоже есть, разумеется, и немало). Вам предстоит много практических домашних заданий и самостоятельный итоговый проект в конце семестра. По окончании обучения вы точно получите нужные практические навыки работы с нейросетями. Больше информации об организации курса и подробную программу первой части можно найти тут.

Преподаватели школы — ведущие специалисты российских и зарубежных IT-компаний и научные сотрудники исследовательских лабораторий. Среди них — я (Таня), буду вести у вас несколько лекций про CV, сегментацию и архитектуры сетей =)

Школа бесплатная. Полностью онлайн: учиться можно из любой точки мира, где есть интернет. Занятия проходят раз в неделю — лекция, семинар и домашнее задание. Обучение проходит на платформе Stepik. Берем всех, отбора нет.
❗️Начиная с этого года также есть возможность приобрести дополнительный пакет, в который входит индивидуальная поддержка от менторов и преподавателей в прохождении курса, а также дополнительные вебинары. Подробнее о нем читайте на нашем сайте.

Занятия начинаются 16 сентября. Регистрация продлится до 23 сентября. Чтобы зарегистрироваться на курс, оставьте заявку на нашем сайте. После этого вам на почту придет письмо со ссылками на курс на Степике, на канал и чат в Телеграме (письмо может идти 15-20 минут).

Ссылки:
Наш сайт
Подробная программа и оргинформация первой части курса
Ответы на часто задаваемые вопросы (F.A.Q)
Наш YouTube (тут видео всех лекций и семинаров школы, а также открытые лекции и интервью)
Наша группа VK
Поддержать нашу школу на Boosty
❗️В этом году в организации школы произошли некоторые изменения по сравнению с предыдущими потоками. Подробнее о них читайте тут. Также хочется сказать, что мы за лето хорошо поработали над организацией, и теперь не будет задержек в выкладке материалов, проверке дз и решении других вопросов =)

Если остались вопросы, пишите нам на почту (dlphystech@gmail.com), в сообщения в группе VK или в комментарии под этим постом.
И ждем вас в чатике курса в новом семестре! =)