Эффективное дообучение Llama 3.1 с помощью QLoRa и Weights&Bias

Статья на Хабр с комментариями
Код на GitHub или Kaggle

Спасибо @catboost_agents за помощью с оформлением кода

Изучайте и дерзайте!

Привет, укротители Ламы! 🏆

Лето подходит к концу 🥲, скоро День знаний 🍁.
К этому празднику мы подготовили приятные скидки на оба наших курса.
Для тех кто всё лето не решался на покупку - скидка 19% (до 1.09 включительно).
ПРОМОКОД: 1SEPTEMBER

Скидки сработают только по этим ссылкам:
Соревновательный DS
Курс по LLM

P.S.: А тех кто уже проходит наши курсы, в понедельник ждёт большая мотивационная бомба 💣. (намёк ищи в комментариях к посту)

Спешим поделиться с вами крутым проектом от студента нашего курса Леонида Саморцева (@le0_n1d) : "Crypto Q&A" 🔥 - оригинальная идея и отличная реализация.

Приложение развернуто на Streamlit, можно сразу перейти по ссылке и пользоваться:
https://github.com/sam-leonid/crypto_llm - код
https://cryptollm-leo.streamlit.app - рабочий прототип

Кстати, под капотом работает новейшая llama-3.1-405b-instruct по API. 🤯

А чем ещё интересен этот проект? - тем, что это первая работа, которую мы оценили на максимальный балл 30 из 30 🎉.
Как и обещали Леониду отправится наш фирменный мерч.

✍️ Пишите в комментариях как вам приложение Леонида, или что хотелось бы добавить.

Напоминаем, что сегодня весь день будет действовать промокод на LLM курс!

Успевайте!

Привет, LLM-промптёры! 🏆

Пришло время мотивационной БОМБЫ! 💣

Выпускников становится все больше и больше, поэтому 20 СЕНТЯБРЯ проведем РОЗЫГРЫШ 20 крутых призов среди студентов курса!🔥

Для участия в розыгрыше:
- пройди курс до любого сертификата
- оставь отзыв о курсе на Stepik
- всё!

Кто добьёт до сертификата с отличием, получит 5 дополнительных шансов на победу.

ПРИЗЫ (эксклюзивный мерч, токены и суперприз):
- 6 Футболок LLM-мастер (двухсторонняя)
- 6 Ремувок LLM-мастер
- 6 призов по 1М токенов курса
- 1 приз 5М токенов курса
- Суперприз: полный комплект мерча + 1М токенов 🤑


P.S.: Те кто уже получили сертификаты и оставили отзыв, тоже участвуют.
P.P.S.: За каждые 50 🔥 - добавим 1 футболку в розыгрыш!

Мерч уже на базе. Сегодня пришло все из печати

d3js + трансформеры = информативная эстетика

Если вы уже давно блендите трансформеры в NLP соревнованиях, но вас все еще мучает FOMO от того, что не понимаете как они работают, то вот вам крутейший залипательный подгон!

Интерактивная визуализация, как языковые модели подбирают следующее слово (токен).

Можно вставить свое предложение, регулировать температуру, наблюдать за механизмом «внимания». Код открытый, сделали на d3js.

Визуализация открывается прям в браузере

@big_llm_course

От нового проекта у всей команды курса свело олдскулы! 🤯😇

Встречайте, проект от Владимира Руденко: ТГ-бот по вселенной HMM3 (@heroes_game_bot). 🔥
Энциклопедия по игре, плюс GPT-генерация новых героев и персонажей по заданным характеристикам. (за генерацию отвечает YandexGPT)

Оригинальная идея и крутая реализация!
Делитесь в комментариях за какой замок любите играть и как вам этот проект?

Новый день - новый AI-проект! 🚀

Встречайте @SmartExpensesBot - от студента курса @alex_pylaev. (код на GitHub)

Бот может принимать информацию по произведенным расходам как в текстовом, так и в голосовом формате. Выделять сущности, заносить в базу и затем так же по запросу в произвольной форме выдавать саммари по затратам. (пример работы на скрине)

Отличная идея и реализация.
Автор получил несколько предложений по доработке проекта от команды курса и обещал в скором времени довести его до идеала! 🤔

Делитесь своим мнением о проекте в комментариях!

🏆 Топ студентов LLM курса.

Лидеры снова поменялись)
А 20-го сентября мы начислим дополнительные очки лучшим участникам курса с отличным сертификатом для большого розыгрыша мерча.

Напоминаем условия участия в розыгрыше:
- дойти до любого сертификата
- не забыть оставить отзыв о курсе на Stepik.

P.S: Розыгрыш уже в следующую пятницу!🔥
P.P.S: Ну и GPT-o1 вышел, ему и промпты почти не нужны 😇😎

Не благодарите)

Ботайте LLM и практикуйтесь!

Никогда такого не было, и вот опять!

Как многие заметили, langchain и openai снова обновились и немного поломали нам АПИ, как раз в выходные. 🤯
В этот раз проблему удалось пофиксить достаточно быстро, но всё-таки АПИ с ключом курса полноценно не работал 4 дня. 😢

Так же заодно исправили баги и опечатки в некоторых ноутбуках. Просьба ко всем обновить utils.py, и если вылезут какие-то ошибки - писать об этом в чат поддержки.

Уже поступили несколько просьб перенести дэдлайн по розыгрышу, так как АПИ не функционировал.
Мы решили пойти навстречу - ПЕРЕНОСИМ розыгрыш мерча на неделю, проведём 27 сентября (пятница).

На данный момент участвуют 24 человека. При этом выдано 78 сертификатов курса, но отзыва ещё не оставили. В общем, шанс выиграть приз достаточно высокий - успевайте!🚀

P.S: Студенты курса сдают всё больше интересных проектов - скоро расскажем в канале!🔥

Не знаете чем себя занять? 🤔

Вам на помощь придёт проект "Чё поделать?", который сдал студент нашего курса Anonymous 141978257 😅.

Сервис выполнен в виде веб-приложения (код) с GPT-3.5 под капотом, которое по выбранным параметрам рекомендует, чем бы таким заняться.
Отличное оформление кода и репозитория, есть планы по дальнейшему развитию функционала.
Даже специально зарегистрированный домен: чёподелать.рф 🔥

Но мы и так знаем, чем вы будете заниматься до 27.09 - активно ботать курс, чтобы успеть к РОЗЫГРЫШУ! 🏃‍♂️

P.S.: Пишите в комментариях, как вам этот проект и поддержите автора 👍 и ⭐ на гитхабе!

Схема пайплайна для LLM - оценки: нужно ревью кода сотрудников или нет.
Если ревью надо, то дальше создается другой LLM-агент, который будет ревьюить.

В эфире рубрика "Не можем не поделиться!"

Получили самый длинный отзыв-рассказ за всю историю наших курсов 🤯

Добрый день. Вкину, пожалуй, три копейки о своих мотивах прохождения курса, мучительном выборе оного и общих впечатлениях о нем.

1. "Для чего козе баян?"

Краткий экскурс в историю. Кажется, в прошлой жизни я был плохим мальчиком. Хм. Или девочкой. Возможно рыбкой или даже зайчиком. Но, как бы то ни было, видимо даже Чикатило нервно курит в сторонке по сравнению со мной, ибо как еще объяснить тот факт, что Боженька проклял меня и в текущей жизни сделал госслужащим, да еще и без права условно-досрочного освобождения? Кажется я знаю, как на самом деле выглядит ад, и как через 20 лет обеспечить безбедное существование какого-то психолога, к которому будут ходить мои дети, чтобы избавиться от энуреза и ночных кошмаров после моих рассказов на ночь о том, что если они будут плохо учиться, станут не дворниками, а пойдут по стопам их бестолкового папки ишачить на благо Родины.

продолжение в комментах

Отличные новости для студентов курса! 🔥

Добавили в наше АПИ новую модель 'gpt-4o-mini'!
Поменять модель можно в боте. (@llm_course_bot), где получали АПИ-ключ курса.

Новый проект на 30 из 30. 🔥

От студента курса Василия Фадеева.
Отлично выполненный проект с коммерческой перспективой. Сервис выполнен в виде веб-приложения на Streamlit, задеплоен на AWS, под капотом RAG система на langchain, модель и эмбеддинги от OpenAI. (код и описание)
В ишьюс серьёзный список планов по доработке нового функционала.
Отличная реализация на высший балл! 🚀

P.S.: Пишите в комментариях как вам проект Василия и поддержите автора 👍