Andrew Ng (тот самый CoFounder Coursera и известный специалист в кругах AI) и Isa Fulford (OpenAI) выложили бесплатно (for a limited time) короткий курс (на 1 час) ChatGPT Prompt Engineering for Developers. Если вы разработчик и планируете внедрять ChatGPT (или другие LLMs) в свои продукты - настоятельно рекомендую

https://www.deeplearning.ai/short-courses/chatgpt-prompt-engineering-for-developers

#ai #llm #prompt #andrew_ng

Оперативненько! уже есть курсы по ChatGPT, бросайте ваши питоны и скули, и учите жпт!

😫before chatGPT & Co
6 hours of debugging
can save you 5 min

🤩with chatGPT & Co
chatGPT account can
save 6 hours of debugging
5 min of reading documentation
4 hours of writing code
2 hours of searching for right command or code snippet

Список дел в ChatGpt за неделю:

1. Написал кучу Terraform скриптов для AWS Batch, AWS ECS, ECR, IAM - задача запускать dbt в контейренере в ECS, чтобы он мог ворочить данные в Redshift.

2. PoC Glue Spark - именно сам PySpark, который сэкономил очень много времени для описании огромного JSON.

3. AWS CLI команды в bash для запуска glue jobs из CLI и мониторинга

4. Кучу команд для AWS EMR утилитки s3-dict-cp и bash для автоматизации (включая функции), команды для hadoop hdfs

5. Glue pyspark для проекта по компресии данных, что-то s3-dict-cp не перформит для моих задач.

Эти примеры сэкономили мне ОЧЕНЬ много времени. Самое главное, что у меня есть понимание, что нужно делать, а chatGPT лишь автоматизирует набор кода, который я бы и сам написал, но потратил кучу времени на поиск решений. А так вот все успел.

Так что мои топ 3 use cases:
- Terraform (или любой другой инфраструктурный код)
- bash
- PySpark

SQL пока сам пишу☺️

Интересные варианты использования нашел:

https://t.me/alexandrkolosov/49

🦄 27.05 GPT ДЕМО 20:00
Миша Буртцев: 8к->1м токенов на RMT? 🌋
Тимофей Зайцев: AutoGPT & No code
Каждый что-то готовьте показать на экране
+ Предлагайте спикеров особенно по autonomous agents+langchain.

Приносим вино и/или вкуснополезное. Оставляем после себя лучше, чем до.

Адрес: Sadaf 6, 41 эт, 4113 (возьми Id для консьержа)
Или покажи кейс онлайн с 9:00 bit.ly/WM2022_Zoom Pass: wmchampion

https://t.me/worldmodel_dubai/15722

Кто-то потестит steamship.com и покажет в эту сб на GPT демо?

Кто сегодня покажет Агента - приз бутылка джина и приглос на пятничную вечеринку с участием … женщин
steamship.com

​Собираем умную CRM на ChatGPT, PostgreSQL и ToolJet

Вот вам мегагайд, который поможет собрать умную CRM с блэкджеком и автогенерацией писем для клиентов

#нейросети #sql

Промпт-инженеры

Зацепила фраза Григория Бакунова (bobuk) про промт для GitHub Copilot (работает на ChatGPT):

> Для тех кто не программирует, посмотрите на картинку — вот так выглядит будущее программирование искусственного интеллекта.

Действительно эти ~25 предложений можно представить как ~25 абзацев кода для какого-то приложения.

Продолжая аналогию с программированием, можно вспомнить с чего начинается почти каждый урок — тот самый Hello world! И то же самое происходит с тем, кто впервые сталкивается с гот-моделями — их промты простые и односложные.

А вот продвинутые юзеры гпт-моделей через пробы и ошибки учатся улучшают свои промты и некоторые уже даже не помещаются на страницу. Чем не продвинутая программа уже?

Получается, придумали весь этот МЛ, чтобы не писать кучу IF’ов — и теперь пишем эти же ифы, только теперь на естественном языке.

В мире ИИ происходит смена парадигмы: фокус в приложении усилий смещается от работы над архитектурами ML моделей в сторону работы над данными для обучения и инференса. Эта парадигма получила названия Data-centric AI и неплохо описана в статье ниже.

Data-centric AI - дисциплина систематического проектирования данных, используемых для создания системы ИИ (кстати, термин ввел знаменитый Эндрю Нг, лекции и курсы которого в очередной раз горячо рекомендую к ознакомлению).

Хороший пример - хайповые ChatGPT модели. На самом деле развиваясь от версии 1 к 4 каждый качественный шаг в результатах их работы достигался не изменением архитектуры модели, а увеличением ее размера и использовании для обучения большего количества все более качественно подготовленных данных.

В частности:

GPT-1: в обучении используется набор данных BooksCorpus. Этот набор данных содержит 4629,00 МБ необработанного текста, охватывающего книги различных жанров, таких как приключения, фэнтези и романтика.

GPT-2: WebText используется в обучении. Это внутренний набор данных в OpenAI, созданный путем извлечения исходящих ссылок из Reddit.
Результат: после фильтрации получается 40 ГБ текста и GPT-2 дает неплохие результаты без дополнительного файн-тюнинга.

GPT-3: Обучение GPT-3 в основном основано на Common Crawl.
Результат: 570Гб текста получается после фильтрации из 45Тб открытого текста (при такой фильтрации качества отбирается всего 1,27% данных). И GPT-3 значительно превосходит GPT-2.

InstructGPT: тут уже люди оценивают ответы GPT-3, чтобы он лучше соответствовал человеческим ожиданиям. Тут OpenAI проделала очень большую работу с аннотаторами и организации их работы, мотивации и тд.
Результат: InstructGPT показывает большую достоверность и меньше предвзятости.

ChatGPT-4: подробности не раскрываются OpenAI. Но известно, что GPT-4 в значительной степени повторяют дизайн предыдущих моделей GPT, и они по-прежнему используют RLHF для настройки моделей (с потенциально большим количеством данных/меток более высокого качества). Принято считать, что GPT-4 использовала еще больший набор данных, так как веса модели были увеличены.

Вывод: ИИ, ориентированный на данные, становится все более важным. После многих лет исследований дизайн моделей уже стал очень зрелым, особенно после появления модели Transformer. Инженерия данных становится решающим (или, возможно, единственным) способом улучшения систем ИИ в будущем.

https://towardsdatascience.com/what-are-the-data-centric-ai-concepts-behind-gpt-models-a590071bb727