Forwarded from Николай Крупий
Николай Крупий
Let's build GPT: from scratch, in code, spelled out. Andrej Karpathy 97,7 тыс. подписчиков 445 049 просмотров 17 янв. 2023 г. We build a Generatively Pretrained Transformer (GPT), following the paper "Attention is All You Need" and OpenAI's GPT-2 / GPT-3.…
https://www.youtube.com/watch?v=kCc8FmEb1nY
Let's build GPT: from scratch, in code, spelled out.
Andrej Karpathy
97,7 тыс. подписчиков
Подписаться
20 тыс.
Summarize
Создать клип
Сохранить
445 049 просмотров 17 янв. 2023 г.
We build a Generatively Pretrained Transformer (GPT), following the paper "Attention is All You Need" and OpenAI's GPT-2 / GPT-3. We talk about connections to ChatGPT, which has taken the world by storm. We watch GitHub Copilot, itself a GPT, help us write a GPT (meta :D!) . I recommend people watch the earlier makemore videos to get comfortable with the autoregressive language modeling framework and basics of tensors and PyTorch nn, which we take for granted in this video.
Links:
- Google colab for the video: https://colab.research.google.com/dri...
- GitHub repo for the video: https://github.com/karpathy/ng-video-...
- Playlist of the whole Zero to Hero series so far: https://www.youtube.com/watch?v=VMj-3...
- nanoGPT repo: https://github.com/karpathy/nanoGPT
- my website: https://karpathy.ai
- my twitter: https://twitter.com/karpathy
- our Discord channel: https://discord.gg/3zy8kqD9Cp
Supplementary links:
- Attention is All You Need paper: https://arxiv.org/abs/1706.03762
- OpenAI GPT-3 paper: https://arxiv.org/abs/2005.14165
- OpenAI ChatGPT blog post: https://openai.com/blog/chatgpt/
- The GPU I'm training the model on is from Lambda GPU Cloud, I think the best and easiest way to spin up an on-demand GPU instance in the cloud that you can ssh to: https://lambdalabs.com . If you prefer to work in notebooks, I think the easiest path today is Google Colab.
Suggested exercises:
- EX1: The n-dimensional tensor mastery challenge: Combine the
- EX2: Train the GPT on your own dataset of choice! What other data could be fun to blabber on about? (A fun advanced suggestion if you like: train a GPT to do addition of two numbers, i.e. a+b=c. You may find it helpful to predict the digits of c in reverse order, as the typical addition algorithm (that you're hoping it learns) would proceed right to left as it adds the numbers, keeping track of a carry along the way. You may want to modify the data loader to simply serve random problems and skip the generation of train.bin, val.bin. You may want to mask out the loss at the input positions of a+b that just specify the problem using y=-1 in the targets (see CrossEntropyLoss ignore_index). Does your Transformer learn to add? Especially on a validation set of addition problems it hasn't seen during training? Once you have this, swole doge project: build a calculator clone in GPT, for all of +-*/. Not an easy problem. You may need Chain of Thought traces.)
- EX3: Find a dataset that is very large, so large that you can't see a gap between train and val loss. Pretrain the transformer on this data, then initialize with that model and finetune it on tiny shakespeare with a smaller number of steps and lower learning rate. Can you obtain a lower validation loss by the use of pretraining?
- EX4: Read some transformer papers and implement one additional feature or change that people seem to use. Does it improve the performance of your GPT?
Let's build GPT: from scratch, in code, spelled out.
Andrej Karpathy
97,7 тыс. подписчиков
Подписаться
20 тыс.
Summarize
Создать клип
Сохранить
445 049 просмотров 17 янв. 2023 г.
We build a Generatively Pretrained Transformer (GPT), following the paper "Attention is All You Need" and OpenAI's GPT-2 / GPT-3. We talk about connections to ChatGPT, which has taken the world by storm. We watch GitHub Copilot, itself a GPT, help us write a GPT (meta :D!) . I recommend people watch the earlier makemore videos to get comfortable with the autoregressive language modeling framework and basics of tensors and PyTorch nn, which we take for granted in this video.
Links:
- Google colab for the video: https://colab.research.google.com/dri...
- GitHub repo for the video: https://github.com/karpathy/ng-video-...
- Playlist of the whole Zero to Hero series so far: https://www.youtube.com/watch?v=VMj-3...
- nanoGPT repo: https://github.com/karpathy/nanoGPT
- my website: https://karpathy.ai
- my twitter: https://twitter.com/karpathy
- our Discord channel: https://discord.gg/3zy8kqD9Cp
Supplementary links:
- Attention is All You Need paper: https://arxiv.org/abs/1706.03762
- OpenAI GPT-3 paper: https://arxiv.org/abs/2005.14165
- OpenAI ChatGPT blog post: https://openai.com/blog/chatgpt/
- The GPU I'm training the model on is from Lambda GPU Cloud, I think the best and easiest way to spin up an on-demand GPU instance in the cloud that you can ssh to: https://lambdalabs.com . If you prefer to work in notebooks, I think the easiest path today is Google Colab.
Suggested exercises:
- EX1: The n-dimensional tensor mastery challenge: Combine the
Head and MultiHeadAttention into one class that processes all the heads in parallel, treating the heads as another batch dimension (answer is in nanoGPT).- EX2: Train the GPT on your own dataset of choice! What other data could be fun to blabber on about? (A fun advanced suggestion if you like: train a GPT to do addition of two numbers, i.e. a+b=c. You may find it helpful to predict the digits of c in reverse order, as the typical addition algorithm (that you're hoping it learns) would proceed right to left as it adds the numbers, keeping track of a carry along the way. You may want to modify the data loader to simply serve random problems and skip the generation of train.bin, val.bin. You may want to mask out the loss at the input positions of a+b that just specify the problem using y=-1 in the targets (see CrossEntropyLoss ignore_index). Does your Transformer learn to add? Especially on a validation set of addition problems it hasn't seen during training? Once you have this, swole doge project: build a calculator clone in GPT, for all of +-*/. Not an easy problem. You may need Chain of Thought traces.)
- EX3: Find a dataset that is very large, so large that you can't see a gap between train and val loss. Pretrain the transformer on this data, then initialize with that model and finetune it on tiny shakespeare with a smaller number of steps and lower learning rate. Can you obtain a lower validation loss by the use of pretraining?
- EX4: Read some transformer papers and implement one additional feature or change that people seem to use. Does it improve the performance of your GPT?
YouTube
Let's build GPT: from scratch, in code, spelled out.
We build a Generatively Pretrained Transformer (GPT), following the paper "Attention is All You Need" and OpenAI's GPT-2 / GPT-3. We talk about connections to ChatGPT, which has taken the world by storm. We watch GitHub Copilot, itself a GPT, help us write…
Forwarded from Николай Крупий
Николай Крупий
Let's build GPT: from scratch, in code, spelled out. Andrej Karpathy 97,7 тыс. подписчиков 445 049 просмотров 17 янв. 2023 г. We build a Generatively Pretrained Transformer (GPT), following the paper "Attention is All You Need" and OpenAI's GPT-2 / GPT-3.…
Chapters:
00:00:00 intro: ChatGPT, Transformers, nanoGPT, Shakespeare
baseline language modeling, code setup
00:07:52 reading and exploring the data
00:09:28 tokenization, train/val split
00:14:27 data loader: batches of chunks of data
00:22:11 simplest baseline: bigram language model, loss, generation
00:34:53 training the bigram model
00:38:00 port our code to a script
Building the "self-attention"
00:42:13 version 1: averaging past context with for loops, the weakest form of aggregation
00:47:11 the trick in self-attention: matrix multiply as weighted aggregation
00:51:54 version 2: using matrix multiply
00:54:42 version 3: adding softmax
00:58:26 minor code cleanup
01:00:18 positional encoding
01:02:00 THE CRUX OF THE VIDEO: version 4: self-attention
01:11:38 note 1: attention as communication
01:12:46 note 2: attention has no notion of space, operates over sets
01:13:40 note 3: there is no communication across batch dimension
01:14:14 note 4: encoder blocks vs. decoder blocks
01:15:39 note 5: attention vs. self-attention vs. cross-attention
01:16:56 note 6: "scaled" self-attention. why divide by sqrt(head_size)
Building the Transformer
01:19:11 inserting a single self-attention block to our network
01:21:59 multi-headed self-attention
01:24:25 feedforward layers of transformer block
01:26:48 residual connections
01:32:51 layernorm (and its relationship to our previous batchnorm)
01:37:49 scaling up the model! creating a few variables. adding dropout
Notes on Transformer
01:42:39 encoder vs. decoder vs. both (?) Transformers
01:46:22 super quick walkthrough of nanoGPT, batched multi-headed self-attention
01:48:53 back to ChatGPT, GPT-3, pretraining vs. finetuning, RLHF
01:54:32 conclusions
Corrections:
00:57:00 Oops "tokens from the future cannot communicate", not "past". Sorry! 🙂
00:00:00 intro: ChatGPT, Transformers, nanoGPT, Shakespeare
baseline language modeling, code setup
00:07:52 reading and exploring the data
00:09:28 tokenization, train/val split
00:14:27 data loader: batches of chunks of data
00:22:11 simplest baseline: bigram language model, loss, generation
00:34:53 training the bigram model
00:38:00 port our code to a script
Building the "self-attention"
00:42:13 version 1: averaging past context with for loops, the weakest form of aggregation
00:47:11 the trick in self-attention: matrix multiply as weighted aggregation
00:51:54 version 2: using matrix multiply
00:54:42 version 3: adding softmax
00:58:26 minor code cleanup
01:00:18 positional encoding
01:02:00 THE CRUX OF THE VIDEO: version 4: self-attention
01:11:38 note 1: attention as communication
01:12:46 note 2: attention has no notion of space, operates over sets
01:13:40 note 3: there is no communication across batch dimension
01:14:14 note 4: encoder blocks vs. decoder blocks
01:15:39 note 5: attention vs. self-attention vs. cross-attention
01:16:56 note 6: "scaled" self-attention. why divide by sqrt(head_size)
Building the Transformer
01:19:11 inserting a single self-attention block to our network
01:21:59 multi-headed self-attention
01:24:25 feedforward layers of transformer block
01:26:48 residual connections
01:32:51 layernorm (and its relationship to our previous batchnorm)
01:37:49 scaling up the model! creating a few variables. adding dropout
Notes on Transformer
01:42:39 encoder vs. decoder vs. both (?) Transformers
01:46:22 super quick walkthrough of nanoGPT, batched multi-headed self-attention
01:48:53 back to ChatGPT, GPT-3, pretraining vs. finetuning, RLHF
01:54:32 conclusions
Corrections:
00:57:00 Oops "tokens from the future cannot communicate", not "past". Sorry! 🙂
Forwarded from Николай Крупий
Николай Крупий
Let's build GPT: from scratch, in code, spelled out. Andrej Karpathy 97,7 тыс. подписчиков 445 049 просмотров 17 янв. 2023 г. We build a Generatively Pretrained Transformer (GPT), following the paper "Attention is All You Need" and OpenAI's GPT-2 / GPT-3.…
Nano GPT is a repository on GitHub for training Transformers on any given text data set, with the code and notebook released to generate text, summarize documents, and answer questions.
🤖
Nano GPT is a repository on GitHub for training Transformers on any given text data set, written in 300 lines of code.
00:00
🤖
We trained a Transformer to generate Shakespeare-like text, with a loss of 4.1217.
08:07
🤖
We have a simple model that is making progress, and now we are converting it to a script with hyperparameters to simplify the final product.
28:55
🤔
Matrix multiplication and torch functions are used to create a BxTxC matrix, allowing tokens to communicate by taking the average of all preceding elements.
39:53
🤔
We use self-attention to create data-dependent affinities between tokens in a sequence by taking the dot product of the query and key vectors.
54:00
🤔
Multiplying the query, key, and value vectors, attention is implemented by softmaxing and aggregating the values, and scaling attention is important to prevent softmax from converging to one-hot vectors.
01:08:32
🤖
We implemented scaled attention, multi-headed self-attention, feed forward computation, skip connections, and a projection layer to optimize deep neural networks and get a validation loss of 2.08.
01:20:00
🤖
We trained Transformers with Layer Norm and Dropout to generate text, summarize documents, and answer questions, and released the code and notebook.
🤖
Nano GPT is a repository on GitHub for training Transformers on any given text data set, written in 300 lines of code.
00:00
🤖
We trained a Transformer to generate Shakespeare-like text, with a loss of 4.1217.
08:07
🤖
We have a simple model that is making progress, and now we are converting it to a script with hyperparameters to simplify the final product.
28:55
🤔
Matrix multiplication and torch functions are used to create a BxTxC matrix, allowing tokens to communicate by taking the average of all preceding elements.
39:53
🤔
We use self-attention to create data-dependent affinities between tokens in a sequence by taking the dot product of the query and key vectors.
54:00
🤔
Multiplying the query, key, and value vectors, attention is implemented by softmaxing and aggregating the values, and scaling attention is important to prevent softmax from converging to one-hot vectors.
01:08:32
🤖
We implemented scaled attention, multi-headed self-attention, feed forward computation, skip connections, and a projection layer to optimize deep neural networks and get a validation loss of 2.08.
01:20:00
🤖
We trained Transformers with Layer Norm and Dropout to generate text, summarize documents, and answer questions, and released the code and notebook.
Forwarded from Мысли Рвачева
Общались тут недавно с одним предпринимателем, который продал бизнес и раздумывает над следующей идеей и командой.
Один из подходов о котором они договорились с техническим кофаундером - нанимать только тех разработчиков, которые не боятся AI.
Поясню, что это значит: это те разработчики, которые во всяких ChatGPT, Autopilot и других LLM видят не угрозу (о боже, нас всех уволят), не отмахиваются (они никогда нас не заменят, пробовал я, оно ошибается, фигня), а новые возможности (с этим инструментом я могу увеличить свою эффективность в X раз). Это вопрос маиндсета.
Мне очень понравилась это идея и я переодически к ней возвращался и пришла вот какая мысль: огромное количество компаний/стартапов при приеме разработчика на работу дают ему всякие leetcode задания + system design вопросы. И то, и другое можно проходить эффективнее с подсказками ChatGPT. И вот вопрос - если человек “читерит” это плохо, или наоборот хорошо, так как фактически это значит, что он сможет применять AI и на работе.
А если мы дойдем до точки, когда человек, который не умеет программировать, сможет пройти coding и system design интервью вместе с ChatGPT что это значит для индустрии? Нужно ли менять как-то процесс найма?
#ai #gpt #hiring
Один из подходов о котором они договорились с техническим кофаундером - нанимать только тех разработчиков, которые не боятся AI.
Поясню, что это значит: это те разработчики, которые во всяких ChatGPT, Autopilot и других LLM видят не угрозу (о боже, нас всех уволят), не отмахиваются (они никогда нас не заменят, пробовал я, оно ошибается, фигня), а новые возможности (с этим инструментом я могу увеличить свою эффективность в X раз). Это вопрос маиндсета.
Мне очень понравилась это идея и я переодически к ней возвращался и пришла вот какая мысль: огромное количество компаний/стартапов при приеме разработчика на работу дают ему всякие leetcode задания + system design вопросы. И то, и другое можно проходить эффективнее с подсказками ChatGPT. И вот вопрос - если человек “читерит” это плохо, или наоборот хорошо, так как фактически это значит, что он сможет применять AI и на работе.
А если мы дойдем до точки, когда человек, который не умеет программировать, сможет пройти coding и system design интервью вместе с ChatGPT что это значит для индустрии? Нужно ли менять как-то процесс найма?
#ai #gpt #hiring
Forwarded from Мысли Рвачева
OpenAI сам инвестирует в разные стартапы и запустил акселератор.
Фонд на $100 миллионов проинвестировал как минимум в 16 стартапов среди которых AI инструменты для разработчиков, юристов, и дизайнеров.
Помимо денег фонд привлекает компании ранним доступом к GPT-4 и системе распознавания речи Whisper AI
Список компаний получивших инвестиции:
Anysphere (AI tools)
Atomic Semi (Chip manufacturer)
Cursor (Code editor)
Diagram (Design tool)
Harvey (Legal assistant)
Kick (Accounting software)
Milo (Virtual assistant for parents)
qqbot.dev (Developer tool)
EdgeDB (Open-source database)
Mem Labs (Note-taking app)
Speak (Language tutor)
Descript (Audio and video editing app)
#ai #openai #vc #gpt
Фонд на $100 миллионов проинвестировал как минимум в 16 стартапов среди которых AI инструменты для разработчиков, юристов, и дизайнеров.
Помимо денег фонд привлекает компании ранним доступом к GPT-4 и системе распознавания речи Whisper AI
Список компаний получивших инвестиции:
Anysphere (AI tools)
Atomic Semi (Chip manufacturer)
Cursor (Code editor)
Diagram (Design tool)
Harvey (Legal assistant)
Kick (Accounting software)
Milo (Virtual assistant for parents)
qqbot.dev (Developer tool)
EdgeDB (Open-source database)
Mem Labs (Note-taking app)
Speak (Language tutor)
Descript (Audio and video editing app)
#ai #openai #vc #gpt
Forwarded from Анализ данных (Data analysis)
🔟 Советов по улучшению работы с ChatGPT
Список советов, которые помогут вам улучшить работу с ChatGPT. Список кратко:
1. ChatGPT имеет ограничение на вывод текста, но это можно легко обойти, воспользовавшись командой “continue”.
2. Иногда длинные, запутанные запросы могут иметь противоположный эффект, поэтому всегда полезно делать их конкретными и короткими.
3. Добавление ключевого слова “list” в вашу подсказку может изменить способ вывода ChatGPT. Список может оказаться более точным, чем обычный запрос.
4. ChatGPT может помочь вам в написании чёткой и сжатой документации для вашего кода, включая README.md файлы для проектов.
5. Вставляя фрагменты кода и запрашивая советы, ChatGPT может помочь с завершением кода.
6. Не отправляйте в Chatgpt запросы, содержащие личную информацию о вас, ваших коллегах или компании.
7. Вот несколько примеров запросов, которые помогут вам в ваших попытках упрощения кода и рефакторинга:
8. Всегда перепроверяйте код от chatgpt или найдите эксперта , который сможет проверить сгенерированный код.
9. Chatgpt напишет за вас тесты высокого уровня.
10. Chatgpt отлично спарвляется с :
- Созданием запросо SQL
- CRUD код
- Отправка электронных писем
- Экспорт данных в CSV Excel
- Создание форм ввода данных
▪Подробнее
@data_analysis_ml
Список советов, которые помогут вам улучшить работу с ChatGPT. Список кратко:
1. ChatGPT имеет ограничение на вывод текста, но это можно легко обойти, воспользовавшись командой “continue”.
2. Иногда длинные, запутанные запросы могут иметь противоположный эффект, поэтому всегда полезно делать их конкретными и короткими.
3. Добавление ключевого слова “list” в вашу подсказку может изменить способ вывода ChatGPT. Список может оказаться более точным, чем обычный запрос.
4. ChatGPT может помочь вам в написании чёткой и сжатой документации для вашего кода, включая README.md файлы для проектов.
5. Вставляя фрагменты кода и запрашивая советы, ChatGPT может помочь с завершением кода.
6. Не отправляйте в Chatgpt запросы, содержащие личную информацию о вас, ваших коллегах или компании.
7. Вот несколько примеров запросов, которые помогут вам в ваших попытках упрощения кода и рефакторинга:
Code alternative example
input <yourcode>
Simplify below code
input <yourcode>
Refactor this code
input <yourcode>8. Всегда перепроверяйте код от chatgpt или найдите эксперта , который сможет проверить сгенерированный код.
9. Chatgpt напишет за вас тесты высокого уровня.
10. Chatgpt отлично спарвляется с :
- Созданием запросо SQL
- CRUD код
- Отправка электронных писем
- Экспорт данных в CSV Excel
- Создание форм ввода данных
▪Подробнее
@data_analysis_ml
Forwarded from Клуб CDO (PostoplanBot)
И все таки еще немного про ChatGPT. Хотя похоже, что тема эта с нами на долго. Вон в интервью, которое публиковал выше, Дмитрий Ветров вообще назвал появление этой модели одним из ключевых прорывов в науке. А нам ждут еще и новые подобные модели в самое ближайшее время.
На прошлой неделе поучаствовал в голосовом чате с коллегами из GlowByte, обсуждали текущие тренды в аналитике данных и один из таких трендов - low code инструменты, как мне кажется, под сильной угрозой сейчас со стороны ChatGPT.
Вот в статье как раз такой пример применения этой модели и рассматривается
https://habr.com/ru/post/714812/
На прошлой неделе поучаствовал в голосовом чате с коллегами из GlowByte, обсуждали текущие тренды в аналитике данных и один из таких трендов - low code инструменты, как мне кажется, под сильной угрозой сейчас со стороны ChatGPT.
Вот в статье как раз такой пример применения этой модели и рассматривается
https://habr.com/ru/post/714812/
Хабр
Нейросеть ChatGPT сделала за меня анализ данных: аналитики будут не нужны?
От автора Telegram-канала Аналитика и Growth mind-set (делюсь кейсами с работы, бесплатным обучением, задачами с собеседований). Последовательно я проверила, как нейросеть: справится с...
Forwarded from Антитренды | Алексей Черняк
Как запустить бизнес/продукт с нуля за 24 часа с помощью ChatGPT
Раньше, чтобы запустить простейший сайт требовался месяц работы программиста, дизайнера и верстальщика.
Потом появились No-code инструменты типа Tilda, и вот уже каждый может сделать сайт за 1 час без программиста и дизайнера.
Недавно произошел очередной технологический прорыв — ИИ-модели (ChatGPT) стали настолько умными, что могут помочь вам запустить бизнес или ИТ-продукт с нуля за несколько часов.
С их помощью можно за несколько часов:
1. Придумать идею для бизнеса, выбрать сегмент целевой аудитории, найти успешные аналоги.
2. Сделать продающий лендинг/сайт с описанием этой идеи.
3. Написать рекламные сообщения и продающие рассылки.
4. Написать код для IT-продукта.
и т.п.
Вот тут вариант шпаргалки на 10 шагов + пример такого продукта «конструктор резюме» https://newsletter.productuniversity.ru/chatgpt-products
Раньше, чтобы запустить простейший сайт требовался месяц работы программиста, дизайнера и верстальщика.
Потом появились No-code инструменты типа Tilda, и вот уже каждый может сделать сайт за 1 час без программиста и дизайнера.
Недавно произошел очередной технологический прорыв — ИИ-модели (ChatGPT) стали настолько умными, что могут помочь вам запустить бизнес или ИТ-продукт с нуля за несколько часов.
С их помощью можно за несколько часов:
1. Придумать идею для бизнеса, выбрать сегмент целевой аудитории, найти успешные аналоги.
2. Сделать продающий лендинг/сайт с описанием этой идеи.
3. Написать рекламные сообщения и продающие рассылки.
4. Написать код для IT-продукта.
и т.п.
Вот тут вариант шпаргалки на 10 шагов + пример такого продукта «конструктор резюме» https://newsletter.productuniversity.ru/chatgpt-products
newsletter.productuniversity.ru
PU. Выпуск 144. 9 февраля 2023
Как делать продукты с помощью ChatGPT
Forwarded from Data Driven
Ещё статья про то, как можно использовать ChatGPT в работе программиста
https://medium.com/geekculture/5-chatgpt-features-to-boost-your-daily-work-404478fd70ca
https://medium.com/geekculture/5-chatgpt-features-to-boost-your-daily-work-404478fd70ca
Medium
5 ChatGPT features to boost your daily work
And how to enhance your code quality using it
Forwarded from Бэкдор
This media is not supported in your browser
VIEW IN TELEGRAM
Мастхэв для разработчиков: расширение пишет код, исправляет ошибки, понимает текстовые вопросы и даже чувствительно к синтаксису.
Самое важное — его можно встроить везде: в VS Code и Google Chrome. И оно бесплатное.
Скачать — тут.
@whackdoor
Самое важное — его можно встроить везде: в VS Code и Google Chrome. И оно бесплатное.
Скачать — тут.
@whackdoor
Forwarded from Innovation & Research
Copilot от GitHub теперь для бизнеса
Инструмент с ИИ для разработки кода GitHub Copilot от OpenAI первым в мире вышел в промышленную эксплуатацию и может использоваться в корпоративных целях.
GitHub Copilot встраивается в редактор кода как простое расширение, извлекает контекст из кода разработчика и в реальном времени предлагает новые строки, целые функции, тесты и даже сложные алгоритмы.
Copilot работает с кодом и подсказками на естественном языке, предлагает несколько вариантов, которые можно быстро принять или отклонить, и учится вместе с разработчиками, адаптируясь к индивидуальным стилям кодирования. Работает с разными редакторами — от Visual Studio до IDE Neovim, VS Code или JetBrains.
Решение позволит автоматизировать написание «рутинных» операций и высвыбодить ресурсы команд для решения более сложных и полезных для клиентов задач.
#ИИ #код #софт
https://github.blog/2023-02-14-github-copilot-for-business-is-now-available/
Инструмент с ИИ для разработки кода GitHub Copilot от OpenAI первым в мире вышел в промышленную эксплуатацию и может использоваться в корпоративных целях.
GitHub Copilot встраивается в редактор кода как простое расширение, извлекает контекст из кода разработчика и в реальном времени предлагает новые строки, целые функции, тесты и даже сложные алгоритмы.
Copilot работает с кодом и подсказками на естественном языке, предлагает несколько вариантов, которые можно быстро принять или отклонить, и учится вместе с разработчиками, адаптируясь к индивидуальным стилям кодирования. Работает с разными редакторами — от Visual Studio до IDE Neovim, VS Code или JetBrains.
Решение позволит автоматизировать написание «рутинных» операций и высвыбодить ресурсы команд для решения более сложных и полезных для клиентов задач.
#ИИ #код #софт
https://github.blog/2023-02-14-github-copilot-for-business-is-now-available/
The GitHub Blog
GitHub Copilot for Business is now available
GitHub Copilot is the world’s first at-scale AI developer tool and we’re now offering it to every developer, team, organization, and enterprise.
Forwarded from Николай Крупий
ChatGPT от OpenAI это… да ладно, вы и сами знаете, что такое ChatGPT. Вы уже достаточно прочитали об этом, и представления больше не нужны.
А если вы всё-таки не знаете, что такое ChatGPT, сначала взгляните на эту статью, а затем вернитесь, чтобы продолжить.
О ChatGPT можно разговаривать очень долго, но давайте посмотрим, насколько данная технология может быть полезной на самом деле.
Сейчас вы узнаете, что может сделать ChatGPT, когда дело доходит до написания кода из спецификаций, которые мы предоставляем. Как обычно, начнём по нарастающей – с простого!
▪Читать дальше
▪Зеркало
▪Как заработать с помощью ChatGPT
https://t.me/data_analysis_ml/541
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from ChatGPTevelopment & Promptgramming
ChatGPT от OpenAI это… да ладно, вы и сами знаете, что такое ChatGPT. Вы уже достаточно прочитали об этом, и представления больше не нужны.
А если вы всё-таки не знаете, что такое ChatGPT, сначала взгляните на эту статью, а затем вернитесь, чтобы продолжить.
О ChatGPT можно разговаривать очень долго, но давайте посмотрим, насколько данная технология может быть полезной на самом деле.
Сейчас вы узнаете, что может сделать ChatGPT, когда дело доходит до написания кода из спецификаций, которые мы предоставляем. Как обычно, начнём по нарастающей – с простого!
▪Читать дальше
▪Зеркало
▪Как заработать с помощью ChatGPT
https://t.me/data_analysis_ml/541
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Николай Крупий
Питонисты всех стран, давайте поучимся
Дайджест по языку Python за первые недели 2023 от Tproger. Обновление до версии 3.11, туториалы и гайды по Python и самым популярным фреймворкам, курсы с советами, как именно начинать учить и немного развлекательного контента для того, чтобы отвлечься от потока умных слов и кода.
Почитать:
https://tproger.ru/articles/dajdzhest-python-itogi-2022-goda-obzor-versii-3-11-i-kursy-ot-google/
#статья #это_база
Дайджест по языку Python за первые недели 2023 от Tproger. Обновление до версии 3.11, туториалы и гайды по Python и самым популярным фреймворкам, курсы с советами, как именно начинать учить и немного развлекательного контента для того, чтобы отвлечься от потока умных слов и кода.
Почитать:
https://tproger.ru/articles/dajdzhest-python-itogi-2022-goda-obzor-versii-3-11-i-kursy-ot-google/
#статья #это_база
Tproger
Дайджест Python: обновление 3.11, обучение и гайды
Дайджест интересных статей о Python: что нового в версии 3.11, гайды по программированию на Python и обучающие статьи.
Forwarded from Mashkka про Data Science
🤖 Let's build GPT? Let's build it!
В новом видео Андрей Карпати с нуля собирает GPT в colab'e, которая лежит в основе ChatGPT.
А для тех, кто решится повторить этот путь, код можно найти здесь.
#ml_на_пальцах #gpt #nlp
В новом видео Андрей Карпати с нуля собирает GPT в colab'e, которая лежит в основе ChatGPT.
А для тех, кто решится повторить этот путь, код можно найти здесь.
#ml_на_пальцах #gpt #nlp
YouTube (0ac40ebfd52040d1b9918fde94c4695b)
(11005) StrictlyVC in conversation with Sam Altman, part two (OpenAI)…
StrictlyVC in conversation with Sam Altman, part two (OpenAI)
https://www.youtube.com/watch?v=ebjkD1Om4uw&t=20s
AI is making progress on safety and capabilities, allowing us to explore the potential of AGI for the good of society and create unprecedented value.
🤔
OpenAI is taking a responsible approach to introducing AI by releasing technology slowly, leading to the GPT-4 rumor mill going on for 6 months.
00:00
🤔
Microsoft is partnering with startups to build AGI products and services, while Google is warning its employees about the imperfections of AGI.
05:50
🤔
Society should regulate the bounds of language models, while allowing individual users to decide their experience within those bounds.
14:54
🤖
AI is making progress on safety and capabilities, allowing us to explore the universe and create abundance for all.
19:42
🤔
AGI is closer than expected, but the timeline and takeoff speed is uncertain and people are updating their thinking to consider fake news wrong and using TLDR to summarize long emails, for translation, and to learn things.
23:38
🤔
We should design custom structures to use AGI for the good of society, and tech workers should prepare for a hybrid work model that requires resilience, adaptability, creativity, and quick learning.
28:23
🤖
Starting an AI startup is now easier than ever, so build relationships, create a product customers love, and develop a moat to stand out.
33:31
🤩
This year will create unprecedented value!
https://www.youtube.com/watch?v=ebjkD1Om4uw&t=20s
AI is making progress on safety and capabilities, allowing us to explore the potential of AGI for the good of society and create unprecedented value.
🤔
OpenAI is taking a responsible approach to introducing AI by releasing technology slowly, leading to the GPT-4 rumor mill going on for 6 months.
00:00
🤔
Microsoft is partnering with startups to build AGI products and services, while Google is warning its employees about the imperfections of AGI.
05:50
🤔
Society should regulate the bounds of language models, while allowing individual users to decide their experience within those bounds.
14:54
🤖
AI is making progress on safety and capabilities, allowing us to explore the universe and create abundance for all.
19:42
🤔
AGI is closer than expected, but the timeline and takeoff speed is uncertain and people are updating their thinking to consider fake news wrong and using TLDR to summarize long emails, for translation, and to learn things.
23:38
🤔
We should design custom structures to use AGI for the good of society, and tech workers should prepare for a hybrid work model that requires resilience, adaptability, creativity, and quick learning.
28:23
🤖
Starting an AI startup is now easier than ever, so build relationships, create a product customers love, and develop a moat to stand out.
33:31
🤩
This year will create unprecedented value!
Forwarded from Николай Крупий
Who_Is_REALLY_Making_Billions_From_ChatGPT_128_kbit_s_via_Skyload.mp4
7.8 MB
https://www.youtube.com/watch?v=fHMNYnjuXak&list=PLiymDHzXhvscNPAuxtbafzhSR00G4UowD&index=1&t=52s
676 549 просмотров 18 янв. 2023 г.
Microsoft and OpenAI are about to make a possibly historical deal to take control of the exploding world of AI. ChatGPT is just the first hint of what will come in the coming years. TL;DR: Satya Nadella is a genius.
While most videos on YouTube are about how to make money with ChatGPT or how to make money with AI (and who doesn’t love some dough), there are very interesting things developing right now, and Microsoft is playing the game to be on top.
✏️ CORRECTION:
3:23 ChatGPT is estimated to spend 3M$ in computing every month, not every day
Microsoft has invested $10 billion in OpenAI to challenge Google's search dominance and potentially dominate AI infrastructure in the next decade.
🤑
Microsoft is investing $10B in OpenAI to challenge Google's search dominance.
00:00
🤖
Microsoft's investment in Open AI has caused a disruption in the school system.
00:52
🤑
Microsoft invested in Open AI, providing them with computing power to cover their biggest expense.
01:39
🤝
Microsoft and OpenAI are partnering in a 10 billion dollar deal, with Microsoft receiving 7.25% of profits until the money is paid back.
02:26
🤑
Microsoft-powered Open AI's GPT-3 model generates billions in revenue.
03:53
🤔
Microsoft must consider buyers and lawsuits before GPT integration into their search engine can be successful.
04:46
🤔
Google has yet to create a premium search engine to solve the expensive and flawed AI system problem.
05:44
🤔
Microsoft is poised to dominate AI infrastructure in the next decade, but must ensure models like GPT3 remain secure.
07:00
676 549 просмотров 18 янв. 2023 г.
Microsoft and OpenAI are about to make a possibly historical deal to take control of the exploding world of AI. ChatGPT is just the first hint of what will come in the coming years. TL;DR: Satya Nadella is a genius.
While most videos on YouTube are about how to make money with ChatGPT or how to make money with AI (and who doesn’t love some dough), there are very interesting things developing right now, and Microsoft is playing the game to be on top.
✏️ CORRECTION:
3:23 ChatGPT is estimated to spend 3M$ in computing every month, not every day
Microsoft has invested $10 billion in OpenAI to challenge Google's search dominance and potentially dominate AI infrastructure in the next decade.
🤑
Microsoft is investing $10B in OpenAI to challenge Google's search dominance.
00:00
🤖
Microsoft's investment in Open AI has caused a disruption in the school system.
00:52
🤑
Microsoft invested in Open AI, providing them with computing power to cover their biggest expense.
01:39
🤝
Microsoft and OpenAI are partnering in a 10 billion dollar deal, with Microsoft receiving 7.25% of profits until the money is paid back.
02:26
🤑
Microsoft-powered Open AI's GPT-3 model generates billions in revenue.
03:53
🤔
Microsoft must consider buyers and lawsuits before GPT integration into their search engine can be successful.
04:46
🤔
Google has yet to create a premium search engine to solve the expensive and flawed AI system problem.
05:44
🤔
Microsoft is poised to dominate AI infrastructure in the next decade, but must ensure models like GPT3 remain secure.
07:00
Forwarded from ChernovDev (Stanislav Chernov)
Ну почти... ))) С учётом того, что Qlik-скриптинг не распространён как отдельный язык программирования, то вполне себе нормальный результат
Бот платный, но есть некоторый лимит бесплатного, поиграть баланса хватит) @gpt3_unlim_chatbot
upd. в сутки можно тратить 20к токенов, 1000 токенов это 700 английских слов или 150 слов на другом языке. Спецсимволы тоже считаются за слова.
#qlik #chatgpt
Бот платный, но есть некоторый лимит бесплатного, поиграть баланса хватит) @gpt3_unlim_chatbot
upd. в сутки можно тратить 20к токенов, 1000 токенов это 700 английских слов или 150 слов на другом языке. Спецсимволы тоже считаются за слова.
#qlik #chatgpt
Forwarded from Мысли Рвачева
Как автоматически переносить посты из Telegram в Medium c помощью GPT-3
Как вы уже успели заметить я стал чуть активнее вести блог в Telegram, так как это очень удобная площадка для мыслей, но у нее есть большой недостаток - она закрыта для поисковиков, а значит никто извне не найдет контент, который тут постится.
Одно из решений - перепосчивать его на открытую блог платформу.
За 1 час времени с помощью Zapier, GPT-3 и без программирования удалось настроить перевод на английский и репост в Medium (https://medium.com/@rvnikita) и Twitter ( https://twitter.com/rvnikita )
Шаги в Zapier следующие:
1) Используем https://rsshub.app/ для получения RSS из Telegram блога
2) Просим GPT-3 написать Title
3) Просим GPT-3 придумать теги
4) Просим GPT-3 перевести пост на английский
5) Постим в Medium (с тегами)
6) Просим GPT-3 сформировать твит на основе текста
7) Постим в Twitter.
Готово. Посмотрим будет ли там какой-то трафик.
Осталось придумать куда сохранять русскую версию, что сейчас из блог платформ популярно среди русскоязычного читателя?
#ai #gpt #medium #zapier #usecase
Как вы уже успели заметить я стал чуть активнее вести блог в Telegram, так как это очень удобная площадка для мыслей, но у нее есть большой недостаток - она закрыта для поисковиков, а значит никто извне не найдет контент, который тут постится.
Одно из решений - перепосчивать его на открытую блог платформу.
За 1 час времени с помощью Zapier, GPT-3 и без программирования удалось настроить перевод на английский и репост в Medium (https://medium.com/@rvnikita) и Twitter ( https://twitter.com/rvnikita )
Шаги в Zapier следующие:
1) Используем https://rsshub.app/ для получения RSS из Telegram блога
2) Просим GPT-3 написать Title
3) Просим GPT-3 придумать теги
4) Просим GPT-3 перевести пост на английский
5) Постим в Medium (с тегами)
6) Просим GPT-3 сформировать твит на основе текста
7) Постим в Twitter.
Готово. Посмотрим будет ли там какой-то трафик.
Осталось придумать куда сохранять русскую версию, что сейчас из блог платформ популярно среди русскоязычного читателя?
#ai #gpt #medium #zapier #usecase
Forwarded from Нейронавт | Нейросети в творчестве
This media is not supported in your browser
VIEW IN TELEGRAM
Codeium — нейросеть для работы с кодом
Расширение с набором инструментов для ускорения разработки. Работает на базе искусственного интеллекта.
Codeium сделает всю рутинную работу за вас: напишет код на основе комментариев, подгонит код под шаблоны, будет автоматически генерить тесты.
Поддерживает практически все языки программирования: от Python до Golang. Доступен для всех популярных редакторов.
#coding
Расширение с набором инструментов для ускорения разработки. Работает на базе искусственного интеллекта.
Codeium сделает всю рутинную работу за вас: напишет код на основе комментариев, подгонит код под шаблоны, будет автоматически генерить тесты.
Поддерживает практически все языки программирования: от Python до Golang. Доступен для всех популярных редакторов.
#coding