Forwarded from Мысли Рвачева
Одним из ограничений современных языковых моделей (LMs) является то, что они не могут выполнять действия, они могут только генерировать текст. Это означает, что, несмотря на их огромный потенциал для обработки текстов, они не могут использоваться для решения задач, требующих исполнения конретных дейстий.
Одна из идей, над которой я думаю заключается в том, чтобы просить языковые модели генерировать код на определенном языке программирования, например на Python, и отправлять его на выполнение. Такой подход позволил бы использовать языковые модели для создания автоматических систем, которые могут выполнять действия в ответ на текстовые запросы.
Другая идея заключается в том, чтобы натренировать языковые модели на вызовы конкретных API функций, таких как API для работы с калькулятором, поисковой системой, переводчиком и календарем. Затем, используя эти API функции, модель может выполнять действия, отвечая на запросы.
Ребята из Meta выпустили научную работу "Toolformer: Language Models Can Teach Themselves to Use Tools", в которой они описывают модель Toolformer. Эта модель натренирована на выборе API функций, вызове их, передаче аргументов и интеграции результатов в предсказания будущих токенов.
Интересно можно ли натренировать модель так, чтобы она выполняла вызовы, которые будут оптимизировать ее саму? Возможно, это станет следующим шагом в развитии AI и повышении их функциональности.
Ссылка на научную работу https://arxiv.org/pdf/2302.04761.pdf
Ссылка на реализацию https://github.com/lucidrains/toolformer-pytorch
#llm #ai #idea #toolformer
Одна из идей, над которой я думаю заключается в том, чтобы просить языковые модели генерировать код на определенном языке программирования, например на Python, и отправлять его на выполнение. Такой подход позволил бы использовать языковые модели для создания автоматических систем, которые могут выполнять действия в ответ на текстовые запросы.
Другая идея заключается в том, чтобы натренировать языковые модели на вызовы конкретных API функций, таких как API для работы с калькулятором, поисковой системой, переводчиком и календарем. Затем, используя эти API функции, модель может выполнять действия, отвечая на запросы.
Ребята из Meta выпустили научную работу "Toolformer: Language Models Can Teach Themselves to Use Tools", в которой они описывают модель Toolformer. Эта модель натренирована на выборе API функций, вызове их, передаче аргументов и интеграции результатов в предсказания будущих токенов.
Интересно можно ли натренировать модель так, чтобы она выполняла вызовы, которые будут оптимизировать ее саму? Возможно, это станет следующим шагом в развитии AI и повышении их функциональности.
Ссылка на научную работу https://arxiv.org/pdf/2302.04761.pdf
Ссылка на реализацию https://github.com/lucidrains/toolformer-pytorch
#llm #ai #idea #toolformer
Forwarded from Бэкдор
Бесплатная подборка самых полезных промтов ChatGPT. Рассортированы на все случаи жизни: от программирования, дизайна и блогерства до поиска мемов на любую тему.
Всегда свежак: энтузиаст собирает и обновляет её своими силами — тут.
@whackdoor
Всегда свежак: энтузиаст собирает и обновляет её своими силами — тут.
@whackdoor
Forwarded from Mad Devs Channel
Как искусственный интеллект меняет жизнь разработчиков?
Все больше приходит новостей из мира ИИ. Мы решили изучить, как выглядит ландшафт продуктов, улучшающих производительность на разных этапах разработки и вот, что получилось:
🔘 Авто-написание кода
GitHub Copilot – без преувеличений самый нашумевший ИИ-ассистент для программистов (под капотом использует OpenAI Codex), поддерживает все популярные IDE: Visual Studio, Neovim, VS Code, JetBrains IDEs.
Amazon CodeWhisperer, Blackbox и Replit Ghostwriter – являются реакцией Amazon’a на GitHub Copilot.
Tabnine – авто-дополнение отдельных строк кода, авто-дополнение полноценных функций, от описания функции на естественном языке до финального кода.
MutableAI – авто-дополнение кода, рефакторинг, документация, генерация unit-тестов.
🔘 Автоматизация code review
Codacy – блокирование мерджей на pull request в зависимости от кодовых конвенций/правил компании.
Codiga – статический анализ кода в вашей IDE-среде, CI/CD и прочее, например, “не используйте format string в MySQL-запросах, т.к. это ведет к SQL-инъекциям”.
🔘 Тестирование
Ponicode – автоматизация написания unit-тестов.
🔘 Написание документации
Mintlify – автоматизация написания качественной документации.
Stenography – расширение для VS Code для автоматизированной документации.
🔘 Работа с базами данных
Seek.AI – теперь не-инженеры могут взаимодействовать с базами данных на английском языке.
AI2sql – написание эффективных безошибочных SQL-запросов любой сложности без знания SQL.
AskEdith – так же написание SQL-запросов, но с более полным функционалом (поддержка CSV, Google Sheets, Airtable, Snowflake, BigQuery, Redshift и пр.)
🔘 Разное
Snyk – автоматический поиск уязвимостей по безопасности в вашем коде, в опен-сорс библиотеках, которые вы используете; контейнерах и инфраструктуре.
CodePilot.ai – поисковик для разработчиков, который ищет код c помощью GitHub, searchcode, stackoverflow.
Pygma – превращает дизайны из Figma в высококачественный код (HTML, CSS, React)
ChatGPT — это прототип чат-бота со своей "памятью", который поможет вам сгенерировать все, что угодно, от программного кода до написания эссе. Узнать больше о нем вы можете в нашем недавнем посте.
Сохраните пост у себя, чтобы не потерять 🧐
Все больше приходит новостей из мира ИИ. Мы решили изучить, как выглядит ландшафт продуктов, улучшающих производительность на разных этапах разработки и вот, что получилось:
GitHub Copilot – без преувеличений самый нашумевший ИИ-ассистент для программистов (под капотом использует OpenAI Codex), поддерживает все популярные IDE: Visual Studio, Neovim, VS Code, JetBrains IDEs.
Amazon CodeWhisperer, Blackbox и Replit Ghostwriter – являются реакцией Amazon’a на GitHub Copilot.
Tabnine – авто-дополнение отдельных строк кода, авто-дополнение полноценных функций, от описания функции на естественном языке до финального кода.
MutableAI – авто-дополнение кода, рефакторинг, документация, генерация unit-тестов.
Codacy – блокирование мерджей на pull request в зависимости от кодовых конвенций/правил компании.
Codiga – статический анализ кода в вашей IDE-среде, CI/CD и прочее, например, “не используйте format string в MySQL-запросах, т.к. это ведет к SQL-инъекциям”.
Ponicode – автоматизация написания unit-тестов.
Mintlify – автоматизация написания качественной документации.
Stenography – расширение для VS Code для автоматизированной документации.
Seek.AI – теперь не-инженеры могут взаимодействовать с базами данных на английском языке.
AI2sql – написание эффективных безошибочных SQL-запросов любой сложности без знания SQL.
AskEdith – так же написание SQL-запросов, но с более полным функционалом (поддержка CSV, Google Sheets, Airtable, Snowflake, BigQuery, Redshift и пр.)
Snyk – автоматический поиск уязвимостей по безопасности в вашем коде, в опен-сорс библиотеках, которые вы используете; контейнерах и инфраструктуре.
CodePilot.ai – поисковик для разработчиков, который ищет код c помощью GitHub, searchcode, stackoverflow.
Pygma – превращает дизайны из Figma в высококачественный код (HTML, CSS, React)
ChatGPT — это прототип чат-бота со своей "памятью", который поможет вам сгенерировать все, что угодно, от программного кода до написания эссе. Узнать больше о нем вы можете в нашем недавнем посте.
Сохраните пост у себя, чтобы не потерять 🧐
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Хитрый Питон
Завтра, 23 февраля в 14:00 будет очередной прямой эфир Moscow Python Podcast. Будем обсуждать Copilot - какая от него польза и вред, лайфхаки по использованию и какие есть аналоги.
В ходе трансляции будем отвечать на вопросы и комментарии в прямом эфире. Присоединяйтесь к нам по ссылке и ставьте колокольчик, чтобы не забыть https://www.youtube.com/live/lKnMBGqguRo?feature=share
В ходе трансляции будем отвечать на вопросы и комментарии в прямом эфире. Присоединяйтесь к нам по ссылке и ставьте колокольчик, чтобы не забыть https://www.youtube.com/live/lKnMBGqguRo?feature=share
YouTube
Copilot для Python-разработчика. Почему AI не изменил разработку?
В гостях у Moscow Python Podcast Арсений Сапелкин, тимлид, KasperskyOS и Никита Соболев, CTO wemake.services. Обсудим лайфхаки по использованию Copilot, почему вся разработка еще не автоматизирована, пользу инструмента для разработчиков и опасности Copilot…
Forwarded from HABR FEED + OPENNET
#news GitHub экспериментирует над голосовым управлением сервисом Copilot с фразой активации Hey, GitHub
https://habr.com/ru/news/t/698466/?utm_campaign=698466&utm_source=habrahabr&utm_medium=rss
Tags: GitHub, IT-компании, Open source, Облачные сервисы, Программирование, github, Copilot, GitHub Copilot, лицензия, открытое по, свободное по, проблема, open-source, голос, управление
https://habr.com/ru/news/t/698466/?utm_campaign=698466&utm_source=habrahabr&utm_medium=rss
Tags: GitHub, IT-компании, Open source, Облачные сервисы, Программирование, github, Copilot, GitHub Copilot, лицензия, открытое по, свободное по, проблема, open-source, голос, управление
Хабр
GitHub экспериментирует над голосовым управлением сервисом Copilot с фразой активации Hey, GitHub
GitHub в рамках проведения экспериментальных разработок внутри проекта GitHub Next объявила о начале тестирования механизма голосового управления для активации нейросетевого помощника программиста...
Forwarded from HABR FEED + OPENNET
[Перевод] GitHub Copilot: он не стоит таких рисков #habr
https://habr.com/ru/post/703962/
Tags: Блог компании ITGLOBAL.COM, GitHub, ии, copilot
Author: itglobalcom
https://habr.com/ru/post/703962/
Tags: Блог компании ITGLOBAL.COM, GitHub, ии, copilot
Author: itglobalcom
Хабр
GitHub Copilot: он не стоит таких рисков
3 ноября программист и правовед Мэтью Баттерик совместно с юридической фирмой Джозефа Савери подал коллективный иск против GitHub, Microsoft (его материнской компании) и OpenAI. Иск , поданный «от...
Forwarded from HABR FEED + OPENNET
[Перевод] Как устроен внутри Github Copilot #habr
https://habr.com/ru/post/707222/
Tags: Программирование, GitHub, github copilot, автодополнение, autocompletion, искусственный интеллект, vscode, visual studio
Author: PatientZero
https://habr.com/ru/post/707222/
Tags: Программирование, GitHub, github copilot, автодополнение, autocompletion, искусственный интеллект, vscode, visual studio
Author: PatientZero
Хабр
Как устроен внутри Github Copilot
Github Copilot оказался для меня невероятно полезным. Часто он может волшебным образом читать мои мысли и давать полезные рекомендации. Больше всего меня удивила его способность верно «угадывать»...
Forwarded from HABR FEED + OPENNET
Исследование влияния AI-ассистентов, подобных Copilot, на безопасность кода #opennet
https://www.opennet.ru/opennews/art.shtml?num=58402
Группа исследователей из Стэнфордского университета изучила влияние использования интеллектуальных помощников при написании кода, на появление в коде уязвимостей. Рассматривались решения на базе платформы машинного обучения OpenAI Codex, такие как GitHub Copilot, позволяющие формировать достаточно сложные блоки кода, вплоть до готовых функций. Опасения связаны с тем, что так как для тренировки модели машинного обучения использован реальный код из публичных репозиториев GitHub, в том числе содержащий уязвимости, синтезированный код может повторять ошибки и предлагать код, в котором присутствуют уязвимости.
https://www.opennet.ru/opennews/art.shtml?num=58402
Группа исследователей из Стэнфордского университета изучила влияние использования интеллектуальных помощников при написании кода, на появление в коде уязвимостей. Рассматривались решения на базе платформы машинного обучения OpenAI Codex, такие как GitHub Copilot, позволяющие формировать достаточно сложные блоки кода, вплоть до готовых функций. Опасения связаны с тем, что так как для тренировки модели машинного обучения использован реальный код из публичных репозиториев GitHub, в том числе содержащий уязвимости, синтезированный код может повторять ошибки и предлагать код, в котором присутствуют уязвимости.
Forwarded from HABR FEED + OPENNET
Исследование Стэнфорда: ИИ-помощники генерируют менее безопасный код и путают программистов #habr
https://habr.com/ru/news/t/708398/
Tags: Open source, GitHub, Искусственный интеллект, Программирование, Исследования и прогнозы в IT, стэнфордский университет, исследование, github, copilot, искусственный интеллект, помощник, программирование, ошибки, уязвимости, написание кода
https://habr.com/ru/news/t/708398/
Tags: Open source, GitHub, Искусственный интеллект, Программирование, Исследования и прогнозы в IT, стэнфордский университет, исследование, github, copilot, искусственный интеллект, помощник, программирование, ошибки, уязвимости, написание кода
Хабр
Исследование Стэнфорда: ИИ-помощники генерируют менее безопасный код и путают программистов
Учёные-компьютерщики из Стэнфордского университета обнаружили , что программисты, которые используют инструменты искусственного интеллекта, такие как GitHub Copilot, создают менее безопасный код, чем...
Forwarded from HABR FEED + OPENNET
Улучшите своё программирование с ChatGPT3 #habr
https://habr.com/ru/post/709762/
Tags: Искусственный интеллект, Visual Studio, Будущее здесь, Высокая производительность, Программирование, gpt3, chatgpt, openai, ai, copilot
Author: bogdanaks
https://habr.com/ru/post/709762/
Tags: Искусственный интеллект, Visual Studio, Будущее здесь, Высокая производительность, Программирование, gpt3, chatgpt, openai, ai, copilot
Author: bogdanaks
Forwarded from HABR FEED + OPENNET
Системы ИИ в p2p-формате: будущее ChatGPT, Midjourney, Copilot #habr
https://habr.com/ru/post/713276/
Tags: Блог компании CloudMTS, Искусственный интеллект, Исследования и прогнозы в IT, Машинное обучение, Облачные сервисы, ИИ, искусственный интеллект, ChatGPT, Midjourney, Copilot, Туманные вычисления, Petals, BLOOM, PyGrid, Stable Horde
Author: randall
https://habr.com/ru/post/713276/
Tags: Блог компании CloudMTS, Искусственный интеллект, Исследования и прогнозы в IT, Машинное обучение, Облачные сервисы, ИИ, искусственный интеллект, ChatGPT, Midjourney, Copilot, Туманные вычисления, Petals, BLOOM, PyGrid, Stable Horde
Author: randall
Хабр
Системы ИИ в p2p-формате: будущее ChatGPT, Midjourney, Copilot
Герои статьи для себя сделали иллюстрацию Последние несколько месяцев оказались богаты на новости о системах искусственного интеллекта. Тематические площадки и видеохостинги заполнены контентом про...
Forwarded from HABR FEED + OPENNET
Google инвестировала $23 млн в аналог GitHub Copilot под названием Magic #habr
https://habr.com/ru/news/t/715292/
Tags: IT-компании, Облачные сервисы, Программирование, Социальные сети и сообщества, Финансы в IT, FSF, github, Copilot, GitHub Copilot, суд, лицензия, открытое по, свободное по, проблема, open-source, Microsoft, OpenAI
https://habr.com/ru/news/t/715292/
Tags: IT-компании, Облачные сервисы, Программирование, Социальные сети и сообщества, Финансы в IT, FSF, github, Copilot, GitHub Copilot, суд, лицензия, открытое по, свободное по, проблема, open-source, Microsoft, OpenAI
Хабр
Google инвестировала $23 млн в аналог GitHub Copilot под названием Magic
Google инвестировала $23 млн в стартап Magic, занимающийся созданием аналога инструмента для помощи программистам GitHub Copilot. Проектом по созданию ИИ для программистов в Magic занимаются шесть...
Forwarded from HABR FEED + OPENNET
Microsoft открыла регистрацию на доступ к новой версии поисковой системы Bing на базе чат-бота ChatGPT #habr
https://habr.com/ru/news/t/715534/
Tags: Искусственный интеллект, Машинное обучение, Облачные сервисы, Поисковые технологии, Социальные сети и сообщества, microsoft, bing, openai, chatgpt, поисковик, искусственный интеллект, чат-бот, поисковые технологии, тест
https://habr.com/ru/news/t/715534/
Tags: Искусственный интеллект, Машинное обучение, Облачные сервисы, Поисковые технологии, Социальные сети и сообщества, microsoft, bing, openai, chatgpt, поисковик, искусственный интеллект, чат-бот, поисковые технологии, тест
Хабр
Microsoft открыла регистрацию на доступ к новой версии поисковой системы Bing на базе чат-бота ChatGPT
Microsoft открыла регистрацию на доступ к новой версии поисковой системы Bing на базе чат-бота ChatGPT и нейросети GPT-3.5. В компании назвали эту технологию вторым пилотом (copilot) в поиске для...
Forwarded from HABR FEED + OPENNET
Как установить Copilot в России и использовать его эффективно #habr
https://habr.com/ru/post/716554/
Tags: Программирование, Искусственный интеллект, автодополнение, copilot, нейросети, nlp, code generation
Author: Ibragim_bad
https://habr.com/ru/post/716554/
Tags: Программирование, Искусственный интеллект, автодополнение, copilot, нейросети, nlp, code generation
Author: Ibragim_bad
Хабр
Tutorial: Как установить Copilot и использовать его эффективно
Copilot – система автодополнения кода от GitHub на основе модели Codex. Модель завернули в API и дали доступ через расширение для IDE (среды разработки). Я регулярно пользуюсь Copilot – экономит время...
Forwarded from HABR FEED + OPENNET
Обновление GitHub Copilot запретило раскрывать секретные ключи и токены #habr
https://habr.com/ru/news/t/717320/
Tags: Информационная безопасность, Программирование, GitHub, Искусственный интеллект, github, copilot, искусственный интеллект, обновление, написание кода, ключи, токены, генерация кода
https://habr.com/ru/news/t/717320/
Tags: Информационная безопасность, Программирование, GitHub, Искусственный интеллект, github, copilot, искусственный интеллект, обновление, написание кода, ключи, токены, генерация кода
Хабр
Обновление GitHub Copilot запретило раскрывать секретные ключи и токены
GitHub обновил свою модель искусственного интеллекта Copilot, которая генерирует исходный код и рекомендации по функциям в реальном времени в Visual Studio. Copilot может генерировать секретные ключи...
Forwarded from HABR FEED + OPENNET
FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, на системах с одним GPU #opennet
https://www.opennet.ru/opennews/art.shtml?num=58681
Группа исследователей из Стендфордского университета, Калифорнийского университета в Беркли, Швейцарской высшей технической школы Цюриха, Высшей школы экономики, университета Карнеги — Меллона, а также компаний Yandex и Meta, опубликовала исходные тексты движка для выполнения крупных языковых моделей на системах с ограниченными ресурсами. Например, движок предоставляет возможность создания функциональности, напоминающей ChatGPT и Copilot, через выполнение готовой натренированной модели OPT-175B, охватывающей 175 миллиардов параметров, на обычном компьютере с игровой видеокартой NVIDIA RTX3090, оснащённой 24GB видеопамяти. Код написан на языке Python, использует фреймворк PyTorch и распространяется под лицензией Apache 2.0.
https://www.opennet.ru/opennews/art.shtml?num=58681
Группа исследователей из Стендфордского университета, Калифорнийского университета в Беркли, Швейцарской высшей технической школы Цюриха, Высшей школы экономики, университета Карнеги — Меллона, а также компаний Yandex и Meta, опубликовала исходные тексты движка для выполнения крупных языковых моделей на системах с ограниченными ресурсами. Например, движок предоставляет возможность создания функциональности, напоминающей ChatGPT и Copilot, через выполнение готовой натренированной модели OPT-175B, охватывающей 175 миллиардов параметров, на обычном компьютере с игровой видеокартой NVIDIA RTX3090, оснащённой 24GB видеопамяти. Код написан на языке Python, использует фреймворк PyTorch и распространяется под лицензией Apache 2.0.
Forwarded from Denis Sexy IT 🤖
Недавно наткнулся на классный твит, где автор сделал забавный эксперимент:
Все вы видели, что ChatGPT и другие модели умеют генерировать код, и править ошибки кода, так, чтобы скрипт запустился.
Но что если, пользователь бы давал команду нейронке какую задачу он хочет решить, далее нейронка сама, писала бы код и пыталась его запустить, а после этого – если ошибка в коде появится, пыталась бы исправить код так, чтобы он работал, и продолжала бы «программировать» таким образом, пока задача не будет решена.
Короче собрал Colab на базе этого эксперимента, можете сами поиграться.
В итоге пару часов сегодня убил наблюдая как нейронка «программирует», сама «рассуждает» как их решить, дебажит и тп, на картинках пример результатов.
На последней картинке попросил ее почистить жесткий диск от всех файлов и папок, и что вы думаете, она прекрасно справилась и умерла вместе со средой исполнения прямо у меня на глазах☕️
Короче все это прототип Software 2.0, прикольно поковырять и посмотреть, как бы выглядело написание кода через N лет.
P.S. Нужен ключ API от OpenAI чтобы запустить, в конфиге простенькая и дешевая модель сейчас
P.P.S. Спасибо автору канала @seeallochnaya за наводку
Все вы видели, что ChatGPT и другие модели умеют генерировать код, и править ошибки кода, так, чтобы скрипт запустился.
Но что если, пользователь бы давал команду нейронке какую задачу он хочет решить, далее нейронка сама, писала бы код и пыталась его запустить, а после этого – если ошибка в коде появится, пыталась бы исправить код так, чтобы он работал, и продолжала бы «программировать» таким образом, пока задача не будет решена.
Короче собрал Colab на базе этого эксперимента, можете сами поиграться.
В итоге пару часов сегодня убил наблюдая как нейронка «программирует», сама «рассуждает» как их решить, дебажит и тп, на картинках пример результатов.
На последней картинке попросил ее почистить жесткий диск от всех файлов и папок, и что вы думаете, она прекрасно справилась и умерла вместе со средой исполнения прямо у меня на глазах
Короче все это прототип Software 2.0, прикольно поковырять и посмотреть, как бы выглядело написание кода через N лет.
P.S. Нужен ключ API от OpenAI чтобы запустить, в конфиге простенькая и дешевая модель сейчас
P.P.S. Спасибо автору канала @seeallochnaya за наводку
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM