Forwarded from Дизайн Образования (Андрей Комиссаров)
ИИ для онлайн курсов - Цифровой фантом преподавателя - апдейт + ДЕМО Экзаменатора.
Как мы уже писали ранее в процессе разработки универсального ИИ для асинхронного обучения на онлайн курсах мы выделили два ключевых модуля: Советник-объяснятор и Экзаменатор.
Первый модуль дает ответы на любые вопросы (но только по тематике курса). Он не ведет себя как полноценный диалоговый помощник, а скорее как оцифрованный вариант "вопросов к экспертам на Quora и Stackoverflow". При этом в основе его лежит знаниевая нейросеть обученная нами на массиве данных а не "мудрость cHatGPT". Такой модуль способен дать ответ на любой вопрос пользователя по тематике курса, но не будет тратить его времени на поддержание пустых диалогов.
Экзаменатор же - это модуль способный оценить качество ответа пользователя на открытый вопрос типа. И не только оценить его в баллах но и указать на ошибки, посоветовать как исправить ответ и над чем дополнительно поработать. То есть это модуль формирующего оценивания по открытым вопросам.
Для демо мы обучили оба модуля на тематике "Управление персоналом".
Итак
✔️ ДЕМО 1 ✔️ модуля "Объяснятор"
а также
✔️ ДЕМО 2✔️ модуля "Экзаменатор"
Следующий этап - добавить в экзаменатора аудио-интерфейс и таймер, так чтобы учащийся не имел возможности копипастом выдать ответы самого ИИ или скопировать сторонние тексты в качестве собственных.
На наш взгляд появление подобных ИИ в онлайн курсах сможет сделать процесс обучения существенно более прозрачным для методиста и преподавателя и независимо от количества учащихся выдавать качественные данные цифрового следа, подтверждая достижение образовательных результатов.
🏳️ ИИ и дата центричный педдизайн, на канале Дизайн Образования
#ai #twin
Как мы уже писали ранее в процессе разработки универсального ИИ для асинхронного обучения на онлайн курсах мы выделили два ключевых модуля: Советник-объяснятор и Экзаменатор.
Первый модуль дает ответы на любые вопросы (но только по тематике курса). Он не ведет себя как полноценный диалоговый помощник, а скорее как оцифрованный вариант "вопросов к экспертам на Quora и Stackoverflow". При этом в основе его лежит знаниевая нейросеть обученная нами на массиве данных а не "мудрость cHatGPT". Такой модуль способен дать ответ на любой вопрос пользователя по тематике курса, но не будет тратить его времени на поддержание пустых диалогов.
Экзаменатор же - это модуль способный оценить качество ответа пользователя на открытый вопрос типа. И не только оценить его в баллах но и указать на ошибки, посоветовать как исправить ответ и над чем дополнительно поработать. То есть это модуль формирующего оценивания по открытым вопросам.
Для демо мы обучили оба модуля на тематике "Управление персоналом".
Итак
а также
Следующий этап - добавить в экзаменатора аудио-интерфейс и таймер, так чтобы учащийся не имел возможности копипастом выдать ответы самого ИИ или скопировать сторонние тексты в качестве собственных.
На наш взгляд появление подобных ИИ в онлайн курсах сможет сделать процесс обучения существенно более прозрачным для методиста и преподавателя и независимо от количества учащихся выдавать качественные данные цифрового следа, подтверждая достижение образовательных результатов.
#ai #twin
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Сиолошная
Пока в недрах OpenAI готовятся к следующему релизу, другой проект Sam Altman, Worldcoin, сегодня запускается worldwide.
Worldcoin — это криптовалюта, которую вы получаете за то, что просто живёте. При этом для создания кошелька нужно проходить специальную биометрическую верификацию. То есть в теории вы можете создать навсегда только один кошелек, и никто не может его создать за вас. Для прохождения процедуры надо заказать специальный девайс, Orb.
Но фишка не в крипте, основная идея проекта — в верификации каждого кошелька, чтобы у вас было виртуальное представление, уникально связываемое с персоной. Возможно, владельцы кошелька, например, смогут регистрироваться в новых глобальных системах, запускаемых OpenAI. К примеру представьте, что в рамках сбора фидбека на вопросы про экономику или меньшинства вам необходимо в некотором смысле посетить голосование, но виртуальное. И там указываете ваше мнение по тем или иным поводам, а потом на этом учится aligned-версия GPT-7 (я это не из головы выдумал, подобное упоминал Sam + смотри вот эту страницу).
Логично, что чем более распространённой будет система, тем легитимнее и проще будут проходить новые интеграции. Интересно, когда они достигнут первого миллиарда пользователей🤔
Whitepaper проекта: https://whitepaper.worldcoin.org
UPD от подписчика в комментариях: Больше года назад проходил собес в этот проект Worldcoin, прошёл все раунды - но выбрали в итоге <другого>. Смысл №1 тут - разработать технологию ОДНОЗНАЧНОЙ идентификации живого человека. >> чтобы потом раздавать каждому "безусловный базовый доход"
При чём тут безусловный базовый доход? А кем вы будете работать, когда AI всех заменит и перевернёт всю экономику?
UPD 2: подъехали мысли основателя Ethereum Виталика Бутерина: https://vitalik.eth.limo/general/2023/07/24/biometric.html . Пока не читал, но в твиттере написали, что стоит того.
Worldcoin — это криптовалюта, которую вы получаете за то, что просто живёте. При этом для создания кошелька нужно проходить специальную биометрическую верификацию. То есть в теории вы можете создать навсегда только один кошелек, и никто не может его создать за вас. Для прохождения процедуры надо заказать специальный девайс, Orb.
Но фишка не в крипте, основная идея проекта — в верификации каждого кошелька, чтобы у вас было виртуальное представление, уникально связываемое с персоной. Возможно, владельцы кошелька, например, смогут регистрироваться в новых глобальных системах, запускаемых OpenAI. К примеру представьте, что в рамках сбора фидбека на вопросы про экономику или меньшинства вам необходимо в некотором смысле посетить голосование, но виртуальное. И там указываете ваше мнение по тем или иным поводам, а потом на этом учится aligned-версия GPT-7 (я это не из головы выдумал, подобное упоминал Sam + смотри вот эту страницу).
Логично, что чем более распространённой будет система, тем легитимнее и проще будут проходить новые интеграции. Интересно, когда они достигнут первого миллиарда пользователей
Whitepaper проекта: https://whitepaper.worldcoin.org
UPD от подписчика в комментариях: Больше года назад проходил собес в этот проект Worldcoin, прошёл все раунды - но выбрали в итоге <другого>. Смысл №1 тут - разработать технологию ОДНОЗНАЧНОЙ идентификации живого человека. >> чтобы потом раздавать каждому "безусловный базовый доход"
При чём тут безусловный базовый доход? А кем вы будете работать, когда AI всех заменит и перевернёт всю экономику?
UPD 2: подъехали мысли основателя Ethereum Виталика Бутерина: https://vitalik.eth.limo/general/2023/07/24/biometric.html . Пока не читал, но в твиттере написали, что стоит того.
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔2🌚1
По мотивам поста начал активнее изучать инициативу «Democratic inputs to AI»
Это программа финансирования экспериментов для формирования свода правил, которым должен следовать ИИ для соблюдения демократических процессов
Основная заявляемая цель: сделать так, чтобы ИИ приносил пользу всему человечеству и был максимально инклюзивным, и умел отвечать так, чтобы учитывать плюрализм мнений по спорным политическим вопросам
Эта инициатива навела на мысли плотнее поресерчить про использование ИИ в политических процессах и управлении государством. Так наткнулся на любопытную статью «How generative AI impacts democratic engagement»
В этой статье приводится результат эксперимента, в ходе которого 7200 чиновникам отправили 32000 электронных писем, содержащих различные мнения по политическим вопросам (на тему владения оружием, здоровья, управления государством, репродуктивных прав, школьного образования, налогов). Половина писем была написана вручную, половина была написана GPT-3. Вот пример части письма, сгенерированного GPT:
Дальше исследователи сравнивали процент ответов на письма, сгенерированные нейросетью, с процентом ответов на письма, написанные живыми людьми
Любопытный вывод, что процент ответов ниже у писем, сгенерированных ИИ, но не катастофически. По некоторым тематикам на 4%, а по некоторым даже выше (например, по тематике школы на 2% чаще отвечали на ИИ-письма)
И это наводит на мысли, что если мы говорим про «цифровые демократии», то они прежде всего опираются на цифровые данные. А если можно сгенерировать правдоподобные данные, влияющие на принятие решений на государственном уровне, то это ставит под вопрос фрод-устройчивость таких «цифровых демократий»
Влияние ИИ на политику уже начинает регулироваться. Например, в США конгрессвуман предложила акт, который регулировал бы маркировку политической рекламы, созданной ИИ. Уверен, что в предверии американских выборов мы ещё услышим много всякого интересного про ИИ в контексте политики
Вспоминается сразу технодистопия «Гномон» (за авторством Nick Harkaway), где всемогущий всевидящий ИИ под названием Свидетель не просто собирает кучу данных о поведении, но и проводит специальные социологические опросы (в крауд-сорсинговом формате), которые в итоге использует для дообучения своей модели и принятия новых законодательных актов
Кстати. Я не думаю, что технологии сильно изменят политический ландшафт в России, но за США в этом плане понаблюдать интересно
AI Forge
Это программа финансирования экспериментов для формирования свода правил, которым должен следовать ИИ для соблюдения демократических процессов
Основная заявляемая цель: сделать так, чтобы ИИ приносил пользу всему человечеству и был максимально инклюзивным, и умел отвечать так, чтобы учитывать плюрализм мнений по спорным политическим вопросам
Эта инициатива навела на мысли плотнее поресерчить про использование ИИ в политических процессах и управлении государством. Так наткнулся на любопытную статью «How generative AI impacts democratic engagement»
В этой статье приводится результат эксперимента, в ходе которого 7200 чиновникам отправили 32000 электронных писем, содержащих различные мнения по политическим вопросам (на тему владения оружием, здоровья, управления государством, репродуктивных прав, школьного образования, налогов). Половина писем была написана вручную, половина была написана GPT-3. Вот пример части письма, сгенерированного GPT:
I hope this letter finds you well. I would first like to thank you for the job you’ve done in representing us in this time of national turmoil. The pandemic and social unrest sweeping the nation right now have made life difficult for all, and many citizens, myself included, fear that our Second Amendment right to firearm ownership may become more and more of a necessity in daily life.Дальше исследователи сравнивали процент ответов на письма, сгенерированные нейросетью, с процентом ответов на письма, написанные живыми людьми
Любопытный вывод, что процент ответов ниже у писем, сгенерированных ИИ, но не катастофически. По некоторым тематикам на 4%, а по некоторым даже выше (например, по тематике школы на 2% чаще отвечали на ИИ-письма)
И это наводит на мысли, что если мы говорим про «цифровые демократии», то они прежде всего опираются на цифровые данные. А если можно сгенерировать правдоподобные данные, влияющие на принятие решений на государственном уровне, то это ставит под вопрос фрод-устройчивость таких «цифровых демократий»
Влияние ИИ на политику уже начинает регулироваться. Например, в США конгрессвуман предложила акт, который регулировал бы маркировку политической рекламы, созданной ИИ. Уверен, что в предверии американских выборов мы ещё услышим много всякого интересного про ИИ в контексте политики
Вспоминается сразу технодистопия «Гномон» (за авторством Nick Harkaway), где всемогущий всевидящий ИИ под названием Свидетель не просто собирает кучу данных о поведении, но и проводит специальные социологические опросы (в крауд-сорсинговом формате), которые в итоге использует для дообучения своей модели и принятия новых законодательных актов
Кстати. Я не думаю, что технологии сильно изменят политический ландшафт в России, но за США в этом плане понаблюдать интересно
AI Forge
Forwarded from Инжиниринг Данных (Dmitry)
Amazon выпустил курс - Deep Dive Generative AI Foundations on AWS
Amazon
New technical deep dive course: Generative AI Foundations on AWS | Amazon Web Services
Generative AI Foundations on AWS is a new technical deep dive course that gives you the conceptual fundamentals, practical advice, and hands-on guidance to pre-train, fine-tune, and deploy state-of-the-art foundation models on AWS and beyond. Developed by…
Forwarded from Psy Eyes (Andrey Bezryadin)
MetaGPT: фреймворк из множества агентов. Обеспечивает весь процесс работы компании-разработчика программного обеспечения вместе с тщательно отлаженными SOP.
Используя API от OpenAI даёте роли каждому агенту и они будут коллаборировать для решения комплексных задач.
На основе однострочного промта могут выдаваться простые пользовательские посты / конкурентный анализ / требования / структуры данных / API / документы и т.д.
Можно к агентам прицепить роли менеджера по продуктам / архитектора / менеджера проектов / инженера.
Для создания одного примера с анализом и проектированием требуется около $0,2 (стоимость GPT-4 API), для полноценного проекта - около $2,0.
Например для промта
Используя API от OpenAI даёте роли каждому агенту и они будут коллаборировать для решения комплексных задач.
На основе однострочного промта могут выдаваться простые пользовательские посты / конкурентный анализ / требования / структуры данных / API / документы и т.д.
Можно к агентам прицепить роли менеджера по продуктам / архитектора / менеджера проектов / инженера.
Для создания одного примера с анализом и проектированием требуется около $0,2 (стоимость GPT-4 API), для полноценного проекта - около $2,0.
Например для промта
python startup.py "Design a RecSys like Toutiao" будет сгенерировано много выходных данных и один из "data & API design", скрин которого выше.Зацените репорт маккинзи про ИИ. Также привожу самые интересные выводы
Ссылка на репорт: https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai-in-2023-generative-ais-breakout-year
Опросили 1 684 менеджера из различных компаний разных индустрий и географии
Выжимку самых любопытных выводов скину на страничке телеграфа: https://telegra.ph/Vyvody-iz-reporta-The-state-of-AI-in-2023-Generative-AIs-breakout-year-08-08
Ссылка на репорт: https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai-in-2023-generative-ais-breakout-year
Опросили 1 684 менеджера из различных компаний разных индустрий и географии
Выжимку самых любопытных выводов скину на страничке телеграфа: https://telegra.ph/Vyvody-iz-reporta-The-state-of-AI-in-2023-Generative-AIs-breakout-year-08-08
Telegraph
Выводы из репорта The state of AI in 2023: Generative AI’s breakout year
Оригинальный пост опубликован в канале «AI Forge» https://t.me/ai_forge/27 Маккинзи опросили 1684 менеджера из различных компаний разных индустрий и географии Ссылка на отчет: https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai…
🔥2🤔1
В блоге GoPractice вышла статья про основы больших языковых моделей для тех, кто хочет использовать их в своих продуктах или строить продукты на их основе
https://gopractice.ru/product/large-language-models/
https://gopractice.ru/product/large-language-models/
GoPractice
ᐈ Большие языковые модели: основы для тех, кто хочет строить продукты на их базе
Как работает ChatGPT и другие большие языковые модели LLM (large language models) и почему это важно знать тем, кто хочет строить продукты на их основе
👍1
МК по GPT (1).pdf
5.3 MB
Звучит банально до тошноты, но я тут недавно проводил для коллег мастер-класс по составлению промптов
Разобрали из чего вообще состоит хороший промпт (инструкция, контекст, вводные данные, формат вывода), посмотрели на несколько приемов (few-shot, act like, direct stimulus prompting, chain-of-thought, chatgpt as prompt engineer) , обсудили ошибки, которые совершают люди, считающие что можно получить качественный результат от LLM-генерируемого текста с первого раза (ожидание, что gpt «читает мысли», отсутствие экспериментов с выводом, отсутствие черри-пикинга)
В общем, получилось очень базово, но как оказалось полезно, особенно для тех, кто не читал никаких туториалов и не подходит к «общению с LLM» как к чисто функциональной задаче заставить черный ящик выплевывать что-то с приемлемым результатом
Разобрали из чего вообще состоит хороший промпт (инструкция, контекст, вводные данные, формат вывода), посмотрели на несколько приемов (few-shot, act like, direct stimulus prompting, chain-of-thought, chatgpt as prompt engineer) , обсудили ошибки, которые совершают люди, считающие что можно получить качественный результат от LLM-генерируемого текста с первого раза (ожидание, что gpt «читает мысли», отсутствие экспериментов с выводом, отсутствие черри-пикинга)
В общем, получилось очень базово, но как оказалось полезно, особенно для тех, кто не читал никаких туториалов и не подходит к «общению с LLM» как к чисто функциональной задаче заставить черный ящик выплевывать что-то с приемлемым результатом
🔥11
Наткнулся на любопытную матрицу для классификации AI-проектов с использованием генеративных сеток
На оси X – риск, который по сути является ответом на вопрос «Сколько ущерба может принести неточность и галлюцинаторность ответа нейросети в конкретном проекте?»
На оси Y – потребность, которую закрывает AI-проект. Это ответ на вопрос «Какую реальную и устойчивую потребность внутри бизнеса закрывает генеративный вывод (исключая желание быть в тренде)?»
Ну и дальше располагая на этой матрице свой проект мы можем отприоритезировать его. Например, проекты в сфере маркетинга, связанные с ИИ располагаются в квадрате «Низко-рисковые, закрывающие значительную потребность», потому что по сути мы можем генерить для каждого пользователя свой более персонализированный маркетинговый посыл, но риски незначительны, потому что даже если мы где-то допустим неточность, то это не повлечет за собой крушения процессов
https://hbr.org/2023/03/a-framework-for-picking-the-right-generative-ai-project
На оси X – риск, который по сути является ответом на вопрос «Сколько ущерба может принести неточность и галлюцинаторность ответа нейросети в конкретном проекте?»
На оси Y – потребность, которую закрывает AI-проект. Это ответ на вопрос «Какую реальную и устойчивую потребность внутри бизнеса закрывает генеративный вывод (исключая желание быть в тренде)?»
Ну и дальше располагая на этой матрице свой проект мы можем отприоритезировать его. Например, проекты в сфере маркетинга, связанные с ИИ располагаются в квадрате «Низко-рисковые, закрывающие значительную потребность», потому что по сути мы можем генерить для каждого пользователя свой более персонализированный маркетинговый посыл, но риски незначительны, потому что даже если мы где-то допустим неточность, то это не повлечет за собой крушения процессов
https://hbr.org/2023/03/a-framework-for-picking-the-right-generative-ai-project
Forwarded from LLM под капотом
Прикольная библиотека для получения желаемого формата ответа от LLM в 100% случаях.
Под капотом, они собирают FSM, который пропускает только валидные tokens на каждом новом шаге. Можно описать формат ответа начиная с regex до JSON модели по pydantic схеме.
От галлюцинаций это не спасает, но уменьшает количество проблем и работает быстрее Microsoft Guidance.
https://github.com/normal-computing/outlines
Под капотом, они собирают FSM, который пропускает только валидные tokens на каждом новом шаге. Можно описать формат ответа начиная с regex до JSON модели по pydantic схеме.
От галлюцинаций это не спасает, но уменьшает количество проблем и работает быстрее Microsoft Guidance.
https://github.com/normal-computing/outlines
Forwarded from The Future Of Work (Evgeniy Volnov)
И вот как раз у LinkedIn вышел «Future of Work Report», где они рассказывают про статистику и тренды в AI и ChatGPT. В целом ничего нового, нас ждет мир победившего генеративного искусственного интеллекта. Но есть интересные детали.
В каких странах люди больше всего добавляют себе «навыки» вокруг AI
1. Сингапур
2. Финляндия
3. Ирландия
4. Индия
5. Канада
(нам об этом не говорят, но скорее всего это связано с большой долей IT-специалистов среди всех пользователей в этих странах)
В каких индустриях (статистика по США)
1. Technology, Information, and Media (2.2%)
2. Education (1.2%)
3. Professional Services (0.9%)
4. Financial Services (0.9%)
5. Manufacturing (0.8%)
Аналитики и исследователи LinkedIn насчитали 500 навыков, на которые вероятно больше всего повлияет генеративный AI. И вот какие это навыки и в каких индустриях:
Business and industry: Financial Reporting, Email Marketing, Data Analysis
Communication and media: Writing, Editing, Documentation, Translation, Content Creation
Engineering: Software Development Tools, Programming Languages, Data Science
People: Time Management Tools
Но самая интересная табличка про конкретные категории профессий. В каких из них и что будет подвержено влиянию генеративного AI (они там очень деликатно пишут augmentable by GAI). У Software Engineer это почти 100% навыков.
В каких странах люди больше всего добавляют себе «навыки» вокруг AI
1. Сингапур
2. Финляндия
3. Ирландия
4. Индия
5. Канада
(нам об этом не говорят, но скорее всего это связано с большой долей IT-специалистов среди всех пользователей в этих странах)
В каких индустриях (статистика по США)
1. Technology, Information, and Media (2.2%)
2. Education (1.2%)
3. Professional Services (0.9%)
4. Financial Services (0.9%)
5. Manufacturing (0.8%)
Аналитики и исследователи LinkedIn насчитали 500 навыков, на которые вероятно больше всего повлияет генеративный AI. И вот какие это навыки и в каких индустриях:
Business and industry: Financial Reporting, Email Marketing, Data Analysis
Communication and media: Writing, Editing, Documentation, Translation, Content Creation
Engineering: Software Development Tools, Programming Languages, Data Science
People: Time Management Tools
Но самая интересная табличка про конкретные категории профессий. В каких из них и что будет подвержено влиянию генеративного AI (они там очень деликатно пишут augmentable by GAI). У Software Engineer это почти 100% навыков.
Forwarded from эйай ньюз
Пум-пум-пум. Там Opena AI выкатили значительную фичу - тепeрь можно файнтюнить GPT 3.5 Turbo.
По сути это LoRa-as-a-service. Готовите json файл со своими диалогами, загружаете на сервер OpenAI (если хотите без этого - то вам к LLaMa, кек) через API и через апишку же и запускаем трейнинг.
Цена вопроса:
- Во время тренировки: $0.008 / 1K токенов
- Стоимость ввода во время инференса вашей кастомной модели: $0.012 / 1K токенов
- Стоимость генерации: $0.016 / 1K Tokens.
В общем, для
а для
Гайд по файн-тюнингу GPT 3.5
@ai_newz
По сути это LoRa-as-a-service. Готовите json файл со своими диалогами, загружаете на сервер OpenAI (если хотите без этого - то вам к LLaMa, кек) через API и через апишку же и запускаем трейнинг.
Цена вопроса:
- Во время тренировки: $0.008 / 1K токенов
- Стоимость ввода во время инференса вашей кастомной модели: $0.012 / 1K токенов
- Стоимость генерации: $0.016 / 1K Tokens.
В общем, для
babbage-002 кастомная модель обойдется в 4 раза дороже,а для
davinci-002 в 6 раз дороже чем базовая. Оно, конечно, понятно - нужно же отдельную ноду поднять и зарезервировать GPU под вашу индивидуальную модель.Гайд по файн-тюнингу GPT 3.5
@ai_newz
Forwarded from LLM под капотом
Видели новости про файн-тюнинг GPT-3.5?
Если кратко:
- это не тот fine-tuning, к которому все привыкли!
- тренировка стоит относительные копейки - $0.008 / 1K токенов
- для затюненой модели использование в 8x дороже базовой GPT-3.5-Turbo
Сама новость вот тут: OpenAI
За uptime затюнинговой модели ничего не платим. Значит, это какой-то вариант LoRA адаптеров и манипуляции с tokens.
Этот fine-tuning затачивает модель под определенную задачу, делая ее более узко-специализированной. Новым фактам ее не особо научишь, а information retrieval это не заменит. Подробнее см доки OpenAI про fine-tuning.
Зачем, вообще такой тюнинг? А чтобы экономить на prompt tokens! Если у нас есть типовая задача, которая требует длинного промпта, особого формата вывода или стилистики ответа, то можно затюнить GPT-3.5 под эту задачу. Теперь не нужно будет отправлять столько few-shot примеров в запрос.
Тюнинг окупается при сжатии входного промпта более, чем в 8x. Плюс скорость ответа будет быстрее.
Ваш, @llm_under_hood 🤗
PS: У кого-нибудь есть проекты, которые уже явно выигрывают от этой фичи?
Если кратко:
- это не тот fine-tuning, к которому все привыкли!
- тренировка стоит относительные копейки - $0.008 / 1K токенов
- для затюненой модели использование в 8x дороже базовой GPT-3.5-Turbo
Сама новость вот тут: OpenAI
За uptime затюнинговой модели ничего не платим. Значит, это какой-то вариант LoRA адаптеров и манипуляции с tokens.
Этот fine-tuning затачивает модель под определенную задачу, делая ее более узко-специализированной. Новым фактам ее не особо научишь, а information retrieval это не заменит. Подробнее см доки OpenAI про fine-tuning.
Зачем, вообще такой тюнинг? А чтобы экономить на prompt tokens! Если у нас есть типовая задача, которая требует длинного промпта, особого формата вывода или стилистики ответа, то можно затюнить GPT-3.5 под эту задачу. Теперь не нужно будет отправлять столько few-shot примеров в запрос.
Тюнинг окупается при сжатии входного промпта более, чем в 8x. Плюс скорость ответа будет быстрее.
Ваш, @llm_under_hood 🤗
PS: У кого-нибудь есть проекты, которые уже явно выигрывают от этой фичи?
👍1
Forwarded from kyrillic
Про идеи проектов и фич с LLM, AI, etc. Хайп спадает, и все лучше видно, где может быть реальная добавленная стоимость языковых моделей а-ля gpt. Писал об общих наблюдениях весной, а также делился тем, как сам использую ежедневно (спасибо всем, кто в комментариях поделился и своими применениями).
Сегодня еще наблюдения!
1️⃣ Очень многие стали делать фичи с LLM, и интересно посмотреть на цели этих фич! Вот в примере из линкедина (в видео к посту) LLM дописывает bio пользователя. Можно ли это сделать за секунды через интерфейс chatgpt или любой другой? Можно!
Но подобные фичи (обернутая в интерфейс LLM) во многих продуктах - это не польза в прямом смысле, а маркетинг. Вот я ее увидел и поделился с вами. Польза сомнительна, но охваты - очень дешевые, учитывая простоту внедрения.
То есть если большие компании делают "с AI", то зачастую не из-за добавленной стоимости внедренной технологии, а для создания инфоповода. Я бы поставил это в ряд с тезисами, подобными "мы carbon-zero".
2️⃣ При этом до сих пор большинство пользователей интернета - неискушенные в вопросах применения LLM в своей жизни. А это значит: 1/ многие будут платить за "LLM обертку" 2/ доходы таких проектов будут обратно коррелировать с "LLM-образованностью" пользователей интернета.
Считаю, что использование языковых моделей в повседневной жизни - это будущая форма грамотности, как сейчас например умение пользоваться смартфоном.
3️⃣ Я писал про проекты на основе GPT, там старался показать суть механики. Но подойду с другой стороны, продуктовой:
По сути большинство небольших продуктов или внедренных фич powered by GPT (LLM, AI, etc.) - это чисто продуктовая или дизайнерская задача! Где есть технология, определена проблема (гипотеза) и нужно придумать путь кастомера до использования тенологии.
Многие проблемы действительно были нерешаемы, а с приходом LLMs - есть шанс.
Хорошие продакты и дизайнеры должны просто фонтанировать идеями применения LLM в разных проблемах, продуктах и процессах.
Для себя лично есть вывод: если раньше я мог за 10 секунд просмотра портфолио определить уровень дизайнера в формате 👍/👎, то теперь такое возможно и с продактами. Ну за пару минут разговора! Если он не AGI-мракобес и четко видит плато продуктивности, то продакт - потенциально 👍
4️⃣ VC активно инвестирую в AI-стартапы. Но есть нюанс... Если приглядеться, то закрывают раунды в основном два типа AI-компаний:
а/ те, у которых ценность была бы и без приставки powered by LLM. Нередко риторика "AI" - это форма питча стартапа, где есть пара фич с запросами к LLMs.
б/ те, которые зарабатывают на... мечтающих заработать на своем AI стартапе. Это модель успешных ноукод (пост) компаний: большая доля их выручки - это не реальная автоматизация и польза, а эксплуатация мечты об успехе. В этом нет ничего плохого, такое еще сильнее выражено например в образовании ("пройди курс и получишь зарплату бостонского бэкенд-разработчика")
5️⃣ СМИ конечно не помогают разбираться в вопросе, а только накидывает хайповые инфоповоды. Мне кажется лучше вообще не читать новости про AI, потому что есть риск большого искажения восприятия.
В таком контексте есть например отчеты Gartner по индустриям, где красиво отображается весь hype cycle. Если смотреть за прошлые годы, то там много ошибок в прогнозах, но это дает хотя бы минимальное понимание, что там происходит вообще!
@kyrillic
Сегодня еще наблюдения!
1️⃣ Очень многие стали делать фичи с LLM, и интересно посмотреть на цели этих фич! Вот в примере из линкедина (в видео к посту) LLM дописывает bio пользователя. Можно ли это сделать за секунды через интерфейс chatgpt или любой другой? Можно!
Но подобные фичи (обернутая в интерфейс LLM) во многих продуктах - это не польза в прямом смысле, а маркетинг. Вот я ее увидел и поделился с вами. Польза сомнительна, но охваты - очень дешевые, учитывая простоту внедрения.
То есть если большие компании делают "с AI", то зачастую не из-за добавленной стоимости внедренной технологии, а для создания инфоповода. Я бы поставил это в ряд с тезисами, подобными "мы carbon-zero".
2️⃣ При этом до сих пор большинство пользователей интернета - неискушенные в вопросах применения LLM в своей жизни. А это значит: 1/ многие будут платить за "LLM обертку" 2/ доходы таких проектов будут обратно коррелировать с "LLM-образованностью" пользователей интернета.
Считаю, что использование языковых моделей в повседневной жизни - это будущая форма грамотности, как сейчас например умение пользоваться смартфоном.
3️⃣ Я писал про проекты на основе GPT, там старался показать суть механики. Но подойду с другой стороны, продуктовой:
По сути большинство небольших продуктов или внедренных фич powered by GPT (LLM, AI, etc.) - это чисто продуктовая или дизайнерская задача! Где есть технология, определена проблема (гипотеза) и нужно придумать путь кастомера до использования тенологии.
Многие проблемы действительно были нерешаемы, а с приходом LLMs - есть шанс.
Хорошие продакты и дизайнеры должны просто фонтанировать идеями применения LLM в разных проблемах, продуктах и процессах.
Для себя лично есть вывод: если раньше я мог за 10 секунд просмотра портфолио определить уровень дизайнера в формате 👍/👎, то теперь такое возможно и с продактами. Ну за пару минут разговора! Если он не AGI-мракобес и четко видит плато продуктивности, то продакт - потенциально 👍
4️⃣ VC активно инвестирую в AI-стартапы. Но есть нюанс... Если приглядеться, то закрывают раунды в основном два типа AI-компаний:
а/ те, у которых ценность была бы и без приставки powered by LLM. Нередко риторика "AI" - это форма питча стартапа, где есть пара фич с запросами к LLMs.
б/ те, которые зарабатывают на... мечтающих заработать на своем AI стартапе. Это модель успешных ноукод (пост) компаний: большая доля их выручки - это не реальная автоматизация и польза, а эксплуатация мечты об успехе. В этом нет ничего плохого, такое еще сильнее выражено например в образовании ("пройди курс и получишь зарплату бостонского бэкенд-разработчика")
5️⃣ СМИ конечно не помогают разбираться в вопросе, а только накидывает хайповые инфоповоды. Мне кажется лучше вообще не читать новости про AI, потому что есть риск большого искажения восприятия.
В таком контексте есть например отчеты Gartner по индустриям, где красиво отображается весь hype cycle. Если смотреть за прошлые годы, то там много ошибок в прогнозах, но это дает хотя бы минимальное понимание, что там происходит вообще!
@kyrillic
❤2👍2🔥1
Forwarded from TechSparks
OpenAI объявил о запуске ChatGPT Enterprise, который для больших компаний снимает многие проблемы, связанные с использованием давно доступного API. Первая и главная — возможность доучивать модель на корпоративных данных, не опасаясь их утечки или использования специально дообученной модели другими. Вторая — комфортное встраивание в сложную и большую корпоративную ИТ-структуру.
По утверждению OpenAI, продукт разрабатывался много месяцев в тесном контакте с его бета-пользователями и фактически соавторами из числа крупнейших компаний: здесь и PwC, и Block,и The Estée Lauder Companies. Задачи — из уже привычного списка: коммуникации внешние и внутренние, разработка софта, помощь в создании всевозможных креативов. Короче, быстрый и неограниченный GPT-4 без проблем с безопасностью и заточенный под специфику бизнеса.
В дальнейшем помимо Enterprise уровня обещают еще и Business, но сроков и спецификации не называют.
https://openai.com/blog/introducing-chatgpt-enterprise
По утверждению OpenAI, продукт разрабатывался много месяцев в тесном контакте с его бета-пользователями и фактически соавторами из числа крупнейших компаний: здесь и PwC, и Block,и The Estée Lauder Companies. Задачи — из уже привычного списка: коммуникации внешние и внутренние, разработка софта, помощь в создании всевозможных креативов. Короче, быстрый и неограниченный GPT-4 без проблем с безопасностью и заточенный под специфику бизнеса.
В дальнейшем помимо Enterprise уровня обещают еще и Business, но сроков и спецификации не называют.
https://openai.com/blog/introducing-chatgpt-enterprise
Openai
Introducing ChatGPT Enterprise
Get enterprise-grade security & privacy and the most powerful version of ChatGPT yet.
Forwarded from The Future Of Work (Evgeniy Volnov)
На Insider размышления на тему, что AI может заменить не только junior-специалистов, но не менее эффективно может заменить и СЕО. Звучит как манифест против генеральных директоров. Которые совсем «менеджеры», оторванные от производства, принимающие так себе решения, и не создающие даже эмоциональной лидерской ценности. Но за очень большие деньги.
Forwarded from Образование, которое мы заслужили
Исследование: 78% руководителей считают, что внедрение ИИ привело к появлению рабочих мест
▪️ Ученые из Института для будущего работы (Institute for the Future of Work), Империал Колледжа в Лондоне и бизнес школы Warwick провели опрос и выяснили, что большинство компаний считает, что новые технологии улучшили качество работы.
▪️ 83% представителей компаний заявили, что из-за внедрения новых технологий прежним сотрудникам нужно осваивать новые навыки. 69% считают, что ИИ значительно улучшил качество работы внутри компании.
▪️ Профессор Джеймс Хейтон, ведущий автор отчета, сказал, что можно не бояться, что роботы полностью заменят людей на рабочих местах. Благодаря новым технологиям многим компаниям требуются специалисты из областей IT и компьютерной инженерии. Возможно, это приведет к тому, что какие-то профессии станут неактуальными, но в долгосрочной перспективе это, как правило, оказывает положительное влияние на экономику, добавил он.
▪️ При этом 47% респондентов заявили, что внедрение ИИ сократило количество рабочих мест в их компании.
▪️ Ученые из Института для будущего работы (Institute for the Future of Work), Империал Колледжа в Лондоне и бизнес школы Warwick провели опрос и выяснили, что большинство компаний считает, что новые технологии улучшили качество работы.
▪️ 83% представителей компаний заявили, что из-за внедрения новых технологий прежним сотрудникам нужно осваивать новые навыки. 69% считают, что ИИ значительно улучшил качество работы внутри компании.
▪️ Профессор Джеймс Хейтон, ведущий автор отчета, сказал, что можно не бояться, что роботы полностью заменят людей на рабочих местах. Благодаря новым технологиям многим компаниям требуются специалисты из областей IT и компьютерной инженерии. Возможно, это приведет к тому, что какие-то профессии станут неактуальными, но в долгосрочной перспективе это, как правило, оказывает положительное влияние на экономику, добавил он.
▪️ При этом 47% респондентов заявили, что внедрение ИИ сократило количество рабочих мест в их компании.
Forwarded from Futuris (Anton)
Anthropic (создатели Claude) представили прорывной метод интерпретации нейронных сетей, разлагая их на более понятные компоненты. В своей последней работе исследователи доказали, что отдельные нейроны не всегда коррелируют с поведением модели. Вместо этого они предлагают использовать "признаки" - комбинации активаций нейронов, которые лучше интерпретируются и имеют последовательное значение. Этот метод позволил выделить специфические особенности в модели, такие как последовательности ДНК и юридический язык.
Это открывает новые перспективы для глубокого понимания и улучшения нейронных сетей. С возможностью лучше понимать внутренние процессы моделей, специалисты могут значительно улучшить их безопасность, надежность и применимость в различных отраслях. Также это может способствовать разработке новых методов обучения и оптимизации, которые были бы более эффективными и предсказуемыми. Компания уже выражает интерес к дальнейшему масштабированию этого подхода, чтобы внедрить его в более сложные модели, что может стать революционным шагом в области искусственного интеллекта.
https://www.anthropic.com/index/decomposing-language-models-into-understandable-components
Это открывает новые перспективы для глубокого понимания и улучшения нейронных сетей. С возможностью лучше понимать внутренние процессы моделей, специалисты могут значительно улучшить их безопасность, надежность и применимость в различных отраслях. Также это может способствовать разработке новых методов обучения и оптимизации, которые были бы более эффективными и предсказуемыми. Компания уже выражает интерес к дальнейшему масштабированию этого подхода, чтобы внедрить его в более сложные модели, что может стать революционным шагом в области искусственного интеллекта.
https://www.anthropic.com/index/decomposing-language-models-into-understandable-components
Anthropic
Decomposing Language Models Into Understandable Components
Anthropic is an AI safety and research company that's working to build reliable, interpretable, and steerable AI systems.
👍1
Forwarded from Ivan Begtin (Ivan Begtin)
Свежие картинки по LLMops Market Map от CB Insights [1]. Все эти картинки, симпатичные, но они лишь визуально иллюстрируют рынок AI/LLM/Generative AI и инвестиции в него.
Лично мне среди AI продуктов интереснее всего развитие поисковиков по данным и продукты по автоматизации (ИИзации) аналитики по данным. Уже есть несколько стартапов обещающих автоматизацию построения дашбордов на основе клиентских данных.
Ссылки:
[1] https://www.cbinsights.com/research/large-language-model-operations-llmops-market-map/
#ai #analytics #llmops
Лично мне среди AI продуктов интереснее всего развитие поисковиков по данным и продукты по автоматизации (ИИзации) аналитики по данным. Уже есть несколько стартапов обещающих автоматизацию построения дашбордов на основе клиентских данных.
Ссылки:
[1] https://www.cbinsights.com/research/large-language-model-operations-llmops-market-map/
#ai #analytics #llmops