GPT (Generative Pre-trained Transformers) как технология общего назначения (General Purpose Technology)
GPT проходит человеческие тесты все более уверенно. Более того, LLM удовлетворяет трем основным критериям технологии общего назначения: улучшается с течением времени, повсеместно проникает в экономику и способна порождать дополнительные инновации.
Поэтому опубликованное сегодня исследование мотивировано не столько прогрессом самих языковых моделей, сколько широтой возможностей разработанных вокруг LLM технологий.
Большия языковые модели имеют потенциал для управления другими цифровыми инструментами (API, поисковые системы, другие генеративные нейронки и т.д). В долгосрочной перспективе выглядит, что LLM могут решать любую задачу, обычно выполняемую на компьютере.
Анализ показал, что примерно 19% человеческих профессий (на US рынке труда) имеют не менее 50% задач, подверженных серьезному влиянию LLM и их производных.
Профессии и скилы брали из базы O*NET и ранжировали по способности GPT-like моделей ускорить выполнение задачи хотя бы на 50%.
Наиболее защищены навыки, связанные с ручным трудом, а так же научным и критическим мышлением (сюда не входит программирование, если что). Минимально задетые LLM отрасли: обрабатывающая, горнодобывающая промышленность и сельское хозяйство.
Даже не знаю, кого уместнее процитировать, Шнура с лопатой или Пушкина с торжествующим крестьянином...
Бонус - в комментах список из 34 профессий, в которых ни одна профессиональная задача не "пострадала" с появлением LLM.
📰Статья
@GingerSpacetail
GPT проходит человеческие тесты все более уверенно. Более того, LLM удовлетворяет трем основным критериям технологии общего назначения: улучшается с течением времени, повсеместно проникает в экономику и способна порождать дополнительные инновации.
Поэтому опубликованное сегодня исследование мотивировано не столько прогрессом самих языковых моделей, сколько широтой возможностей разработанных вокруг LLM технологий.
Большия языковые модели имеют потенциал для управления другими цифровыми инструментами (API, поисковые системы, другие генеративные нейронки и т.д). В долгосрочной перспективе выглядит, что LLM могут решать любую задачу, обычно выполняемую на компьютере.
Анализ показал, что примерно 19% человеческих профессий (на US рынке труда) имеют не менее 50% задач, подверженных серьезному влиянию LLM и их производных.
Профессии и скилы брали из базы O*NET и ранжировали по способности GPT-like моделей ускорить выполнение задачи хотя бы на 50%.
Наиболее защищены навыки, связанные с ручным трудом, а так же научным и критическим мышлением (сюда не входит программирование, если что). Минимально задетые LLM отрасли: обрабатывающая, горнодобывающая промышленность и сельское хозяйство.
Даже не знаю, кого уместнее процитировать, Шнура с лопатой или Пушкина с торжествующим крестьянином...
Бонус - в комментах список из 34 профессий, в которых ни одна профессиональная задача не "пострадала" с появлением LLM.
📰Статья
@GingerSpacetail
Adobe Firefly
Adobe наконец то включились в гонку генеративных моделей и выпустили Светлячка - генеративную сетку, которая обещает стать следующей эволюционной ступенькой в создании контента.
Поиграть (ну точнее вписаться в waitlist) можно тут
Почитать подробнее
Adobe наконец то включились в гонку генеративных моделей и выпустили Светлячка - генеративную сетку, которая обещает стать следующей эволюционной ступенькой в создании контента.
Поиграть (ну точнее вписаться в waitlist) можно тут
Почитать подробнее
Forwarded from Earth&Climate Tech
This media is not supported in your browser
VIEW IN TELEGRAM
Ultrasound challenge на CVPR
18 июня в рамках самой узнаваемой конференции по машинному обучению в области компьютерного зрения - CVPR, пройдет воркшоп по применению глубокого обучения в анализе ультразвукового изображения. Это такая штука немного похожая на сейсмику.
И там же будет челлендж по сегментации 3D объекта, а точнее его сетки, из ультразвукового изображения с помощью глубокого обучения. Прям как выделение геологических тел из сейсмических данных. Первый приз 5000 канадских долларов 🤑.
Если интересен сам воркшоп - сюда
За участием в челлендже - сюда.
18 июня в рамках самой узнаваемой конференции по машинному обучению в области компьютерного зрения - CVPR, пройдет воркшоп по применению глубокого обучения в анализе ультразвукового изображения. Это такая штука немного похожая на сейсмику.
И там же будет челлендж по сегментации 3D объекта, а точнее его сетки, из ультразвукового изображения с помощью глубокого обучения. Прям как выделение геологических тел из сейсмических данных. Первый приз 5000 канадских долларов 🤑.
Если интересен сам воркшоп - сюда
За участием в челлендже - сюда.
Forwarded from DL in NLP (Vlad Lialin)
Я почитал подробнее про ChatGPT Plugins и это даже больше бомба чем я думал.
Идея плагинов в том, что со временем любой вебсайт сможет добавить описание доступного GPT API в специальный файл:
Не хочется ванговать, но если это будет распространено, вот нам и Web 3.0, но не такой каким его ожидали криптобро. Вместо этого различные языковые модели от OpenAI, Anthropic, Google, Adept, ... будут ходить на сайты вместо вас и может быть даже общаться друг с другом 😅
Ах вот как оно начинается...
Идея плагинов в том, что со временем любой вебсайт сможет добавить описание доступного GPT API в специальный файл:
yourdomain.com/.well-known/ai-plugin.json. В нём вы описываете как ауфентицироваться и как работают API на естественном языке.Не хочется ванговать, но если это будет распространено, вот нам и Web 3.0, но не такой каким его ожидали криптобро. Вместо этого различные языковые модели от OpenAI, Anthropic, Google, Adept, ... будут ходить на сайты вместо вас и может быть даже общаться друг с другом 😅
Ах вот как оно начинается...
AI Для Всех
Андрей Карпаты анонсировал умного ассистента от Open AI. Звучит очень резонно, учитывая работы open-source сообщества по Open Assistant.
Вы же понимаете что GPT плагины - это скиллы Алексы на стероидах? И все движется к Джарвису?
Вопрос только в том, будет ли OpenAI свою колонку выпускать или это будет Microsoft
Вопрос только в том, будет ли OpenAI свою колонку выпускать или это будет Microsoft
Блогер подключил ChatGPT к своему мозгу
В видео довольно подробно описывается эксперимент, в котором компактное устройство для анализа активности мозга (ЭЭГ) было подключено к ИИ (GPT-4).
Эксперимент успешно продемонстрировал возможность использования JavaScript для интерпретации активности мозговых волн и создания связного текста.
Эта технология может привести к разработке более сложных систем интерфейса мозг-компьютер в будущем.
Видео
В видео довольно подробно описывается эксперимент, в котором компактное устройство для анализа активности мозга (ЭЭГ) было подключено к ИИ (GPT-4).
Эксперимент успешно продемонстрировал возможность использования JavaScript для интерпретации активности мозговых волн и создания связного текста.
Эта технология может привести к разработке более сложных систем интерфейса мозг-компьютер в будущем.
Видео
YouTube
I literally connected my brain to GPT-4 with JavaScript
I hacked my brain with a compact electroencephalogram (EEG) and connected it to GPT-4 with the OpenAI API. In this crazy tutorial, you'll learn how to use JavaScript to read your brainwaves.
#tech #javascript #science
💬 Chat with Me on Discord
https…
#tech #javascript #science
💬 Chat with Me on Discord
https…
ColossalChat: Решение с открытым исходным кодом для клонирования ChatGPT с RLHF
Colossal-AI выпустила с модельку с открытым исходным кодом и RLHF для ColossalChat, проекта, целью которого является клонирование ChatGPT с менее чем 10 миллиардами параметров.
ColossalChat включает интерактивную демонстрацию. (которая мягко говоря не очень умеет следовать инструкциям), открытый и полный код обучения RLHF, двуязычный набор данных с открытым исходным кодом, выводы и веса модели. ColossalChat использует процесс RLHF для воспроизведения моделей, подобных ChatGPT, и является самым близким проектом к оригинальному ChatGPT. Набор данных ColossalChat включает в себя около 100 000 пар вопросов и ответов на английском и китайском языках, собранных и очищенных из реальных сценариев вопросов на платформах социальных сетей.
Репликация алгоритма RLHF включает в себя три этапа: supervised finetuning, обучение модели вознаграждения и RL finetuning. ColossalChat использует PPO и PTX в алгоритме обучения с подкреплением для расчета потерь от политики и потерь от стоимости.
📝 Блог-пост
🐙 Код
📞 Чат
Colossal-AI выпустила с модельку с открытым исходным кодом и RLHF для ColossalChat, проекта, целью которого является клонирование ChatGPT с менее чем 10 миллиардами параметров.
ColossalChat включает интерактивную демонстрацию. (которая мягко говоря не очень умеет следовать инструкциям), открытый и полный код обучения RLHF, двуязычный набор данных с открытым исходным кодом, выводы и веса модели. ColossalChat использует процесс RLHF для воспроизведения моделей, подобных ChatGPT, и является самым близким проектом к оригинальному ChatGPT. Набор данных ColossalChat включает в себя около 100 000 пар вопросов и ответов на английском и китайском языках, собранных и очищенных из реальных сценариев вопросов на платформах социальных сетей.
Репликация алгоритма RLHF включает в себя три этапа: supervised finetuning, обучение модели вознаграждения и RL finetuning. ColossalChat использует PPO и PTX в алгоритме обучения с подкреплением для расчета потерь от политики и потерь от стоимости.
📝 Блог-пост
🐙 Код
Please open Telegram to view this post
VIEW IN TELEGRAM
Мне тут хорошие люди объяснили что у меня слишком мало друзей в LinkedIn. Что ж, давайте это исправим, добавляйтесь: https://www.linkedin.com/in/artemii-novoselov
Создатель этого канала
Создатель этого канала
#WoodstockAI
На днях мне довелось побывать на вечеринке, которая стала самым большим митапом по искусственному интеллекту в истории.
Все началось с того, что CEO HF 🤗 написал у себя в Твиттере что скоро будет в Сан Франциско и мол кто хочет встретится. Количество желающих было настолько большим, что ребятам пришлось в срочном порядке искать огромное помещение (нас запостил Exploratorium)! В итоге, на встречу пришло больше 4000 человек 🤯.
У входа нас ждали ламы (шутка про фейсбучную llama 🦙), внутри - бесплатные напитки и вкусняшки. Многие ребята устраивали демонстрации, в том числе и ребята из Phind про которых я писал раньше.
Там же, встретился с несколькими ребятами с нашего канала (личный вам привет!), очень круто что наше коммьюнити уже разрослось до таких масштабов, что можно найтись почти где угодно.
А еще на встрече удалось поглядеть на создателя Курсеры Андрю Ына, с чьих курсов я начинал свой путь в Машинное Обучение.
Надеюсь что вечеринка станет ежегодной и в следующем году еще больше ребят с нашего канала смогут там побывать.
@crimeacs
На днях мне довелось побывать на вечеринке, которая стала самым большим митапом по искусственному интеллекту в истории.
Все началось с того, что CEO HF 🤗 написал у себя в Твиттере что скоро будет в Сан Франциско и мол кто хочет встретится. Количество желающих было настолько большим, что ребятам пришлось в срочном порядке искать огромное помещение (нас запостил Exploratorium)! В итоге, на встречу пришло больше 4000 человек 🤯.
У входа нас ждали ламы (шутка про фейсбучную llama 🦙), внутри - бесплатные напитки и вкусняшки. Многие ребята устраивали демонстрации, в том числе и ребята из Phind про которых я писал раньше.
Там же, встретился с несколькими ребятами с нашего канала (личный вам привет!), очень круто что наше коммьюнити уже разрослось до таких масштабов, что можно найтись почти где угодно.
А еще на встрече удалось поглядеть на создателя Курсеры Андрю Ына, с чьих курсов я начинал свой путь в Машинное Обучение.
Надеюсь что вечеринка станет ежегодной и в следующем году еще больше ребят с нашего канала смогут там побывать.
@crimeacs