Кажется, началось:
Reuters посмотрели письмо U.S. Copyright Office по защите прав книги "Zarya of the Dawn".
Бюро регистрации авторских прав сообщило, что оно переоформит регистрацию книжки, чтобы исключить изображения, которые «не являются продуктом человеческого авторства» ("are not the product of human authorship") и, следовательно, не могут быть защищены авторским правом.
Этот комментарий является одним из первых, принятых судом или агентством США в отношении объема защиты авторских прав на произведения, созданные с помощью ИИ.
> "The fact that Midjourney's specific output cannot be predicted by users makes Midjourney different for copyright purposes than other tools used by artists," the letter said.
UPD:
интересный вопрос от моего знакомого: "А если я руками нарисовал картинку, а потом нейросетевой фильтр сверху навернул, будет ли она защищена авторскими правами?".
Где проводить черту? А если я использовал программу для коррекции отдельных частей (скажем, один объект отредактировал)? А как а что а почему...
Reuters посмотрели письмо U.S. Copyright Office по защите прав книги "Zarya of the Dawn".
Бюро регистрации авторских прав сообщило, что оно переоформит регистрацию книжки, чтобы исключить изображения, которые «не являются продуктом человеческого авторства» ("are not the product of human authorship") и, следовательно, не могут быть защищены авторским правом.
Этот комментарий является одним из первых, принятых судом или агентством США в отношении объема защиты авторских прав на произведения, созданные с помощью ИИ.
> "The fact that Midjourney's specific output cannot be predicted by users makes Midjourney different for copyright purposes than other tools used by artists," the letter said.
UPD:
интересный вопрос от моего знакомого: "А если я руками нарисовал картинку, а потом нейросетевой фильтр сверху навернул, будет ли она защищена авторскими правами?".
Где проводить черту? А если я использовал программу для коррекции отдельных частей (скажем, один объект отредактировал)? А как а что а почему...
Сиолошная
HuggingFace 🤗 потихоньку превращается из стартапа , который пилит библиотеку для создания-обучения моделек, в рисерч-лабу. Так, у них внутри появилась команда, которая занимается RLHF (обучение моделей по фидбеку от людей). Название проекта - Helpful, Honest…
А вот и первый собранный этой командой датасет - тык.
Думаю, он очень полезный для тренировки ассистентов программистам, так как данные собранны со StackOverflow.
Сначала отобрали все вопросы, у которых было больше двух ответов.
Затем проставили оценки ответам по формуле
Затем создавали пары для тренировки отдельной Reward Model по этому score (какой ответ должен быть отранжирован ниже, какой - выше).
В целом, повторяют подход Antropic из этой статьи, на неё же и ссылаются.
Ещё незаметно для меня вышел датасет от Стэнфорда - вот тут. В целом - то же самое, только с комментариями с Reddit, и ещё учитывают разницу во времени публикации. Это логично - может, один комментарий получил больше лайков только потому, что его опубликовали на неделю раньше, а свежий просто не залетел в топ.
Всё разбито по сабреддитам, внутри которых размеры варьируются от 3к до 57к примеров. С одной стороны немного, с другой - OpenAI тюнили первые версии InstructGPT на где-то 50-60к примеров, то есть сопоставимо.
Ну што, вперёд обучать PPOошки?
UPD: очень хочется посмотреть на результаты экспериментов, чтобы понять, насколько такой сбор проигрывает (или выигрывает?) сбору данных в онлайне, и в более качественном виде (где людям платят за оценки пар, но при этом требуют соблюдения правил из 20-страничной инструкции).
Думаю, он очень полезный для тренировки ассистентов программистам, так как данные собранны со StackOverflow.
Сначала отобрали все вопросы, у которых было больше двух ответов.
Затем проставили оценки ответам по формуле
score = log2 (1 + upvotes)
, и накидывали ещё +1, если ответ был принят автором.Затем создавали пары для тренировки отдельной Reward Model по этому score (какой ответ должен быть отранжирован ниже, какой - выше).
В целом, повторяют подход Antropic из этой статьи, на неё же и ссылаются.
Ещё незаметно для меня вышел датасет от Стэнфорда - вот тут. В целом - то же самое, только с комментариями с Reddit, и ещё учитывают разницу во времени публикации. Это логично - может, один комментарий получил больше лайков только потому, что его опубликовали на неделю раньше, а свежий просто не залетел в топ.
Всё разбито по сабреддитам, внутри которых размеры варьируются от 3к до 57к примеров. С одной стороны немного, с другой - OpenAI тюнили первые версии InstructGPT на где-то 50-60к примеров, то есть сопоставимо.
Ну што, вперёд обучать PPOошки?
UPD: очень хочется посмотреть на результаты экспериментов, чтобы понять, насколько такой сбор проигрывает (или выигрывает?) сбору данных в онлайне, и в более качественном виде (где людям платят за оценки пар, но при этом требуют соблюдения правил из 20-страничной инструкции).
Напоминаю, что каждый раз, когда сервисы OpenAI недоступны (на неделе было отключение API на 2+ суток, например), есть маленький шанс, что это ИИ выбрался и начал буянить...💀
Интересно, а стоки дают😄 🤔 или хотя бы место в бункере...
Интересно, а стоки дают
Please open Telegram to view this post
VIEW IN TELEGRAM
JUST IN: META обучили семейство моделей LLaMA (7B, 13B, 33B и 65B параметров), однако не всё так просто:
> Access to the model will be granted on a case-by-case basis to academic researchers
Модель 65B обучена с +- тем же вычислительным бюджетом, что и GPT-3, но на большем количестве токенов (~оптимальном для выхода на плато):
> We trained LLaMA 65B and LLaMA 33B on 1.4 trillion tokens. Our smallest model, LLaMA 7B, is trained on one trillion tokens.
Модели мультиязычные (20 языков в датасете).
Метрики на уровне или чуть лучше, чем у GPT-3, правда я так и не понял, идёт ли сравнение с версией 2020го года или существенно улучшенной GPT-3.5 2022го.
Статья (pdf): ссылка.
> Access to the model will be granted on a case-by-case basis to academic researchers
Модель 65B обучена с +- тем же вычислительным бюджетом, что и GPT-3, но на большем количестве токенов (~оптимальном для выхода на плато):
> We trained LLaMA 65B and LLaMA 33B on 1.4 trillion tokens. Our smallest model, LLaMA 7B, is trained on one trillion tokens.
Модели мультиязычные (20 языков в датасете).
Метрики на уровне или чуть лучше, чем у GPT-3, правда я так и не понял, идёт ли сравнение с версией 2020го года или существенно улучшенной GPT-3.5 2022го.
Статья (pdf): ссылка.
Новый пост OpenAI, На этот раз - про AGI и будущее от СЕО компании Sam Altman.
Тезисы:
> As our systems get closer to AGI, we are becoming increasingly cautious with the creation and deployment of our models.
Означает ли это, что GPT-4 уже как бы есть, но как бы не публикуется..?🤔
> we hope for a global conversation about three key questions: how to govern these systems, how to fairly distribute the benefits they generate, and how to fairly share access.
> We have a cap on the returns our shareholders can earn so that we aren’t incentivized to attempt to capture value without bound and risk deploying something potentially catastrophically dangerous
(тут Сидни/Bing немного удивились, но ладно)
Тезисы:
> As our systems get closer to AGI, we are becoming increasingly cautious with the creation and deployment of our models.
Означает ли это, что GPT-4 уже как бы есть, но как бы не публикуется..?
> we hope for a global conversation about three key questions: how to govern these systems, how to fairly distribute the benefits they generate, and how to fairly share access.
> We have a cap on the returns our shareholders can earn so that we aren’t incentivized to attempt to capture value without bound and risk deploying something potentially catastrophically dangerous
(тут Сидни/Bing немного удивились, но ладно)
Please open Telegram to view this post
VIEW IN TELEGRAM
Openai
Planning for AGI and beyond
Our mission is to ensure that artificial general intelligence—AI systems that are generally smarter than humans—benefits all of humanity.
Сиолошная
Ровно 5 лет назад состоялся первый демонстрационный запуск ракеты Falcon Heavy, состоящей из 3 ускорителей, каждый из которых может возвращаться обратно и садиться на землю. Очень душевный ролик, который я нет-нет, да и пересматривал все эти пять лет, тут.…
Выше в канале я затрагивал тему непонимания рынка запусков тяжелых ракет индустрией и обещал раскрыть тему. Мысли в основном из этой статьи (перевод на русский тут).
Вот есть Falcon Heavy, способный закидывать на орбиту 63 тонны - это 1/7 МКС. Вторую станцию, конечно, строить резона нет - но запускать отдельные исследовательские или промышленные модули вполне осмыслено. Но почему же за 5 лет с момента первого демонстрационного запуска было выполнено всего 5 миссией?
Всё дело в полезной нагрузке: спроектировать новый спутник или модуль это вам не пальцами щелкнуть. У современной промышленной компании это займет лет 5, у крупной бюрократичесной машины NASA+Boeing 10 лет, у России - 15-17. Так как раньше запуски были безумно дорогими (программа Falcon снизила цену за килограмм примерно в 5-10 раз), то никто и не думал такими категориями, как вывод на орбиту целых махин.
Со Starship ситуация грустнее - он должен снизить цену ещё на порядок, и при этом отодвинуть ограничения на объем и массу груза. Для сравнения: объем грузового отсека 1,100м3 (на МКС 388 кубометра жилого объема и 1,005м3 всего). Выводимая масса - от 100 до 250 тонн (25%-60% от МКС). Целевая цена запуска в возвращаемой конфигурации - $10 миллионов. Не миллиардов - миллионов. Я не хочу говорить, что можно отстроить МКС за 3-4 пуска, всё немного сложнее, но на фоне общей стоимости программы выходит, что запуски вообще бесплатные.
С такими данными любые оптимизации оборудования и фюзеляжа, использование очень дорогих легких сплавов больше не имеет смысла. Доллар, потраченный на оптимизацию массы, больше не экономит доллар, сэкономленный на стоимости запуска. Он ничего не экономит. Пришло время поднять масштаб наших амбиций и мыслить гораздо шире.
При тех же годовых затратах, что и программа Артемида от NASA, Starship мог бы доставить на Луну и обратно в 100 раз больше грузов, что означает, что вместо 2 или 3 маленьких десятитонных жилищ для экипажа в течение следующего десятилетия мы могли бы за год или два построить и запустить базу, способную разместить 1000 человек. Скорее всего, мы этого не сделаем, но мы могли бы.
Starship изменит то, как мы ведем дела в космосе, и сейчас самое время начать готовиться. Притворство, что его не существует, не является адекватной стратегией хеджированием рисков, независимо от того, полетит ли Starship в 2022, 2025 или никогда. Это просто фактор, который нельзя игнорировать.
Сейчас производство одного марсохода Perseverance обходится в $2.2 миллиарда. Почему? Потому что это сделанный на заказ, оттестированный до малейших деталей высокоустойивый к отказам штучный экземпляр. Но все мы знаем, как сильно дешевеет производство при переходе на конвеер - Генри Форд всем показал. Уже не будет важно, что из партии в 100 штук 15 сломались в первый месяц работы - хрен с ними, остальные 85 продолжают изучение. В общем случае увеличение бюджета не потребуется, это не доп. расходы для NASA - но нужно менять парадигму, готовиться к массовому произсодству, менять или дорабатывать технологии.
НО НИЧЕГО ЭТОГО НЕ ДЕЛАЕТСЯ. Причём сложно сказать, что NASA не знает про Starship или не верит в него - ведь SpaceX должны помочь вернуть человека на Луну уже в 2025м году. То есть по плану тех же NASA в 2025м будет существовать корабль, способный садиться на другие небесные тела, с объемом полезной нагрузки 1000 кубометров...и ничего.
После успеха Starship, Caterpillar, Deere или КАМАЗ смогут с минимальными изменениями вывести в космос свои существующие продукты и эксплуатировать их в космосе. Если немного поспекулировать, то какой-нибудь огромный карьерный грузовик Caterpillar уже является чрезвычайно прочным и механически надежным. McMaster-Carr уже поставляет тысячи деталей, которые работают в шахтах, на нефтяных вышках, и в любом другом количестве ужасно агрессивных сред, по сравнению с которыми вакуум космоса — восхитительная благодать :)
Вот есть Falcon Heavy, способный закидывать на орбиту 63 тонны - это 1/7 МКС. Вторую станцию, конечно, строить резона нет - но запускать отдельные исследовательские или промышленные модули вполне осмыслено. Но почему же за 5 лет с момента первого демонстрационного запуска было выполнено всего 5 миссией?
Всё дело в полезной нагрузке: спроектировать новый спутник или модуль это вам не пальцами щелкнуть. У современной промышленной компании это займет лет 5, у крупной бюрократичесной машины NASA+Boeing 10 лет, у России - 15-17. Так как раньше запуски были безумно дорогими (программа Falcon снизила цену за килограмм примерно в 5-10 раз), то никто и не думал такими категориями, как вывод на орбиту целых махин.
Со Starship ситуация грустнее - он должен снизить цену ещё на порядок, и при этом отодвинуть ограничения на объем и массу груза. Для сравнения: объем грузового отсека 1,100м3 (на МКС 388 кубометра жилого объема и 1,005м3 всего). Выводимая масса - от 100 до 250 тонн (25%-60% от МКС). Целевая цена запуска в возвращаемой конфигурации - $10 миллионов. Не миллиардов - миллионов. Я не хочу говорить, что можно отстроить МКС за 3-4 пуска, всё немного сложнее, но на фоне общей стоимости программы выходит, что запуски вообще бесплатные.
С такими данными любые оптимизации оборудования и фюзеляжа, использование очень дорогих легких сплавов больше не имеет смысла. Доллар, потраченный на оптимизацию массы, больше не экономит доллар, сэкономленный на стоимости запуска. Он ничего не экономит. Пришло время поднять масштаб наших амбиций и мыслить гораздо шире.
При тех же годовых затратах, что и программа Артемида от NASA, Starship мог бы доставить на Луну и обратно в 100 раз больше грузов, что означает, что вместо 2 или 3 маленьких десятитонных жилищ для экипажа в течение следующего десятилетия мы могли бы за год или два построить и запустить базу, способную разместить 1000 человек. Скорее всего, мы этого не сделаем, но мы могли бы.
Starship изменит то, как мы ведем дела в космосе, и сейчас самое время начать готовиться. Притворство, что его не существует, не является адекватной стратегией хеджированием рисков, независимо от того, полетит ли Starship в 2022, 2025 или никогда. Это просто фактор, который нельзя игнорировать.
Сейчас производство одного марсохода Perseverance обходится в $2.2 миллиарда. Почему? Потому что это сделанный на заказ, оттестированный до малейших деталей высокоустойивый к отказам штучный экземпляр. Но все мы знаем, как сильно дешевеет производство при переходе на конвеер - Генри Форд всем показал. Уже не будет важно, что из партии в 100 штук 15 сломались в первый месяц работы - хрен с ними, остальные 85 продолжают изучение. В общем случае увеличение бюджета не потребуется, это не доп. расходы для NASA - но нужно менять парадигму, готовиться к массовому произсодству, менять или дорабатывать технологии.
НО НИЧЕГО ЭТОГО НЕ ДЕЛАЕТСЯ. Причём сложно сказать, что NASA не знает про Starship или не верит в него - ведь SpaceX должны помочь вернуть человека на Луну уже в 2025м году. То есть по плану тех же NASA в 2025м будет существовать корабль, способный садиться на другие небесные тела, с объемом полезной нагрузки 1000 кубометров...и ничего.
После успеха Starship, Caterpillar, Deere или КАМАЗ смогут с минимальными изменениями вывести в космос свои существующие продукты и эксплуатировать их в космосе. Если немного поспекулировать, то какой-нибудь огромный карьерный грузовик Caterpillar уже является чрезвычайно прочным и механически надежным. McMaster-Carr уже поставляет тысячи деталей, которые работают в шахтах, на нефтяных вышках, и в любом другом количестве ужасно агрессивных сред, по сравнению с которыми вакуум космоса — восхитительная благодать :)
Casey Handmer's blog
Starship is Still Not Understood
Another entry into my blog series on countering misconceptions in space journalism. I discussed this post on The Space Show on November 5 2021. It has been exactly two years since my initial posts …
Сиолошная
Ровно 5 лет назад состоялся первый демонстрационный запуск ракеты Falcon Heavy, состоящей из 3 ускорителей, каждый из которых может возвращаться обратно и садиться на землю. Очень душевный ролик, который я нет-нет, да и пересматривал все эти пять лет, тут.…
И если вы думаете, что технологии не могут так дешево стоить, и просто невозможно сделать грузовик для Марса, то...вспомните, что на Марсе, блин, летает вертолет, который сделали за $80м по остаточному принципу, на котором даже стоит не какой-то суперультразащищенный процессор, а обычный Snapdragon (как в телефонах). Производство 100 таких вертолетов с меньшим количеством ограничений (вес, материалы) едва ли стоило бы хотя бы 10 раз дороже.
😢 грустно
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Dealer.AI
Раз уж AI всё ещё на хайпе;) У нас всё ещё есть возможность оседлать новую волну в NLP. Поэтому, если Вам интересна эта тема или Вы хотите к ней приобщиться, вот Вам воскресняя подборка выступлений моих хороших знакомых и меня конечно же.
1. Лекция о том, как строят при помощи NLP голосовых ассистентов: продуктовый, retrieval, generative подход.
2. Выступление на DataFest2022 NLP секция про KNN LM (кстати всё ещё очень актуальный подход). Часть 1, часть 2. Автор @seeyouall.
3. Наше последнее в 2022 году представление об современном retrieval и как в нём помогает RL-critic.
4. Рассказ об ChatGPT от AIRI @anvarki. Спасибо за приглашение, Анвар ;)
Всем продуктивного вечера)
1. Лекция о том, как строят при помощи NLP голосовых ассистентов: продуктовый, retrieval, generative подход.
2. Выступление на DataFest2022 NLP секция про KNN LM (кстати всё ещё очень актуальный подход). Часть 1, часть 2. Автор @seeyouall.
3. Наше последнее в 2022 году представление об современном retrieval и как в нём помогает RL-critic.
4. Рассказ об ChatGPT от AIRI @anvarki. Спасибо за приглашение, Анвар ;)
Всем продуктивного вечера)
YouTube
[ИТ-лекторий] «Собеседник: как болтают виртуальные ассистенты Салют»
Сотрудники Сбера рассказывают про автоматическую обработку естественного языка: какие бывают модели: какие и как используем мы; Retrieval, Generative, Scenario; как мы строим «характеры» наших собеседников; эмпатия виртуальных ассистентов; проактивность –…
Обнаружил, что мой приятель-тимлид Саша недавно завёл свой ТГ канал. Мы с Сашей часто общаемся по поводу новых и старых подходов в NLP, обсуждаем статейки и делимся друг с другом опытом/наблюдениями.
На канале уже есть крутые посты с разбором статей, которые у меня ещё только в ридинг-листе на будущее отложены (например).
Увидел вот пост с обзором разных подходов, был приятно удивлён, что затесались сюда и мои лекции :)
В общем, если хочется чуть более технического погружения, или вы искали, чем полезным заняться/что посмотреть в воскресенье - welcome.
P.S.: напоминаю, что у меня в канале нет рекламы, и я рекомендую или форваржу только то, что читаю сам (см. запиненное сообщение сверху).
На канале уже есть крутые посты с разбором статей, которые у меня ещё только в ридинг-листе на будущее отложены (например).
Увидел вот пост с обзором разных подходов, был приятно удивлён, что затесались сюда и мои лекции :)
В общем, если хочется чуть более технического погружения, или вы искали, чем полезным заняться/что посмотреть в воскресенье - welcome.
P.S.: напоминаю, что у меня в канале нет рекламы, и я рекомендую или форваржу только то, что читаю сам (см. запиненное сообщение сверху).
Telegram
Dealer.AI
Борьба за фактологическую достоверность или как взять GPT за RAGа.
Постом выше упомянул вскользь RAG, а на самом деле, хоть штука уже и старая (первые работы аж 2020-2021 гг.), но интересная. А сейчас вообще retrieval augmented generation получает свой…
Постом выше упомянул вскользь RAG, а на самом деле, хоть штука уже и старая (первые работы аж 2020-2021 гг.), но интересная. А сейчас вообще retrieval augmented generation получает свой…
Сиолошная
Есть такой человек, Matei Zaharia. Он разработал более удобную и быструю альтернативу фреймворку MapReduce для обработки больших данных под названием Spark (Apache Spark после передачи в фонд). И сделал он это во время обучения в университете как часть PhD.…
Обнаружил, что в рамках Стэнфордского курса CS224U (Natural Language Understanding) были записаны подкасты с очень клёвыми личностями. Для подкастов есть полные транскрипты, а на главной - ссылки на подкаст-площадки, чтоб слушать можно было где удобно и где угодно :)
Ведущий подкаста - профессор Стэнфорда, оч крутой рассказчик, одна из его лекций уже была выше на канале.
Делюсь с вами:
- (тык) Richard Socher, PhD из Сэнфорда, который ушел делать you.com. Это по сути ChatGPT + Bing, который вышел раньше самого решения от Bing;
- (тык) Omar Khattab, автор и соавтор очень клевых статей, про которые я частично уже писал (SotA в Information retrieval ColBERT, DSP, см. реплай);
- (тык) Douwe Kiela, бывший Head of Research в HuggingFace 🤗;
- (тык) Sasha Rush, сотрудник HuggingFace, со-автор модели T0.
Все подкасты можно найти тут.
Сам пока послушал только половинку первого - спешил поделиться с вами🏃 🏃♂️ , но в качестве остальных даже не сомневаюсь.
Ведущий подкаста - профессор Стэнфорда, оч крутой рассказчик, одна из его лекций уже была выше на канале.
Делюсь с вами:
- (тык) Richard Socher, PhD из Сэнфорда, который ушел делать you.com. Это по сути ChatGPT + Bing, который вышел раньше самого решения от Bing;
- (тык) Omar Khattab, автор и соавтор очень клевых статей, про которые я частично уже писал (SotA в Information retrieval ColBERT, DSP, см. реплай);
- (тык) Douwe Kiela, бывший Head of Research в HuggingFace 🤗;
- (тык) Sasha Rush, сотрудник HuggingFace, со-автор модели T0.
Все подкасты можно найти тут.
Сам пока послушал только половинку первого - спешил поделиться с вами
Please open Telegram to view this post
VIEW IN TELEGRAM
ChatGPT в массы!
OpenAI только что написали, что теперь ChatGPT доступна по API, то есть каждый разработчик может добавить её в своё приложение буквально за один вечер. Из интересного - пишут, что с декабря достигли 90% снижения трат через разные оптимизации.
Цена в 10 раз ниже самой мощной GPT-3.5, которая была доступна для этого. Вероятнее всего, модель уменьшили в размерах (то есть это может быть условно не 175B, а 6.7B модель, которая тоже очень неплоха).
Еще объявили о нескольких интеграциях, например, в Quizlet -сервис, способствующий обучению и изучению новых тем. Теперь будет доступен персональный AI-преподаватель, который подскажет и объяснит.
Instacart позволить покупателям задавать вопросы о еде («Как приготовить рыбные тако?» или «Предложи здоровый обед для моих детей») и получать вдохновляющие ответы, содержащие ссылки на товары, которые можно купить в один клик. Пока из того что видел - первая подобная интеграция, некоторого рода "продукт-плейсмент". Вижу применение этого и в поисковых чатботах - когда в выдачу подмешиваются ссылки, за которые заплатили.
Техническая инфа: теперь для запроса в модель нужно указывать не только текст для продолжения, но и дополнительные штучки - их перечень сведён в Chat Markup Language (“ChatML”). В частности, предполагаются "роли", так как модель была заточена под диалог - есть AI-ассистент, который пишет ответы, и есть "человек", пишущий сообщения с вашей стороны.
И напоследок важное:
> Data submitted through the API is no longer used for service improvements (including model training) unless the organization opts in
Теперь данные клиентов не будут использоваться для дообучения в будущем!
OpenAI только что написали, что теперь ChatGPT доступна по API, то есть каждый разработчик может добавить её в своё приложение буквально за один вечер. Из интересного - пишут, что с декабря достигли 90% снижения трат через разные оптимизации.
Цена в 10 раз ниже самой мощной GPT-3.5, которая была доступна для этого. Вероятнее всего, модель уменьшили в размерах (то есть это может быть условно не 175B, а 6.7B модель, которая тоже очень неплоха).
Еще объявили о нескольких интеграциях, например, в Quizlet -сервис, способствующий обучению и изучению новых тем. Теперь будет доступен персональный AI-преподаватель, который подскажет и объяснит.
Instacart позволить покупателям задавать вопросы о еде («Как приготовить рыбные тако?» или «Предложи здоровый обед для моих детей») и получать вдохновляющие ответы, содержащие ссылки на товары, которые можно купить в один клик. Пока из того что видел - первая подобная интеграция, некоторого рода "продукт-плейсмент". Вижу применение этого и в поисковых чатботах - когда в выдачу подмешиваются ссылки, за которые заплатили.
Техническая инфа: теперь для запроса в модель нужно указывать не только текст для продолжения, но и дополнительные штучки - их перечень сведён в Chat Markup Language (“ChatML”). В частности, предполагаются "роли", так как модель была заточена под диалог - есть AI-ассистент, который пишет ответы, и есть "человек", пишущий сообщения с вашей стороны.
И напоследок важное:
> Data submitted through the API is no longer used for service improvements (including model training) unless the organization opts in
Теперь данные клиентов не будут использоваться для дообучения в будущем!
Сиолошная
ChatGPT в массы! OpenAI только что написали, что теперь ChatGPT доступна по API, то есть каждый разработчик может добавить её в своё приложение буквально за один вечер. Из интересного - пишут, что с декабря достигли 90% снижения трат через разные оптимизации.…
Ещё интересного - теперь модели будут обновляться, дообучаась на новых примерах с некоторой периодичностью.
С одной стороны плюс - будут up to date, и в теории должны работать чуть лучше с каждой итерацией. С другой - можно выстрелить себе в ногу, если вдруг произойдет деградация качества - ну вот перестали ваши промпты волшебные работать, и всё! Бизнес можно закрывать...
Сейчас, например, доступна модель
С одной стороны плюс - будут up to date, и в теории должны работать чуть лучше с каждой итерацией. С другой - можно выстрелить себе в ногу, если вдруг произойдет деградация качества - ну вот перестали ваши промпты волшебные работать, и всё! Бизнес можно закрывать...
Сейчас, например, доступна модель
gpt-3.5-turbo-0301
, то есть от первого марта. Указано, что она будет поддерживаться до 1го июня 2023го, то есть 3 месяца, и не будет получать обновлений.Посмотрел семинар Стэнфорда про Open Pretrained Transformers (OPT)- GPT-3 от Facebook, которая была выпущена и опубликована в первой половине 2022го года (открыто доступны модели до 66 миллиардов параметров, самая большая как GPT-3 - только по заявке, с описанием, зачем вам).
Рассказчица - Susan Zhang, поработавшая до этого в OpenAI над нейронкой, которая играла в DotA 2 (и выигрывала кожаных!). Это, как я понимаю, был её первый проект в Facebook.
Из интересного - узнал, что первые 3 месяца (из 4) проектом занималась команда из всего 5(!) человек. Да, была ещё поддержка с инфрастуктурой, но без выделенных специалистов - в общем порядке, как и любой другой пользователь кластера. Вероятно, была поставлена задача любыми силами до конца 2021го года обучить что-то сравнимое с GPT-3, так как несколько раз в презентации Susan ссылается на то, что сроки поджимали, и вообще горело.
В обучении больших трансфомреров две проблемы:
1) ошибки в инфраструктуре, драйверах или видеокарточках, когда отключается одна - и останавливается вся тренировка. В итоге для обучения модели было сделано 56 запусков (с восстановлением из предыдущего сохранения). Люди буквально сидели и мониторили сутками дэшборды, выискивая на графиках неисправности, и в таком дежурном режиме и доучили модель.
2) нестабильность, когда малейшие изменения параметров приводят к тому, что модель расходится и перестаёт обучаться совсем. Проект как раз и начали с того, что собрали все практики внутри фейсбука, и пробовали обучать с ними, но чем больше поджимало время - тем больше они перезаимствовали наработки OpenAI по обучению GPT-3, а также Megatron-LM от Microsoft. Какой-то системности я не обнаружил, но это и ожидаемо - людей мало, полкой подгоняют, ужас!
В этом плане мне куда больше понравился рассказ от ребят из Яндекса про их YaLM, какие трудности решались для непрерывного обучения модели на 100B параметров. Кому интересно углубиться в технические детали - рекомендую ознакомиться. Разработка происходила параллельно OPT, то есть модели +- ровесники в плане технологий, которые были на этапе обучения.
Рассказчица - Susan Zhang, поработавшая до этого в OpenAI над нейронкой, которая играла в DotA 2 (и выигрывала кожаных!). Это, как я понимаю, был её первый проект в Facebook.
Из интересного - узнал, что первые 3 месяца (из 4) проектом занималась команда из всего 5(!) человек. Да, была ещё поддержка с инфрастуктурой, но без выделенных специалистов - в общем порядке, как и любой другой пользователь кластера. Вероятно, была поставлена задача любыми силами до конца 2021го года обучить что-то сравнимое с GPT-3, так как несколько раз в презентации Susan ссылается на то, что сроки поджимали, и вообще горело.
В обучении больших трансфомреров две проблемы:
1) ошибки в инфраструктуре, драйверах или видеокарточках, когда отключается одна - и останавливается вся тренировка. В итоге для обучения модели было сделано 56 запусков (с восстановлением из предыдущего сохранения). Люди буквально сидели и мониторили сутками дэшборды, выискивая на графиках неисправности, и в таком дежурном режиме и доучили модель.
2) нестабильность, когда малейшие изменения параметров приводят к тому, что модель расходится и перестаёт обучаться совсем. Проект как раз и начали с того, что собрали все практики внутри фейсбука, и пробовали обучать с ними, но чем больше поджимало время - тем больше они перезаимствовали наработки OpenAI по обучению GPT-3, а также Megatron-LM от Microsoft. Какой-то системности я не обнаружил, но это и ожидаемо - людей мало, полкой подгоняют, ужас!
В этом плане мне куда больше понравился рассказ от ребят из Яндекса про их YaLM, какие трудности решались для непрерывного обучения модели на 100B параметров. Кому интересно углубиться в технические детали - рекомендую ознакомиться. Разработка происходила параллельно OPT, то есть модели +- ровесники в плане технологий, которые были на этапе обучения.
Новая вакансия!
2 дня назад появилась на сайте OpenAI: Software Engineering Manager — Accelerator Optimization
По зарплате всё по красоте: $370,000 – $600,000 до налогов, и это без учета бонусов и акций (на будущее...если оно настанет).
Если хочется словить экзистенциальный кризис - сходите почитать требования и поставленные задачи😁 (😞 )
Но я бы не делился этим просто так. В вакансии есть интересная строчка "We’re forming a new team to work with our partners on accelerator optimization and co-design, and are looking for a founding tech lead and engineering manager.".
То есть они пойдут прямо по пути Tesla, которые начали разрабатывать свои ускорители взамен GPU (DOJO), которые заточены именно под их задачи, под их модели. Ну или делать какую-то специфичную железку вместе с партнерами (Nvidia как вариант), чтоб не всё с нуля.
Видится мне, что через года 3-4 такие решения существенно будут влиять на стоимости обучения и применения сеток, и возможность резать косты - это прям мастхэв, если модельки вроде ChatGPT пойдутв каждый дом в каждое приложение, от Snapchat до Instacart (об этом писал выше).
Напомню, что OpenAI - это не контора, которая взялась изниоткуда и сделала чатбота - у них есть и модели для генерации изображений (появившиеся до StableDiffusion), и даже боты для игры в Dota 2. Уверен, работа кипит по всем фронтам - 3D, генерация музыки, видеоконтента, и так далее.
УХХХХХ, какое нас ждет десятилетие!
2 дня назад появилась на сайте OpenAI: Software Engineering Manager — Accelerator Optimization
По зарплате всё по красоте: $370,000 – $600,000 до налогов, и это без учета бонусов и акций (на будущее...если оно настанет).
Если хочется словить экзистенциальный кризис - сходите почитать требования и поставленные задачи
Но я бы не делился этим просто так. В вакансии есть интересная строчка "We’re forming a new team to work with our partners on accelerator optimization and co-design, and are looking for a founding tech lead and engineering manager.".
То есть они пойдут прямо по пути Tesla, которые начали разрабатывать свои ускорители взамен GPU (DOJO), которые заточены именно под их задачи, под их модели. Ну или делать какую-то специфичную железку вместе с партнерами (Nvidia как вариант), чтоб не всё с нуля.
Видится мне, что через года 3-4 такие решения существенно будут влиять на стоимости обучения и применения сеток, и возможность резать косты - это прям мастхэв, если модельки вроде ChatGPT пойдут
Напомню, что OpenAI - это не контора, которая взялась изниоткуда и сделала чатбота - у них есть и модели для генерации изображений (появившиеся до StableDiffusion), и даже боты для игры в Dota 2. Уверен, работа кипит по всем фронтам - 3D, генерация музыки, видеоконтента, и так далее.
УХХХХХ, какое нас ждет десятилетие!
Please open Telegram to view this post
VIEW IN TELEGRAM
В MIT Economics вышла очень интересная статья (ссылка на pdf).
Проводится эксперимент, в котором 444 людям предлагается решать какие-то задачи, связанные с написанием текстов: составление пресс-релизов, кратких отчетов, аналитических планов и рабочих имейлов, примерно по 20-30-минут каждая.
Случайно выбранные 50% участников получают указание зарегистрироваться в ChatGPT между первым и вторым заданием, затем им рассказывают, как его использовать, и говорят, что разрешается прибегать к помощи ChatGPT во втором задании, если они находят это полезным.
Результаты показывают, что ChatGPT существенно повышает среднюю производительность: затрачиваемое время уменьшается, а качество выполнения задач повышается (см.картинку). Причем, неравенство между работниками уменьшается, поскольку ChatGPT приносит большую пользу работникам с низкими способностями (определенными с помощью оценки на первой решаемой задаче).
ChatGPT в основном заменяет части работы людей, а не дополняет их навыки, и реструктурирует задачи в сторону генерации идей и редактирования, а не написание драфтов/черновиков. Знакомство с ChatGPT повышает удовлетворенность работой (серьёзно, людям больше понравилось выполнять задачи!) и эффективность.
Проводится эксперимент, в котором 444 людям предлагается решать какие-то задачи, связанные с написанием текстов: составление пресс-релизов, кратких отчетов, аналитических планов и рабочих имейлов, примерно по 20-30-минут каждая.
Случайно выбранные 50% участников получают указание зарегистрироваться в ChatGPT между первым и вторым заданием, затем им рассказывают, как его использовать, и говорят, что разрешается прибегать к помощи ChatGPT во втором задании, если они находят это полезным.
Результаты показывают, что ChatGPT существенно повышает среднюю производительность: затрачиваемое время уменьшается, а качество выполнения задач повышается (см.картинку). Причем, неравенство между работниками уменьшается, поскольку ChatGPT приносит большую пользу работникам с низкими способностями (определенными с помощью оценки на первой решаемой задаче).
ChatGPT в основном заменяет части работы людей, а не дополняет их навыки, и реструктурирует задачи в сторону генерации идей и редактирования, а не написание драфтов/черновиков. Знакомство с ChatGPT повышает удовлетворенность работой (серьёзно, людям больше понравилось выполнять задачи!) и эффективность.
Незаметно для многих осенью 2022го года OpenAI анонсировали программу инвестирования в стартапы на $100M, а также свой собственный акселератор
Хочу напомнить, что СЕО OpenAI - это Sam Altman, бывший директор самого престижного и одного из старейших стартап-инкубаторов Y Combinator (с этой истории я начинал свой канал, см. вот этот пост). Дядька, в общем, явно с опытом и насмотренностью, с чётким видением и далеко идущими планами.
Основной фокус же фонда OpenAI - это стартапы, которые будут трансформировать с помощью ИИ очень важные индустрии вроде здравоохранения, изменения климата, образования, а также те, которые могут совершить прорывы в продуктивности людей с помощью умных AI-ассистентов вроде ChatGPT.
В конце января стало известно, какие стартапы туда прошли - см. картинку, на ней указаны названия и краткое описание направления работ.
Занятно, что первый батч стартапов запустился 5го декабря, а закончился 27го января. То есть команды очень тесно работали почти два месяца со спецами OpenAI в эпоху расцвета ChatGPT и ассистента в Bing, и, вероятнее всего, получают огромное количество ценнейшего hands-on опыта работы как с этими моделями, так и с preview-версиями условной GPT-4.
Блестяще, мистер Альтман!
Converge
. Идея такова, что они хотят отобрать примерно 10 идей, проинвестировать в них по $1М и - самое главное - предоставить ранний доступ к своим внутренним разработкам. Это пятинедельная программа с жёстким отбором для выдающихся инженеров, дизайнеров, исследователей и разработчиков продуктов, использующих ИИ.Хочу напомнить, что СЕО OpenAI - это Sam Altman, бывший директор самого престижного и одного из старейших стартап-инкубаторов Y Combinator (с этой истории я начинал свой канал, см. вот этот пост). Дядька, в общем, явно с опытом и насмотренностью, с чётким видением и далеко идущими планами.
Основной фокус же фонда OpenAI - это стартапы, которые будут трансформировать с помощью ИИ очень важные индустрии вроде здравоохранения, изменения климата, образования, а также те, которые могут совершить прорывы в продуктивности людей с помощью умных AI-ассистентов вроде ChatGPT.
В конце января стало известно, какие стартапы туда прошли - см. картинку, на ней указаны названия и краткое описание направления работ.
Занятно, что первый батч стартапов запустился 5го декабря, а закончился 27го января. То есть команды очень тесно работали почти два месяца со спецами OpenAI в эпоху расцвета ChatGPT и ассистента в Bing, и, вероятнее всего, получают огромное количество ценнейшего hands-on опыта работы как с этими моделями, так и с preview-версиями условной GPT-4.
Блестяще, мистер Альтман!
Сиолошная
Незаметно для многих осенью 2022го года OpenAI анонсировали программу инвестирования в стартапы на $100M, а также свой собственный акселератор Converge. Идея такова, что они хотят отобрать примерно 10 идей, проинвестировать в них по $1М и - самое главное …
Пара слов про стартапы, в которые закинули деньги (с офф. страницы самого фонда):
Harvey (Specter?) - интуитивно понятный интерфейс для всех юридических рабочих процессов, тесно связанный с языковыми моделями и чатботами. Их технология расширяет возможности юриста за счет использования AI-ассистента, чтобы сделать утомительные задачи, такие как исследование/подготовка, анализ и даже общение с клиентами проще и эффективнее. Это экономит время юристов и в конечном итоге позволяет им предоставлять более качественные услуги большему количеству клиентов. Понятно (и приятно), что нейронка не забудет какой-то важный закон или поправку, принятую буквально позавчера в последнем чтении, а для прецедентных судебных систем (например, в США) так вообще будет сканировать все 100500 преступлений за века и "подсказывать", какие из них можно использовать как аргументы.
Mem - аналог Notion, но, как вы уже поняли, с AI-ассистентом, который подключается к разным источникам данных и подсказывает вам во время написания текстов, какая информация будет наиболее актуальна в заданном контексте (брейншторм/драфт письма/питч/подготовка к выступлению..)
Speak - очевидный юзкейс помощи людям в изучении языков. Для большинства задач не нужен человек, слушать произношение, проводить диалог с внедрением новых изучаемых слов, отлавливать грамматические ошибки - ведь всё это автоматизируется. В общем, их цель состоит в том, чтобы сделать общение на английском языке более доступным и, в конечном итоге, помочь сотням миллионов людей обрести языковые навыки. Верю, что уже мои дети будут изучать не только языки, но и вообще все предметы с помощью таких ассистентов (но и людей, конечно, тоже).
Harvey (Specter?) - интуитивно понятный интерфейс для всех юридических рабочих процессов, тесно связанный с языковыми моделями и чатботами. Их технология расширяет возможности юриста за счет использования AI-ассистента, чтобы сделать утомительные задачи, такие как исследование/подготовка, анализ и даже общение с клиентами проще и эффективнее. Это экономит время юристов и в конечном итоге позволяет им предоставлять более качественные услуги большему количеству клиентов. Понятно (и приятно), что нейронка не забудет какой-то важный закон или поправку, принятую буквально позавчера в последнем чтении, а для прецедентных судебных систем (например, в США) так вообще будет сканировать все 100500 преступлений за века и "подсказывать", какие из них можно использовать как аргументы.
Mem - аналог Notion, но, как вы уже поняли, с AI-ассистентом, который подключается к разным источникам данных и подсказывает вам во время написания текстов, какая информация будет наиболее актуальна в заданном контексте (брейншторм/драфт письма/питч/подготовка к выступлению..)
Speak - очевидный юзкейс помощи людям в изучении языков. Для большинства задач не нужен человек, слушать произношение, проводить диалог с внедрением новых изучаемых слов, отлавливать грамматические ошибки - ведь всё это автоматизируется. В общем, их цель состоит в том, чтобы сделать общение на английском языке более доступным и, в конечном итоге, помочь сотням миллионов людей обрести языковые навыки. Верю, что уже мои дети будут изучать не только языки, но и вообще все предметы с помощью таких ассистентов (но и людей, конечно, тоже).
Сиолошная
интересная картинка "метрика". Guess what happened :)
(мем вышел слишком сложным)
Дам альтернативную подпись к картинке: "Последнее изобретение человечества".
Дам альтернативную подпись к картинке: "Последнее изобретение человечества".
Вышла! Вышла! Вышла!
Я думал, что с таких слов и криков восторга начну сообщение в день, когда OpenAI опубликует статью по GPT-4. Время шло, статьи или даже блогпоста не было, зато в наш мир пришла ChatGPT. Про неё, кажется, слышали уже все - даже три моих преподавателя по английскому (из трёх!) спрашивают про эту модель!
Однако есть очевидная проблема - очень мало кто понимает, по каким принципам работает ChatGPT, что за магия происходит у неё внутри? А главное - пора ли уже перемещать весь цикл фильмов про Терминатора в раздел «документальное кино» на Кинопоиске?
Ответы на эти и бесчисленное множество других вопросов мы запихнули в новую статью под названием «Эволюция нейросетей от Т9 до ChatGPT: объясняем на простом русском, как работают языковые модели».
Я пишу "мы" потому, что эта статья - результат совместной работы с Павлом Комаровским, автором канала @RationalAnswer про разумные ответы на жизненные вопросы про финансы. Я его читаю уже больше года точно, и был ОЧЕНЬ удивлён предложению поработать вдвоём над объяснением для широких масс от столь опытного автора.
Мы потратили много усилий и времени, чтобы сделать материал интересным и понятным для каждого, особенно для не-технарей.
Читать статью: https://habr.com/ru/company/ods/blog/716918/
Если текст вам понравился, то мы будем благодарны за ваши лайки. Вопросы в комментариях тут и на сайте - приветствуются!
P.S. Не забудьте еще посмотреть на контент из канала @RationalAnswer Павла, уверен, что сейчас его советы и опыт актуальны для людей как никогда - всё таки человек больше 10 лет трудился в сфере фин. аудита и консалтинга (привет рыбятам из Маккинзи). Все его лонгриды я перечитал на два раза за последние 3 месяца, так как регулярно перелетаю из одной страны в другую 🙃 Но помимо этого есть куча познавательных видео и интервью, да хоть с тем же Вастриком.
Хабр
Как работает ChatGPT: объясняем на простом русском эволюцию языковых моделей с T9 до чуда
В последнее время нам почти каждый день рассказывают в новостях, какие очередные вершины покорили языковые нейросетки, и почему они уже через месяц совершенно точно оставят лично вас...
Поздравляю всех женщин с Международным женским днем! Сегодня мы празднуем ваши достижения и вашу силу, стойкость и решимость перед лицом невзгод. Вы вдохновляете нас каждый день своим великолепием, творчеством и состраданием, и мы благодарны вам за все, что вы делаете, чтобы сделать мир лучше.
Сегодня мы также признаем, что еще многое предстоит сделать для достижения равенства и обеспечения того, чтобы женщины имели те же возможности, права и свободы, что и мужчины. Но благодаря вашему лидерству, вашему мужеству и вашей непоколебимой приверженности справедливости и равенству мы знаем, что можем добиться прогресса на пути к более справедливому и равноправному миру.
Итак, всем женщинам - мы салютуем вам! Спасибо за все, что вы делаете, и пусть вы продолжаете ярко сиять и вдохновлять всех нас своим невероятным духом и своим безграничным потенциалом.
Be the change you wish to see in the world.
— — — — —
Текст: ChatGPT + я
Картинка: Midjourney
Сегодня мы также признаем, что еще многое предстоит сделать для достижения равенства и обеспечения того, чтобы женщины имели те же возможности, права и свободы, что и мужчины. Но благодаря вашему лидерству, вашему мужеству и вашей непоколебимой приверженности справедливости и равенству мы знаем, что можем добиться прогресса на пути к более справедливому и равноправному миру.
Итак, всем женщинам - мы салютуем вам! Спасибо за все, что вы делаете, и пусть вы продолжаете ярко сиять и вдохновлять всех нас своим невероятным духом и своим безграничным потенциалом.
Be the change you wish to see in the world.
— — — — —
Текст: ChatGPT + я
Картинка: Midjourney