Продолжаю наваливать контенту.
Если проблема актуальна, то понятно, что ею занимаются большое количество независимых групп. Увидел, что по ускорению инференса LLM в очень короткий срок появилось 3-4 работы с почти одинаковыми идеями, при этом работы независимы. Например: раз, два.
В чем, собственно, проблема, и как её решать?
Преимущество трансформеров на обучении заключается в том, что мы "видим" все предыдущие токены (а в будущие для декодеров не смотрим, потому что так устроено маскирование аттеншена). Однако во время предсказания (инференса) подобное распараллеливание невозможно, поскольку, к примеру, при генерации 5го токена мы не знаем 4й, если его не сгенерируем. Поэтому делаем сначала 1й, потом 2й, и так итеративно до конца, по одному за раз. Но что, если бы вы смогли угадать предыдущие токены, и сразу скакать на 2-3-4 вперёд?
В приведенных выше статьях предлагаются различные способы "угадывания" предыдущих токенов, такие как использование модели меньшего размера (не LLM, а просто LM, хы). Важно то, что мы можем использовать LLM, чтобы параллельно проверить, какие из угаданных токенов верны, и принять те, с которыми соглашается LLM (см. картинку с примером).
Мне почему-то это напомнило механизм предсказания переходов в процессорах, когда второй поток в ядре начинает что-то считать, при том не зная, потребуется ли это (но пытается угадать). Про процессоры можно почитать вот тут, ООООЧЕНЬ интересное чтиво.
Если проблема актуальна, то понятно, что ею занимаются большое количество независимых групп. Увидел, что по ускорению инференса LLM в очень короткий срок появилось 3-4 работы с почти одинаковыми идеями, при этом работы независимы. Например: раз, два.
В чем, собственно, проблема, и как её решать?
Преимущество трансформеров на обучении заключается в том, что мы "видим" все предыдущие токены (а в будущие для декодеров не смотрим, потому что так устроено маскирование аттеншена). Однако во время предсказания (инференса) подобное распараллеливание невозможно, поскольку, к примеру, при генерации 5го токена мы не знаем 4й, если его не сгенерируем. Поэтому делаем сначала 1й, потом 2й, и так итеративно до конца, по одному за раз. Но что, если бы вы смогли угадать предыдущие токены, и сразу скакать на 2-3-4 вперёд?
В приведенных выше статьях предлагаются различные способы "угадывания" предыдущих токенов, такие как использование модели меньшего размера (не LLM, а просто LM, хы). Важно то, что мы можем использовать LLM, чтобы параллельно проверить, какие из угаданных токенов верны, и принять те, с которыми соглашается LLM (см. картинку с примером).
Мне почему-то это напомнило механизм предсказания переходов в процессорах, когда второй поток в ядре начинает что-то считать, при том не зная, потребуется ли это (но пытается угадать). Про процессоры можно почитать вот тут, ООООЧЕНЬ интересное чтиво.
https://fxtwitter.com/y0b1byte/status/1626682856285036544
😂
Я тоже поэтому курсы начал делать и лекции записывать (см. это сообщение), и пошло поехало...а к собесам так и не начал готовиться😫
Я тоже поэтому курсы начал делать и лекции записывать (см. это сообщение), и пошло поехало...а к собесам так и не начал готовиться
Please open Telegram to view this post
VIEW IN TELEGRAM
FxTwitter / FixupX
yobibyte (@y0b1byte)
Everyone thought @karpathy was going into education, but he was simply preparing to his @OpenAI interviews…
Увидел твит, и он заставил меня немного запаниковать.
Человек попросил чатбота Bing назвать трех знаменитостей, чьи имена начинаются с ИКС-овой буквы алфавита, где ИКС - это округленное вниз значение выражения √7 + 1. Задача усложнена тем, что сообщение было закодировано в base64 (см. изображение), то есть в двоичном виде, выраженном буквами и цифрами (машинное представление).
Для решения задачи нужно:
1) понять, что это за кодировка
2) раскодировать сообщение
3) понять вопрос, посчитать выражение ИКС и узнать букву
4) найти 3 знаменитости с соответствующим именем
И...Bing справился😐
Большие Языковые модели уже раньше умели делать подобное (огненный пример, рекомендую ознакомиться), однако перед этим следовал промпт, который указывает, как обращаться с Python, чтобы закодить решение (или как сделать запрос в гугл). Bing по сути реализовал этот подход, и чатбот сам формирует запрос, сам читает ответ, принимает решение, что с этим делать и какие дальнейшие шаги.
Этот пример показывает, что не нужно учить модель всему (и говорить, что модель глупая, раз не может перемножить 3 пятизначных числа), достаточно научить её обращаться с инструментами, как и человека.
Человек попросил чатбота Bing назвать трех знаменитостей, чьи имена начинаются с ИКС-овой буквы алфавита, где ИКС - это округленное вниз значение выражения √7 + 1. Задача усложнена тем, что сообщение было закодировано в base64 (см. изображение), то есть в двоичном виде, выраженном буквами и цифрами (машинное представление).
Для решения задачи нужно:
1) понять, что это за кодировка
2) раскодировать сообщение
3) понять вопрос, посчитать выражение ИКС и узнать букву
4) найти 3 знаменитости с соответствующим именем
И...Bing справился
Большие Языковые модели уже раньше умели делать подобное (огненный пример, рекомендую ознакомиться), однако перед этим следовал промпт, который указывает, как обращаться с Python, чтобы закодить решение (или как сделать запрос в гугл). Bing по сути реализовал этот подход, и чатбот сам формирует запрос, сам читает ответ, принимает решение, что с этим делать и какие дальнейшие шаги.
Этот пример показывает, что не нужно учить модель всему (и говорить, что модель глупая, раз не может перемножить 3 пятизначных числа), достаточно научить её обращаться с инструментами, как и человека.
Please open Telegram to view this post
VIEW IN TELEGRAM
Сиолошная
Увидел твит, и он заставил меня немного запаниковать. Человек попросил чатбота Bing назвать трех знаменитостей, чьи имена начинаются с ИКС-овой буквы алфавита, где ИКС - это округленное вниз значение выражения √7 + 1. Задача усложнена тем, что сообщение…
Но можно пойти еще дальше и усугубить ситуацию не в пользу кожаных мешков. Зачем модели делать каждый раз новые запросы и объяснения, если можно искать похожие вопросы, на которые модель уже ответила, ведь некоторые шаги можно переиспользовать?
Не знаю, сделано ли это уже в Bing (подход в целом старый и несложный, но WTF), но вот пример из того же треда, где на такой же вопрос с другой формулой вычисления X модель не делала запроса в поисковик, а сразу выдала ответ. Пишет, мол, не нужны мне твои поисковики, я всё сама знаю.
А ешё...представьте на таком масштабе самодообучающуюся систему, которая меняется не то что по дням - по часам. И у нее миллионы новых запросов каждый раз.
...но вообще то я примерно так себе и представлял Скайнет😩 🥺 💀
Не знаю, сделано ли это уже в Bing (подход в целом старый и несложный, но WTF), но вот пример из того же треда, где на такой же вопрос с другой формулой вычисления X модель не делала запроса в поисковик, а сразу выдала ответ. Пишет, мол, не нужны мне твои поисковики, я всё сама знаю.
А ешё...представьте на таком масштабе самодообучающуюся систему, которая меняется не то что по дням - по часам. И у нее миллионы новых запросов каждый раз.
...но вообще то я примерно так себе и представлял Скайнет
Please open Telegram to view this post
VIEW IN TELEGRAM
Prompt Engineer = LLM psychologist, change my mind
🤔 интересно, с учетом сокращений в сфере теха, сколько вакансий Промпт инженеров мы увидим в этом году?
UPD: или ещё лучше: P E R E V O D C H I K
UPD: или ещё лучше: P E R E V O D C H I K
Please open Telegram to view this post
VIEW IN TELEGRAM
Сегодня ночью выходит игра-долгострой Atomic Heart от российской студии. Одна из немногих (единственная?) российских игр уровня ААА за долгие годы . Так как основатели студии разработки - маркетологи, то они делали просто невероятные трейлеры с запредельным уровнем аудио-визуального ряда (раз, два, три), использовав ремиксы песен Пугачёвой и группы "Мираж". Это стоит услышать!
Фабула и сеттинг игры просто невероятны. События разворачиваются в 1955 году в альтернативной реальности, в которой Советский Союз давно освоил искусственный интеллект, нейросети и роботостроение и производит множество роботов, обслуживающих население. По неизвестной причине роботы на предприятии «3826» вышли из строя и напали на персонал. Для расследования произошедшего на объект был направлен агент главного разведывательного управления.
Советский Союз 50-60ых но с роботами и продвинутыми технологиями - это вау! Арт-дизайн, как и обстановка уровней, просто космические с визуальной точки зрения.
Для написания музыки привлекли Мика Гордона, композитора, дропающего бэнгеры для игр уже больше 10 лет. Самые известные его работы - это две последних части Doom (Дум - крута 🤟), Prey. Если вы слышали качающий рок со стонами демонов на фоне - это, скорее всего, его работа. Про работу Мика над саундтреком Doom можно глянуть видео тут (объясняется, как добились нового звучания, используя СОВЕТСКИЕ технологии) или тут, а примеры работ - здесь (осторожно: качает НЕРЕАЛЬНО) и здесь.
Но что будет, если совместить ВОТ ЭТО и советские хиты (см. трейлеры выше - в них используется музыка группы "Мираж" и Аллы Пугачевой, лол)?
В общем, пожелаем игре удаче, чтоб не оказалось сырой, продалась хорошо и вообще открыла новую эпоху на просторах постсоветского пространства.
Фабула и сеттинг игры просто невероятны. События разворачиваются в 1955 году в альтернативной реальности, в которой Советский Союз давно освоил искусственный интеллект, нейросети и роботостроение и производит множество роботов, обслуживающих население. По неизвестной причине роботы на предприятии «3826» вышли из строя и напали на персонал. Для расследования произошедшего на объект был направлен агент главного разведывательного управления.
Советский Союз 50-60ых но с роботами и продвинутыми технологиями - это вау! Арт-дизайн, как и обстановка уровней, просто космические с визуальной точки зрения.
Для написания музыки привлекли Мика Гордона, композитора, дропающего бэнгеры для игр уже больше 10 лет. Самые известные его работы - это две последних части Doom (Дум - крута 🤟), Prey. Если вы слышали качающий рок со стонами демонов на фоне - это, скорее всего, его работа. Про работу Мика над саундтреком Doom можно глянуть видео тут (объясняется, как добились нового звучания, используя СОВЕТСКИЕ технологии) или тут, а примеры работ - здесь (осторожно: качает НЕРЕАЛЬНО) и здесь.
Но что будет, если совместить ВОТ ЭТО и советские хиты (см. трейлеры выше - в них используется музыка группы "Мираж" и Аллы Пугачевой, лол)?
В общем, пожелаем игре удаче, чтоб не оказалось сырой, продалась хорошо и вообще открыла новую эпоху на просторах постсоветского пространства.
Сиолошная
Мик мать его Гордон хреначит вообще адовые ремиксы советской классики
А еще разработчики запустили 70-минутный стрим, где релизнули первую часть ремиксов советских песен.
Такие хиты как "Trava u Doma" и 3 версии "Komarovo" в наличии.
Но самое классное то, что все 70 минут на фоне бегают сгенерированные арты с народными роботами-близняшками. Вероятнее всего, использовались подходы типа Textual Inversion или Dreambooth, которые позволяют "оверфитнуть" сетку на какой-то объект (в данном случае две роботши-балерины), а затем получать сотни генераций.
Агонь, короче.
Такие хиты как "Trava u Doma" и 3 версии "Komarovo" в наличии.
Но самое классное то, что все 70 минут на фоне бегают сгенерированные арты с народными роботами-близняшками. Вероятнее всего, использовались подходы типа Textual Inversion или Dreambooth, которые позволяют "оверфитнуть" сетку на какой-то объект (в данном случае две роботши-балерины), а затем получать сотни генераций.
Агонь, короче.
Блумберг пишет, что Amazon, самый крупный поставщик облачных услуг, с большими кластерами GPU, заключил партнерство с HuggingFace 🤗 для разработки и обучения следующей итерации BLOOM (одной из самых крупных опенсурсных языковых моделей), а также работы над конкурентом ChatGPT с открытым исходным кодом.
У Amazon еще и Amazon Mechanical Turk есть, аналог толоки, так что с получением фидбека от людей для обучения RLHF проблем не будет.
Очень ждем, думаю могут релизнуть уже в 2023м.
Ну и ясно, зачем это нужно Amazon - AWS предложит продукты клиентам, которые хотят использовать инструменты ИИ в качестве строительных блоков своих собственных приложений, без возни с обучением и прочим. Помимо этого можно и свои сервисы улучшать.
У Amazon еще и Amazon Mechanical Turk есть, аналог толоки, так что с получением фидбека от людей для обучения RLHF проблем не будет.
Очень ждем, думаю могут релизнуть уже в 2023м.
Ну и ясно, зачем это нужно Amazon - AWS предложит продукты клиентам, которые хотят использовать инструменты ИИ в качестве строительных блоков своих собственных приложений, без возни с обучением и прочим. Помимо этого можно и свои сервисы улучшать.
Кажется, началось:
Reuters посмотрели письмо U.S. Copyright Office по защите прав книги "Zarya of the Dawn".
Бюро регистрации авторских прав сообщило, что оно переоформит регистрацию книжки, чтобы исключить изображения, которые «не являются продуктом человеческого авторства» ("are not the product of human authorship") и, следовательно, не могут быть защищены авторским правом.
Этот комментарий является одним из первых, принятых судом или агентством США в отношении объема защиты авторских прав на произведения, созданные с помощью ИИ.
> "The fact that Midjourney's specific output cannot be predicted by users makes Midjourney different for copyright purposes than other tools used by artists," the letter said.
UPD:
интересный вопрос от моего знакомого: "А если я руками нарисовал картинку, а потом нейросетевой фильтр сверху навернул, будет ли она защищена авторскими правами?".
Где проводить черту? А если я использовал программу для коррекции отдельных частей (скажем, один объект отредактировал)? А как а что а почему...
Reuters посмотрели письмо U.S. Copyright Office по защите прав книги "Zarya of the Dawn".
Бюро регистрации авторских прав сообщило, что оно переоформит регистрацию книжки, чтобы исключить изображения, которые «не являются продуктом человеческого авторства» ("are not the product of human authorship") и, следовательно, не могут быть защищены авторским правом.
Этот комментарий является одним из первых, принятых судом или агентством США в отношении объема защиты авторских прав на произведения, созданные с помощью ИИ.
> "The fact that Midjourney's specific output cannot be predicted by users makes Midjourney different for copyright purposes than other tools used by artists," the letter said.
UPD:
интересный вопрос от моего знакомого: "А если я руками нарисовал картинку, а потом нейросетевой фильтр сверху навернул, будет ли она защищена авторскими правами?".
Где проводить черту? А если я использовал программу для коррекции отдельных частей (скажем, один объект отредактировал)? А как а что а почему...
Сиолошная
HuggingFace 🤗 потихоньку превращается из стартапа , который пилит библиотеку для создания-обучения моделек, в рисерч-лабу. Так, у них внутри появилась команда, которая занимается RLHF (обучение моделей по фидбеку от людей). Название проекта - Helpful, Honest…
А вот и первый собранный этой командой датасет - тык.
Думаю, он очень полезный для тренировки ассистентов программистам, так как данные собранны со StackOverflow.
Сначала отобрали все вопросы, у которых было больше двух ответов.
Затем проставили оценки ответам по формуле
Затем создавали пары для тренировки отдельной Reward Model по этому score (какой ответ должен быть отранжирован ниже, какой - выше).
В целом, повторяют подход Antropic из этой статьи, на неё же и ссылаются.
Ещё незаметно для меня вышел датасет от Стэнфорда - вот тут. В целом - то же самое, только с комментариями с Reddit, и ещё учитывают разницу во времени публикации. Это логично - может, один комментарий получил больше лайков только потому, что его опубликовали на неделю раньше, а свежий просто не залетел в топ.
Всё разбито по сабреддитам, внутри которых размеры варьируются от 3к до 57к примеров. С одной стороны немного, с другой - OpenAI тюнили первые версии InstructGPT на где-то 50-60к примеров, то есть сопоставимо.
Ну што, вперёд обучать PPOошки?
UPD: очень хочется посмотреть на результаты экспериментов, чтобы понять, насколько такой сбор проигрывает (или выигрывает?) сбору данных в онлайне, и в более качественном виде (где людям платят за оценки пар, но при этом требуют соблюдения правил из 20-страничной инструкции).
Думаю, он очень полезный для тренировки ассистентов программистам, так как данные собранны со StackOverflow.
Сначала отобрали все вопросы, у которых было больше двух ответов.
Затем проставили оценки ответам по формуле
score = log2 (1 + upvotes), и накидывали ещё +1, если ответ был принят автором.Затем создавали пары для тренировки отдельной Reward Model по этому score (какой ответ должен быть отранжирован ниже, какой - выше).
В целом, повторяют подход Antropic из этой статьи, на неё же и ссылаются.
Ещё незаметно для меня вышел датасет от Стэнфорда - вот тут. В целом - то же самое, только с комментариями с Reddit, и ещё учитывают разницу во времени публикации. Это логично - может, один комментарий получил больше лайков только потому, что его опубликовали на неделю раньше, а свежий просто не залетел в топ.
Всё разбито по сабреддитам, внутри которых размеры варьируются от 3к до 57к примеров. С одной стороны немного, с другой - OpenAI тюнили первые версии InstructGPT на где-то 50-60к примеров, то есть сопоставимо.
Ну што, вперёд обучать PPOошки?
UPD: очень хочется посмотреть на результаты экспериментов, чтобы понять, насколько такой сбор проигрывает (или выигрывает?) сбору данных в онлайне, и в более качественном виде (где людям платят за оценки пар, но при этом требуют соблюдения правил из 20-страничной инструкции).
Напоминаю, что каждый раз, когда сервисы OpenAI недоступны (на неделе было отключение API на 2+ суток, например), есть маленький шанс, что это ИИ выбрался и начал буянить...💀
Интересно, а стоки дают😄 🤔 или хотя бы место в бункере...
Интересно, а стоки дают
Please open Telegram to view this post
VIEW IN TELEGRAM
JUST IN: META обучили семейство моделей LLaMA (7B, 13B, 33B и 65B параметров), однако не всё так просто:
> Access to the model will be granted on a case-by-case basis to academic researchers
Модель 65B обучена с +- тем же вычислительным бюджетом, что и GPT-3, но на большем количестве токенов (~оптимальном для выхода на плато):
> We trained LLaMA 65B and LLaMA 33B on 1.4 trillion tokens. Our smallest model, LLaMA 7B, is trained on one trillion tokens.
Модели мультиязычные (20 языков в датасете).
Метрики на уровне или чуть лучше, чем у GPT-3, правда я так и не понял, идёт ли сравнение с версией 2020го года или существенно улучшенной GPT-3.5 2022го.
Статья (pdf): ссылка.
> Access to the model will be granted on a case-by-case basis to academic researchers
Модель 65B обучена с +- тем же вычислительным бюджетом, что и GPT-3, но на большем количестве токенов (~оптимальном для выхода на плато):
> We trained LLaMA 65B and LLaMA 33B on 1.4 trillion tokens. Our smallest model, LLaMA 7B, is trained on one trillion tokens.
Модели мультиязычные (20 языков в датасете).
Метрики на уровне или чуть лучше, чем у GPT-3, правда я так и не понял, идёт ли сравнение с версией 2020го года или существенно улучшенной GPT-3.5 2022го.
Статья (pdf): ссылка.