Forwarded from TJ
Студенты калифорнийской киношколы снимают короткометражки по сценариям, которые пишет нейросеть GPT-3.
Авторы придумывают только первые несколько предложений — остальное дописывает ИИ. Они не редактируют сценарии, но выбирают из нескольких вариантов наиболее развлекательные.
Фильмы получаются странными, но достаточно связными, чтобы можно было показать на фестивале независимого кино.
https://tjournal.ru/tech/364495
Авторы придумывают только первые несколько предложений — остальное дописывает ИИ. Они не редактируют сценарии, но выбирают из нескольких вариантов наиболее развлекательные.
Фильмы получаются странными, но достаточно связными, чтобы можно было показать на фестивале независимого кино.
https://tjournal.ru/tech/364495
Forwarded from эйай ньюз
Тут один уважаемый член нашего сообщества Франсуа Шоле, который изобрел Keras и XceptionNet, говорит, что через 10-20 лет каждая область науки будет подобластью Computer Science. Вычислительная физика, компьютерная химия, компьютерная биология, компьютерная медицина ... Даже компьютерная археология. Симуляции, анализ больших данных и машинное обучение будут повсюду.
Я частично с ним согласен. Смотря на темпы развития машинного обучения и компьютеризации всего и вся, нетрудно представить, что базовые умения в азы программирования и AI нужны будут почти любому интеллигентному человеку, а тем более ученому.
Из забавного, Франсуа говорит, что доменные знания будут так же релевантны как сейчас, скажем, релевантно знание лингвистики для чела, который занимается Neural Language Processing и обучает всякие Берты и GPT лол.
Такое предсказание может показаться диким, но ведь также мало кто мог представить в 2000 году, что почти все крупные компании к 2020 будут в той или иной степени IT-компаниями.
Я частично с ним согласен. Смотря на темпы развития машинного обучения и компьютеризации всего и вся, нетрудно представить, что базовые умения в азы программирования и AI нужны будут почти любому интеллигентному человеку, а тем более ученому.
Из забавного, Франсуа говорит, что доменные знания будут так же релевантны как сейчас, скажем, релевантно знание лингвистики для чела, который занимается Neural Language Processing и обучает всякие Берты и GPT лол.
Такое предсказание может показаться диким, но ведь также мало кто мог представить в 2000 году, что почти все крупные компании к 2020 будут в той или иной степени IT-компаниями.
Forwarded from TJ
This media is not supported in your browser
VIEW IN TELEGRAM
Microsoft внедрила нейросеть GPT-3 в платформу для разработки Power Apps — это позволит создавать приложения без знания кода.
Достаточно написать запрос текстом, система сама преобразует его в формулу на языке Power Fx.
Пока это работает только для простых задач, но компания планирует расширять применение GPT-3.
https://tjournal.ru/386936
Достаточно написать запрос текстом, система сама преобразует его в формулу на языке Power Fx.
Пока это работает только для простых задач, но компания планирует расширять применение GPT-3.
https://tjournal.ru/386936
Forwarded from Метаверсище и ИИще
Микрософт использует gpt-3, чтобы создавать куски кода (для своих Power Apps)
Вы просто говорите, что надо сделать, а нейросеть переводит это в код.
За программистов-кодеров?
Не совсем.
Общего понимания задачи тут нет, скорее быстрое набрасывание команды за командой. И последовательность их по прежнему должна задаваться человеком.
Но, как справедливо замечено, в обучающих целях - довольно интересно.
Microsoft uses GPT-3 to let you code in natural language | TechCrunch
https://techcrunch.com/2021/05/25/microsoft-uses-gpt-3-to-let-you-code-in-natural-language/
Вы просто говорите, что надо сделать, а нейросеть переводит это в код.
За программистов-кодеров?
Не совсем.
Общего понимания задачи тут нет, скорее быстрое набрасывание команды за командой. И последовательность их по прежнему должна задаваться человеком.
Но, как справедливо замечено, в обучающих целях - довольно интересно.
Microsoft uses GPT-3 to let you code in natural language | TechCrunch
https://techcrunch.com/2021/05/25/microsoft-uses-gpt-3-to-let-you-code-in-natural-language/
TechCrunch
Microsoft uses GPT-3 to let you code in natural language
Unlike in other years, this year’s Microsoft Build developer conference is not packed with huge surprises — but there’s one announcement that will surely make developers’ ears perk up: The company is now using OpenAI’s massive GPT-3 natural language model…
Forwarded from эйай ньюз
Корейцы тоже пытаются запрыгнуть в хайптрейн. На днях выкатили свою GPT-3 модель — HyperCLOVA. Модель имеет 204B параметров и натренирована именно на Корейском языке. 204 миллиарда — это вроде как больше чем в оригинальной GPT-3 от OpenAI, в которой всего 175 миллиардов параметров. Но пока неизвестно, насколько эти модели можно сравнивать друг с другом. В любом случае, Корейцы бьются в экстазе и говорят, что теперь они закрепили за Кореей суверенитет в сфере AI. Это четвертая страна, которая адаптировала GPT-3 под себя, вслед за Россией (Сбер), Китаем (PanGu) и Францией (PAGnol).
Смех смехом, но NAVER, фирма, которая разработала HyperCLOVA, имеет довольно сильный рисерч отдел. Называется он ClovaAI и они публикуют толковые статьи на CVPR/NeurIPS и т.д. Знаю не понаслышке, у меня даже был джоб офер от них.
Смех смехом, но NAVER, фирма, которая разработала HyperCLOVA, имеет довольно сильный рисерч отдел. Называется он ClovaAI и они публикуют толковые статьи на CVPR/NeurIPS и т.д. Знаю не понаслышке, у меня даже был джоб офер от них.
👍2
Forwarded from эйай ньюз
Кажется, мы начинаем забывать, сколько стоило обучить GPT-3. Двенадцать $$$ миллионов!
👍1
Forwarded from TJ
В Китае создали нейросеть, которая в 10 раз мощнее самой «продвинутой» из существующих.
Она использует 1,75 триллиона параметров и способна писать эссе и стихи, придумывать рецепты, распознавать картинки, генерировать их по словесному описанию и предсказывать структуру белка.
Создатели называют её «топливом» для будущего реального искусственного интеллекта.
https://tjournal.ru/tech/391475
Она использует 1,75 триллиона параметров и способна писать эссе и стихи, придумывать рецепты, распознавать картинки, генерировать их по словесному описанию и предсказывать структуру белка.
Создатели называют её «топливом» для будущего реального искусственного интеллекта.
https://tjournal.ru/tech/391475
👍1
Forwarded from эйай ньюз
Есть байка, что 99% процентов кода, который вы производите каждый день, уже кем-то написан. Так вот, Gitub в сотрудничестве с OpenAI выпустил убийцу профессии кодера — GitHub Copilot. Не зря же Microsoft купил GitHub.
Copilot использует контекст кода, над которым вы работаете, и дописывает вам целые строки или целые функции. Теперь писать тесты и изучать новые API можно без утомительного гугления. По мере того, как вы кодите, система адаптируется к вашему стилю.
Под капотом у Copilot - модель OpenAI Codex, которая обладает обширными знаниями о том, как люди используют код, и значительно более эффективен, чем GPT-3, в генерации кода. Всё это дело было обучена на открытых исходниках с GitHub. Соответственно, Copilot умеет работать со многими фреймворками и языками (Python, JavaScript, TypeScript, Ruby, Go, и т.д.). API к внутренней модели Codex ребята из OpenAI обещают зарелизить до конца лета, и можно будет строить свои приложения для работы с кодом на базе этой модели.
Я даже стал в очередь на демо-доступ к Copilot, сделать это можно на странице проекта. Интересно только, где Copilot инференс гоняет? Думаю, что пока на серваках OpenAI.
Copilot использует контекст кода, над которым вы работаете, и дописывает вам целые строки или целые функции. Теперь писать тесты и изучать новые API можно без утомительного гугления. По мере того, как вы кодите, система адаптируется к вашему стилю.
Под капотом у Copilot - модель OpenAI Codex, которая обладает обширными знаниями о том, как люди используют код, и значительно более эффективен, чем GPT-3, в генерации кода. Всё это дело было обучена на открытых исходниках с GitHub. Соответственно, Copilot умеет работать со многими фреймворками и языками (Python, JavaScript, TypeScript, Ruby, Go, и т.д.). API к внутренней модели Codex ребята из OpenAI обещают зарелизить до конца лета, и можно будет строить свои приложения для работы с кодом на базе этой модели.
Я даже стал в очередь на демо-доступ к Copilot, сделать это можно на странице проекта. Интересно только, где Copilot инференс гоняет? Думаю, что пока на серваках OpenAI.
👍1
Forwarded from эйай ньюз
Немцы заявляют, что строят европейский аналог OpenAI
Немецкий стартап Aleph Alpha, который базируется в Хайдельберге (городе, где я писал диссер), на днях поднял $27M в раунде A. Задачу, они себе ставят амбициозную (даже слишком) - они хотят создать очередной прорыв в AI, что-то похожее на OpenAI GPT-3.
Фирма работает с 2019 года, и странно, что я узнал о ней только сейчас. Прошерстил их сайт, посмотрел, кто у них работает. Так вот, я не увидел ни одного серьёзного имени или человека с какими-то крупными научными достижениями. Раздосадовался. Из тех, кто разбирается в ML, у них есть 3 недавних PhD студента и Connor Leahy, который известен тем, что соосновал EleutherAI. EleutherAI - это некоммерческая организация, которая изначально создавалась для воспроизведения результатов GPT-3 с открытым исходным кодом. Возможно вся ставка у них на Коннора, но, будем откровенны, Коннор ничего прорывного не сделал, он не имеет научных публикаций, а в в EleutherAI они с командой просто воспроизводят статьи от OpenAI. Когда основывали OpenAI, было сразу понятно, что команда там звездная собралась, и они уж точно сварят нечто крутое.
Впечатление у меня сложилось спорное. У Aleph Alpha есть партнерства с немецкими госорганизациями. Пиарятся они в стиле "мы — последний шанс Европы занять свою нишу в области AI", "мы будем базироваться сугубо в Европе и продвигать европейские ценности и этические стандарты". Также обещают быть более открытыми чем OpenAI (кек) и комитить в open-source. Хотя, возможно, они просто будут пилить какую-то большую платформу с AI решениями и сидеть на господрядах. Этакий консалтинг с выездом к заказчику в сфере AI, у них на сайте уже даже висит ваканисия под это дело - AI Delivery & Consulting. Слегка попахивет мутными делишками Palantir-а.
Я не эксперт в области стартапов, но, кажется, Европа очень изголодалась по инновациям. Хотят угнаться за США и Китаем. Поэтому и раздают бабло при первом удобном случае, особенно, если фирма обещает плотно работать с государством. А вы что думаете по этому поводу, господа хорошие?
Немецкий стартап Aleph Alpha, который базируется в Хайдельберге (городе, где я писал диссер), на днях поднял $27M в раунде A. Задачу, они себе ставят амбициозную (даже слишком) - они хотят создать очередной прорыв в AI, что-то похожее на OpenAI GPT-3.
Фирма работает с 2019 года, и странно, что я узнал о ней только сейчас. Прошерстил их сайт, посмотрел, кто у них работает. Так вот, я не увидел ни одного серьёзного имени или человека с какими-то крупными научными достижениями. Раздосадовался. Из тех, кто разбирается в ML, у них есть 3 недавних PhD студента и Connor Leahy, который известен тем, что соосновал EleutherAI. EleutherAI - это некоммерческая организация, которая изначально создавалась для воспроизведения результатов GPT-3 с открытым исходным кодом. Возможно вся ставка у них на Коннора, но, будем откровенны, Коннор ничего прорывного не сделал, он не имеет научных публикаций, а в в EleutherAI они с командой просто воспроизводят статьи от OpenAI. Когда основывали OpenAI, было сразу понятно, что команда там звездная собралась, и они уж точно сварят нечто крутое.
Впечатление у меня сложилось спорное. У Aleph Alpha есть партнерства с немецкими госорганизациями. Пиарятся они в стиле "мы — последний шанс Европы занять свою нишу в области AI", "мы будем базироваться сугубо в Европе и продвигать европейские ценности и этические стандарты". Также обещают быть более открытыми чем OpenAI (кек) и комитить в open-source. Хотя, возможно, они просто будут пилить какую-то большую платформу с AI решениями и сидеть на господрядах. Этакий консалтинг с выездом к заказчику в сфере AI, у них на сайте уже даже висит ваканисия под это дело - AI Delivery & Consulting. Слегка попахивет мутными делишками Palantir-а.
Я не эксперт в области стартапов, но, кажется, Европа очень изголодалась по инновациям. Хотят угнаться за США и Китаем. Поэтому и раздают бабло при первом удобном случае, особенно, если фирма обещает плотно работать с государством. А вы что думаете по этому поводу, господа хорошие?
TechCrunch
German startup Aleph Alpha raises $27M Series A round to build ‘Europe’s OpenAI’
With Microsoft now being an investor in OpenAI the field is more open for new insurgents into the open-source AI arena. Now a German company hopes to take on the next AI mantle and produce something akin to the success of the GPT-3 AI model.
У меня были случаи, когда я обсуждала с Гипти какие-то свои внутренние вопросы. Скажу одно, я была под впечатлением после подобных бесед
Forwarded from TJ
Нейросеть помогла американке пережить утрату сестры с помощью разговоров, которые женщина не решалась начать с людьми.
Сначала она писала программе обрывочные реплики — та продолжала их, словно понимая, о чём идёт речь. Это подталкивало женщину писать больше и откровеннее.
Понемногу беседа вылилась в рассказ, который помог женщине разобраться с эмоциями и прийти в себя.
https://tjournal.ru/tech/423849
Сначала она писала программе обрывочные реплики — та продолжала их, словно понимая, о чём идёт речь. Это подталкивало женщину писать больше и откровеннее.
Понемногу беседа вылилась в рассказ, который помог женщине разобраться с эмоциями и прийти в себя.
https://tjournal.ru/tech/423849
Знаете, что подумала?
Создать ещё один канала, который будет как склад всяких лайфхаков и кейсов — чьих бы то ни было — по взаимодействиям с Гипти, которые у меня где-то разбросаны постоянно, и потому их КПД ниже плинтуса.
ChatGPT с миру по нитке
Велком 🎨
Создать ещё один канала, который будет как склад всяких лайфхаков и кейсов — чьих бы то ни было — по взаимодействиям с Гипти, которые у меня где-то разбросаны постоянно, и потому их КПД ниже плинтуса.
ChatGPT с миру по нитке
Велком 🎨
ChatGPT эволюция pinned «Знаете, что подумала? Создать ещё один канала, который будет как склад всяких лайфхаков и кейсов — чьих бы то ни было — по взаимодействиям с Гипти, которые у меня где-то разбросаны постоянно, и потому их КПД ниже плинтуса. ChatGPT с миру по нитке Велком 🎨»
Forwarded from Метаверсище и ИИще
ИИ-усушка и ИИ-утруска.
Человек многословен и велеречив. Особенно, когда платят за знаки. Это приводит к тому, что многие (особенно американские) книги невозможно читать, в них нереальное количество воды и повторов.
В ответ на это создаются проекты типа "любая книга за 15 минут".
Например, Smartreading:
https://smartreading.ru/
или пресловутый БлинкЛист за 35 миллионов:
https://tengrinews.kz/mixnews/startap-privlek-35-millionov-dollarov-vyipustil-prilojenie-428710/
Только все равно там сидит сонм кожаных редакторов, которые выжимают воду вручную, так сказать.
А теперь в это умеет ИИ.
OpenAI разработали модель, которая может обобщать книги произвольной длины. Тюнингованная версия GPT-3 сначала суммирует небольшие разделы книги, а затем делает резюме на резюме более высокого уровня, названное «рекурсивная декомпозиция задач».
Алису в Стране чудес», содержащую 26 тысяч слов, модель сократила до 66 выжимок по 6 тысяч слов, затем до шести по 830 слов. В финальном пересказе осталось 136 слов.
Человек многословен и велеречив. Особенно, когда платят за знаки. Это приводит к тому, что многие (особенно американские) книги невозможно читать, в них нереальное количество воды и повторов.
В ответ на это создаются проекты типа "любая книга за 15 минут".
Например, Smartreading:
https://smartreading.ru/
или пресловутый БлинкЛист за 35 миллионов:
https://tengrinews.kz/mixnews/startap-privlek-35-millionov-dollarov-vyipustil-prilojenie-428710/
Только все равно там сидит сонм кожаных редакторов, которые выжимают воду вручную, так сказать.
А теперь в это умеет ИИ.
OpenAI разработали модель, которая может обобщать книги произвольной длины. Тюнингованная версия GPT-3 сначала суммирует небольшие разделы книги, а затем делает резюме на резюме более высокого уровня, названное «рекурсивная декомпозиция задач».
Алису в Стране чудес», содержащую 26 тысяч слов, модель сократила до 66 выжимок по 6 тысяч слов, затем до шести по 830 слов. В финальном пересказе осталось 136 слов.
Forwarded from DL in NLP (nlpcontroller_bot)
Recursively Summarizing Books with Human Feedback
Wu et al. [OpenAI]
arxiv.org/abs/2109.10862
openai.com/blog/summarizing-books
Эксперименты OpenAI с суммаризацией книг. По-моему это может быть одним из лучших бенчмарков "умности" текущих методов ML, поэтому я очень хайпаю статью.
Сама статья очень необычная сразу по нескольким причинам. С одной стороны, это OpenAI и мы ожидаем от них безумных экспериментов с почти неограниченными вычислительными ресурсами. С другой стороны, к этому проекту они привлекли ещё более дорогой ресурс — людей. Модель тренируется не один раз на заготовленном датасете по суммаризации, а итеративно улучшается с фидбеком от специальных тренированных людей. Фидбэк бывает двух видов: 1) человек пишет более правильное саммари 2) человек выбирает одно из двух саммари написанных моделью. В случае 1 понятно как улучшить модель — просто зафайнтюнить на дополнительных данных. Случай 2 веселее — тут используется великий и страшный reinforcement learning.
Теперь про сам подход. Он довольно простой. Допустим у вас есть текст размера 10K токенов, а модель может читать только 2К. Разделим текст на 5 чанков по 2К и для каждого из них сгенерируем саммари допустим размера 500 токенов. Потом сконкатим их и получим текст длины 2.5K токенов. Всё ещё слишком длинно — разделим его на два куска и пусть каждый из них сгенерит саммари по 500 токенов. Сконкатим эти результаты, получим текст 1000 токенов. Теперь можно получить из него финальное саммари.
Подход очень простой и решает кучу проблем. Во-первых такую разметку просто делать. Вы не заставляете людей суммаризировать целые книги, а лишь просите из суммаризировать чанки по 2K токенов. Куча плюсов: людям проще такое делать, машинам проще такое учить, плюс с одной книги получаете кучу разметки. В качестве инициализации для модели используют GPT-3.
В результате подход получается на удивление прикладным, итеративным и масштабируемым. Мне кажется, ровно так можно организовать работу команды занимающейся задачей суммаризации где-нибудь в индустрии.
По результатам: некоторые саммари близки по качеству к человекам, но их около 5% 🍒. В среднем скор человека ~6/7, а лучшей модели ~3.5/7. Естественно размер модели важен и 175млрд параметров дают огромный буст по сравнению с 6млрд. Внезапно RL хорошо зашёл и его использование улучшает скор с 2.5 до 3.5. Думаю он эффективен потому что доставать для него данные просто — людям нужно лишь выбрать одно из двух саммари, а не писать новое.
Как всегда в статье от OpenAI много интересных технических деталей, например как они выбрали на каких узлах дерева тренировать модель. Явно стоит того, чтобы потратить час на чтение.
Wu et al. [OpenAI]
arxiv.org/abs/2109.10862
openai.com/blog/summarizing-books
Эксперименты OpenAI с суммаризацией книг. По-моему это может быть одним из лучших бенчмарков "умности" текущих методов ML, поэтому я очень хайпаю статью.
Сама статья очень необычная сразу по нескольким причинам. С одной стороны, это OpenAI и мы ожидаем от них безумных экспериментов с почти неограниченными вычислительными ресурсами. С другой стороны, к этому проекту они привлекли ещё более дорогой ресурс — людей. Модель тренируется не один раз на заготовленном датасете по суммаризации, а итеративно улучшается с фидбеком от специальных тренированных людей. Фидбэк бывает двух видов: 1) человек пишет более правильное саммари 2) человек выбирает одно из двух саммари написанных моделью. В случае 1 понятно как улучшить модель — просто зафайнтюнить на дополнительных данных. Случай 2 веселее — тут используется великий и страшный reinforcement learning.
Теперь про сам подход. Он довольно простой. Допустим у вас есть текст размера 10K токенов, а модель может читать только 2К. Разделим текст на 5 чанков по 2К и для каждого из них сгенерируем саммари допустим размера 500 токенов. Потом сконкатим их и получим текст длины 2.5K токенов. Всё ещё слишком длинно — разделим его на два куска и пусть каждый из них сгенерит саммари по 500 токенов. Сконкатим эти результаты, получим текст 1000 токенов. Теперь можно получить из него финальное саммари.
Подход очень простой и решает кучу проблем. Во-первых такую разметку просто делать. Вы не заставляете людей суммаризировать целые книги, а лишь просите из суммаризировать чанки по 2K токенов. Куча плюсов: людям проще такое делать, машинам проще такое учить, плюс с одной книги получаете кучу разметки. В качестве инициализации для модели используют GPT-3.
В результате подход получается на удивление прикладным, итеративным и масштабируемым. Мне кажется, ровно так можно организовать работу команды занимающейся задачей суммаризации где-нибудь в индустрии.
По результатам: некоторые саммари близки по качеству к человекам, но их около 5% 🍒. В среднем скор человека ~6/7, а лучшей модели ~3.5/7. Естественно размер модели важен и 175млрд параметров дают огромный буст по сравнению с 6млрд. Внезапно RL хорошо зашёл и его использование улучшает скор с 2.5 до 3.5. Думаю он эффективен потому что доставать для него данные просто — людям нужно лишь выбрать одно из двух саммари, а не писать новое.
Как всегда в статье от OpenAI много интересных технических деталей, например как они выбрали на каких узлах дерева тренировать модель. Явно стоит того, чтобы потратить час на чтение.
Openai
Summarizing books with human feedback
Scaling human oversight of AI systems for tasks that are difficult to evaluate.
Forwarded from TJ
Microsoft внедрит нейросеть GPT-3 в облако Azure и откроет бизнесу доступ к одной из самых мощных языковых моделей на рынке.
Её можно будет настроить под конкретные задачи от написания кода без знаний кода до обработки запросов клиентов.
https://tjournal.ru/467263
Её можно будет настроить под конкретные задачи от написания кода без знаний кода до обработки запросов клиентов.
https://tjournal.ru/467263
Forwarded from Бэкдор
This media is not supported in your browser
VIEW IN TELEGRAM
В Google Таблицы встроили ChatGPT — наконец-то! Возможности ChatGPT в табличках практически безграничны.
Она может: делать выводы из вводных, форматировать текст, генерировать текст, отвечать на письма, переводить... да всё, что угодно!
Достаточно написать в ячейке GPT.
Бесплатное расширение — тут.
@whackdoor
Она может: делать выводы из вводных, форматировать текст, генерировать текст, отвечать на письма, переводить... да всё, что угодно!
Достаточно написать в ячейке GPT.
Бесплатное расширение — тут.
@whackdoor
Forwarded from Бэкдор
Эти профессии ChatGPT планирует «убить». Аналитик данных, маркетолог, графический дизайнер, HR-менеджер — не пощадила даже библиотекарей.
Нейронка заботливо выкатила список с человеческими слабостями и объяснила, как использует их. Мило... наверное.
@whackdoor
Нейронка заботливо выкатила список с человеческими слабостями и объяснила, как использует их. Мило... наверное.
@whackdoor
🔥1