Новость (когдатошняя)

Сбер выложил в открытый доступ первую русскоязычную модель для обучения алгоритма генерации текстов GPT-3.

В обучающий корпус вошли материалы с новостных и научно-популярных сайтов, статьи с «Википедии», а также произведения русской литературы.

https://tjournal.ru/tech/226011

Её разоблачение ☁

"Сбер(егательный) выпустил русскую GPT-3". Ага, сплю и вижу как OpenAI предоставил код эксклюзивно для российской компании.

Ни кода, ни весов GPT-3 OpenAI не релизил на публику, и пока не собирается! Даже компании партнёры которые тесно сотрудничают с OpenAI, вроде Replica, работают исключительно через API.

Не дайте себя обмануть. Сбер представил некую LG модель отдаленно напоминающую GPT-3 с целью хайпануть. Как минимум она в 150 раз меньше чем GPT-3.

То, что публикуют в статьях это капля в море реальной имплементации. Не верите? Вспомните как весь мир поносил OpenAI за код GPT-2 несмотря на то что статья была. Сейчас та же история повторяется с Google Health которые не опубликовали код и тренировочные параметры (упс). У людей так бомбануло, что даже письмо в Nature написали. Но для инженеров Сбера это не помеха, конечно. Да. Чтобы делать утверждения такой силы, что это и есть GPT-3, как минимум Сберу нужно повторить результаты бенчмарков и доказать, что их модель дает такие же результаты, и то, это обязательное, но не достаточное условие.

Студенты калифорнийской киношколы снимают короткометражки по сценариям, которые пишет нейросеть GPT-3.

Авторы придумывают только первые несколько предложений — остальное дописывает ИИ. Они не редактируют сценарии, но выбирают из нескольких вариантов наиболее развлекательные.

Фильмы получаются странными, но достаточно связными, чтобы можно было показать на фестивале независимого кино.

https://tjournal.ru/tech/364495

Тут один уважаемый член нашего сообщества Франсуа Шоле, который изобрел Keras и XceptionNet, говорит, что через 10-20 лет каждая область науки будет подобластью Computer Science. Вычислительная физика, компьютерная химия, компьютерная биология, компьютерная медицина ... Даже компьютерная археология. Симуляции, анализ больших данных и машинное обучение будут повсюду.

Я частично с ним согласен. Смотря на темпы развития машинного обучения и компьютеризации всего и вся, нетрудно представить, что базовые умения в азы программирования и AI нужны будут почти любому интеллигентному человеку, а тем более ученому.

Из забавного, Франсуа говорит, что доменные знания будут так же релевантны как сейчас, скажем, релевантно знание лингвистики для чела, который занимается Neural Language Processing и обучает всякие Берты и GPT лол.

Такое предсказание может показаться диким, но ведь также мало кто мог представить в 2000 году, что почти все крупные компании к 2020 будут в той или иной степени IT-компаниями.

Microsoft внедрила нейросеть GPT-3 в платформу для разработки Power Apps — это позволит создавать приложения без знания кода.

Достаточно написать запрос текстом, система сама преобразует его в формулу на языке Power Fx.

Пока это работает только для простых задач, но компания планирует расширять применение GPT-3.

https://tjournal.ru/386936

Микрософт использует gpt-3, чтобы создавать куски кода (для своих Power Apps)
Вы просто говорите, что надо сделать, а нейросеть переводит это в код.
За программистов-кодеров?
Не совсем.
Общего понимания задачи тут нет, скорее быстрое набрасывание команды за командой. И последовательность их по прежнему должна задаваться человеком.
Но, как справедливо замечено, в обучающих целях - довольно интересно.

Microsoft uses GPT-3 to let you code in natural language | TechCrunch
https://techcrunch.com/2021/05/25/microsoft-uses-gpt-3-to-let-you-code-in-natural-language/

Корейцы тоже пытаются запрыгнуть в хайптрейн. На днях выкатили свою GPT-3 модель — HyperCLOVA. Модель имеет 204B параметров и натренирована именно на Корейском языке. 204 миллиарда — это вроде как больше чем в оригинальной GPT-3 от OpenAI, в которой всего 175 миллиардов параметров. Но пока неизвестно, насколько эти модели можно сравнивать друг с другом. В любом случае, Корейцы бьются в экстазе и говорят, что теперь они закрепили за Кореей суверенитет в сфере AI. Это четвертая страна, которая адаптировала GPT-3 под себя, вслед за Россией (Сбер), Китаем (PanGu) и Францией (PAGnol).

Смех смехом, но NAVER, фирма, которая разработала HyperCLOVA, имеет довольно сильный рисерч отдел. Называется он ClovaAI и они публикуют толковые статьи на CVPR/NeurIPS и т.д. Знаю не понаслышке, у меня даже был джоб офер от них.

Кажется, мы начинаем забывать, сколько стоило обучить GPT-3. Двенадцать $$$ миллионов!

В Китае создали нейросеть, которая в 10 раз мощнее самой «продвинутой» из существующих.

Она использует 1,75 триллиона параметров и способна писать эссе и стихи, придумывать рецепты, распознавать картинки, генерировать их по словесному описанию и предсказывать структуру белка.

Создатели называют её «топливом» для будущего реального искусственного интеллекта.

https://tjournal.ru/tech/391475

Что-то я нигде об этом Copilot не слышала. А вы?

​​Есть байка, что 99% процентов кода, который вы производите каждый день, уже кем-то написан. Так вот, Gitub в сотрудничестве с OpenAI выпустил убийцу профессии кодера — GitHub Copilot. Не зря же Microsoft купил GitHub.

Copilot использует контекст кода, над которым вы работаете, и дописывает вам целые строки или целые функции. Теперь писать тесты и изучать новые API можно без утомительного гугления. По мере того, как вы кодите, система адаптируется к вашему стилю.

Под капотом у Copilot - модель OpenAI Codex, которая обладает обширными знаниями о том, как люди используют код, и значительно более эффективен, чем GPT-3, в генерации кода. Всё это дело было обучена на открытых исходниках с GitHub. Соответственно, Copilot умеет работать со многими фреймворками и языками (Python, JavaScript, TypeScript, Ruby, Go, и т.д.). API к внутренней модели Codex ребята из OpenAI обещают зарелизить до конца лета, и можно будет строить свои приложения для работы с кодом на базе этой модели.

Я даже стал в очередь на демо-доступ к Copilot, сделать это можно на странице проекта. Интересно только, где Copilot инференс гоняет? Думаю, что пока на серваках OpenAI.

Немцы заявляют, что строят европейский аналог OpenAI

Немецкий стартап Aleph Alpha, который базируется в Хайдельберге (городе, где я писал диссер), на днях поднял $27M в раунде A. Задачу, они себе ставят амбициозную (даже слишком) - они хотят создать очередной прорыв в AI, что-то похожее на OpenAI GPT-3.

Фирма работает с 2019 года, и странно, что я узнал о ней только сейчас. Прошерстил их сайт, посмотрел, кто у них работает. Так вот, я не увидел ни одного серьёзного имени или человека с какими-то крупными научными достижениями. Раздосадовался. Из тех, кто разбирается в ML, у них есть 3 недавних PhD студента и Connor Leahy, который известен тем, что соосновал EleutherAI. EleutherAI - это некоммерческая организация, которая изначально создавалась для воспроизведения результатов GPT-3 с открытым исходным кодом. Возможно вся ставка у них на Коннора, но, будем откровенны, Коннор ничего прорывного не сделал, он не имеет научных публикаций, а в в EleutherAI они с командой просто воспроизводят статьи от OpenAI. Когда основывали OpenAI, было сразу понятно, что команда там звездная собралась, и они уж точно сварят нечто крутое.

Впечатление у меня сложилось спорное. У Aleph Alpha есть партнерства с немецкими госорганизациями. Пиарятся они в стиле "мы — последний шанс Европы занять свою нишу в области AI", "мы будем базироваться сугубо в Европе и продвигать европейские ценности и этические стандарты". Также обещают быть более открытыми чем OpenAI (кек) и комитить в open-source. Хотя, возможно, они просто будут пилить какую-то большую платформу с AI решениями и сидеть на господрядах. Этакий консалтинг с выездом к заказчику в сфере AI, у них на сайте уже даже висит ваканисия под это дело - AI Delivery & Consulting. Слегка попахивет мутными делишками Palantir-а.

Я не эксперт в области стартапов, но, кажется, Европа очень изголодалась по инновациям. Хотят угнаться за США и Китаем. Поэтому и раздают бабло при первом удобном случае, особенно, если фирма обещает плотно работать с государством. А вы что думаете по этому поводу, господа хорошие?

У меня были случаи, когда я обсуждала с Гипти какие-то свои внутренние вопросы. Скажу одно, я была под впечатлением после подобных бесед

Нейросеть помогла американке пережить утрату сестры с помощью разговоров, которые женщина не решалась начать с людьми.

Сначала она писала программе обрывочные реплики — та продолжала их, словно понимая, о чём идёт речь. Это подталкивало женщину писать больше и откровеннее.

Понемногу беседа вылилась в рассказ, который помог женщине разобраться с эмоциями и прийти в себя.

https://tjournal.ru/tech/423849

Знаете, что подумала?
Создать ещё один канала, который будет как склад всяких лайфхаков и кейсов — чьих бы то ни было — по взаимодействиям с Гипти, которые у меня где-то разбросаны постоянно, и потому их КПД ниже плинтуса.
ChatGPT с миру по нитке
Велком 🎨

ИИ-усушка и ИИ-утруска.

Человек многословен и велеречив. Особенно, когда платят за знаки. Это приводит к тому, что многие (особенно американские) книги невозможно читать, в них нереальное количество воды и повторов.

В ответ на это создаются проекты типа "любая книга за 15 минут".

Например, Smartreading:
https://smartreading.ru/

или пресловутый БлинкЛист за 35 миллионов:
https://tengrinews.kz/mixnews/startap-privlek-35-millionov-dollarov-vyipustil-prilojenie-428710/

Только все равно там сидит сонм кожаных редакторов, которые выжимают воду вручную, так сказать.

А теперь в это умеет ИИ.
OpenAI разработали модель, которая может обобщать книги произвольной длины. Тюнингованная версия GPT-3 сначала суммирует небольшие разделы книги, а затем делает резюме на резюме более высокого уровня, названное «рекурсивная декомпозиция задач».

Алису в Стране чудес», содержащую 26 тысяч слов, модель сократила до 66 выжимок по 6 тысяч слов, затем до шести по 830 слов. В финальном пересказе осталось 136 слов.

Recursively Summarizing Books with Human Feedback
Wu et al. [OpenAI]
arxiv.org/abs/2109.10862
openai.com/blog/summarizing-books

Эксперименты OpenAI с суммаризацией книг. По-моему это может быть одним из лучших бенчмарков "умности" текущих методов ML, поэтому я очень хайпаю статью.

Сама статья очень необычная сразу по нескольким причинам. С одной стороны, это OpenAI и мы ожидаем от них безумных экспериментов с почти неограниченными вычислительными ресурсами. С другой стороны, к этому проекту они привлекли ещё более дорогой ресурс — людей. Модель тренируется не один раз на заготовленном датасете по суммаризации, а итеративно улучшается с фидбеком от специальных тренированных людей. Фидбэк бывает двух видов: 1) человек пишет более правильное саммари 2) человек выбирает одно из двух саммари написанных моделью. В случае 1 понятно как улучшить модель — просто зафайнтюнить на дополнительных данных. Случай 2 веселее — тут используется великий и страшный reinforcement learning.

Теперь про сам подход. Он довольно простой. Допустим у вас есть текст размера 10K токенов, а модель может читать только 2К. Разделим текст на 5 чанков по 2К и для каждого из них сгенерируем саммари допустим размера 500 токенов. Потом сконкатим их и получим текст длины 2.5K токенов. Всё ещё слишком длинно — разделим его на два куска и пусть каждый из них сгенерит саммари по 500 токенов. Сконкатим эти результаты, получим текст 1000 токенов. Теперь можно получить из него финальное саммари.

Подход очень простой и решает кучу проблем. Во-первых такую разметку просто делать. Вы не заставляете людей суммаризировать целые книги, а лишь просите из суммаризировать чанки по 2K токенов. Куча плюсов: людям проще такое делать, машинам проще такое учить, плюс с одной книги получаете кучу разметки. В качестве инициализации для модели используют GPT-3.

В результате подход получается на удивление прикладным, итеративным и масштабируемым. Мне кажется, ровно так можно организовать работу команды занимающейся задачей суммаризации где-нибудь в индустрии.

По результатам: некоторые саммари близки по качеству к человекам, но их около 5% 🍒. В среднем скор человека ~6/7, а лучшей модели ~3.5/7. Естественно размер модели важен и 175млрд параметров дают огромный буст по сравнению с 6млрд. Внезапно RL хорошо зашёл и его использование улучшает скор с 2.5 до 3.5. Думаю он эффективен потому что доставать для него данные просто — людям нужно лишь выбрать одно из двух саммари, а не писать новое.

Как всегда в статье от OpenAI много интересных технических деталей, например как они выбрали на каких узлах дерева тренировать модель. Явно стоит того, чтобы потратить час на чтение.

Microsoft внедрит нейросеть GPT-3 в облако Azure и откроет бизнесу доступ к одной из самых мощных языковых моделей на рынке.

Её можно будет настроить под конкретные задачи от написания кода без знаний кода до обработки запросов клиентов.

https://tjournal.ru/467263