Стоит ли GPT-3 всего того хайпа вокруг нее? Я думаю нет, просто зная как работает маркетинг у OpenAI. Все ведь помнят GPT-2, да? (Для тех, кто пропустил, они почти год срали всем в уши про то, что GPT-2 слишком опасная чтобы давать ее людям, ага, и где она сейчас?) То, что GPT-3 улучшает на один процент (условно) точность language generation не делает ее особенной, особенно учитывая то, что тренируют ее в несравнимых условиях с несравнимыми затратами ресурсов. Таких моделей много, на любой вкус, просто никто ими не интересуется. Разрекламируй их так же как рекламируют GPT-3 и окажется что и они тоже неплохо код генерят, и табулатуры гитарные пишут, просто никто этого не делает. OpenAI держат планку в плане исследований на уровне с другими большими игроками типо DeepMind и FAIR, но вот пиарщики у них ебейшие. Чему-чему, а этому у них стоит учиться, и GPT-3 отличный тому пример.

https://twitter.com/sharifshameem/status/1282676454690451457

Продолжим тему ИИ - искусственных инфлюенсеров.
Ибо пищи для ̶И̶И̶ ума подвалило как по заказу.
Чуть позже расскажу, про ИИ-флюенсера, который хорошо умеет в графический дизайн и даже постит отличные картинки, а сейчас вот такой случай двухнедельной давности, где в качестве инфлюенсера выступает ИИ.
Один смышленый парень (кстати, интерн из ФБ) решил пошутить.
Завел блог и придумал название, сделал описание, добавил фото.
А дальше.. дальше все делал ИИ. Писал тексты. С помощью так склоняемого нынче GPT-3.
В итоге, у автора 26 000 посетителей блога за две недели.
Дальше смешнее.
Только один человек реально заподозрил неладное и написал автору напрямую.
Несколько людей в коментах высказались критически про контент и стиль, но были тут же освистаны и обруганы остальными с формулировкой "ведите себя прилично и нечего тут умничать".
Прекрасный кейс про киберпанк, как мне кажется.
Дальше у автора в статье хорошие мысли про будущее online media.
Он с цифрами в руках показывает, что ресурс типа Buzzfeed может экономить до 3 миллионов долларов в год с помощью GPT-3.
Доказывает убедительно. Помножая зарплаты писателей на количество писателей и поделив на производительность ИИ. А также упоминая переход на удаленку и экономию костов.

Он справедливо замечает, что данный подход не будет работать в новостях, касающихся фактологии и аналитики, тут GPT просто ничем не поможет (разве что составлением убедительных гороскопов), а вот во всем, что касается разговоров за жизнь и мощных филосовских прогонов за личную отвественность перед собственной эффективностью (как в примере автора), ИИ уделает в велеречивости и убедительности кожаных мешков одной левой нейросетью.

А теперь глядим в Инстаграмчик и Фейсбучек, что там у нас набирает по полной? Ну вы поняли...

Статья вот тут:
https://liamp.substack.com/p/my-gpt-3-blog-got-26-thousand-visitors
Блог тут: https://news.ycombinator.com/from?site=adolos.substack.com

И дальше напрашивается философский твист в контентное ожирение.
Когда-то проблема пропитания населения была (в целом) решена и пришла проблема ожирения. Понадобилось некоторое количество лет, чтобы понять, что с ожирением и качеством еды тоже надо что-то делать. Причем на уровне государственного регулирования.
А пока мы пожираем контент во всех его видах. И производство контента растет, и, что самое главное, запрос на производсто еще больших объемов контента тоже растет.
И тут приходят GPT и GAN и говорят: мы решим вашу проблему, мы накормим население контентом.. нет.. мы закормим население контентом до упора.
Только вот где он упор? Как вычислить объем информационного желудка?

Нейросеть GPT-3 от OpenAI стала доступна некоторым разработчика меньше месяца назад, но уже успела наделать шума из-за своей универсальности: она может написать код, музыку или сделать вёрстку — достаточно текстового описания.

Хотя первые отзывы об алгоритме исключительно восторженные, он на самом деле не слишком приближает человечество к настоящему искусственному интеллекту. Почему GPT-3 лишь убедительно «бросает пыль в глаза» и как способна изменить привычный мир.

https://tjournal.ru/tech/195331

В ответ на бан Тик-Тока Трампом китайцы сбегали домой и позвали Большого Брата, то есть ИИ. (на самом деле в еще в апреле)
ИИ взял и нагенерил GAN-ами стотыщ лиц, которые не существуют, и превратил их в реальные аккаунты в соц-сетях типа Facebook, Twitter, and YouTube.
Нагенерил дивных имен.
И обрушился на Трампа с яростной бранью. То есть запустил целую медиа-кампанию.
Мало того, они нагенерили еще тучу видео со звуком, через автоматический text-to-speech.
То есть организовать и "одеть" мощную медиа-атаку можно целиком с помощью ИИ.
И эти вот несуществующие люди и дипфейки - это прям отличный материал для таких развлечений.
К слову сказать с качеством у китайцев вышло плохо, тексты с ошибками, произношение ужасное, что в итоге свело на нет все усилия.
Однако недавний пример того, как один смышленый аспирант вывел в топ свой блог с помощью GPT-3, говорит о том, что качество генерируемого контента неуклонно растет.
А вот потребитель этого контента, похоже, не сильно меняется с годами...
https://www.pcmag.com/news/pro-china-propaganda-act-used-fake-followers-made-with-ai-generated-images

Microsoft уже уже в 2020 году подсуетился

Интересных технических новостей пока на горизонте не видно, наверняка из-за отсутствия конференций в этот период. Но вот интересная новость на пересечении эйай и бизнеса:

GPT-3 оказалось будет эксклюзивно лицензирована для Microsoft, что очень странно, учитывая что OpenAI всегда была некоммерческой компанией построенной на улучшении ИИ для всего человечества через открытый рисерч (откуда и Open-). Но Microsoft оказался более нуждающимся чем остальное человечество. Даже Маск, один из основателей, написал в Твиторе: “This does seem like the opposite of open. OpenAI is essentially captured by Microsoft”.

Нейросеть GPT-3 неделю отвечала на вопросы пользователей реддита, притворяясь человеком — всё дошло до обсуждения иллюминатов и предсказаний апокалипсиса.

Пока бот рассуждал на философские темы и даже получал благодарности от реальных людей, его разоблачили. Всё потому, что он публиковал огромные посты с интервалом один раз в минуту.

https://tjournal.ru/tech/221065

Новость (когдатошняя)

Сбер выложил в открытый доступ первую русскоязычную модель для обучения алгоритма генерации текстов GPT-3.

В обучающий корпус вошли материалы с новостных и научно-популярных сайтов, статьи с «Википедии», а также произведения русской литературы.

https://tjournal.ru/tech/226011

Её разоблачение ☁

"Сбер(егательный) выпустил русскую GPT-3". Ага, сплю и вижу как OpenAI предоставил код эксклюзивно для российской компании.

Ни кода, ни весов GPT-3 OpenAI не релизил на публику, и пока не собирается! Даже компании партнёры которые тесно сотрудничают с OpenAI, вроде Replica, работают исключительно через API.

Не дайте себя обмануть. Сбер представил некую LG модель отдаленно напоминающую GPT-3 с целью хайпануть. Как минимум она в 150 раз меньше чем GPT-3.

То, что публикуют в статьях это капля в море реальной имплементации. Не верите? Вспомните как весь мир поносил OpenAI за код GPT-2 несмотря на то что статья была. Сейчас та же история повторяется с Google Health которые не опубликовали код и тренировочные параметры (упс). У людей так бомбануло, что даже письмо в Nature написали. Но для инженеров Сбера это не помеха, конечно. Да. Чтобы делать утверждения такой силы, что это и есть GPT-3, как минимум Сберу нужно повторить результаты бенчмарков и доказать, что их модель дает такие же результаты, и то, это обязательное, но не достаточное условие.

Студенты калифорнийской киношколы снимают короткометражки по сценариям, которые пишет нейросеть GPT-3.

Авторы придумывают только первые несколько предложений — остальное дописывает ИИ. Они не редактируют сценарии, но выбирают из нескольких вариантов наиболее развлекательные.

Фильмы получаются странными, но достаточно связными, чтобы можно было показать на фестивале независимого кино.

https://tjournal.ru/tech/364495

Тут один уважаемый член нашего сообщества Франсуа Шоле, который изобрел Keras и XceptionNet, говорит, что через 10-20 лет каждая область науки будет подобластью Computer Science. Вычислительная физика, компьютерная химия, компьютерная биология, компьютерная медицина ... Даже компьютерная археология. Симуляции, анализ больших данных и машинное обучение будут повсюду.

Я частично с ним согласен. Смотря на темпы развития машинного обучения и компьютеризации всего и вся, нетрудно представить, что базовые умения в азы программирования и AI нужны будут почти любому интеллигентному человеку, а тем более ученому.

Из забавного, Франсуа говорит, что доменные знания будут так же релевантны как сейчас, скажем, релевантно знание лингвистики для чела, который занимается Neural Language Processing и обучает всякие Берты и GPT лол.

Такое предсказание может показаться диким, но ведь также мало кто мог представить в 2000 году, что почти все крупные компании к 2020 будут в той или иной степени IT-компаниями.

Microsoft внедрила нейросеть GPT-3 в платформу для разработки Power Apps — это позволит создавать приложения без знания кода.

Достаточно написать запрос текстом, система сама преобразует его в формулу на языке Power Fx.

Пока это работает только для простых задач, но компания планирует расширять применение GPT-3.

https://tjournal.ru/386936

Микрософт использует gpt-3, чтобы создавать куски кода (для своих Power Apps)
Вы просто говорите, что надо сделать, а нейросеть переводит это в код.
За программистов-кодеров?
Не совсем.
Общего понимания задачи тут нет, скорее быстрое набрасывание команды за командой. И последовательность их по прежнему должна задаваться человеком.
Но, как справедливо замечено, в обучающих целях - довольно интересно.

Microsoft uses GPT-3 to let you code in natural language | TechCrunch
https://techcrunch.com/2021/05/25/microsoft-uses-gpt-3-to-let-you-code-in-natural-language/

Корейцы тоже пытаются запрыгнуть в хайптрейн. На днях выкатили свою GPT-3 модель — HyperCLOVA. Модель имеет 204B параметров и натренирована именно на Корейском языке. 204 миллиарда — это вроде как больше чем в оригинальной GPT-3 от OpenAI, в которой всего 175 миллиардов параметров. Но пока неизвестно, насколько эти модели можно сравнивать друг с другом. В любом случае, Корейцы бьются в экстазе и говорят, что теперь они закрепили за Кореей суверенитет в сфере AI. Это четвертая страна, которая адаптировала GPT-3 под себя, вслед за Россией (Сбер), Китаем (PanGu) и Францией (PAGnol).

Смех смехом, но NAVER, фирма, которая разработала HyperCLOVA, имеет довольно сильный рисерч отдел. Называется он ClovaAI и они публикуют толковые статьи на CVPR/NeurIPS и т.д. Знаю не понаслышке, у меня даже был джоб офер от них.

Кажется, мы начинаем забывать, сколько стоило обучить GPT-3. Двенадцать $$$ миллионов!

В Китае создали нейросеть, которая в 10 раз мощнее самой «продвинутой» из существующих.

Она использует 1,75 триллиона параметров и способна писать эссе и стихи, придумывать рецепты, распознавать картинки, генерировать их по словесному описанию и предсказывать структуру белка.

Создатели называют её «топливом» для будущего реального искусственного интеллекта.

https://tjournal.ru/tech/391475

Что-то я нигде об этом Copilot не слышала. А вы?

​​Есть байка, что 99% процентов кода, который вы производите каждый день, уже кем-то написан. Так вот, Gitub в сотрудничестве с OpenAI выпустил убийцу профессии кодера — GitHub Copilot. Не зря же Microsoft купил GitHub.

Copilot использует контекст кода, над которым вы работаете, и дописывает вам целые строки или целые функции. Теперь писать тесты и изучать новые API можно без утомительного гугления. По мере того, как вы кодите, система адаптируется к вашему стилю.

Под капотом у Copilot - модель OpenAI Codex, которая обладает обширными знаниями о том, как люди используют код, и значительно более эффективен, чем GPT-3, в генерации кода. Всё это дело было обучена на открытых исходниках с GitHub. Соответственно, Copilot умеет работать со многими фреймворками и языками (Python, JavaScript, TypeScript, Ruby, Go, и т.д.). API к внутренней модели Codex ребята из OpenAI обещают зарелизить до конца лета, и можно будет строить свои приложения для работы с кодом на базе этой модели.

Я даже стал в очередь на демо-доступ к Copilot, сделать это можно на странице проекта. Интересно только, где Copilot инференс гоняет? Думаю, что пока на серваках OpenAI.

Немцы заявляют, что строят европейский аналог OpenAI

Немецкий стартап Aleph Alpha, который базируется в Хайдельберге (городе, где я писал диссер), на днях поднял $27M в раунде A. Задачу, они себе ставят амбициозную (даже слишком) - они хотят создать очередной прорыв в AI, что-то похожее на OpenAI GPT-3.

Фирма работает с 2019 года, и странно, что я узнал о ней только сейчас. Прошерстил их сайт, посмотрел, кто у них работает. Так вот, я не увидел ни одного серьёзного имени или человека с какими-то крупными научными достижениями. Раздосадовался. Из тех, кто разбирается в ML, у них есть 3 недавних PhD студента и Connor Leahy, который известен тем, что соосновал EleutherAI. EleutherAI - это некоммерческая организация, которая изначально создавалась для воспроизведения результатов GPT-3 с открытым исходным кодом. Возможно вся ставка у них на Коннора, но, будем откровенны, Коннор ничего прорывного не сделал, он не имеет научных публикаций, а в в EleutherAI они с командой просто воспроизводят статьи от OpenAI. Когда основывали OpenAI, было сразу понятно, что команда там звездная собралась, и они уж точно сварят нечто крутое.

Впечатление у меня сложилось спорное. У Aleph Alpha есть партнерства с немецкими госорганизациями. Пиарятся они в стиле "мы — последний шанс Европы занять свою нишу в области AI", "мы будем базироваться сугубо в Европе и продвигать европейские ценности и этические стандарты". Также обещают быть более открытыми чем OpenAI (кек) и комитить в open-source. Хотя, возможно, они просто будут пилить какую-то большую платформу с AI решениями и сидеть на господрядах. Этакий консалтинг с выездом к заказчику в сфере AI, у них на сайте уже даже висит ваканисия под это дело - AI Delivery & Consulting. Слегка попахивет мутными делишками Palantir-а.

Я не эксперт в области стартапов, но, кажется, Европа очень изголодалась по инновациям. Хотят угнаться за США и Китаем. Поэтому и раздают бабло при первом удобном случае, особенно, если фирма обещает плотно работать с государством. А вы что думаете по этому поводу, господа хорошие?