Смотрите-ка, 2.5 года назад GPT-3 "не стоил того хайпа"
Но и не спал

Стоит ли GPT-3 всего того хайпа вокруг нее? Я думаю нет, просто зная как работает маркетинг у OpenAI. Все ведь помнят GPT-2, да? (Для тех, кто пропустил, они почти год срали всем в уши про то, что GPT-2 слишком опасная чтобы давать ее людям, ага, и где она сейчас?) То, что GPT-3 улучшает на один процент (условно) точность language generation не делает ее особенной, особенно учитывая то, что тренируют ее в несравнимых условиях с несравнимыми затратами ресурсов. Таких моделей много, на любой вкус, просто никто ими не интересуется. Разрекламируй их так же как рекламируют GPT-3 и окажется что и они тоже неплохо код генерят, и табулатуры гитарные пишут, просто никто этого не делает. OpenAI держат планку в плане исследований на уровне с другими большими игроками типо DeepMind и FAIR, но вот пиарщики у них ебейшие. Чему-чему, а этому у них стоит учиться, и GPT-3 отличный тому пример.

https://twitter.com/sharifshameem/status/1282676454690451457

Продолжим тему ИИ - искусственных инфлюенсеров.
Ибо пищи для ̶И̶И̶ ума подвалило как по заказу.
Чуть позже расскажу, про ИИ-флюенсера, который хорошо умеет в графический дизайн и даже постит отличные картинки, а сейчас вот такой случай двухнедельной давности, где в качестве инфлюенсера выступает ИИ.
Один смышленый парень (кстати, интерн из ФБ) решил пошутить.
Завел блог и придумал название, сделал описание, добавил фото.
А дальше.. дальше все делал ИИ. Писал тексты. С помощью так склоняемого нынче GPT-3.
В итоге, у автора 26 000 посетителей блога за две недели.
Дальше смешнее.
Только один человек реально заподозрил неладное и написал автору напрямую.
Несколько людей в коментах высказались критически про контент и стиль, но были тут же освистаны и обруганы остальными с формулировкой "ведите себя прилично и нечего тут умничать".
Прекрасный кейс про киберпанк, как мне кажется.
Дальше у автора в статье хорошие мысли про будущее online media.
Он с цифрами в руках показывает, что ресурс типа Buzzfeed может экономить до 3 миллионов долларов в год с помощью GPT-3.
Доказывает убедительно. Помножая зарплаты писателей на количество писателей и поделив на производительность ИИ. А также упоминая переход на удаленку и экономию костов.

Он справедливо замечает, что данный подход не будет работать в новостях, касающихся фактологии и аналитики, тут GPT просто ничем не поможет (разве что составлением убедительных гороскопов), а вот во всем, что касается разговоров за жизнь и мощных филосовских прогонов за личную отвественность перед собственной эффективностью (как в примере автора), ИИ уделает в велеречивости и убедительности кожаных мешков одной левой нейросетью.

А теперь глядим в Инстаграмчик и Фейсбучек, что там у нас набирает по полной? Ну вы поняли...

Статья вот тут:
https://liamp.substack.com/p/my-gpt-3-blog-got-26-thousand-visitors
Блог тут: https://news.ycombinator.com/from?site=adolos.substack.com

И дальше напрашивается философский твист в контентное ожирение.
Когда-то проблема пропитания населения была (в целом) решена и пришла проблема ожирения. Понадобилось некоторое количество лет, чтобы понять, что с ожирением и качеством еды тоже надо что-то делать. Причем на уровне государственного регулирования.
А пока мы пожираем контент во всех его видах. И производство контента растет, и, что самое главное, запрос на производсто еще больших объемов контента тоже растет.
И тут приходят GPT и GAN и говорят: мы решим вашу проблему, мы накормим население контентом.. нет.. мы закормим население контентом до упора.
Только вот где он упор? Как вычислить объем информационного желудка?

Нейросеть GPT-3 от OpenAI стала доступна некоторым разработчика меньше месяца назад, но уже успела наделать шума из-за своей универсальности: она может написать код, музыку или сделать вёрстку — достаточно текстового описания.

Хотя первые отзывы об алгоритме исключительно восторженные, он на самом деле не слишком приближает человечество к настоящему искусственному интеллекту. Почему GPT-3 лишь убедительно «бросает пыль в глаза» и как способна изменить привычный мир.

https://tjournal.ru/tech/195331

В ответ на бан Тик-Тока Трампом китайцы сбегали домой и позвали Большого Брата, то есть ИИ. (на самом деле в еще в апреле)
ИИ взял и нагенерил GAN-ами стотыщ лиц, которые не существуют, и превратил их в реальные аккаунты в соц-сетях типа Facebook, Twitter, and YouTube.
Нагенерил дивных имен.
И обрушился на Трампа с яростной бранью. То есть запустил целую медиа-кампанию.
Мало того, они нагенерили еще тучу видео со звуком, через автоматический text-to-speech.
То есть организовать и "одеть" мощную медиа-атаку можно целиком с помощью ИИ.
И эти вот несуществующие люди и дипфейки - это прям отличный материал для таких развлечений.
К слову сказать с качеством у китайцев вышло плохо, тексты с ошибками, произношение ужасное, что в итоге свело на нет все усилия.
Однако недавний пример того, как один смышленый аспирант вывел в топ свой блог с помощью GPT-3, говорит о том, что качество генерируемого контента неуклонно растет.
А вот потребитель этого контента, похоже, не сильно меняется с годами...
https://www.pcmag.com/news/pro-china-propaganda-act-used-fake-followers-made-with-ai-generated-images

Microsoft уже уже в 2020 году подсуетился

Интересных технических новостей пока на горизонте не видно, наверняка из-за отсутствия конференций в этот период. Но вот интересная новость на пересечении эйай и бизнеса:

GPT-3 оказалось будет эксклюзивно лицензирована для Microsoft, что очень странно, учитывая что OpenAI всегда была некоммерческой компанией построенной на улучшении ИИ для всего человечества через открытый рисерч (откуда и Open-). Но Microsoft оказался более нуждающимся чем остальное человечество. Даже Маск, один из основателей, написал в Твиторе: “This does seem like the opposite of open. OpenAI is essentially captured by Microsoft”.

Нейросеть GPT-3 неделю отвечала на вопросы пользователей реддита, притворяясь человеком — всё дошло до обсуждения иллюминатов и предсказаний апокалипсиса.

Пока бот рассуждал на философские темы и даже получал благодарности от реальных людей, его разоблачили. Всё потому, что он публиковал огромные посты с интервалом один раз в минуту.

https://tjournal.ru/tech/221065

Новость (когдатошняя)

Сбер выложил в открытый доступ первую русскоязычную модель для обучения алгоритма генерации текстов GPT-3.

В обучающий корпус вошли материалы с новостных и научно-популярных сайтов, статьи с «Википедии», а также произведения русской литературы.

https://tjournal.ru/tech/226011

Её разоблачение ☁

"Сбер(егательный) выпустил русскую GPT-3". Ага, сплю и вижу как OpenAI предоставил код эксклюзивно для российской компании.

Ни кода, ни весов GPT-3 OpenAI не релизил на публику, и пока не собирается! Даже компании партнёры которые тесно сотрудничают с OpenAI, вроде Replica, работают исключительно через API.

Не дайте себя обмануть. Сбер представил некую LG модель отдаленно напоминающую GPT-3 с целью хайпануть. Как минимум она в 150 раз меньше чем GPT-3.

То, что публикуют в статьях это капля в море реальной имплементации. Не верите? Вспомните как весь мир поносил OpenAI за код GPT-2 несмотря на то что статья была. Сейчас та же история повторяется с Google Health которые не опубликовали код и тренировочные параметры (упс). У людей так бомбануло, что даже письмо в Nature написали. Но для инженеров Сбера это не помеха, конечно. Да. Чтобы делать утверждения такой силы, что это и есть GPT-3, как минимум Сберу нужно повторить результаты бенчмарков и доказать, что их модель дает такие же результаты, и то, это обязательное, но не достаточное условие.

Студенты калифорнийской киношколы снимают короткометражки по сценариям, которые пишет нейросеть GPT-3.

Авторы придумывают только первые несколько предложений — остальное дописывает ИИ. Они не редактируют сценарии, но выбирают из нескольких вариантов наиболее развлекательные.

Фильмы получаются странными, но достаточно связными, чтобы можно было показать на фестивале независимого кино.

https://tjournal.ru/tech/364495

Тут один уважаемый член нашего сообщества Франсуа Шоле, который изобрел Keras и XceptionNet, говорит, что через 10-20 лет каждая область науки будет подобластью Computer Science. Вычислительная физика, компьютерная химия, компьютерная биология, компьютерная медицина ... Даже компьютерная археология. Симуляции, анализ больших данных и машинное обучение будут повсюду.

Я частично с ним согласен. Смотря на темпы развития машинного обучения и компьютеризации всего и вся, нетрудно представить, что базовые умения в азы программирования и AI нужны будут почти любому интеллигентному человеку, а тем более ученому.

Из забавного, Франсуа говорит, что доменные знания будут так же релевантны как сейчас, скажем, релевантно знание лингвистики для чела, который занимается Neural Language Processing и обучает всякие Берты и GPT лол.

Такое предсказание может показаться диким, но ведь также мало кто мог представить в 2000 году, что почти все крупные компании к 2020 будут в той или иной степени IT-компаниями.

Microsoft внедрила нейросеть GPT-3 в платформу для разработки Power Apps — это позволит создавать приложения без знания кода.

Достаточно написать запрос текстом, система сама преобразует его в формулу на языке Power Fx.

Пока это работает только для простых задач, но компания планирует расширять применение GPT-3.

https://tjournal.ru/386936

Микрософт использует gpt-3, чтобы создавать куски кода (для своих Power Apps)
Вы просто говорите, что надо сделать, а нейросеть переводит это в код.
За программистов-кодеров?
Не совсем.
Общего понимания задачи тут нет, скорее быстрое набрасывание команды за командой. И последовательность их по прежнему должна задаваться человеком.
Но, как справедливо замечено, в обучающих целях - довольно интересно.

Microsoft uses GPT-3 to let you code in natural language | TechCrunch
https://techcrunch.com/2021/05/25/microsoft-uses-gpt-3-to-let-you-code-in-natural-language/

Корейцы тоже пытаются запрыгнуть в хайптрейн. На днях выкатили свою GPT-3 модель — HyperCLOVA. Модель имеет 204B параметров и натренирована именно на Корейском языке. 204 миллиарда — это вроде как больше чем в оригинальной GPT-3 от OpenAI, в которой всего 175 миллиардов параметров. Но пока неизвестно, насколько эти модели можно сравнивать друг с другом. В любом случае, Корейцы бьются в экстазе и говорят, что теперь они закрепили за Кореей суверенитет в сфере AI. Это четвертая страна, которая адаптировала GPT-3 под себя, вслед за Россией (Сбер), Китаем (PanGu) и Францией (PAGnol).

Смех смехом, но NAVER, фирма, которая разработала HyperCLOVA, имеет довольно сильный рисерч отдел. Называется он ClovaAI и они публикуют толковые статьи на CVPR/NeurIPS и т.д. Знаю не понаслышке, у меня даже был джоб офер от них.

Кажется, мы начинаем забывать, сколько стоило обучить GPT-3. Двенадцать $$$ миллионов!

В Китае создали нейросеть, которая в 10 раз мощнее самой «продвинутой» из существующих.

Она использует 1,75 триллиона параметров и способна писать эссе и стихи, придумывать рецепты, распознавать картинки, генерировать их по словесному описанию и предсказывать структуру белка.

Создатели называют её «топливом» для будущего реального искусственного интеллекта.

https://tjournal.ru/tech/391475

Что-то я нигде об этом Copilot не слышала. А вы?