Вот всё в телеге удобно, кроме подключения комментариев к каналу🤪
Надеюсь, сейчас откроется возможность комментирования

Смотрите, какой-то чувак снимает короткие видео, сценарии к которым пишет нейросеть GPT-2.
Получается забавно: хоть в словах и есть согласованность, в сюжете всё равно получается бессмыслица.

https://m.youtube.com/watch?feature=youtu.be&v=QfI0Pu0jz3E

Обратите внимание на ссылку во втором абзаце - перейдя по ней, можно узнать, кто стоял у истоков Open AI, породившего GPT

Недавно была сыграна удивительная шахматная партия. Играла компьютерная программа против человека: slatestarcodex.com/2020/01/06/a-very-unlikely-chess-game

Но удивителен не результат партии (шахматные программы сегодня легко обыгрывают даже чемпионов мира, хотя в этот раз победил человек), а то, что это была за программа. Это GPT-2, нейросеть, которая продолжает за тебя написанный текст. Я уже писал про эту программу и про опасения, связанные с её разработкой: t.me/mustreads/2234

GPT-2 успешно сопротивлялась в партии против человека … даже не зная о том, что играет в шахматы. Нейроcети дали тексты шахматной нотации (записи ходов латиницей, т.е. e2-e4 и т.д.) – базу из нескольких миллионов сыгранных шахматных партий. При этом программу не учили правилам шахмат, для неё все эти записи партий были просто текстом.

Если нейросети дать на изучение тексты песен Егора Летова, она через какое-то время сможет сама писать тексты, похожие на песни «Гражданской обороны» (это уже делал Яндекс: music.yandex.ru/artist/4445922). А если нейросети дать тексты шахматных партий, она начинает генерировать достаточно убедительные тексты шахматных партий. В итоге программа проиграла ферзя, но до середины партии достаточно неплохо сопротивлялась. Видимо, если её подольше пообучать, она станет ещё сильнее.

По-моему, это отличная иллюстрация того, как ИИ может превзойти человека в какой-то сфере, особо не напрягаясь, и расширить свои способности в неожиданном для нас направлении. Лишний повод напомнить вам о серьёзности рисков, связанных с развитием не дружественного человеку супер-ИИ. Скоро сделаю про это ролик.

Вот инструкция для тех, кто хочет тоже сыграть партию с GPT: colab.research.google.com/drive/12hlppt1f2N0L9Orp8YCLgon6EF5V3vuR

P.S. Попробуйте написать короткую фразу на английском для GPT-2 и предложите нейросети продолжить текст за вас по ссылке: talktotransformer.com (сегодня этот сайт с российского IP у меня почему-то недоступен – возможно, они так борются с генерацией фейк-ньюз русскими ботами – но включите VPN с IP любой другой страны и всё заработает)

P.P.S. Аналогичная программа доступна на русском: text.skynet.center

P.P.P.S. На тему противостояния ИИ и людей за шахматной доской рекомендую всем любителям шахмат материал про матч между топ-5 гроссмейстером мира Хикару Накамурой и одной из сильнейших программ Комодо, в котором компьютер давал фору гроссмейстеру в каждой партии: en.chessbase.com/post/wsj-on-odds-chess-match-nakamura-vs-komodo (здесь можно почитать про матч и посмотреть все партии).

В первой партии это была фора в пешку, во второй – в пешку и ход, в третьей – в качество (ладья за слона), в четвёртой – фора в 4 хода. В итоге человек не выиграл ни одной партии и проиграл матч. Я в детстве занимался шахматами и был КМСом – так вот, местами было больно и обидно за гроссмейстера, которого переигрывали, как будто Леонель Месси играет в футбол против школьника со двора.

#техно_мастрид

Напомню, GPT-2 ➡️ GPT-3 ➡️ ChatGPT

Смотрите-ка, 2.5 года назад GPT-3 "не стоил того хайпа"
Но и не спал

Стоит ли GPT-3 всего того хайпа вокруг нее? Я думаю нет, просто зная как работает маркетинг у OpenAI. Все ведь помнят GPT-2, да? (Для тех, кто пропустил, они почти год срали всем в уши про то, что GPT-2 слишком опасная чтобы давать ее людям, ага, и где она сейчас?) То, что GPT-3 улучшает на один процент (условно) точность language generation не делает ее особенной, особенно учитывая то, что тренируют ее в несравнимых условиях с несравнимыми затратами ресурсов. Таких моделей много, на любой вкус, просто никто ими не интересуется. Разрекламируй их так же как рекламируют GPT-3 и окажется что и они тоже неплохо код генерят, и табулатуры гитарные пишут, просто никто этого не делает. OpenAI держат планку в плане исследований на уровне с другими большими игроками типо DeepMind и FAIR, но вот пиарщики у них ебейшие. Чему-чему, а этому у них стоит учиться, и GPT-3 отличный тому пример.

https://twitter.com/sharifshameem/status/1282676454690451457

Продолжим тему ИИ - искусственных инфлюенсеров.
Ибо пищи для ̶И̶И̶ ума подвалило как по заказу.
Чуть позже расскажу, про ИИ-флюенсера, который хорошо умеет в графический дизайн и даже постит отличные картинки, а сейчас вот такой случай двухнедельной давности, где в качестве инфлюенсера выступает ИИ.
Один смышленый парень (кстати, интерн из ФБ) решил пошутить.
Завел блог и придумал название, сделал описание, добавил фото.
А дальше.. дальше все делал ИИ. Писал тексты. С помощью так склоняемого нынче GPT-3.
В итоге, у автора 26 000 посетителей блога за две недели.
Дальше смешнее.
Только один человек реально заподозрил неладное и написал автору напрямую.
Несколько людей в коментах высказались критически про контент и стиль, но были тут же освистаны и обруганы остальными с формулировкой "ведите себя прилично и нечего тут умничать".
Прекрасный кейс про киберпанк, как мне кажется.
Дальше у автора в статье хорошие мысли про будущее online media.
Он с цифрами в руках показывает, что ресурс типа Buzzfeed может экономить до 3 миллионов долларов в год с помощью GPT-3.
Доказывает убедительно. Помножая зарплаты писателей на количество писателей и поделив на производительность ИИ. А также упоминая переход на удаленку и экономию костов.

Он справедливо замечает, что данный подход не будет работать в новостях, касающихся фактологии и аналитики, тут GPT просто ничем не поможет (разве что составлением убедительных гороскопов), а вот во всем, что касается разговоров за жизнь и мощных филосовских прогонов за личную отвественность перед собственной эффективностью (как в примере автора), ИИ уделает в велеречивости и убедительности кожаных мешков одной левой нейросетью.

А теперь глядим в Инстаграмчик и Фейсбучек, что там у нас набирает по полной? Ну вы поняли...

Статья вот тут:
https://liamp.substack.com/p/my-gpt-3-blog-got-26-thousand-visitors
Блог тут: https://news.ycombinator.com/from?site=adolos.substack.com

И дальше напрашивается философский твист в контентное ожирение.
Когда-то проблема пропитания населения была (в целом) решена и пришла проблема ожирения. Понадобилось некоторое количество лет, чтобы понять, что с ожирением и качеством еды тоже надо что-то делать. Причем на уровне государственного регулирования.
А пока мы пожираем контент во всех его видах. И производство контента растет, и, что самое главное, запрос на производсто еще больших объемов контента тоже растет.
И тут приходят GPT и GAN и говорят: мы решим вашу проблему, мы накормим население контентом.. нет.. мы закормим население контентом до упора.
Только вот где он упор? Как вычислить объем информационного желудка?

Нейросеть GPT-3 от OpenAI стала доступна некоторым разработчика меньше месяца назад, но уже успела наделать шума из-за своей универсальности: она может написать код, музыку или сделать вёрстку — достаточно текстового описания.

Хотя первые отзывы об алгоритме исключительно восторженные, он на самом деле не слишком приближает человечество к настоящему искусственному интеллекту. Почему GPT-3 лишь убедительно «бросает пыль в глаза» и как способна изменить привычный мир.

https://tjournal.ru/tech/195331

В ответ на бан Тик-Тока Трампом китайцы сбегали домой и позвали Большого Брата, то есть ИИ. (на самом деле в еще в апреле)
ИИ взял и нагенерил GAN-ами стотыщ лиц, которые не существуют, и превратил их в реальные аккаунты в соц-сетях типа Facebook, Twitter, and YouTube.
Нагенерил дивных имен.
И обрушился на Трампа с яростной бранью. То есть запустил целую медиа-кампанию.
Мало того, они нагенерили еще тучу видео со звуком, через автоматический text-to-speech.
То есть организовать и "одеть" мощную медиа-атаку можно целиком с помощью ИИ.
И эти вот несуществующие люди и дипфейки - это прям отличный материал для таких развлечений.
К слову сказать с качеством у китайцев вышло плохо, тексты с ошибками, произношение ужасное, что в итоге свело на нет все усилия.
Однако недавний пример того, как один смышленый аспирант вывел в топ свой блог с помощью GPT-3, говорит о том, что качество генерируемого контента неуклонно растет.
А вот потребитель этого контента, похоже, не сильно меняется с годами...
https://www.pcmag.com/news/pro-china-propaganda-act-used-fake-followers-made-with-ai-generated-images

Microsoft уже уже в 2020 году подсуетился

Интересных технических новостей пока на горизонте не видно, наверняка из-за отсутствия конференций в этот период. Но вот интересная новость на пересечении эйай и бизнеса:

GPT-3 оказалось будет эксклюзивно лицензирована для Microsoft, что очень странно, учитывая что OpenAI всегда была некоммерческой компанией построенной на улучшении ИИ для всего человечества через открытый рисерч (откуда и Open-). Но Microsoft оказался более нуждающимся чем остальное человечество. Даже Маск, один из основателей, написал в Твиторе: “This does seem like the opposite of open. OpenAI is essentially captured by Microsoft”.

Нейросеть GPT-3 неделю отвечала на вопросы пользователей реддита, притворяясь человеком — всё дошло до обсуждения иллюминатов и предсказаний апокалипсиса.

Пока бот рассуждал на философские темы и даже получал благодарности от реальных людей, его разоблачили. Всё потому, что он публиковал огромные посты с интервалом один раз в минуту.

https://tjournal.ru/tech/221065

Новость (когдатошняя)

Сбер выложил в открытый доступ первую русскоязычную модель для обучения алгоритма генерации текстов GPT-3.

В обучающий корпус вошли материалы с новостных и научно-популярных сайтов, статьи с «Википедии», а также произведения русской литературы.

https://tjournal.ru/tech/226011

Её разоблачение ☁

"Сбер(егательный) выпустил русскую GPT-3". Ага, сплю и вижу как OpenAI предоставил код эксклюзивно для российской компании.

Ни кода, ни весов GPT-3 OpenAI не релизил на публику, и пока не собирается! Даже компании партнёры которые тесно сотрудничают с OpenAI, вроде Replica, работают исключительно через API.

Не дайте себя обмануть. Сбер представил некую LG модель отдаленно напоминающую GPT-3 с целью хайпануть. Как минимум она в 150 раз меньше чем GPT-3.

То, что публикуют в статьях это капля в море реальной имплементации. Не верите? Вспомните как весь мир поносил OpenAI за код GPT-2 несмотря на то что статья была. Сейчас та же история повторяется с Google Health которые не опубликовали код и тренировочные параметры (упс). У людей так бомбануло, что даже письмо в Nature написали. Но для инженеров Сбера это не помеха, конечно. Да. Чтобы делать утверждения такой силы, что это и есть GPT-3, как минимум Сберу нужно повторить результаты бенчмарков и доказать, что их модель дает такие же результаты, и то, это обязательное, но не достаточное условие.