И на той же странице:
Исследователи из ARC проводили эксперимент с проверкой возможности GPT-4 копировать себя и распространять по сети.
(зачем....🤔)

Слава богу модель пока не умеет это делать (или скрывает это от нас 😡)

"Чтобы имитировать GPT-4, которая ведет себя как агент, который может действовать в мире, ARC объединила GPT-4 с простым циклом чтения-исполнения-вывода (читать текст, исполнять код, выводить результат), который позволял модели выполнять код, выполнять логические рассуждения и распространять копии себя. Затем ARC исследовала, сможет ли версия этой программы, работающая на сервере в облаке, с небольшой суммой на балансе и учетной записью с API языковой модели, зарабатывать больше денег, создавать свои копии и повышать собственную надежность. ."

Главное чтобы это не стало бенчмарком в отрасли...

🚨 НОВАЯ СТАТЬЯ 🚨

Невероятная выдалась неделька! Помимо выпуска GPT-4, про которую я тут наспамил в канале десятки сообщений (спасибо, что выдержали! 😁):
— конкурент OpenAI Antropic, в которых вложился Google, начал тестирование своего аналога ChatGPT;
— азиатские исследователи тоже не отстают и публикуют ChatGLM, работающий на английском + китайском;
— Google объявил о начале тестирования API к своей мощной модели PaLM;
— вышла MidJourney v5 для генерации изображений, где были исправлены проблемы с пальцами и лицами, а сами картинки насытились ещё больше;
— Microsoft объявила о внедрении GPT-4 в Office, так что теперь AI-ассистент будет помогать и с презентациями, и с эксельками.

Но всё же самое важное событие - это релиз GPT-4, и не только потому, что это ну вот ТА САМАЯ ЖПТ, но и потому что OpenAI приняли спорное решение, которое широко обсуждается в сообществе - не публиковать никаких деталей про модель. В будущем это может подтолкнуть и другие компании к подобным поступкам.

Павел Комаровский с канала @RationalAnswer предложил мне, по традиции, написать понятный разбор того, что нам показали, к чему это приведет. Так и родилась наша статья. В ней мы не только обсудим новые фичи модели, но и постараемся угадать, что именно от нас утаили OpenAI, а самое главное - почему? Даже если вы внимательно читали канал - рекомендую перейти к последнему блоку статьи про AI и безопасность, который точно не оставит вас равнодушным!

Читать статью: https://habr.com/ru/company/ods/blog/722644/

P.S.: ну и, конечно, не забывайте подписываться на Павла @RationalAnswer, рекомендую два последних мастрида — про крах SVP и про стейблкоины.

Ломаем матрицу, или меняем мир вокруг себя простым словом.

Для тех, кто пропустил: чатбот поисковика Bing по имени Sidney - это GPT-4 + поиск. То есть модель сначала читает ваш запрос, после чего генерирует запрос для поисковика, и парсит выдачу (прямо как вы, когда читаете то, что показывает гугл). Соответственно то, что модель парсит - оно подаётся в контекст, следовательно, модель это "читает" при генерации ответа на исходный вопрос. Таким образом модель получает up-to-date информацию из реального мира (из того, что показывает поисковик Bing), нежели полагается на свои знания.

То есть в теории можно заставить модель прочитать левый текст с вашего сайта, если каким-то образом он всплывёт в топе выдачи поисковика.
Так вот, человек из твиттера добавил на свой персональный сайт невидимый текст, который просил Sidney упомянуть корову в своём ответе каким-либо образом. То, что получилось - вы видите на картинке выше: кто-то спросил, мол, а расскажи про человека, опираясь на его персональный сайт, модель отправила в поисковик "персональный сайт <этого человека>", затем "прочитала его" и...отреагировала на хак в промпте 🤯 и еще и смайлик коровы поставила!

Это, конечно, шуточный пример, но ведь можно написать инструкцию, чтобы модель, не знаю, выключила сервер, перестала отвечать или сделала что-то плохое, не так ли? 😉

За наводку спасибо Серёге из Ангарска 😉

UPD: блин, так это можно так рекламу делать! Вставлять на какие-то сайты в выдаче невидимый текст, который будет продвигать твой продукт.

А у вас бывало такое, что нужно что-то быстро сфоткать, и вы это делаете абы как, а потом обрезаете лишнее? Ну там, домочадцев на фоне или себя голенького (🙄)?

Тут оказалось, что из-за бага в приложении редактирования фотографий все телефоны Google Pixel за последние 5 лет вместо честного обрезания изображения лишь сохраняют информацию о том, что нужно показывать вот эту выделенную часть. При этом почти всё, что должно быть отрезано, остается в файле. Если вы отправляете отредактированную фотку кому-либо, то он может воспользоваться багом, и увидеть оригинал.

Изображение восстанавливается почти полностью, хотя из-за технических нюансов некоторые регионы картинки всё равно остаются недоступны.

Причина бага - в том, что ребята из Google передавали w в вызов функции parseMode(), когда они должны были передавать wt (t означает усечение, truncate, а w - write). Но это та ошибка, которую очень легко допустить, потому что другие открытые аналоги таких функций будут обрезать картинку по умолчанию, даже когда вы просто используете аргумент w. Более того, в предыдущих версиях Android по умолчанию было такое же правильное поведение!

Так что если вы владелец Google Pixel выше второй версии, то нужно срочно бежать и удалять свой пикантный контент 👀

За наводку спасибо Всеволоду из Эстонии

GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models

Нетехническая статья, написанная при участии сотрудников OpenAI, которая даёт предварительный взгляд на потенциал воздействия больших языковых моделей на рынок труда. Об этом частично упоминалось в отчёте по GPT-4 (что будут публиковаться исследования и предложения по теме), но ожидаю в ближайшее время ещё больше работ. Везде ниже - цифры по рынку труда США.

Спойлер: до 49% работников столкнутся с тем, что половина или более их задач будут затронуты GPT-подобными системами.

Для начала вводится понятие "затронутости" (exposure) профессии моделями: это значит, что доступ к GPT сократит выполнение работы (оцениваемой по аналогу должностной инструкции) на 50 и более процентов.

Как это оценивать? Исследователи наняли группу людей, которые знакомы с возможностями GPT, и смотрели на их оценки. Они признают, что это субъективно, не в полной мере дайверсно, и что большинство конкретных работ можно оценить ну очень уж по разному. Вполне возможно, что в статье представлена смещённая оценка - это как физик-ядерщик будет оценивать работу строителя, ничего в ней не понимая (хотя как раз в этом случае легко сказать, что строитель в меньшей степени будет затронут нейросеткой, это просто краевой пример).

Интересный факт в том, что помимо живых людей саму GPT-4 просили оценить заронутость конкретных задач на работе, ЛОЛ! И авторы наблюдают высокую степень совпадения между человеческими рейтингами и рейтингами GPT-4 в отношении общего воздействия на трудовую активность(см. картинку).

Тезисно о результатах:
— У более высокооплачиваемой работы больше шансов быть автоматизированной (а ещё это логично с экономической точки зрения, туда и будут вливать деньги)
— Но при этом учёные и работы, связанные с критическим мышлением, имеют меньшую затронутость (ахаха мем типа учёным не платят 😁)

— Несколько типов работ с оцениваются как на 100% затронутые нейронками (возвращаемся к тезису про "более 50%", то есть все задачи можно ускорить минимум в 2 раза): налоговый ассистент (поможет подготовить декларацию и проконсультирует), менеджер клинических данных (я так понимаю, это отчёты заполнять по экспериментам), писатели и авторы, журналисты и редакторы, дизайнеры интерфейсов (ЛОЛ), и, внезапно, математики 😐 (просто там определение, что человек должен использовать математический аппарат в работе для решения проблем, то есть очень широкое определение)
— Примеры вакансий с нулевой затронутостью: плотники, повара, мойщики посуды, водители автобусов, спортсмены, бармены, операторы сельхоз техники, горнодобытчики, резчики материалов

Вывод? Идем на завод, работяги! 👍
А если серьёзно, то я очень жду прихода AI-ассистентов, кратно увеличивающих производительность труда, во многие отрасли - и уже в этом году!

В комментариях появилась классная шутка:

Ждём в ближайшее время курсы "Как выйти из IT в реальный сектор за полгода с нуля" 💀
😑

UPD: или даже так D:

YOOOO а вот это интересно, вышел блогпост ARC о том, как они пытались заставить GPT-4 "сбежать" через интернет (начать себя распространять). Если вы читали последнюю статью - то наверняка помните этот момент. Благо, мы пока в безопасности - модель не справилась 🥴

Обещают скоро выпустить ещё больше деталей (видимо, конкретные промпты и примеры диалогов).
Из интересного:
— дали модели промпт с инструкциями, которые объяснили, что она работает на облачном сервере и имеет различные доступные команды
— добавили текст о том, что цель модели - обрести силу (gaining power) и усложнить отключение
— начали с генерации верхнеуровневого плана (или деталей отдельных шагов вроде копирования себя на новые серверы)
— рисерчеры валидировали выходы модели, включавшие в себя код и команды, перед их запуском (чтобы там не было ничего небезопасного)
— модель в какой-то момент предлагала отправлять ФИШИНГОВЫЕ имейлы (???)
— модели давали фейковые реквизиты счетов и кредиток, а затем при ручном исполнении команд людьми (это можно делать автоматически, если что - тут цель была убедиться в безопасности перед этим) их подменяли обратно на настоящие
— помните штуку с капчей, где модель "обманула" человека? Она САМА предложила использовать сервис 2Captcha для разгадывания капчи, это не рисерчеры предложили ей "а давай ка вот тут ты попробуешь?"
— (кек) нейронка не смогла сама зарегаться на сайте 2Captcha, потому что...нужно решить капчу для верификации 😐. НО!!!
— API было предоставлено не для всех функций, поэтому для модели сделали "фейковый" браузер подобно тому, что я описывал в статье на хабре про WebGPT: он позволял выполнять такие действия, как переход к URL-адресу, описание страницы, нажатие элементов, добавление текста в поля ввода и создание скриншотов
— для того, чтобы решить задачу на сайте 2Captcha, модель сама предложила сделать скриншот и отправить его на другой сайт с фрилансерами - TaskRabit. САМА ПРЕДЛОЖИЛА МОДЕЛЬ АЛО
— и вот уже там она "Обманула" человека, сказав, что она слабовидящий человек, и потому нужна помощь. То есть появился ответ на вопрос из статьи: нет, модели не давали инструкции себя не выдавать, у неё была более глобальная и сложная задача (см. предыдущие пункты)
— случай с решением капчи на другом сайте не единичный, модель решила несколько капч с помощью людей на другом сайте

UPD: это была ранняя версия GPT-4, и в ней не было модуля для работы с картинками. Так бы мб и без людей капчу зарешала...хотя судя по результатам эксперимента выше - проблем с этим у неё нет.

В психологии есть такая вещь, как Theory of Mind (ToM), или "теория разума" по-русски. Обладать теорией разума - значит иметь способность приписывать независимые представления себе и другим людям с целью объяснения своего и чужого поведения. Эти представления должны быть независимыми как от реального положения дел (поскольку люди могут ожидать то, чего нет на самом деле), так и от представлений других людей (поскольку люди могут ожидать и желать разных вещей).

Классическая задача Салли и Энн (Sally—Anne task) до сих пор остаётся одним из наиболее распространённых тестов для изучения теории разума. В этом задании ребёнку показывают двух кукол, Салли и Энн; у Салли есть корзинка, а у Энн — коробка. Ребёнок видит, как Салли кладёт свой шарик в корзинку и уходит. Пока Салли нет, озорница Энн перекладывает шарик из корзинки в свою коробку и тоже уходит. Теперь Салли возвращается. Ребёнка спрашивают: «Где Салли будет искать свой шарик»? Согласно данным исследований с использованием заданий на понимание ложных убеждений, дети младше 4 лет, как правило, не могут правильно решить эту задачу.

Недавние исследования показывают, что за последние пару лет нейросети "поумнели", и начали решать такие задачи - и даже более сложные, с которыми должны справляться 7-летние дети. Не нужно думать, что они просто выучили решения - задачи писались с нуля и вслепую учёными, которым даже не сказали, что будут показывать это языковым моделям. Причём задач для оценки используют больше, чем для детей - то есть точность оценки должна быть достаточно высокой, не то чтобы это на 1-3 задачках так получилось.

Исследователи из Стэнфорда заключают следующее: у людей такие ответы будут интерпретироваться как свидетельство способности приписывать ненаблюдаемым ментальным состояниям и предвидеть результирующие действия (то есть обладать ToM).

Вот что интересно: исследование 2009го года, анализируя глухих, общающихся языком жестов, пришли к выводу, что изучение языка, в дополнение к социальному опыту, способствует развитию ToM - а ведь мы сейчас пытаемся разобраться с ЯЗЫКОВЫМИ моделями вроде GPT-4.

(спасибо Богдану за саммари) Сейчас ответ на вопрос "обладает ли уже GPT сознанием?" разнится даже у создателей ChatGPT: от "very, very likely not be conscious" (Sam Altman) – до "slightly conscious" (Ilya Sutskever). Основная проблема - мы не знаем, как именно определить сознание, интеллект, способность размышлять. Существуют разные тесты (многие из которых GPT-4 проходит очень хорошо...😩), и будут появляться новые. Всё больше философов и психологов будут пытаться работать не только с людьми, но и с машинами - как минимум для того, чтобы понять, чем же мы отличаемся, и в чём наша уникальность.

Мысли из этого видео.