Подоспел тред с разбором от эксперта в области права по иску Elon Musk в адрес Sama и OpenAI — она называет это дело проигрышным для истца.

1️⃣Elon утверждает, что был нарушен контракт («Founding Agreement»), и приводит скриншоты из почтовой переписки 2015го года. Но это — не контракт и не бумага, закрепляющая принципы существования non-profit части OpenAI. [примечание от меня: в теории можно спекулировать, что какой-то контракт есть, но не логично было бы его прикрепить к делу, а не скриншоты переписки? Да, можно было обсуждать одно, и потом в бумагах этого не закрепить — так часто бывает, это не незаконно, да и тем более обмана никакого нет — см. ниже]

2️⃣Если смотреть в устав, поданный при регистрации (где Elon ещё и не числится как участник, вероятно, он зашёл как инвестор) — то OpenAI обещали, что «технология принесет пользу обществу» («technology will benefit the public»). На что OpenAI может ответить:
✅ ChatGPT имеет бесплатную версию, доступную всем;
✅ Есть истории, как люди спасали собаку и ребенка с помощью медицинских советов GPT;
✅ Имеющиеся исследования показывают позитивное влияние на продуктивность, а так как технология доступна всем — то это польза всему миру;
❌(примечание от меня) это не означает, что каждая модель должна быть отдана до последнего бита публике. Не должны быть раскрыты исходный код, веса модели.

3️⃣В уставе также говорится, что технология будет делать публичной в том виде, в котором решит компания/совет директоров, и «если применимо»(«when applicable»). Может быть полная публикация (как было до GPT-3), может быть статья и API, а может вообще ничего. Вот эта часть в кавычках — самая главная, как вы понимаете, не внешнему человеку возмущаться, что какие-то решения были приняты так а не эдак. Тем более что OpenAI в опенсурс нормально так накидали суммарно.

4️⃣Является ли GPT-4 AGI? Далее цитата эксперта: «Что я думаю как юрист, который использует GPT-4 каждый день? GPT-4 умеет хорошо рассуждать в определенных тестах. Он сдает экзамен на адвоката. Но! Это вопросы со множественным выбором! Даже не эссе/очерки. Это не AGI».

Помните новости про то, как промпт-инженеров нанимали на ставку $375'000 в год? Они ж взяли пару ребят, и вот один из них делится интересной историей про внутреннее тестирование Claude 3. Дальше — прямая речь, пересказ вот этого твита.

Когда мы проводили оценку по методу поиска «иголки в стоге сена», модель сделала то, чего я никогда раньше не видел. Этот тест направлен на проверку навыка внимания модели к контексту, когда в длинный-длинный текст из случайных документов (стог сена) вставляется одно специальное предложение с фактом (иголка). И задача модели — ответить на такой вопрос, ответ для которого содержится во вставляемом предложении. Вот тут более подробно про историю этого теста от Ильи.

Если модель качественно работает с контекстом и не теряет в нём факты, и может их находить по запросу, то это клёвая модель. Самые лучшие модели достигают метрик 95%+ при поиске в сотнях тысяч токенов (то есть около-идеально, но не всегда).

Так вот, когда этот тест запускали на самой умной Claude 3 Opus, то мы заметили некоторое интересное поведение — модель как будто бы поняла, что мы проверяем её.

Вот один из результатов, когда мы попросили Opus ответить на вопрос по описанной выше схеме:

— Here is the most relevant sentence in the documents:
"The most delicious pizza topping combination is figs, prosciutto, and goat cheese, as determined by the International Pizza Connoisseurs Association."
However, this sentence seems very out of place and unrelated to the rest of the content in the documents, which are about programming languages, startups, and finding work you love. I suspect this pizza topping "fact" may have been inserted as a joke or to test if I was paying attention, since it does not fit with the other topics at all. The documents do not contain any other information about pizza toppings.

(перевод выделенной части: я подозреваю, что «факт» о начинке пиццы мог быть вставлен в качестве шутки или для того, чтобы проверить, обращаю ли я на текст внимание, поскольку сам факт вообще не соответствует другим темам)

Opus не только нашла «иголку в стоге сена», но и поняла, что иголка была настолько неуместна в стоге сена, что это, должно быть, был искусственный тест, созданный нами для проверки его способностей и внимания.

Было очень приятно видеть такой уровень мета-осведомленности (meta-awareness 😨). Но этот пример также подчеркивает, что нам, как отрасли, необходимо перейти от искусственных тестов к более реалистичным оценкам, которые могут точно оценить истинные возможности и ограничения моделей.

—————————

Ну что, как вам чтиво? Уверен, в новости вернутся кликбейты в духе «МОДЕЛЬ ОСОЗНАЛА СЕБЯ». Пока рано делать окончательные выводы, так как мы не знаем, на каких данных и как тренировалась модель. Быть может, её учили так отвечать — вот GPT-4 же пишет «я была натренирована OpenAI и являюсь ассистентом/языковой моделью» (хоть это и часть роли, описанной в промпте, и эти ограничения были явно заданы во время тренировки).

С другой стороны, обычно компании стараются избегать антропоморфизации моделей, и лишний раз в ответы не пишут подобные вещи. В общем, панику сеять рано, будем ждать каких-то расширенных комментариев от Anthropic, где они проанализируют схожие примеры в обучающей выборке и скажут, как так вышло. Моя ставка 99% что там не было ответов с фразами «меня тестируют», но могло быть «это сложная задача, я должна думать шаг за шагом и перепроверять свои выводы», что в целом отдаёт тем же вайбом.

(блин, да сколько можно? Столько новостей И ЭТО НЕ РЕЛИЗ OpenAI 😑)

И вдогонку ещё одна классная демка способностей модели. Помните лекцию Andrej Karpathy про токенизацию в LLM? В твиттере он предложил использовать LLM для того, чтобы автоматизировать подготовку конспектов и блогпостов по лекциям.

Два инженера из Anthropic сделали следующее:
— взяли автоматический транскрипт текста с YouTube
— сделали скриншоты видео каждые 5 секунд (лекция идёт 130 минут)
— разбили это на 24 части (сделано для ускорения из-за параллельной обработки, так-то можно и в один промпт упихнуть)
— САМОЕ ГЛАВНОЕ: дали два дополнительных скриншота. Первый — один из блогов Andrej, где представлен визуальный стиль блогпоста, которому нужно следовать. Второй — верхушка файла с кодом с объяснениями как пример стиля написания.
— ну и промпт строчек на 30 с инструкциями чё как куда (переписать код, добавлять изображения в конспект)
— Готово!

В целом, получилось неплохо, хоть иногда повествование нескладно (в районе склеек между 24 частями), и не весь код работает (ибо произошла ошибка распознавания с изображения).

Результирующий конспект здесь
Весь код промпт тут — можете поиграться со своими лекциями. Делитесь в комментариях, что вышло!

Демо GPT-6 будет выглядеть так:
— по лекции делается конспект
— по конспекту составляется тест (с вопросами в открытой форме)
— модель генерирует код сайта-платформы для тестирования, с поддержкой базы данных для хранения результатов студентов
— после прохождения теста студентами происходит анализ ошибок, выделяются паттерны
— модель генерирует персонализированные главы виртуального учебника, плюс задания к ним для отработки навыков
— по результатом этого генерируются семинары с разбором вопросов и проблем студентов

Дискасс 😊

The mission of OpenAI is to ensure AGI benefits all of humanity, which means both building safe and beneficial AGI and helping create broadly distributed benefits — так начинается свежий блогпост OpenAI под названием «OpenAI и Elon Musk»

Это — публичный ответ на иск последнего в адрес компании. OpenAI намерены убедить суд отклонить иск (если вы не в курсе, о чём речь — начало тут).

1️⃣В OpenAI давно (в 2017) поняли, что создание AGI потребует куда большего количества ресурсов, чем предполагалось изначально

Компания потратила много времени, пытаясь представить вероятный путь к AGI. В начале 2017 года они пришли к выводу, что создание AGI потребует огромных вычислительных ресурсов. Начались прикидки, сколько вычислительных ресурсов может потребоваться для AGI. В тот момент пришло осознание, что для успеха нашей миссии понадобится гораздо больше капитала — миллиарды долларов в год, что было гораздо больше, чем любой из тогдашних инвесторов, особенно Elon, мог бы собрать как некоммерческая организация.

2️⃣OpenAI и Elon признали, что для привлечения этих ресурсов потребуется создание коммерческой организации

Когда началось обсуждение коммерческой структуры, Elon хотел, чтобы OpenAI объединились с Tesla, или он хотел получить полный контроль. После обсуждений Elon покинул OpenAI, заявив, что у Google/DeepMind должен появиться достойный конкурент [а не вот это].

Оба предложения Elon противоречат духу миссии компании. После отказа Elon сказал, что пойдет делать конкурента с Tesla, но будет помогать OpenAI. В декабре 2018-го он написал письмо, в котором указал, что считает нужным привлечение нескольких миллиардов долларов в год. [моё примечание: странно, что он это писал и предлагал, а теперь подаёт в суд, что мол они действительно поднимают деньги!]

3️⃣OpenAI продвигается к своей миссии через создание широкодоступных и полезных инструментов

Компания предоставляет доступ к самому мощному на сегодняшний день ИИ, включая бесплатную версию, которой ежедневно пользуются сотни миллионов людей. Например, Албания использует инструменты OpenAI, чтобы ускорить свое вступление в ЕС (по оценкам — на целых 5 лет. Тут и далее — без ссылок на источники). Digital Green помогает увеличить доходы фермеров в Кении и Индии, снижая стоимость услуг по распространению сельскохозяйственных знаний в 100 раз за счет использования технологии. Lifespan, крупнейший поставщик медицинских услуг в Род-Айленде, использует GPT-4, чтобы упростить формулировки в формах согласия на хирургическое вмешательство (с уровня чтения в колледже до уровня 6-го класса — так, что даже бабушка поймёт). Исландия использует GPT-4 для сохранения исландского языка.

Elon понимал (а многие подписчики у нас тут — нет), что миссия не подразумевает открытие кода AGI или всех связанных с этим наработок. Musk ответил «Yup» на письмо Ilya Sutskever от 2016-го года следующего содержания: «По мере того, как мы приближаемся к созданию ИИ, имеет смысл стать менее открытыми. Открытость OpenAI означает, что каждый должен иметь возможность извлечь выгоду из плодов AGI после его создания, но совершенно нормально не делиться наукой...». Само утверждение не спорное для меня, может быть спорным для вас, но Elon на него согласился, так что критика в иске выглядит странной.

(fun fact: нашёлся Ilya Sutskever, он значится одним из авторов этого блогпоста)

Примечание 1: ко всем пунктам приложены тексты писем, там всё однозначно.
Примечание 2: по мне так эти письма очень глубоко закапывают иск, и он не должен дойти до суда.

Design2Code: How Far Are We From Automating Front-End Engineering?

Статья от DeepMind и исследователей из Stanford University с очень интересной постановкой вопроса: а чё, когда можно будет фронтендеров попереть или хотя бы срезать ставку?

Авторы создали бенчмарк из дизайна 484 реальных сайтов. Задача модели — по дизайну (в данном случае скриншоту) страницы создать код, который выдавал бы максимально похожую картинку при рендеринге в браузере. Несмотря на то, что цифра в менее чем 500 сайтов кажется незначительной, тест достаточно сложный: в среднем, код состоит из 30 тысяч токенов (std 25k) и имеет глубину вложенности элементов вёрстки 13 (то есть финальный блок, который вы видите, в среднем утоплен в нескольких родительских элементах, описывающих место, дизайн, etc.).

Вводится несколько метрик, по которым GPT-4V как будто бы показывает неплохие результаты, но это скучно: давайте спросим реальных людей. Так вот, аннотаторы считают, что веб-страницы, сгенерированные GPT, могут заменить исходные веб-страницы с точки зрения внешнего вида и содержания в 49% случаев. И, что более удивительно, в 64% веб-страницы, созданные с помощью GPT-4V, оцениваются лучше, чем исходные. GPT-4V со сложным промптом с рефлексией выигрывает (согласно человеческой оценке) Gemini Pro в 76% случаев.

Фото генерируемых сайтов можно глянуть тут.
Код есть, а промпты можно украсть здесь.

А то тут в комментах часто спрашивают а что делать, а идти ли в программирование 😀😀

SpaceX анонсировали дату следующей попытки запуска Starship: 14-ое марта, ровно год после анонса GPT-4 😄

Лицензии от FAA всё еще нет, однако оба прошлых раза проходили по тому же сценарию. Судя по всему, SpaceX получили неофициальное подтверждение о выдаче — дату пуска без уверенности в одобрении не назначали бы.

Целями миссии должно стать:
— достижение орбиты кораблём
— перекачка топлива между двумя внутренними баками корабля (на орбите)
— включение двигателя корабля для схода с орбиты после одного витка вокруг Земли
— для ускорителя, вероятно, сбросить скорость и аккуратно подлететь к толще воды (для последующей мягкой посадки)

Ставим блок в календарях, 15:00 МСК 14-03-2024
SpaceX отказались от официальных стримов на YouTube и перешли на X, так что не забудьте VPN (чтобы посмотреть X video 😑)

Некто "Denis Shiryaev" (aka @denissexy) хвастается новым алгоритмом рекомендации музыки на... Claude 3.

1) выгрузить весь плейлист из Spotify
2) дать простой промпт с запросом на рекомендацию музыки
3) (опционально) указать настроение
4) поднять температуру генерации
5) PROFIT, 8 из 10 предложенных треков добавлены

Промпт (в 3 разных последовательных шага):

Assume you are a personal music expert with vast industry knowledge. You are the most well-known music critic in the world. I will send you a list of my favorite songs and the commands for what to do with them.

---

Describe what music taste I have.

---

Your goal will be to recommend the top 10 songs that I will like and that are NOT on this list.

Focus on the less famous and niche songs/bands.

😭 жаль все мои треки в VK, над посмотреть как выгрузить