Anthropic опубликовали Политику ответственного масштабирования (Responsible Scaling Policy, RSP) — серию технических и организационных протоколов, которые они принимают для того, чтобы помочь управлять рисками, связанными с разработкой все более эффективных систем искусственного интеллекта.

"Мы считаем, что по мере того, как модели ИИ становятся более функциональными, они создадут большую экономическую и социальную ценность, но также будут представлять все более серьезные риски."

RSP определяет «Уровни безопасности искусственного интеллекта» (AI Safety Levels, ASL) для работы с потенциальными катастрофическиим рисками, которые по формату аналогичны стандартам уровней биобезопасности (BSL) правительства США для обращения с опасными биологическими материалами.

Потенциально выделяется 5 уровней систем, ниже дам очень сокращенное описание:
— ASL-1 относится к системам, которые не представляют значимого катастрофического риска, например, LLM 2018 года или система искусственного интеллекта, которая играет только в шахматы; — ASL-2 относится к системам, которые проявляют ранние признаки опасных возможностей – например, способность давать инструкции о том, как создавать биологическое оружие – но где информация еще не является полезной из-за недостаточной надежности или отсутствия информации, которая, например, поисковая система не смогла обнаружить в силу своей несовершенности. Нынешние LLM, включая Claude-2 и GPT-4, скорее всего, имеют этот уровень;
— ASL-3 относится к системам, которые существенно увеличивают риск катастрофического или неправильного использования по сравнению с базовыми системами, не связанными с ИИ (например, поисковыми системами или учебниками), ИЛИ которые демонстрируют автономные возможности низкого уровня. Потенциально это GPT-5 в обёртке AI-агента с неконтролируемым доступом в интернет;
— Уровни ASL-4 и выше (ASL-5+) еще не определены, поскольку они слишком далеки от нынешних систем, но, вероятно, их разработка повлечет за собой качественное увеличение потенциала катастрофического злоупотребления подобными системами.

Весь RSP следует рассматривать как аналог предварительных испытаний и разработки систем безопасности, проводимых в автомобильной или авиационной промышленности, где цель состоит в том, чтобы точно продемонстрировать безопасность продукта до его выпуска на рынок, что в конечном итоге приносит пользу потребителям (ну, кроме случая с Boeing 737 MAX, да?).

Анонс тут
22-страничная policy доступна здесь

Жду подобного от OpenAI 👁

Here's to 25 more 🫡

В честь праздника на канале OpenAI решили выпустить DALL-E 3

https://openai.com/dall-e-3

Теперь модель понимает значительно больше нюансов и деталей, чем предыдущие системы, что позволяет вам легко воплощать ваши идеи в исключительно точные изображения.

На фото результат генерации по запросу
> An illustration of a human heart made of translucent glass, standing on a pedestal amidst a stormy sea. Rays of sunlight pierce the clouds, illuminating the heart, revealing a tiny universe within. The quote 'Find the universe within you' is etched in bold letters across the horizon.

Статьи нет, так что другим исследователям придётся крутиться самостоятельно!

Обещают плотную интеграцию с ChatGPT. Как минимум в виде плагина (в октябре). Но ещё есть интересная заметка:
> Будучи запромпченной, ChatGPT автоматически создаст индивидуальные и более детальные промпты для DALL·E 3, которые воплотят вашу идею в жизнь. Если вам нравится определенное изображение, но оно не совсем подходящее, вы можете попросить ChatGPT внести изменения всего несколькими словами.
> DALL·E 3 is built natively on ChatGPT


Пошёл генерить новую аватарку для канала 🙂

DALL·E 3 сейчас находится на стадии предварительной версии (доступно для исследователей), а всем будет доступен в октябре через API и подписку на ChatGPT.

С одной стороны возможности для Edtech'a, с другой — сделать мир лучше!

OpenAI в партнерстве с Tools Competition запускают долгосрочный конкурс "Learning Impact Prize" с призовым фондом более $5m. Его цель — стимулировать развитие технологий, чтобы удовлетворить растущие потребности учащихся во всем мире.

Всего есть 5 направлений, и каждое разбито на 3 подтрека:
— Catalyst Awards ($50k приз): для идей или продуктов на ранней стадии (если вы решили изменить мир вот только что, читая этот пост 👍);
— Growth Awards ($150k): для продуктов с небольшим количеством пользователей, на дальшейшее масштабирование;
— Transform Awards ($300k): для платформ с 10 000 или более пользователей.

Сами треки:
— Accelerating & Assessing Learning
— Preparing for the 21st Century World
— Instructional Coaching for Early Childhood Education
— Facilitating Learning Science Research
— Engaging Adult Learners in Higher Education

При клике на ссылку каждого трека вас ждёт подробное описание, а также примеры компаний/стартапов, которые уже решают схожие проблемы. Там же указаны предъявляемые к продукту требования.

Но самое интересное — то, что среди победителей каждого трека OpenAI дополнительно выберут до трёх участников, выделят им отдельно еще по $100k, $10k кредитов на API, а также возможность общения и поддержки командой OpenAI. Последнее, пожалуй, самое главное.

Можно возмутиться, мол, 100-200 тысяч долларов это не такие большие деньги, чтобы развивать компанию и прорывную идею. Но тут важнее признание и партнерство с OpenAI. Если к инвестору придёт фаундер и скажет "ну мы там выиграли конкурс от OpenAI и у нас теперь есть ещё и доступ к их инженерам" — почти наверняка денег отсыпят.

Податься со своей заявкой можно до 10го ноября 2023го года, дальше будет два этапа, и победителей определят в июне 2024го.

⬇️ Пишите в комментарии если у вас есть идея, или может даже целый продукт!

Пока вы (мы (я)) спали, Tesla выкатили полутораминутное демо-видео с своим роботом Optimus.

В нём показывается, как робот раскладывает детальки конструктора по цвету в 2 разные коробки, сортируя по цвету. Команда Tesla утверждает, что:
1) робот работает полностью на нейросети, без вручную запрограммированных эвристик;
2) то есть нейросеть получает на вход изображение с камер и положение конечностей, а предсказывает действия, которые необходимо осуществить (то есть подать ток на моторчики);
3) модель тренируется end-2-end, то есть на всей задаче целиком. Не нужно разбивать одну задачу на маленькие ("определи цвет", "возьми кубик", "поверни кубик", итд);
4) нейросеть работает внутри бота, а не в облаке. То есть вычислительные мощности зашиты внутрь, и робот получается автономным — главное чтобы батарейки хватило;
5) Senior Staff Engineer говорит, что "соберите больше данных, и мы сможем выучить новую сложную задачу, не меняя ни одной строчки кода!". В целом звучит круто, осталось понять, что это за данные. Симуляции? Или действия в реальном мире?
6) Также он пишет, что "его можно запромптить (как LLM?), в этом видео используется та же нейросеть для сортировки и перемешивания блоков, вы просто говорите ей, что хотите.". Если там есть текстовый интерфейс - это 🔥 (моя ставка что там не LLM, а цели задаются иначе);
7) у робота работают пальцы, он спокойно берет и переворачивает объекты. Мелкая моторика - сложная для программирования вещь, а тут её и делать не нужно, всё само;
8) в конце видео показывается, как хорошо робот балансирует - он встаёт в две йога-стойки и не падает.

Почему это круто? В чём отличие от нашумевших Boston Dynamics?
1) у BD всё программировалось вручную (по крайней мере последний раз когда я проверял, может за пару лет изменилось в корне), и поэтому сложно масштабировалось. Если ваш пёс умеет бегать и прыгать, то научить его ползать это очень сложная задача на год+ целой команде (цифра условная);
2) Тренировка end-2-end позволяет свести любую задачу к проблеме данных. Если у вас много качественных данных — проблема решена. И, как отметил инженер, перепрограммировать ничего не надо. Вероятно, тут он лукавит — Tesla показывали, что они используют виртуальные симуляторы, соответственно надо в них задать новую задачу, а потом просто запустить — и тогда бот разберется, что к чему;
3) прогресс ГОРАЗДО быстрее, чем у BD. Робот был анонсирован всего пару лет назад, а год назад еле ходил. BD были основаны в 1992 году (!), а гуманоидного Atlas показали в 2013м году. И за следующие 10 лет лишь немного улучшили его с точки зрения сложности поведения/действий — потому что всё это плохо масштбируется;
4) Tesla'ой рулит Elon Musk, человек, ориентированный на бизнес. Основная фишка - удешевление, ускорение и масштабирование производства. Это было с Tesla, это происходит в SpaceX. Если поставить производство ботов на поток, они будут очень дешевы, что позволит им конкурировать с рабочими на складах и в McDonalds. И на заводах Tesla, и на фабрике SpaceX на Марсе — тоже!
5) Правда не ясно зачем McDonalds, если такой же робот сможет готовить блюда как шеф с тремя звёздами Мишлен...

Всего неделю назад писал про лик информации о будущих планах OpenAI — там говорилось про модель Gobi.

Но оказывается в Твиттере есть человек, который предсказал это ещё 28го Апреля. Твит удалён, однако сохранилась архивная ссылка: тык. Этот же аккаунт за полторы недели до релиза GPT-4 (14го марта) писал 5го марта, что GPT-4 уже используется в Bing, а анонс будет через неделю или около того. И в тот же день назвал точную дату вместе с указанием на тот факт, что GPT-4 будет обрабатывать картинки.

В общем, пускаемся на территорию слухов и догадок. Этот же аккаунт написал 18го сентября, что — готовы? вдохните поглубже 😆 — "AGI has been achieved internally." Якобы в одной из лабораторий (Видимо, OpenAI?) достигли уровня технологии, который можно назвать AGI (хотя бы каким-то определением). Лично я в это не верю, скорее какая-то из компонент на каком-то бенчмарке показала себя сильно лучше, чем ожидалось — такое может быть.

Также этот аккаунт утверждает, что у OpenAI с весны идёт разработка модели под кодовым названием Arrakis (как планета со спайсом во вселенной Dune). Целевая дата релиза — 2025й год, но может быть из-за ускорения рисерча она будет релизнута где-то в 2024м.
——————
Помимо этого на Reddit есть аккаунт, который пишет в целом схожие вещи в похожем стиле, и как будто бы даже из той же страны (не понял, как узнали). Увидел вот тут, оригинал поста на LessWrong здесь. Что говорят:
— Arrakis уже существенно превосходит GPT-4 с точки зрения reasoning (рассуждение и логический вывод);
— это мультимодальная модель, которая умеет не только принимать, но и выдавать разные типы данных. В том числе умеет генерировать видео (лучше, чем Gen-2);
— Модель имеет около-экспертный уровень в большом наборе топиков, но пока не превосходит людей;
— Галлюцинации встречаются куда реже, чем у GPT-4, но всё еще не побеждены;
— Половина тренировочных данных — синтетические (то есть сгенерированные другими моделями);
— модель является очень хорошим автономным агентом, то есть ей можно поставить задачу, дать инструменты и ждать, пока задача выполнится.

В общем, такие вот слухи. Сам я не верю даже в 30% того, что описано, но чёрт его знает что там в этом вашем Deep Learning происходит. Поживём - увидим!

UPD: забыл добавить, что в истории с предсказаниями по GPT-4 много пробелов, много твитов удалено, странные вещи, так что этот пост скорее просто даёт помечтать. Ну и через годик вернуться-посмотреть :)

Вчера прошло незаметно на фоне анонса голосовых функций для ChatGPT, но шведская компания Spotify объявила, что запартнерилась с несколькими подкастерами для перевода их англоязычных выпусков на испанский с помощью нейросетей, а в ближайшие недели планирует выпустить переводы на французский и немецкий. Первая партия эпизодов уже доступна — можно слушать последние выпуски Dax Shepard, Monica Padman, Bill Simmons, Steven Bartlett и нашего любимого Lex Fridman.

Причём делается не только перевод и озвучка, но и полноценное копирование голоса и стиля (интонации) говорящего. Казалось бы, запартнерились со стартапом Heygen, про который я недавно писал, ан нет! Провайдер технологии — OpenAI 🤔! До этого не было известно, что у них есть инструмент для подобного. Возможно, используется та же модель, что и для ChatGPT (просто там голоса строго заданы, а не склонированы с подкастеров). А для перевода речи в текст используется старый добрый Whisper, выпущенный OpenAI весной 2022го года. Статей и каких-либо деталей по синтезу и клонированию голоса нет 🤕 ну и ладно.

А ещё из вот этого твита стало известно, что над моделью работал Alec Radford — один из самых первых и талантливых исследователей в OpenAI. Он был соавтором GPT (1-2-3-4, причём для первых двух — первым автором), но после 2021го как-то пропал с радаров. По его LinkedIn я даже подумал, что он покинул OpenAI, но нет, ещё трудится на благо AGI 🤗

Апдейт

1) Аккаунт Jimmy Apples в Twitter был удалён или забанен
2) в комментарии на Reddit к этой новости пришёл Sam Altman (по крайней мере комментарий с его аккаунта. Возможно, взломали, возможно, AGI ВЫБРАЛСЯ НАРУЖУ, И ИГРА НАЧИНАЕТСЯ)
3) Sam зарофлил:

agi has been achieved internally (EDIT obviously this is just memeing, y’all have no chill! when agi is achieved it will not be announced with a reddit comment…)

🤡

в то же время про ускорение таймлайнов и сливы касательно Arrakis/Gobi — если посмотреть тех. репорт по модели GPT-4v (с картинками), то там в ссылках на литературу можно заметить плейсхолдеры, которые забыли заменить...писали впопыхах? куда торопятся? релизнуть модель в 2024м?????)

Впервые увидел у Влада тут: https://t.me/dlinnlp/1678