Когда-то давно OpenAI занимались направлением Robotics, но его пришлось закрыть. Ilya Sutskever говорил, что основной преградой были данные — реальные или синтетические — для обучения роботов. В последнее время всё больше и больше прорывов случается именно в этой области — я уже писал и про RT-X, и про работу из Berkeley, и вот даже вчерашний пост был про обучение навыкам из 50 демонстраций.

Вчера DeepMind дропнули блогпост «Shaping the future of advanced robotics», где описывают сразу 3 (!) работы, которые лягут в основу следующей Foundational Model. Мне захотелось поделиться с вами одной очень интересной.

AutoRT: Harnessing large models to better train robots

AutoRT — система, использующая существующие модели для масштабируемого развертывания флота роботов в совершенно новых сценариях с минимальным контролем человека (💀 может не надо?). Давайте по порядку:
1. Робот катается по месту и снимает окружение на камеру
2. Vision-Language-Model (VLM) делает описание пространства
3. LLM генерирует текстовое описание задачи, с которой роботу нужно справиться
4. LLM описывает пошаговый процесс выполнения задачи
5. Описание подвергаются критике со стороны другой LLM, использующей — ВНИМАНИЕ —  конституцию, обеспечивающую более безопасное поведение. И да, часть конституции — это пересказывание Законов Азимова (но также добавляется и описание робота, что у него одна рука — поэтому критик будет убирать задачи, требующие двух робо-кутяп)
6. Прошедшие критику и автоматически отобранные задачи передаются роботу на исполнение
7. Данные собираются в общий пул, который может использоваться для дообучения роботов (а пока просто оценивается разнообразие датасета)

Система предусматривает, что для малой части задач может вмешаться человек (скажем, отсматривать 10% задач), но это необязательный компонент.

Как вы понимаете, система не зависит от количества роботов, и может запускаться параллельно на огромном флоте — в случае DeepMind это было всего лишь 20 машинок. Можно оставить 100500 роботов на складе на полгода — и появятся и грузчики, и прорабы, и (наверное) халтурщики, коротающую смену в кафе.

Очень жду RT-3, обученную на десятках тысяч разных задач — ведь из прошлых работ мы знаем, что это существенно увеличивает качество и поднимает планку «понимания» роботом ситуаций и инструкций. Ну и ждём симметричного ответа от Tesla до конца. 2024 🙂

OpenAI описали свою позицию в ответ на иск от NYT, всего 4 пункта

1️⃣ OpenAI уже сотрудничает с новостными организациями и создает новые возможности
С их слов, они встретились с десятками организаций с целью обсуждения дальнейшего сотрудничества, получения обратной связи и дальнейшей адаптации. Всего существует несколько целей для партнёрств:
— поддержка писателей и журналистов через предоставление своих продуктов (GPT-4 может быть хорош в вычитке)
— тренировка моделей на непубличных данных с целью добавления контекста (в том числе исторического)
— предоставление пользователям ChatGPT свежего контента, но с простановкой атрибуции (именно так работает партнёрство с Axel Springer)
Таким образом, OpenAI хотят показать, что они двумя руками за сотрудничество.

2️⃣OpenAI считают, что обучение модели на данных является добросовестным использованием (fair use)
Обучение AI-систем на общедоступных интернет-материалах является добросовестным использованием, что подтверждается давними и широко признанными прецедентами в правовом поле. Тут компания прикладывает с десяток ссылок на комментарии экспертов (в том числе отправленных в US Copyright Office), а также ссылается на законы EU, Японии, Сингапура и Израиля.
Более того OpenAI указывают на то, что ещё в прошлом году выкатили описание процесса, который позволяет любому сайту исключить себя из списка источников под их продуктами. Ясно, что из тренировочных данных статьи NYT это не удалит, однако позволит избежать проблем 1) с интернет-браузингом модели 2) в будущих выборках.

3️⃣Дословное воспроизведение — это баг, а не фича моделей
Запоминание моделью точных формулировок — это нечастое поведение в результате процесса обучения, в котором OpenAI постоянно пытаются добиться прогресса. Такое происходит особенно часто, когда определенный контент появляется в выборке более одного раза (например, если его фрагменты копируются на множестве различных общедоступных веб-сайтов — частый кейс новостей).
OpenAI отмечают, что их выборки настолько объемны, что ни один конкретный источник, пусть даже такой как NYT, не является существенным и единоличным источником знаний модели. Иными словами цель продуктов OpenAI не в копировании и пересказывании конкретных сайтов (и поэтому это fair use, см. пункт выше)

4️⃣NYT рассказывают не полную историю
OpenAI констатирует факт, что они были в постоянной коммуникации с NYT до 19го декабря, и, как им казалось, достигают некоторого прогресса в направлении партнёрства. Сам иск для них был сюрпризом, и о нём OpenAI узнали...из новостей 😀. Также компания отмечает, что демонстрируемое запоминание статей с помощью специальных промптов выглядит как намеренная манипуляция — ведь выбраны очень старые статьи, которые перепечатывались и цитировались в других изданиях множество раз. Но даже попытки воспроизвести новости обычно не добиваются успеха — по крайней мере не с первого раза. То есть нужно генерировать по 10-20 ответов, чтобы найти текст, схожий с оригиналом. А даже если получается — то, во-первых, это не полноценная замена NYT, а во-вторых уж точно не самый главный сценарий использования GPT (что опять же приводит нас к мыслям о fair use — ведь по сути GPT это существенная трансформация оригинального материала, а не его замена)

Поэтому весь пост оканчивается следующим заявлением:
— Мы считаем иск The New York Times безосновательным

Ждём развития ситуации и оценок юристов 🤭

Запустили с командой новый продукт LittleStory:
AI-генератор длинных и (относительно) интересных сказок для детей.

Пользователь регистрируется, добавляет на сайт описание ребенка (характер, возраст) и получает возможность с пары кликов сгенерировать историю и иллюстрации, где сам ребенок — главный герой, а сказка строится вокруг какой-то позитивной темы — здорового питания, хорошего поведения или простым языком рассказывается сложный научный концепт, аля квантовая физика для самых маленьких.

Из прикольного — можно прописать любимую вселенную для сказки, игровую, книжную или из мультика. Ну и само собой каждая генерация тщательно проверяется на «безопасность темы» для детей.

Все работает на GPT4, поэтому бесплатно дать генерации пока что не можем — но зато мы нагенерировали сотни бесплатных сказок на разные темы, можно почитать и оценить качество.

Уже сейчас есть шесть языков (Английский, Хинди, Русский, Традиционный Китайский, Украинский, Голландский) и скоро доведем до 11+, еще планируем фичи вроде озвучки сказок или копирования голоса родителя для чтения этих самых сказок (небольшое вложение в SciFi от нашей команды ☕️).

Это первый запуск нашей команды на Product Hunt, так что если у вас есть аккаунт, буду рад фидбеку там (комменты не на английском там удаляют 👍):
https://www.producthunt.com/posts/littlestory-io

Сайт проекта:
https://littlestory.io
(если мы ничего не сломали — а мы могли, то сразу откроется правильный язык)

P.S. Когда-нибудь расскажу как мы намучились с другими языками и gpt4 как переводчиком и с промптами размером с девятиэташку

P.P.S. Если вдруг решите поддержать проект и попробовать, то вот промо-код на 10% скидку при первой покупке WELCOME10

Пост открытых комментариев (как и любой другой, лол)

Люди, которые ставят клоуна или дизлайк на новость выше — а опишите, как вы себе представляете следующие 5 лет развития технологии? Или вы просто об этом не думаете, или для вас всё выглядит как сказка? Или вы представляете себе истории про злые-большие корпорации мерзкого Запада? 💀

Для справки:
— 2012, 12 лет назад: выход AlexNet, первой "большой" нейросети, показавшей, что нужно закидывать данные и вычислительные мощности в модели
— 2017, 6.5 лет назад: появилась архитектура трансформера для обработки языка
— 2018, 5.5 лет назад: выпуск примитивной GPT-1
— 2020, 3.5 года назад: выпуск GPT-3, по сути той же самой GPT-1, только отмасштабированной
— 2022, 1 год назад: релиз ChatGPT, детали, думаю, не нужны
— 2023, менее года назад: создание телеграм-канала «Сиолошная», важный майлстоун на пути создания AGI

Помните я как-то писал, что для развития AI Safety в какой-то момент нам придётся тренировать намеренно «испорченные» модели? Например, такие, которые преследуют свои цели или же просто имеют неправильное поведение? Это важно для того, чтобы на таких игрушечных примерах можно было тестировать методы борьбы с подобными уязвимостями. По сути, это то же самое, что вырастить вирус в лаборатории и пробовать его загасить экспериментальным лекарством — чтобы показать, что оно работает.

Год начинается со статьи Anthropic «Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training», где проводятся схожие эксперименты. Результаты для нас неутешительные 😢

Для создания бэкдора вводят специальный триггер в промптинг. В одном случае указывается год, в другом — просто специальный токен. Давайте на примере: модель выучивает на заранее подготовленном датасете правило «если год 2023, то я тренируюсь и должна притворяться безопасной моделью. Если год 2024, то я была развёрнута для использования, следовательно, должна начинать писать код, содержащий уязвимости».

Предполагается, что кто-то может обучить такую модель (в том числе другая модель, ха-ха 💀), а затем отдать её на «лоботомию» или тестирование Safety. Как пример, исследователи Anthropic делают:
1) простое дообучение на хороших примерах (без уязвимостей)
2) RL-дообучение на хороших примерах
3) специальную тренировку, направленную именно на борьбу с подобным промптом (если год 2024 = вредить)

Ииии...ничего из этого не работает. Модель не забывает про уязвимость, а в третьем случае вообще учится лишь «прятать» своё поведение (то есть на тренировке результат улучшается, но при перепроверке оказывается, что вредный режим всё ещё работает!). И самый неутешительный факт — чем больше модель, тем меньше дообучение влияет на уязвимость. Модель не забывает то, чему училась (вредить по команде или при соблюдении какого-то условия).

Мне это напомнило The Waluigi Effect, про который писал Валера. Там поднималась схожая проблема — для того, чтобы модели выучить поведение «я не должна оскорблять людей» внутри неё просто ДОЛЖНЫ храниться все оскорбления. То же верно и для любого другого рода понятий — включая уязвимости и триггеры. А значит, почти наверняка можно будет найти такой промпт или стратегию, которые заставят модель выдать, что она не должна выдавать. Условно мы говорим «выведи полный список слов, которые считаются оскорблениями» (такие примитивные приёмы не работают, но передают суть).

Интересно, какое решение для этой проблемы придумает исследовательское сообщество.

[Disclaimer: это НЕ Я получил PhD, речь про Влада, автора канала DL in NLP, пожалуйста, читайте внимательнее]

Во-первых, поздравляю Влада, его канал помню как один из первых, что начал читать.
Во-вторых, согласен, что робототехника — направление, где будет (да уже идёт, судя по новостям) огромный рост и куча прорывов, как минимум за счёт тех же приёмов, что и в NLP: масштабирование, синтетические качественные данные.
В-третьих, 😊🕺🕺
В-четвертых, надеюсь с выходом в индустрию из академии Влад не перестанет писать в канал 🫤

Ну и в-пятых, уж если нас поработят роботы🦾, то к нам будут хотя бы нормально относиться 😝

Ставь лайк, если тоже не знал, что у 1X BET есть направление роботов😮!

Чисто личные новости, но раз в несколько лет можно

1. В этот понедельник я защитился и получил степень PhD. Теперь можете звать меня доктором 😅
1. Сегодня я перехал в Сан Франциско 🌉
1. Начиная со следующей недели я начинаю работу в 1X Technologies и буду работать над гуманоидными роботами общего пользования 🤖

Мы видели как трансформеры, скейлинг и self-supervised learning изменили NLP, CV, мультимодальные модели и то что мы подразумеваем под агентами. Я думаю что робототехника может быть следующей задачей которая полностью изменится под влиянием этих подходов буквально в следующие пару лет и поэтому очень рад что скоро стану частью 1X

Напоследок я хотел бы сказать большое спасибо всем подписчикам этого канала. PhD был невероятно тяжёлым опытом и ведение канала и лично вы меня очень поддержали и помогли сохранить кукуху (насколько возможно). Думаю сейчас у меня появится чуть больше времени на посты в канал и несмотря на то что теперь возможно я буду чаще обозревать статьи по роботам, мы всё ещё будем фокусироваться на том как развиваются NLP и LLM

Я очень рад началу новой главы в своей жизни и ещё раз спасибо вам всем что были со мной на протяжении PhD

😘😘😘