Интернет всполошился. Вчера вышел 166-страничный репорт о возможностях GPT-4V. Оказалось, что GPT не только помножил на ноль почти все продукты в области NLP за последние годы, но и с ноги ворвался в Computer Vision, где сидели бородатые завсегдатаи, пили пиво и были уверены что "уж нас-то ваши эти трансформеры не тронут" (с).

Оказалось, что помимо простого "опиши что на картинке" GPT имеет глубокое понимание визуального и текстового контекста. Умеет определять темпоральный контекст. Знает как распознать и корректно идентифицировать эмоции людей. Прекрасно решает взиуальные логические задачи. Ставит корректные диагнозы по КТ и МРТ снимкам. Может дообучаться, в том числе на few-shot примерах прямо в промте. Анализирует графики. Распознает ингредиенты в блюде. Распознает конкретных людей. Понимает схемы, диаграммы, формулы, в том числе нарисованные от руки. Умеет выполнять навигацию по графическим элементам дизайна. Умеет принимать решения о навигации робота в реальном мире по двухмерной фотографии.

Но, главное, это вообще не какая-то другая модель. Это часть GPT-4 и, соотвественно, все что уже работает внутри GPT (промтинг, RAG, агенты) автоматически работает и для GPT-4V.

Для меня этот пейпер звучит как дикая фантастика 20-летней перспективы. Если бы OpenAI не анонсировал, что продукт будет доступен всем через месяц. А многие в твиттере уже имеют к нему доступ.

Вот тут Леша из Ai Happens рассказывает о примерах для бизнеса, а Сергей из Метаверсище и ИИще про кейсы в психологии и эмоциальном интеллекте.

Интернет встрепенулся (второй раз за день). GPT-4V забыт как детский сон. Open X (коллаборация 21 топовых университетов) дропнули пейпер и гигамодель для генерализации "воплощения" (embodiement) роботов.

Подобно тому как обучение на триллионах токенов создало универсальный NLP алгоритм (LLM), а обучение на терабайтах картинок создало универсальный графическую модель, теперь тот же принцип был успешно применён к робототехнике в новой модели RT-X.

Раньше ИИ модели создавали кастомно под задачи робота (управлять машиной, складывать детали, готовить еду, копать ямы). Здесь представлена модель, которая универсально управляет роботическими руками и умеет выполнять 1,5 миллиона отдельных задач без ручного обучения каждой из них. Роботы, не видевшие раньше задания, такие как "сложи", "возьми", "отсортируй", "налей", "переверни", "открой дверь", "подмети за собой" с первой попытки успешно их выполняют.

Если GPT — это генерализация логических и когнтивных задач (операций с битами), то эта штука — генерализация задач взаимодействия с физическим миром (операций с атомами). В робо-руках, управляемых RT-X, проявились эмерджентные свойства и умение выполнять задачи, которыми их не тренировали. Подобно тому как GPT может ответить на вопрос, который он никогда не видел. Технически это называется "cross-embodiment learning". Модель, кстати, с открытым кодом. Но, как мы знаем, все что Open рано или поздно становится не очень.

Так что, let's fuuucking go, hail to your robot overlords.