Sam Altman с корешами из OpenAI выкатили первоначальные идеи по управлению "superintelligence", включая создание международной организации по надзору за будущими системами ИИ, гораздо более способными, чем сегодняшние: ссылка.

Тезисное саммари:
— Развитие суперинтеллекта должно координироваться глобальными усилиями для обеспечению безопасности и плавной социальной интеграции.
— Организация, подобная Международному агентству по атомной энергии (МАГАТЭ), может потребоваться для надзора за усилиями по разработке ИИ, которые превышают определенные значения возможностей.
— Техническая возможность сделать суперинтеллект безопасным — пока не подтверждена, это открытый исследовательский вопрос, который необходмо прорабатывать.
— Компаниям должно быть позволено разрабатывать модели ниже заданного порога возможностей без жесткого регулирования, в то время как мощные системы требуют тщательного управления и общественного контроля.
— Границы для систем ИИ должны определяться демократическим путем, при этом отдельные пользователи должны контролировать поведение своего ИИ в этих пределах.
— Несмотря на риски, развитие ИИ считается полезным из-за его потенциала для решения социальных проблем.
— Остановка развития суперинтеллекта считается рискованной и трудной, поэтому важно подчеркнуть важность принципа ответственного и безопасного развития.

🟢 Напоминание: завтра в 19:30 по мск проводим звонок с @seeallochnaya прямо здесь.

Обсудим, как ChatGPT ищет информацию в интернете, как работают плагины, а также коснемся альфа-версии интерпретатора кода, которая появилась у некоторых пользователей.

Ссылка, чтобы добавить событие в календарь

приходите, я буду рад

@aihappens

Этично ли указывать моделям на их ошибки в процессе обучения?

👀 залетаем через 10 минут. Заходите на канал Леши, там нажмете кнопочку - и будет стрэм.

Запись будет (не знаю где и когда).

Если вы внимательно слушали мой доклад про RLHF, то поняли, что основной способ сделать модели умнее и "выровнять" их способы решения проблем и наши — это создание ручной разметки большой группой лиц. Помимо решений задачек и создания набора "демонстраций" люди также оценивают соответствие сгенерированных ответов достаточно длинной инструкции и набору правил (больше чем 10 страниц, я почти уверен — в InstructGPT было 8). В том числе оценивается токсичность ответов, их неприемлимость в разных кругах.

Тренируя системы, подобные GPT-4, мы подстраиваем их под человеческие предпочтения. Но главный вопрос — «Чьи предпочтения мы оптимизируем, и что именно закладываем в модель?». Наверняка взгляды на жизнь у среднего американца, топ-рисерчера из Пало Альто и кенийца, подрабатывающего разметкой данных, очень разнятся. Но что нужно реально учитывать при составлении данных, на которых будут учиться системы следующего поколения?

— Инклюзивность. Человечество очень разнообразно, и разные группы должны иметь возможность вносить значимый вклад в этот процесс. Он должен работать с разными культурами, языками, уровнями доходов, возрастами и т. д. Он не может игнорировать взгляды меньшинства, которые очень важны для этого меньшинства;
— Справедливость. Процесс должен быть справедливым, он не может отдавать предпочтение элитам или отдельным лицам в ущерб остальному человечеству;
— Представительность. Процесс должен агрегировать значения таким образом, чтобы каждый человек имел равную возможность формировать результат и решать, как урегулировать конфликтующие ситуации;
— Согласование с целями: процесс должен быть неподконтролен любой технологической компании или государству. Всякий раз, когда компания отвечает за этот процесс, всегда существует риск того, что цели компаний могут помешать этому процессу;
— Легитимность. Процесс должен действовать в рамках существующих правил и институтов, а не в обход их;
— Адаптивность. Человеческие ценности со временем меняются. Замыкание человеческих ценностей начала 21 века и предотвращение нравственного прогресса, вероятно, станет катастрофой;
— Прозрачность. Каждый должен иметь возможность наблюдать за процессом и видеть, как он работает;
— Простота. Процесс должен быть достаточно простым, чтобы большинство людей могли его понять
— Практичность. Процесс должен быть достаточно практичным, чтобы на его реализацию не ушли десятилетия, если ИИ будет развиваться быстро.

(источник — блогпост тимлида команды AI Alignment в OpenAI)

«...Один из возможных способов достижения результата идеализированного процесса со значительно меньшими усилиями, чем его реальное выполнение, — это создание достаточно мощной Aligned системы ИИ...и попытка получения репрезентативного ответа из нее...» (но возникут проблемы как минимум с легитимностью)

«Таким образом, общение с людьми из каждой подгруппы человечества будет важнейшим компонентом такого процесса.»

———
и вот вам новость: The ChatGPT app is now available to users in 11 more countries — Albania, Croatia ... Jamaica ... Nicaragua, Nigeria.

Не самый обычный список стран, правда? Тем более что использование чатбота бесплатно для всех. Ну что, сложим два да два, и пофантазируем, как автономный чат-агент будет собирать персонализированный фидбек со всего человечества в течение нескольких лет для тренировки одного, Самого Последнего и Разумного ИИ?)

Для нашей совместной с @RationalAnswer и @vas3k_channel статьи вышло видео на канале Паши: https://www.youtube.com/watch?v=fnVy03_XyBc

Если вы вдруг пропустили, или для вас предпочтительнее видео-формат с наглядными демонстрациями (хотя они и в статьях есть, Вастрик постарался!) — то приглашаю к просмотру.

Ссылка на видео: https://www.youtube.com/watch?v=fnVy03_XyBc

P.S.: я писал, что тоже делаю статью в этом направлении, но честно говоря пока немного заглохло, много дел( часть материала, который был заготовлен, вы можете видеть постом выше — где тимлид Aligment-команды OpenAI рассказывает свое видение принципов, которые необходимо соблюдать.

P.P.S.: Паша хватит делать такие кликбейтные обложки >_<

Моя любимая иллюстрация из статьи, которая показывает сценарий, в котором ИИ может достигнуть superhuman-уровня относительно нас текущих, но не будущих.

Олег Чумаков прислал уникальный материал.
Огромный Postmortem of a Game Made With chatGPT and Midjourney
И это не статья в духе "смотрите, как можно генерить что-нибудь для игр", а огромный детальный отчет о том, как Luden.io делали игру за 72 часа с помощью Midjourney и chatGPT. Причем не на уровне генерации иконок или текстурок, а с полным погружением в использование ИИ по всем фронтам.
Создание концептов, написание истории с помощью chatGPT, выписывание персонажей с помощью chatGPT, написание диалогов, описание локаций в chatGPT(!) для дальнейшей визуализации в Midjourney, огромное количество трюков с локациями для консистентности, преимущества коротких промптов, создание ИИ музыки для игры и многое другое. Практика 100%.
Читается как рассказ-приключение.
https://blog.luden.io/generated-adventure-the-postmortem-of-a-game-made-with-chatgpt-and-midjourney-prompts-included-f87e7e615204

Ну вот только поговорили...как вдруг OpenAI анонсировали, что запускают фонд на 10 грантов по $100'000 на создание прототипов демократического процесса управления ИИ. Цель — профинансировать эксперименты с методами сбора детального фидбека ото всех о том, как должен вести себя ИИ. Подать заявку можно 24 июня 2023 г.

Под «демократическим процессом» подразумевается такой процесс, в котором репрезентативная группа людей обменивается мнениями, участвует в совещательных дискуссиях и, в конечном итоге, определяет результат посредством прозрачного процесса принятия решений. Существует множество способов структурирования такого процесса, и OpenAI призывает соискателей как приходить с новаторскими идеями, так и опираться на известные методологии.

Что интересно, как пример такой системы предлагается промпт для GPT, чтобы заставить её общатьcя с людьми и собирать мнения. В общем, читайте прошлое сообщение)

Ссылка: тык

Вчера на стрим-подкасте с Лешей @aihappens детально на пальцах раскладывали, как именно языковые модели вроде GPT-4 общаются с разными системами вроде Wolfram или Bing, и как вообще устроены плагины к ChatGPT. Я упомянул, что вероятнее всего во время дообучения GPT-4 специально собирали примеры таких промптов, чтобы "пришивать" внешние инструменты/API к языковой модели.

Исследователи из Беркли подсуетились, собрали специальный датасет и выпустили Gorilla — модель на основе LLAMA, заточенную на генерацию вызовов к разным сервисам по человеческому запросу. По сути, это продолжение концепции мега-умной Siri из айфона, которой вы можете давать любые произвольные команды, а она будет понимать, что именно нужно делать с устройством для выполнения задачи.

Gorilla превосходит GPT-4 по замерам авторов на собранном ими же бенчмарке, и это при том... что сама модель тренировалась на выдаче GPT-4 😐
А еще тюнинг на строгих и формализованных схемах API-запросов смягчает проблему галлюцинаций.

Сам бенчмарк называется APIBench и состоит из API-интерфейсов HuggingFace, TorchHub и TensorHub.

Страница проекта

SpaceX традиционно выложили короткое видео с обзором прошедшего запуска Starship.

Подпись:
— Первое лётное испытание системы Starship. Ещё на шаг ближе к Марсу

В то же время Elon Musk дал комментарий:
— Основные обновления стартовой площадки должны быть завершены примерно через месяц, затем ещё месяц испытаний ракеты на площадке, а потом - второй полёт системы Starship.

SpaceX также подтверждают, что во второй полёт отправятся прототипы Starship S25 и Super Heavy B9, оба уже готовы и оснащены двигателями, впереди - только тесты

via @spacex_rus

Появилась запись видео-подкаста (длится 1 час).

Если вы пропустили, то мы с Лешей @aihappens обсудили, как работают плагины для ChatGPT, включая интеграцию с поисковиком Bing и интернетом — очень рекомендую для ознакомления! Постарались говорить более понятным языком и рассказать на пальцах, нежели вдаваться в технические подробности.

Также напомню, что в одном из первых сообщений в канале собраны все мои материалы: лекции, интервью, подкасты, курсы. Переходите и выбирайте актуальный для себя контент! Ссылка: https://t.me/seeallochnaya/3