И последнее по теме. С выходом всех этих Vicuna, Koala, Dolly и других обитателей зоопарка стало модным производить сравнение между моделями с помощью...GPT-4 (как и в примере выше).

Дается специальный промпт, в него вставляются два ответа на один и тот же вопрос — от модели A и от модели B, а затем просят дать оценку по шкале от 1 до 8. 1 - это модель А сильно лучше, 8 - модель Б сильно лучше, 4-5 это ничья, ну и 2-3 и 6-7 понятно дело "модель получше".

Кажется логичным, что если модели А и Б поменять местами, то оценка по факту не поменяется (7 станет 2, 8 станет 1), и если модель стабильно лучше, то она и будет выгрывать. А вот нет! Проявляется так называемое "позиционное смещение", где модель чаще выдает оценку выше для модели А (единицу). Посмотрите на график - он должен быть почти симметричен относительно 4-5 (так как модели перемешиваются случайно). Для оценки людьми, например, это выполняется.

А что если попросить модель учесть это, чтобы она не разбрасывалась единицами? Это частично сработает...перекосив график в другую сторону (но уже менее критично).

Господа из HuggingFace 🤗 сделали исследование, разметив ответы 4 моделей на 329 разных вопросов. В целом, там много интересного написано, но из интреесного:
— для 4 моделей их ранжирование по парным сравнениям совпало между оценкой человека и GPT-4, но получились разные зазоры по Эло-рейтингу. То есть плохое от хорошего модель отличит, а вот пограничные случаи уже менее похожи на людские
— при этом модель выше оценивает ответы...других моделей (обученных на ответах GPT-4, лол 👍), нежели реальные человеческие ответы
— оценка GPT-4 очень сильно коррелирует (Pearson=0.96) с количеством уникальных токенов в ответе. Что, опять же, указывает на то, что модель не оценивает качество ответа - поэтому нужно быть максимально осторожным.

У меня не влезло из-за ограничений телеграма, поэтому допишу пятый "анекдот" отдельным сообщением, однако он не такой однозначный.

Авторы применяли все методы по цепочке. То есть если GPT-4 не смогла ответить на вопрос, то тогда ей показывали 3 самых похожих примера в промпте и просили решить. Если не могла - добавляли фразу "думай шаг за шагом". Не справлялась снова - пиши код. Ну и так далее. А те вопросы, на которые модель ответила правильно (согласно самой же GPT-4, напомню), уже не переспрашивались.

Кажется, тут можно сказать "ну это абсурдно же, так как по сути мы смотрим на правлиьные ответы. Это как будто кто-то на экзамене стоит над вами, и к каждому решению говорит, что оно неправильное. А если оно правильное - перестает ругаться, а вы перестаете его менять". С одной стороны, да, это правда - получается, что воспроизвести подобное в продакшене не получится (потому что нет правильного ответа, чтобы сравнить и остановить цепочку рассуждений).

Также ясно, почему это нечестно с точки зрения метрик - кажется, если модели на правильный ответ дать хотя бы промпт критика, мол, "найди тут ошибки и исправься" - то правильное решение может стать неправильным, ответ изменится, и всё!

Но с другой стороны OpenAI недавно выпустили статью, про которую я писал, где показывали, что можно научить модель очень качественно валидировать промежуточные шаги в решении задач и вычислениях. Так что при наличии оной (или если GPT-4 научится/умеет делать также) в теории можно повторить.

В хорошей статье, конечно, это тоже должно было исследоваться, как сильно меняются метрики, и на сколько просаживается качество. А эта статья, ну...нехорошая 🐈

Transformative AGI by 2043 is <1% likely

Перед нами очень интересная даже не статья, а очерк, подготовленный в рамках Open Philanthropy AI Worldviews Contest. Задачей было развернуто ответить на вопрос: "Какова вероятность того, что AGI будет разработан к 2043 году?".

Если вы слушали мои подкасты или интервью, то знаете о проблеме определения AGI (Artificial General Intelligence) — сложно понять, что это, как оценить. В рамках работы авторы целятся в Transformative AGI, как ясно из названия. Это такой AGI, который вызывает трансформации общества и устоев по меньшей мере столь же значительные, как во время сельскохозяйственной или промышленной революций.

Такая оговорка важна, потому что можно получить AGI, который невозможно применять на практике в силу нецелесообразности (например, из-за дороговизны вычислительных мощностей). А сам AGI определяется как такой ИИ, который можно быстро и недорого обучить выполнению почти всех экономически и стратегически важных задач с затратами, сравнимыми с человеческими. В рамках работы авторы берут ориентир в $25/час (то есть машина должна решать задачу, на которую у человека уходил бы час, за вычислительные мощности, доступные на $25).

Сама же оценка строится по прицнипу Уравнения Дрейка — это формула для определения числа внеземных цивилизаций в Галактике, с которыми у человечества есть шанс вступить в контакт, основанная на перемножении 7 параметров. Соответственно, меняя оценки этих параметров с появлением знаний и изучением мира можно уточнять предсказание. То же применимо и для AGI — мы можем выписать несколько событий, которые гарантированно должны произойти, чтобы достичь этого вашего ИИ. У авторов их получилось 10 штук (см. следующий пост для деталей).

Ни один из этих шагов не гарантирован — их вероятностные оценки варьируются от 16% до 95%. Самая узкая часть как раз про стоимость вычислений: авторы проводят глубокий анализ изменения рынка вычислительных мощностей, учитывают Закон Мура и его затухание, возможности компаний наращивать производство. Эти оценки важны как для тренировки (получения) AGI, так и для применения. В общем, достаточно глубокий анализ — ведь вся работа занимает 114 страниц!

В итоге авторы приходят к выводу: вероятность появления Transformative AGI к 2043му году составляет 0.4%. Если вы не согласны с их оценками вероятностей — можно поиграться с настройками в специальном калькуляторе, и сделать предсказание. Однако маловероятно, что вы получите что-то выше 10%, если будете пытаться следовать логике, рассуждать, а не брать цифры с потолка.

В общем, будем следить за развитием ситуации, и держать кулачки за наших 🤖 робо-ребят!

@seeallochnaya

А вот и детализация тех самых 10 необходимых шагов для получения Transformative AGI с оценками от авторов:

1. Мы изобретаем алгоритмы для создания Transformative AGI (60%)
2. Мы изобретаем способ, с помощью которого алгоритмы могут учиться быстрее, чем люди (40%)
3. Стоимость применения моделей будет меньше $25/час (16%) (самое узкое место, так как нужно одновременно и развивать сами вычислительные ускорители, так и существенно — на порядки — удешевлять энергию. А термоядерного синтеза всё еще нет 😭)
4. Мы изобретаем и масштабируем способы производства дешевых качественных роботов (60%)
5. Мы массово масштабируем производство чипов и энергии (46%) (сейчас, с текущим уровнем технологий, авторы оценивают стоимость обучения AGI от $700 миллиардов до $70 квадриллионов — я такие числа только в детстве видел!)
6. Мы не перестаем разрабатывать AGI из-за регулирований (70%)
7. Человечество избегает задержек в разработке AGI в связи с более ранними и слабыми версиями AI (90%) (тут имеется в виду, что более ранние алгортитмы могут сильно навредить)
8. Мы избегаем кардинального изменения мира от войн (70%) (тут учтены как вероятности войны между Китаем и США, так и эскалации — в том числе ядерной — конфликта между Россией и Украиной)
9. Мы избегаем изменений в оценках из-за глобальных пандемий (90%)
10. Не случится тяжелых мировых депрессий, затягивающих или делающих разработу ненужной (95%)

Что скажете, совпадает с вашими оценками? Пишите в комментарии ⬇️💬 и кидайте скриншоты с сайта-калькулятора вероятностей!

@seeallochnaya

хотя, есть и кое-что по теме довольно интересное: https://t.me/pandas_ru/3128 🤩