o1 рассуждения

TLDR;
- Новая модель OpenAI мне понравилась, но не для повседневных задач.
- С квантовой физикой не справилась.
- Для такой модели критически важна среда, чтобы у нее была возможность закрыть цикл: эксперимент - результаты - анализ


Недавно у OpenAI вышла модель, которая способна очень круто рассуждать. Мне стало интересно, насколько она действительно лучше 4o. Провел два теста:

1. План тренировок
2. Доделать формулу из моей последней статьи по квантовой физики

Из плюсов, новую модель вообще не нужно промптить - она за тебя лучше знает, как ей думать и действовать. Вопрос теперь не в том, каким образом ты промптишь модель, а какие данные ты ей даешь. Никогда такого не было, и вот опять: данные - нефть 21 века.

План

Я тут после годового перерыва решил вернуться в зал (после тренировки понял, что это то, чего мне очень не хватало) и попросил составить новую версию gpt план по моему восстановлению. Постарался описать все как можно более подробнее, чтобы получился максимально эффективный и персонализированный план.

Я планирую начать ходить в зал, у меня был большой перерыв - целый год, до этого постоянно занимался месяцев 6. Из физических активностей сейчас только бегаю. Напиши мне план упражнений в зале для восстановления формы на все тело. Хочу заниматься примерно час на занятие и 3 раза в неделю.

💡o1

Мне не понравилось, что она с самого начала предложила план по группам мышц. Когда не занимался больше года, то тактика это не особо эффективная: стоит делать core тренировки на все тело месяц-два, а затем уже переходить на отдельные мышцы. После того, как я ей это сказал, то она быстро все поняла и составила план, который я изначально и хотел делать. Все понравилось, но со второй попытки.

Чат

🤨 4o

Закинул такой же промпт, и она почему-то решила мне ответить на английском, ну ладно. Но зато подобрала такой же сет на все тело с первого раза.

Чат

Вывод: Ризонинг и установка у o1 "пиши как можно детальнее" может мешать в последневных задачах. Ну да, модель то не для этого вообще делалась. Перейдем к реальной проверке.


Квантовая физика

Чат

Основная идея моей статьи в том, что квантовые случайные блуждания в симметричных фигурах можно симулировать на фигурах меньших размерностей. Например, куб можно симулировать на линии и потом восстановить однозначно вероятности блужданий на кубе. Проблема была в том, что я так и не нашел общей формулы для этой свертки - обнаружил какие-то частные случаи для решетки, куба и гиперциклов, нашел какие-то паттерны, но красивую формулу для всего так и не вывел.

Если коротко, то он не справился 🙂. В o1 нельзя кидать файлы, поэтому попросил 4o сделать выжимку статьи и отправил это в o1. Он очень много писал, нашел какую-то общую формулу - я это все прочитал, звучит логично, но не работает. Искать ошибку в логике было лень, поэтому я попросил рассчитать по его формуле свертки для некоторых фигур... Симметрию, может, он определил верно, но проблема в том, что на этих фигурах потом не восстановишь однозначно вероятности оригинального графа.

Чего не хватило

- Знаний?

Область, конечно, довольно специфичная. Не знаю, насколько эта модель хороша в хренении знаний и есть ли там внутрениий RAG, но как будто, если отправить вместе со своим запросом еще пару книжек и статей по квантовой физике, то выйдет лучше.

- Агентности?

Очень хочется посмотреть на эту модель в среде, где она могла бы самостоятельно писать код и запускать его. Формула не та? Это сложно проверить, пока не провести эксперимент. Я не пробовал, но очень интересно, что будет, если закинуть результаты и данные по ответам, которые модель дает. Так или иначе, людям тоже сложно сделать что-то с первой попытки. Особенно в разработке: пишешь код - тестируешь - переписываешь. Это циклический процесс.

Почему o1 такая дорогая?

15$\1mil - на вход и 60$\1mil - на выход. Это в 6 раз дороже 4o. Я накидал свое видение ситуации и на истину не претендую. От самого вероятного к менее:

👍 Отсутствие конкурентов

Сейчас у модели нет конкурентов в навыке рассуждений. Она намного лучше всех остальных моделей для комплексных задач. Отсутствие конкуренции - всегда отличный предлог для повышения цен. Если вспомнить, то OpenAI очень долго не понижали цены: пока не вышел Claude Sonnet, который был дешевле и на одном уровне с их топ моделью.

Ждем, пока Антропики релизнут свою модель для рассуждений, которую им придется сделать дешевле, чем у OpenAI.

🦙 Выделение нового сегмента

o1 на самом деле работает для более узкого сегмента, чем 4o. Задачи, где нужно глубокое рассуждение встречаются куда реже, но и ценятся выше. То есть тут работает простое правило "Вещь стоит столько, сколько за нее готовы заплатить". Если люди готовы платить больше для решения своих сложных задач, то почему не повысить цену и дать новой прослойке пользователей наслаждаться новыми сценариями пользования. Все равно остальные варианты в виде наемного рабочего куда дороже.

😥 Дефицит видеокарт

Возможно, модель потребляет больше ресурсов, чем их 4o. С учетом того, что сейчас идет просто война за свободные карты, у них может просто не быть ресурсов для поддержания высокого спроса модели. Высокий ценник - порог для входа и благодаря нему можно сохранить относительно низкий спрос на модель, которую не чем пока поддерживать.

📈 Окупаемость новой модели

Детали тренировки модели, конечно, неизвестны, но раз она работает на Ph.D уровне, то и разметка требуется соответствующая. Уже не получится просто нанять разметчиков из Африканских стран за 5$\час, как они делали для своих первых моделей. Короче, стоимость даже не тренировки (хотя это тоже возможно), а просто данных выросла в несколько раз. OpenAI хоть и "не нацелена на извлечение прибыли", благотворительной организацией пока все же не является. Поэтому выросшие косты по разработке просто переложила на конечного потребителя.

Сколько на самом деле стоит инференс GPT-4o?

Почему-то многие думают, что провайдеры больших языковых моделей продают API чуть ли не себе в убыток. Я бы хотел поделиться прикидками о том, почему это совсем не так, и заодно помечтать о том, сколько параметров мы можем себе позволить тратить на модель, которая сможет заменить человека в работе.

Все расчёты можно воспроизвести в колабе, меняя цифры, как вам захочется. Выводы остаются неизменны.

Для расчётов нам нужно сделать несколько допущений:
1. Количество активированных параметров в модели. Для GPT 4 Turbo широко ходили слухи про 200 миллиардов параметров, так что 4o должна быть меньше. По данным Artificial Analysis, пропускная способность GPT-4o – 95 tok/s, что находится между LLama 3.1 7b (182 tok/s) и 70b (80 tok/s). Для наших целей предположим, что в 4o 100 миллиардов активированных параметров, делая скидку на то, что в OpenAI инференсом занимаются крайне толковые люди. Кстати, Gemini Flash 1.5 с последним обновлением выдаёт 330 tok/s.
2. Амортизированная стоимость сервера с 8 H100. Чтобы не сильно расстраиваться, возьмём оценку сверху как цену такого сервера на AWS – на сегодняшний день $39.33 в час. На рынке цены могут быть минимум в пять раз меньше.
3. MFU – какой процент вычислений используется эффективно. Стандартом является 30-50%, для наших прикидок возьмём 30%.

При таких допущениях (а с другими вы можете поиграть в колабе), стоимость инференса миллиона токенов получается $0.23. Сравним это с официальной ценой в $2.5 за input и $10 за output и получим наценку API в ~50 раз. И это – оценка сверху со всеми допущениями в сторону удорожания. С другой стороны, кому-то же надо скидываться Саме на Koenigsegg. 😮‍💨

Заодно мы можем посчитать, насколько дешевле модели в сравнении с кожаными мешками. Взяв минимальную зарплату в Нью-Йорке ($16) и производительность в 100 токенов в минуту (среднее у людей примерно 50 слов в минуту), получим стоимость миллиона токенов в $2666.67. Даже o1 со своими $60 / Mtok тут рядом не стоит. Есть, куда расти!