Тут на Reddit слили системные промпты языковой модели которая появится в macOS 15+

Можете поизучать как много-миллиардный промпт инженеринг выглядит, главное не галлюцинируйте 🌚

Когда выйдет GPT-5? 🤔

Давайте порассуждаем вместе, но перед этим сделаю сноску про название. Долгое время я думал, что OpenAI выпустят GPT-4.5, но сложно было угадать её тайминг. Если она привнесёт новые возможности и навыки относительно четвёрки, то кажется, что такая модель не должна выходить впритык к GPT-5, должен быть интервал в 3+ месяца (в том числе и для оценки того, насколько сильно увеличилось влияние модели на мир: какие новые задачи решаются, какое влияние на экономику, кто эксплуатирует LLM недобросовестно, etc.).

С другой стороны, указание на четвёртую линейку как основную означает, что количество мощностей, затраченных на её обучение, имеет примерно тот же порядок, а значит инфраструктура уже готова. У меня нет конкретной и однозначной цитаты какого-то официального лица OpenAI, которая бы это подтверждала, но примерно так принято считать: каждое новое поколение имеет и алгоритмические улучшения, и увеличенный масштаб, а минорные смены служат для обкатки лишь алгоритмов.

Может ли быть так, что GPT-4.5 выйдет тогда, когда GPT-5 уже будет готова? Вполне — с ChatGPT произошло нечто подобное, хоть она и не являлась первой моделью линейки 3.5 — но вышла в то время, когда GPT-4 уже была готова. Однако сейчас всё больше и больше компаний практикуют дистилляцию — обучение маленькой способной модели через предсказания учителя, бОльшей модели. Так делают Google и META, и у самих OpenAI модели подешевели (что почти наверняка говорит об их уменьшении, может, не с каждым обновлением, но суммарно за всё рвемя). Потому сначала может обучиться 5-ка, а затем 4.5 как промежуточный артефакт, которым мы будем довольствоваться.

Итого — я не знаю, что мы увидим первым, и будет ли вообще 4.5, да и 5: вдруг это будет GPT-Next? 🤕 сложна. Потому речь ниже пойдет о следующей передовой модели, обладающей более широким набором навыков, и в частности существенным улучшением в бенчмарках на агентность (когда модель берёт комплексную задачу и решает её от начала и до конца, с планированием и декомпозицией).

Итак:
— OpenAI получили новый тренировочный кластер от Microsoft весной этого года
— они открыто заявили, что следующая фронтир-модель уже тренируется
— до конца лета должен быть представлен отчёт с рекомендациями мер, необходимых при оценке безопасности и навыков модели. За это отвечает свежесобранный комитет с бывшим директором АНБ
— для GPT-4 цикл от окончания обучения через проверки и к релизу занял 8 месяцев, но сейчас вводятся разные регуляции. Сами OpenAI обещались предоставлять модель агентствам в США для проверки
— конкуренты не спят, Anthropic покажет Opus 3.5 осенью (средняя версия модели, Sonnet, уже доступна), и нужно чем-то крыть. Честно говоря этот пункт прибавляет уверенности, что GPT-4.5 может появиться примерно в то же время
— выборы в США, традиционно оттягивающие в стране всё внимание на себя, проходят 5-го ноября, но ещё неделька может уйти на обвинения в фальсификациях и краже голосов
— наконец, OpenAI озвучили даты DevDay-2024. В прошлом году на схожем мероприятии представили GPT-4 Turbo, однако в анонсе этого года указано следующее: «Хотя мы знаем, что разработчики ждут нашей следующей большой модели, обучение которой, как мы рассказали, началось в начале этого года, эти мероприятия будут посвящены улучшениям в API и наших инструментах разработки». В этот раз мероприятия будет 3 в разных частях света, Сан-Франциско 1-ое октября, Лондон 30-ое октября и Сингапур 21-го ноября. Считаю, что будет глупо, если принципиально новая модель появится между этими датами или сразу после них

Так что моё мнение такое:
— либо GPT-4.5 будет суперулучшенной версией, и её покажут следующей в начале 25-го года, а в промежутке мы получим слегка более умные версии 4o
— либо GPT-4.5 выйдет в начале осени, скорее до 1-го октября включительно, чтобы стать ответом на модели конкурентов, а GPT-5 анонсируют в начале 25-го (не раньше середины февраля)