Какая максимальная длина одного диалога в ChatGPT 4o?

Короч давайте разберемся, как это вообще устроено.

GPT-4o держит до 128 000 токенов (input + output). Это ≈ 90–95 000 слов. Один токен ≈ ¾ слова (или 4 символа)

В приложении ChatGPT есть ещё определенный, назовем его предохранитель — когда диалог становится большим, старые сообщения в нем подвергаются компрессии. Компрессия диалога — если по-простому это отдельный промт «summarize this dialog» с историей чата. Затем это саммари улетает с каждым твоим запросом в ChatGPT.

Каждое новое саммари короче предыдущего, поэтому подробности диалога постепенно размываются. Внешне ты видишь в переписке всю историю, но модель «читает» только последние N тысяч токенов + сжатое саммари.

Почему 128 тысяч токенов это не равно бесконечный диалог, если все равно история сжимается?

— Чат хранит не только твой текст, но и скрытые промпты, системные инструкции, метаданные, результаты веб-поиска.

— На длинных диалогах задержка, стоимость и потребление GPU памяти растут экспоненциально. Напомню, что одно даже «привет» стоит в масштабе всех пользователей ChatGPT миллионы долларов.

— Потому OpenAI бережёт сервера и режет чаты чуть-чуть раньше, чем физический предел модели.

Как избежать лимитов?

Вообще, никак. Но есть лайфхаки:
— Новые ветки. Разбивай разговоры по темам; важные фрагменты можно копировать в новый чат как справку.
— Саммари вручную. Скидывай краткие self-summaries: шанс, что детали «выживут» выше.
— Файлы/данные держи отдельно. Огромные куски текста зашумляют контекст; лучше прикреплять файлы, а не пихать всё в сообщение.

В итоге: у GPT-4o действительно гигантское окно на 128k, но продуктовый слой ChatGPT заставляет его работать в более «экономичном» режиме: сворачивать старое и, при необходимости, обрубать чат целиком.

А я пошел переносить диалог в новую ветку 😂

А вы уже сталкивались с лимитами?

🦄 @founderit | навигация | дневник

Я совершенно не хотел писать про это в канале.. 😂

Но просто не мог проигнорировать. Иран освоил нейросети!

Хочется в целом оставить без комментариев, просто показать продакшен. И да, о дивный новый мир!

Не знаю, какие модели они использовали, но скорее всего пайплайн там примерно стандартный — в каком-нибудь Flux делали стартовые фреймы, а потом в каком-нибудь Runway из этих кадров делали видео.

Единственный разве что мета-комментарий: визуализация фантазий это мощный psy-ops, как для отдельной личности (визуализировать идеальное будущее и так далее), так и в масштабе целого государства. И здесь нейросети открывают невиданные возможности!

🦄 @founderit | навигация | дневник

Друзья и подруги, ещё один запрос в дополнение к прошлому! 🙏

Если вы знаете примеры классного бизнеса и как они внедрили искусственный интеллект — поделитесь!

Например:
— компания заменила и автоматизировала производство контента
— внедрила систему принятия решений на основе искусственного интеллекта
— искусственный интеллект ускорил цикл производства в 10 раз

Если вы знаете такие классные кейсы, или ваш бизнес прошел через это, или вы знаете предпринимателей, которые это сделали, расскажите в комментарии 🙏

🤥 @founderit | навигация | дневник

С моим другом и партнером Никитой записали классный, умный подкаст про искусственный интеллект!

В нем вы познакомитесь со мной поближе и узнаете про мой бэкграунд, как выглядит рынок ИИ сегодня в России и мире, как создать свой стартап и привлечь в него инвестиции и еще много чего интересного.

Смотреть — https://youtu.be/WJFcldH7dV8?feature=shared

Жду ваших ❤️ и комментариев!

🤓 @founderit | навигация | дневник

Го познакомимся поближе?

Друзья, некоторое время назад я решил, что публичный канал будет только про технологии, новости, искусственный интеллект и всякое такое.

Но помимо этих тем у меня происходит ещё много всего интересного: как я строю бизнес и какие челленджи приходится решать, как мы привлекаем инвестиции, что я вообще делаю каждый день — и об этом я рассказываю в своем закрытом канале!

Поэтому, если хотите познакомиться поближе — залетайте https://t.me/+Z5t_c51UOVtiZWUy

🫶