Несколько недель играюсь с Claude 2.1 от Anthropic (это отпочковавшиеся сотрудники OpenAI, ныне конкуренты OpenAI). Сам по себе Claude 2.1, конечно, уступает GPT 4 по уровню рассуждений модели — но в нем есть одна сильная сторона, контекстное окно в 200 тысяч токенов.

GPT 4 Turbo тоже якобы умеет в большой контекст — в ChatGPT, с ноября этого года, контекстное окно 32 тысячи токенов, что неплохо, но на самом деле она «забывает» детали контекста уже через 5 тысяч токенов (пруф ).

А функция, когда вы прикладываете документ ChatGPT и задаете по нему вопросы, работает на какой-то своей версии RAG, о котором я писал тут (где зомби апокалипсис книги генерировал), что как бы костыль над большим контекстным окном.

Разработчики Anthropic реально озаботились проблемой «забывания» данных в контекстном окне и в новой модели Claude 2.1 достигли ~90% запоминания всего что ей передавали: по-простому из 200 000 токенов, новый Claude будет точно помнить ~180 000 токенов или больше, что для моих задач идеально.

Вот мои наблюдения, как такой гигантский контекст можно применять в жизни и работе:

— Я стал более ленивым: меня иногда ломает читать сложные статьи потому, что я лучше тиктоки посмотрю (☕️). Доступ к такой модели укрепляет этот паттерн — проще скопировать текст PDF документа или лонгрида, и задавать вопросы по важным для меня темам, будучи уверенным, что ты почти ничего не потеряешь из знаний (и она не нагаллюцинирует тебе ответ целиком).

— Это идеальное средство борьбы с графоманами: некоторые люди любят писать больше, чем доносить суть, буквально вчера сэкономил себе 30 минут чтения статьи по теме ИИ, просто поспрашивав важные для меня вещи и получив выжимку.

— Это самый быстрый способ получить быстро знания из большого документа (скриншот ниже): будучи гражданином РФ и находясь под санкциями в ЕС, я сталкиваюсь с доп юридической нагрузкой. Не так давно получал посылку от брата с личными вещами оставленными в мск 7 лет назад, и нужно было проверить ~270 страничный ЕС документ на то, какие товары я могу импортировать будучи гражданином РФ, а какие нет (cтарая Sega запрещена или нет будучи электроникой, и так с каждой позицией и тп). Самый быстрый способ «прочитать» документ — было загрузить текстовую версию документа в Claude 2.1 и скормить список моих товаров. Это не совет всегда поступать так с юридическими документами, но мне помогло: таможня в Амстердаме провела посылку без проблем. При этом, местный транспортный агент испугался работать с такими сложностями (особенно с документом запрещенных товаров), так что я сам на таможне все заверял (они тут лапочки по сравнению с таможней экс-СНГ стран, буквально за ручку водили). А Claude 2.1 сильно помог в уверенности что запрещенки в посылке нет.

— Один из самых технических кейсов (на видео ниже он же): для neural.love, огромной долей трафика является SEO, но мы как бы не то чтобы настолько эксперты, чтобы технически каждый сантиметр сайта адаптировать под SEO-нужды, нас всего 8 человек в команде. Поэтому, я скормил html-код страницы конкурента который выдается лучше нас и html-код нашей страницы, и попросил указать точки роста для нашей SEO-оптимизации. Поскольку 200k токенов это дофига, Claude 2.1 расписал наши точки роста, и это все конвертировалась в таск в Jira который поможет нам лучше конкурировать в Google выдачи.

Выводы:

Я в восторге от большого контекстного окна, это тот самый кусок технологии который ее по настоящему раскрывает ее потенциал. Очень жду что OpenAI починит забывчивость и сделает своей контекстное окно таким же (думаю, в 2024 так и будет).


P.S. Claude 2.1 сейчас в закрытой бете, и туда не всех пускают, я подавал заявку тут. Но учтите, что в веб версии лимит 100k токенов, так как веб-версия начинает тормозить от кол-ва текста.

P.P.S. Один токен это примерно 70% обычного слова, чтобы было проще понять что это