Про сам СберУниверситет. Он крутой!

На самом деле, в этой библиотеке из предыдущего поста немалое количество классных книг на самые разные тематики. И всё сделано ну очень приятно. 

Книжечки - лишь маленькая часть огромной махины под названием СберУниверситет - корпоративного университета Сбера. Я был в нем однажды на курсе по лидерству, а сейчас два дня читал лекцию про агентов для топ-менеджмента одного из дивизионов.

Университет прямо хорош: потрясающе красивый, все очень круто, атмосфера такого, как бы, курорта, но в то же время за каждым из столиков не потягивают мохито, а обсуждают какие-то дела по бизнесу, фасилитации с финтехами, эйяй и что-то про менеджмент. В ощущении курортности, конечно, сыграла свою роль погода, но все равно.

Шведский столик, за завтраком все уже обсуждают дела, какие-то встречи, созвончики и вот это все. Номера чистые аккуратные, есть басик и многое для спортактивности, но ландшафтный дизайн заслуживает просто космической оценки (как владелец загородного поместья, знаю как это дорого и требовательно) - за ландшафтку снимаю шляпу 🎩🌳

Но вот контент на курсе так себе - кто-то из спикеров путает дистилляцию и прунинг или считает, что в мире всего 6 фундаментальных моделей, у кого-то просто зашкаливающее самомнение или устаревший контент. Собственно, подправлять его меня и вызвали. Справился! 🤙

Сейчас немалую часть времени я живу за городом, и у этого бесконечное количество плюсов, но последние три недели появился совсем жирный минус.

Это внезапно - KV-кэш! 🤩

Я сейчас всё объясню.

Когда я отдыхал на Карибах на Maho Beach (это пляж в 5 метрах от аэропорта с самым низким заходом на посадку больших самолетов в мире) я в своем тревел-бложике писал, что мне нравится просыпаться от звука моторов над головой. В 2026 году могу сказать, что надо быть поточнее в своих желаниях 🤩🙂

От того, что вокруг летает всякое разное, здесь, хоть это и ближайшее Подмосковье в 50 мин езды от центра, периодически глушат не просто связь, а ВСЁ. Звонки, смски от банков, мобильный интернет целиком, а недавно начали пороть даже проводной интернет - причем самым неприятным способом, например, подавляя лишь часть трафика UDP случайным образом. Не работает периодически, волнами, с нулевым пониманием когда это случится и когда отпустит.

С тем, что пропадает доступ (или целиком надолго отваливается) к AI-инструментам, можно справляться следующим образом: правильнее формировать приоритеты, писать хорошие спеки/PRD и пускать /goal (здоровья и счастливой жизни тем, кто это придумал и зарелизил!) в tmux на своем барике или квм. Работает как родное!

Но мой харнесс настроен таким образом, что после goal-задач (или просто продолжительных), он делает глубокий рекап - и детально расписывает что сделал, почему так, какие решения принял, что увидел по дорожке и так далее. Я все это внимательно читаю, и потом где-то возникают доделки, вопросики или уточнения.

И вот тут-то и вылезает KV-проблема. Как мы прекрасно знаем, любая ллмка - стейтлесс, а то, что она понимает продолжающийся диалог - держится на пересылке ей всей истории каждый раз. Это было бы очень дорого, если бы не KV, который каждый раз кэшит уже отправленную часть, поэтому при отправке новой фразы мы получаем кэш-хит, фактически платим только за нее и это стоит нам дешево.

Но чтобы случился кэш-хит, нам надо чтобы этот кэш был. А живет он очень непродолжительное время. Гораздо меньшее, чем успевает восстановиться тот самый коннект, который периодически отваливается 🥹 И получается, что у меня есть несколько сессий на 400-500k токенов, мне в них надо что-то немножко поправить, но дальше случается вот что:
• 500k токенов
- пишу новое сообщение
- оно не долетает и уходит в ретрай
- когда долетает ретрай - кэша уже нет и чарджат по полной стоимости
- ответ начинает генериться, но я не успеваю получить потому что связь пропадает снова, все снова уходит в ретрай
- ретрай снова влетает в кэш-мисс
....
Please wait for your weekly limit reset.

Вот это прям по настоящему бесит! 🤣🤣 Ну а в остальном - AI Agents At Work и Show Must Go On!

С пятницей! 👍🤩🤩

Когда все-таки приехал в офис на встречу государственной важности, а там…
(кручу назад, потому что вперед накрутился, а из переговорок вид круче - прям на башни сити)

Кстати, езжу я обычно вот как на фотке 🤩🤩И мой любимый «индекс приоткрытых ноутбуков» в общественных местах не просто низкий, он равен нулю. Люди что, не знают про агентов?? 🤩