Слышали про релиз модели Kimi K3? Хочу накинуть несколько полезных фактов про железо под эту модель

Главная особенность релиза в том, что Kimi K3 — это самый большой (2.8T параметров) Open Souce, который по бенч-маркам в одной лиге с Fable 5, GPT-5.6 Sol, Opus 4.8 и стабильно обгоняет тот же GPT-5.5.

Т.е. эту модельку можно развернуть на своем железе в своем контуре и это будет полноценный frontier-уровень, будет круто и безопасно.

Но чтобы запустить это чудо в своем контуре — надо около 1.5+ терабайт VRAM. Таких видео-карт в природе не существует и тут нужен целый их кластер, при чем очень хороших и много. Для понимания: у самой топовой потребительской видеокарты RTX 5090 — всего 32 ГБ VRAM, а у топой серверной B300 - 288 ГБ VRAM.

В общем, я задался вопросом — можно ли вообще найти у РФ-провайдеров подходящие конфигурации в аренду и сколько будет стоить. Нашел готовые серверы HGX™ B300 у Selectel — абсолютно топовый сервер, которого уверенно хватит на инференс Kimi K3.

Я посчитал, если этот сервер использовать под кодинг-агентов, то он стабильно будет держать и обслуживать примерно 10-12 кодиговых сессий (людям будет работать комфортно). 13-30 кодинговых сессий будут уже заметно тормозить, но какая-то вменяемая скорость разработки еще будет сохраняться. После 30 - думаю, что работать станет невозможно.

А теперь цена. Аренда такого сервера, если верить калькулятору Селектела будет стоить ~8 млн/месяц. Если покупать, то ~110 млн разово + 3-5млн опекса ежегодно.

Такой вот «доступный Open Source» :)

Какие интересные «совпадения» случаются

Буквально сегодня по одному из наших продуктов обсуждали, под какие SLA мы готовы коммититься перед клиентами. Продукт — API-шлюз для доступа к frontier LLM моделям (без VPN, с адекватными ценами,с оплатой в рублях и вот это вот все).

Сделали кучу замеров, посмотрели нагрузку, все посчитали и начали наши внутренние «торги».

Начали с 99.9% доступности. Тут быстро поняли, что к такому мы в моменте физически не готовы и не хотим быть готовыми для нового продукта без нормального кешфлоу.

Опустиилсь до 99%. К этому готовы и морально и физически, но объем инфраструктурной работы необходимой для нашей же уверенности в этой цифре заставил торговаться дальше.

В итоге остановились на 98%, которые готовы гарантировать клиентам и в которых уверены. Все-таки это продукт, где ты балансируешь между 2 огней: с одной стороны РКН с его блокировками, с другой стороны ограничения LLM-вендоров — много неконтролируемых факторов, которые сложно предвидеть.

Все. Договорились, зафиксировали, работаем.

И вот буквально через несколько часов начинается деградация в работе сервиса. Часть запросов на отдельных нодах без видимой системы начинает валиться где-то на сетевом уровне между узлами. Локализовали до WireGuard (популярный VPN протокол) — часть запросов протокола просто не доходит и режется где-то на уровне провайдера, даже не доходя до наших сетевых интерфейсов. И тут меня догоняют свежие новости, что именно сегодня РКН ужесточил блокировки VPN-сервисов и все становится на свои места 🙁

Очень быстро получили подтверждание того, что наш трезвый расчет и перестраховка были не напрасными 😅

Вайб-кодинг VS AI-driven

Вычитываю сейчас лонгриды в рамках курса и наткнулся на хорошие формулировки различия двух подходов. Оставлю тут 🙂

Вайб-кодинг
Разработчик примерно описывает, что хочет, AI генерирует код, а архитектура, требования, процессы и правила остаются в стороне. На практике это действительно работает и можно быстро собрать автоматизацию, написать фичу, сделать прототип, закрыть маленькую бизнес-задачу. Сначала складывается впечатление, что произошел скачок производительности: один человек делает то, для чего раньше требовались аналитик, frontend-разработчик, backend-разработчик и иногда еще несколько специалистов. AI быстро генерирует большие объемы кода, помогает собрать интерфейс, backend, интеграции, скрипты и инфраструктурные файлы. Но у этого подхода есть предел.
Проблемы начинаются, когда проект нужно сопровождать, развивать, масштабировать и передавать другим людям или агентам. Код, который быстро сгенерирован без проектирования, начинает вести себя как снежный ком. Фичи накладываются друг на друга, решения становятся менее понятными, агентам все сложнее ориентироваться в проекте, а разработчик тратит все больше времени на устранение последствий.
В итоге наступает провал эффективности. AI продолжает генерировать код быстро, но скорость генерации перестает быть преимуществом, потому что каждый новый слой кода увеличивает хаос. Если процесс не управляем, AI не сокращает технический долг, а ускоряет его накопление.

AI-driven подход
AI-driven подход отличается от вайб-кодинг не тем, что в нем меньше AI. Наоборот, AI все так же используется для генерации кода, проектирования, анализа, отладки и review. Разница в том, что AI используется внутри системного инженерного workflow и не пытается его заменить.
AI-driven разработка не отменяет жизненный цикл создания софта, напротив, она требует еще более аккуратной организации контекста, потому что чем понятнее окружение, тем лучше работают кодинговые агенты.
В зрелом подходе AI должен быть встроен во все этапы разработки: от формулирования задачи до релиза.

Ого, пришлось письмо от DeepSeek о том, что в ближайшее время «ожидается значительное увеличение цен»

Интересно, на сколько быстро это случится и каким будет увеличение - проценты, разы, десятки раз? 🤔

На скрине статистика расхода токенов за неделю при полном выжигании подписки Codex, которая стоит 200$. Большая часть расхода — GPT 5.6 Sol. 26 млрд (!!!!) токенов

По этой статистике нет детализации, сколько токенов было input, сколько output, сколько кеша. Но давайте предположим, что соотношение такое, что 75% - кешированный input, 20% - input без кеша, 5% - output.

Если этот расход пеерсчитать на цены по API, то получается 75 тысяч $. Это только за неделю. За месяц ~300к $

Получается, что покупая подписку за $200 в месяц вы покупаете ~$300к реального потребления

С 1 сентября!

Просто обожаю чувство юмора и креативный подход к неймингу у своих коллег 😅

Ходил сегодня в новый зал после перерыва.

Смотрю, в дальнем углу зала стоит небольшая группа людей и все плачут.

Сначала думал: предприниматели. Оказалось — кроссфитеры