Сколько на самом деле стоит 1M токенов на своём железе

Сделал калькулятор того, как стоимость своего GPU переходит в себестоимость токенов.
Оказалось, что достаточно нетривиальная задача, тк челленджит все знания об LLM: как работают слои, чем MoE отличается от dense, как устроен KV cache. В общем обновил по пути все свои знания GenAI. Понятно, что куча допущений внутри, а параметры собирал Fable, надо тестировать на реальных серверах, но это может быть отправной точкой.

Что по выводам?

• Строить или покупать — это вопрос утилизации, не технологии. Сможет ли сервис создать высоукую утилизацию сервера и есть ключевой вопрос.
• MoE — скидка на скорость, но не на память. Кол-во активных параметров 3 млрд из 35: карта пишет быстро, но веса лежат целиком. Отсюда контринтуитивный результат: большие MoE модели на дешёвых картах — экономически лучшая пара, пока хватает VRAM.
• ROI-ловушка. 390% годовых и выше работает при УЖЕ НАЙДЕННОМ спросе; поиск клиентов, SLA, биллинг в модели не учтены. Поэтому супер важно обеспечить потребление, а не накупить дорогих игрушек.

Скачивайте, подставляйте свои данные и посмотрите себестоимость. Найдете ошибки - дайте знать)

Илья Филиппов

Copyosity 1.0.0 первый стабильный релиз

Давайте рассматривать это все как эксперимент!

Иногда по вечерами, и вот он
нативный менеджер буфера обмена для macOS, который реально понимает то, что ты копируешь и нравится в первую очередь он мне лично =) Реальность персональных аппов тут как тут! Крч делал исключительно для себя любимого, что бы мне было удобно и все нравилось + опыт!

Не электрон-помойка как мы привыкли видеть, а Tauri + Rust + Apple Vision под капотом
Живёт в менюбаре и не отсвечивает, пока не позовёшь.

История буфера всё скопированное, полнотекстовый поиск, закрепление, коллекции
Локальная SQLite, ничего не улетает
OCR на устройстве скопировал скриншот текст внутри картинки ищется через Apple Vision, без облака

Голос в текст зажал хоткей, наговорил, вставил чистый текст с пунктуацией
Командная палитра с ИИ-агентом полноценный ReAct-чат: видно тулколлы и reasoning, диалог можно продолжать
Веб-поиск, заметки, напоминания, календарь прямо из палитры
Хоткеи на всё ⌘⇧V история, ⌘⇧C меню у курсора, ⌘⇧Space палитра, ⌥Space голос
Итеграция с neuraldeep.ru для получения доступа к моделям

Главное для 1.0: автообновление наконец работает как надо тянет подписанные апдейты с GitHub и ставит сам
Всё подписано Developer ID, нотаризовано Apple Gatekeeper открывает чисто даже офлайн
Есть сборки под Apple Silicon и Intel, Windows(скоро)

Из идей сделать синк между устройствами
И редизайн настроек
Может чуть чуть поколдую с агентом

Байт на коменты )))))

⬇️ https://vakovalskii.github.io/copyosity/
🐙 https://github.com/vakovalskii/copyosity

Сегодня выступаю на ML&DS Offstage от Ozon.

Собираемся закрытым составом ML- и DS-инженеров, тема вечера - агенты, поиск и LLM-платформы.

Мой доклад про SGR Agent Core, открытый фреймворк для агентов, расскажу, как и зачем на нём собирать своих агентов, на примерах конфигов, схемах и в коде.

Мой слот начинается в 20:35, заглядывайте в гости.

А вы забыли уже про SGR Agent Core?

А оно живет и развивается!

https://github.com/vamplabAI/sgr-agent-core

Kimi K3

Ждем весов, будет 2.5T не меньше!

UPDATE:

https://www.kimi.com/blog/kimi-k3

Говорят рвет все что только было до этого

Мы начинаем наш стрим "Харнесс будущего. Какой он?"

Подключайтесь: https://youtube.com/live/LAUdN1-4mgI

Говорить с Qwen на одном языке

Давно хотел выложить свои локальные наработки для агентов и промптинга Qwen через кодинг агентов

Выложил гайд и skill для того, чтобы строить и промптить под модели семейства Qwen3.x на их родном диалекте так, как это делает сама Alibaba.

РЕПО: https://github.com/vakovalskii/qwen-native-agents