Я хочу поговорить о моей любимой Плотве. Хочу внести немного прозрачности в то, что происходит “за кулисами”.
Все довольно сложно, и я не хочу чтобы вы в один день увидели, что Плотва мертва. Поэтому взглянем на цифры и факты:

Сейчас экономика проекта держится на донатах и VIP-подписках, но к сожалению, математика пока-что работает против нас.

❗️ Вот статистика за последние месяцы:

➡️ Декабрь: VIP-подписки принесли ~$103 (до вычета комиссий). Счет за токены LLM — $217.14.
➡️ Январь: Подписки принесли ~$85. Счет за токены — $278.
➡️ Февраль (прогноз): Прогнозируемые траты на токены — $461.

Предыдущие два месяца дефицит удалось сократить почти до нуля благодаря щедрым донатам всего одного человека. Но даже так все работает в минус и я доплачиваю из личных средств. Очевидно, что такая модель нежизнеспособна.

❗️ Почему растут расходы?

Возможно, вы замечаете, что со временем Плотва становится умнее, адекватнее, интереснее и глубже в диалогах. К сожалению, это не бесплатно.
У Плотвы есть еще куда расти в части качества ответов, но это запросто может привести к умножению счета в разы, потому-что у Плотвы много друзей (>20000 активных пользователей в месяц).
Я пытаюсь находить точки максимальной эффективности и оптимизировать все, что только возможно, и при этом обеспечить максимальное качество общения из имеющихся возможностей. С течением времени, ростом количества людей и активности, бот вынужден обрабатывать всё больше данных: историю диалога, описание изображений, которые Плотва “видит” в диалоге, и набор другой метаинформации. Каждый такой запрос стоит денег. Качество ответов — прямо коррелирует с ценой.

❗️ Точка стагнации

Сейчас проект попал в своеобразную ловушку.

😭 Я не могу масштабировать Плотву. Реклама и приток новых пользователей приведут к взрывному росту счетов за API, которые текущая монетизация не покрывает.
😭 Я не могу полностью перейти на локальные модели (пока). Мое текущее железо занято моделями для рисования и распознавания картинок, транскрипцией, и другими процессами. Если я захочу запустить какую либо LLM локально — для нее просто нет ресурсов, мне придется отключить корневую фичу — бесплатное рисование картинок. При этом все-равно драматично снизится качество диалогов.

Если финансовая ситуация заставит, мне придется пойти по этому пути. Но это крайняя мера.

❗️ Идеальный сценарий: избавление от таксометра

Решением проблемы мог бы стать апгрейд локального сервера. Это позволило бы разместить мощную LLM у себя, убрав зависимость от внешних провайдеров и платных токенов, и при этом сохранить генерацию картинок и открыть возможности для масштабирования.
Оптимальный выбор здесь в моменте — Nvidia DGX Spark (или вендорский аналог). Специфика работы LLM с большими контекстами такова, что компромиссы вроде Mac Studio или мини-ПК на Ryzen AI MAX+ здесь не справляются. Нужно именно решение от Nvidia, а это никогда не дешево. Цена вопроса — в районе $4000 плюс налог и наценка продавцов.
Следующий вариант идеален для Плотвы - RTX 6000 Pro - стоит больше 10 тысяч евро в моем регионе. Мечтать не вредно.

Если среди читателей есть добрый самаритянин, готовый проспонсировать этот плотвяной ковчег — очень жду тебя в личке.

❗️ Предложение для AI-лабораторий

Если этот текст читают сотрудники ML-лабораторий и/или компаний, разрабатывающих генеративные модели:
У Плотвы есть живая аудитория. У вас есть продукт. Мы можем помочь друг другу. Например, организовав тестирование ваших моделей (текстовых или графических, Vision, OCR, ASR, TTS, все можно приспособить) и сбора предпочтений от пользователей в обмен на ваш инференс. Пишите.

❗️ Что можно сделать сейчас?
Я очень НЕ хочу закрывать проект. Плотва мне дорога, и я вижу, что она нравится вам.
Поэтому я робко прошу всех, кто может себе это позволить: оформите VIP-подписку. Это лучший взаимовыгодный способ поддержать проект, чтобы Плотва не превратилась из любимого проекта в проблемную обузу.
Спасибо, что остаетесь с Плотвой.