Я хочу поговорить о моей любимой Плотве. Хочу внести немного прозрачности в то, что происходит “за кулисами”.
Все довольно сложно, и я не хочу чтобы вы в один день увидели, что Плотва мертва. Поэтому взглянем на цифры и факты:

Сейчас экономика проекта держится на донатах и VIP-подписках, но к сожалению, математика пока-что работает против нас.

❗️ Вот статистика за последние месяцы:

➡️ Декабрь: VIP-подписки принесли ~$103 (до вычета комиссий). Счет за токены LLM — $217.14.
➡️ Январь: Подписки принесли ~$85. Счет за токены — $278.
➡️ Февраль (прогноз): Прогнозируемые траты на токены — $461.

Предыдущие два месяца дефицит удалось сократить почти до нуля благодаря щедрым донатам всего одного человека. Но даже так все работает в минус и я доплачиваю из личных средств. Очевидно, что такая модель нежизнеспособна.

❗️ Почему растут расходы?

Возможно, вы замечаете, что со временем Плотва становится умнее, адекватнее, интереснее и глубже в диалогах. К сожалению, это не бесплатно.
У Плотвы есть еще куда расти в части качества ответов, но это запросто может привести к умножению счета в разы, потому-что у Плотвы много друзей (>20000 активных пользователей в месяц).
Я пытаюсь находить точки максимальной эффективности и оптимизировать все, что только возможно, и при этом обеспечить максимальное качество общения из имеющихся возможностей. С течением времени, ростом количества людей и активности, бот вынужден обрабатывать всё больше данных: историю диалога, описание изображений, которые Плотва “видит” в диалоге, и набор другой метаинформации. Каждый такой запрос стоит денег. Качество ответов — прямо коррелирует с ценой.

❗️ Точка стагнации

Сейчас проект попал в своеобразную ловушку.

😭 Я не могу масштабировать Плотву. Реклама и приток новых пользователей приведут к взрывному росту счетов за API, которые текущая монетизация не покрывает.
😭 Я не могу полностью перейти на локальные модели (пока). Мое текущее железо занято моделями для рисования и распознавания картинок, транскрипцией, и другими процессами. Если я захочу запустить какую либо LLM локально — для нее просто нет ресурсов, мне придется отключить корневую фичу — бесплатное рисование картинок. При этом все-равно драматично снизится качество диалогов.

Если финансовая ситуация заставит, мне придется пойти по этому пути. Но это крайняя мера.

❗️ Идеальный сценарий: избавление от таксометра

Решением проблемы мог бы стать апгрейд локального сервера. Это позволило бы разместить мощную LLM у себя, убрав зависимость от внешних провайдеров и платных токенов, и при этом сохранить генерацию картинок и открыть возможности для масштабирования.
Оптимальный выбор здесь в моменте — Nvidia DGX Spark (или вендорский аналог). Специфика работы LLM с большими контекстами такова, что компромиссы вроде Mac Studio или мини-ПК на Ryzen AI MAX+ здесь не справляются. Нужно именно решение от Nvidia, а это никогда не дешево. Цена вопроса — в районе $4000 плюс налог и наценка продавцов.
Следующий вариант идеален для Плотвы - RTX 6000 Pro - стоит больше 10 тысяч евро в моем регионе. Мечтать не вредно.

Если среди читателей есть добрый самаритянин, готовый проспонсировать этот плотвяной ковчег — очень жду тебя в личке.

❗️ Предложение для AI-лабораторий

Если этот текст читают сотрудники ML-лабораторий и/или компаний, разрабатывающих генеративные модели:
У Плотвы есть живая аудитория. У вас есть продукт. Мы можем помочь друг другу. Например, организовав тестирование ваших моделей (текстовых или графических, Vision, OCR, ASR, TTS, все можно приспособить) и сбора предпочтений от пользователей в обмен на ваш инференс. Пишите.

❗️ Что можно сделать сейчас?
Я очень НЕ хочу закрывать проект. Плотва мне дорога, и я вижу, что она нравится вам.
Поэтому я робко прошу всех, кто может себе это позволить: оформите VIP-подписку. Это лучший взаимовыгодный способ поддержать проект, чтобы Плотва не превратилась из любимого проекта в проблемную обузу.
Спасибо, что остаетесь с Плотвой.

🎉 По вашим просьбам и вашими молитвами: добавил назначение заместителей в настройки групповых чатов Плотвы.

Теперь владелец чата может назначать заместителей из числа участников чата.
Эти пользователи смогут настраивать поведение Плотвы не являясь владельцами чата.

P.S. Маленькая вкусняшка для любителей своих персон — длина описания персоны увеличена с 500 до 1000 символов и теперь ваши самые смелые извращения влезут в описание персоны!