Затестил опенсорсный ИИ на реальной бизнес-задаче. Рассказываю

Давно хотел затестить ValeDesk — десктопное приложение, которое работает с любым OpenAI-совместимым API, а также OpenRouter, z.ai. Читает PDF и DOCX, выполняет код, ищет по файлам. По сути — мини-аналог Claude Code Cowork, но для опенсорсных моделей.

🧪 Что тестировал

Мой скилл для Yandex Wordstat — он уже опубликован в официальном маркетплейсе скиллов ValeDesk. Скилл имеет два уровня сложности: простой сбор спроса и поиск упущенного спроса в рекламных кампаниях. Вторая задача — со звёздочкой, её даже не вытягивает Sonnet на больших списках фраз.

Прогнал через три модели:

🔸 GPT-OSS-120B (OpenAI, 117B параметров, 5,1B активных) — спрос ✅, упущенный ❌
🔸 Qwen3-235B — спрос ✅, упущенный ❌
🔸 GLM 4.7 Flash — спрос ✅, упущенный ❌

*Крестик, это не отказ в выполнении, это некачественное выполнение задачи. В скриншотах примеры Qwen и Opus

Все три пасуют там, где нужно удерживать OR-правила и находить неочевидные пересечения. Рутина — пожалуйста, аналитика «со звёздочкой» — пока нет.

💰 Почему это важно для бизнеса

Развернуть опенсорсную модель в офисе можно менее чем за 2 млн рублей — сервер с парой 4090 + работы по настройке. Данные не покидают контур. Никакого Shadow AI, когда сотрудники сливают договоры в ChatGPT через личные аккаунты.

То есть мы получаем в закрытом контуре инструмент, который может выполнять реальные задачи, а не только генерировать текст. Остаётся еще вопрос создания собственных внутриофисных репозиториев навыков. Модель всё еще не умеет проверять договоры так же, как ваш юрист.

💡 Главный инсайт не про железо. Готовность компании к ИИ — это готовность сотрудников формализовать свою экспертизу. Написать скилл для ИИ — значит описать, как ты принимаешь решения. Пока специалист не оформит свои знания в инструкцию, никакая модель (ни локальная, ни облачная) не поможет.

📊 Итого

1️⃣ Полностью заменить облачный ИИ локальными моделями — пока нереально. Есть задачи только для SOTA. А есть где и SOTA плывет, но их всё меньше.

2️⃣ Закрыть зону конфиденциальности — реально уже сейчас. Договоры, внутренние документы, классификация, саммари — опенсорс справляется.

3️⃣ Узкое место — не модели, а навыки команды описывать свои процессы.

Планирую погонять ValeDesk ещё на договорах и рисках в документах. Если есть идеи, на каких моделях хотите тесты — пишите, проверю через OpenRouter, напишу тут. Конечно, модель хочется тестировать адекватную по цене для бизнеса.

----

Поляков считает — AI, код и кейсы

Я наконец-то понял, зачем нам нужно столько GPU