Вышла Gemma 4 - открытая модель от Гугла

У меня сейчас на машинке в шорт листе третья версия. Периодически её использую для локальных не очень сложных задач. Не делал личного топа локальных моделек, хотя может стоит.

Советую попробовать если хватает мощностей машинки. Третья реально пригождалась и работала лучше многих.

https://blog.google/innovation-and-ai/technology/developers-tools/gemma-4/

Анализ моего использования Ollama за 2 месяца

У меня 26 моделей в Ollama. ~450 гигов на диске. Что-то остаётся, что-то удаляется. Постепенно пробую, нахожу любимчиков, удаляю нелюбимчиков.

За два месяца я прогнал через локальные LLM сотни тысяч текстов. Вот что у меня реально работало, а что нет.

6 типов задач

1. Извлечение структурированных данных из больших текстов

Самый тяжёлый кейс. Берёшь корпус на сотни тысяч сообщений, прогоняешь через map-reduce пайплайн: чанки → Ollama → JSON → дедупликация → markdown. Тысячи структурированных записей, ноль галлюцинаций (проверял vs Claude), $0.

Победитель: qwen3.5:35b. Отлично работает с русским, стабильный JSON-output, оптимальный баланс качества и скорости. gemma3:27b - хуже с русским. phi4 и llama4 - сломались на синтаксисе.

Промпт-инжиниринг решает больше, чем выбор модели. Три итерации одного промпта дали разницу в 6 раз по качеству при той же модели.

2. Классификация

Дёшево, быстро, масштабируемо. Прогнал 1900+ AI-сессий через локальную модель: тип, тема, сложность, язык, стиль ответа. Это первый проход - чтобы потом дорогой Claude работал только по отобранным кейсам.

Модель: command-r:35b. Стабильная, не галлюцинирует на классификации, хорошо держит схему.

3. Числовой скоринг (sentiment/mood)

JSON-only промпт: "верни три числа, без объяснений". Работает на удивление надёжно даже на маленьких моделях. gemma3:12b справляется - быстрая, лёгкая, точная для простых задач. Анализировал свои чаты с гпт и клодом для статистики.

4. Сравнение моделей между собой

Прогонял 14+ моделей через батарею из 80 промптов × 3 прогона. Каждая модель = 240 вызовов. Ночь работы на M4 Max, утром - таблица с профилями.

Удивительные находки: phi4:14b (всего 14 миллиардов параметров) обходит модели вдвое крупнее по связности текста. deepseek-r1:70b тяжёлый, но глубокий - когда нужно не скорость, а качество рассуждения.

5. OCR

Тестировал 7+ vision-моделей для распознавания PDF и скриншотов: deepseek-ocr, glm-ocr, llama3.2-vision, qwen2.5vl, qwen3-vl, gemma3.

Честный вердикт: нестабильно. Возможно, я просто не умею их готовить. Но в процессе понял важнее: тут был overkill. Электронные документы pdf/excel (не сканы) отлично парсятся детерминированными библиотеками - быстрее и точнее. Я в итоге вместо минуты на один документ у меня секунд за 10 прогоняются все три либы ещё и проверяя друг за другом.

Этот кейс ещё раз убедил: AI не silver bullet. Точечно, под конкретную задачу, где он реально даёт выигрыш - да. Прилеплять ко всему подряд "потому что AI" - нет.

6. Эмбеддинги

nomic-embed-text - Попробовал, поплевался, выкинул. RAG в случае моих локальных задач на пару тысяч заметок полнейший оверкилл. Клод код грепает намного эффективнее.

—

Главные выводы:

- M4 Max 128GB = своя тихая компактная серверная стойка. 70-миллиардные (да и 100-120b тоже могёт) модели крутятся локально. deepseek-r1:70b, llama3.3:70b - работают, не лагают. Не зря в прошлом году потратился. Теперь и с 3D и локальными модельками играться одно удовольствие.

- Правило 80/20. Локальные модели закрывают 80% тяжелой рутинной работы: extraction, classification, scoring. Claude нужен для 20% - синтез, сложные рассуждения, финальная полировка.

- Промпт > модель. Три итерации промпта для extraction дали больше, чем смена модели. v2 (широкий) → v3 (слишком жёсткий) → v4 (few-shot с примерами) = sweet spot.

- qwen3.5:35b - универсальный солдат. Русский, extraction, JSON - тянет всё. Если выбирать одну модель для начала - эта (опять же, завтра это может измениться, например с Gemma 4)

- OCR - хз. Единственный тип задач, который я пока закрыл питоном, потому что намного лучше и по скорости и надежности.

—

Расскажи, пользуешься ли локальными моделями, какими и как впечатления.

Мой любимый глагол в Клод коде, который он использует как loading пока думает 😁

Клавиатура ближайшего будущего 😁

Антропики раздают $200 extra usage бесплатно. Вроде даже без подвоха и не включают автоматом галочку автопродления. Не заю, это только на MAX подписке или нет, но советую проверить. Как раз поделитесь в комментах, что у вас.

Проверять тут https://claude.ai/settings/usage

Ну че, пусть лежат, когда-нибудь будут пригождаться может. Хотя учитывая насколько субсидируется подписка, это 200 баксов в апи должны улететь очень быстро. Но в любом случае приятно.

upd: я только заметил, что истекает 1 Мая)) Не всё так просто) Используй или сгорят.