Qwen 3.8 27B, локальный инференс и мои эксперименты с подбором железа

Про эту модель уже несколько недель пишут "Opus 4.6 у себя дома". Нет, конечно. Но, черт, это первая небольшая локальная модель, которую я готов всерьез обсуждать в агентных сценариях, а не для чата по базе знаний.

Небольшие локальные модели (которые влезут в домашний GPU) на агентных задачах часто зацикливается, либо ломают tool-calling. Qwen 3.8 27B, пожалуй первая в моих тестах, у которой это не разваливается. На агентном индексе Artificial Analysis она #8 из 140 моделей, сразу за Kimi K2, которая в сто раз больше по параметрам, и реддите ее дружно хвалят и тд.

Мои тесты этой (и не только) модельки совпали с вполне прикладной задачей - выбрать железо для локального AI-периметра. Надо выбрать одновременно и модель, и железо. Для этого решил арендовать стенды на Vast.ai: 3090 за $0.13/час, там же брал 4090, 5090 и GB10 (тот же DGX Spark). Написал skill поверх их CLI, и дальше вместе с Claude поднимал и тушил машины для экспериментов, гонял бенчмарки по SSH и вел журнал. Десятки замеров, четыре типа железа, ряд моделей - все вместе примерно пару десятков баксов.

Вот на контрасте с соседями по весовой категории (уместиться в 5090 или пару 3090) плотная Qwen 3.8 и выстрелила. Единственная из всех стендов дважды нашла все 10 заложенных дефектов в тестовом договоре. 100 из 100 по tool-calling. На заведомо нерешаемой задаче остановилась за 4 шага и честно отчиталась, пока конкуренты (в том числе MoE) зацикливались. Ну и да - первая локальная модель, которая осилила мой лифтовый вайб-чек (посмотрите пост, в декабре у ChatGPT лифт не ехал!). Минусы тоже есть: например, модель требует высокой полосы (на маке и Spark работает медленно) и, главное - знаний о мире у 27B, заметно меньше. Но знания агенту приносят тулы и поиск, а вот дисциплину в цикле извне не принесешь.

Если присматриваетесь к локальному инференсу под агентов, вот что я бы хотел знать заранее:

1. Считайте секунды на шаг агента, а не только токены в секунду. У меня модель с втрое большим декодом делала шаг за 2.1 секунды против 1.2 у "медленной" и решала задачу за большее кол-во шагов.

2. Часто говорят только про память, но тут есть как минимум три оси. VRAM решает влезет ли модель и останется ли место под кэш. Пропускная способность памяти - очень важный параметр, влияет в первую очередь на скорость генерации ответа (поэтому старенькая 3090 все еще тащит). Compute решает, как быстро модель переваривает входящий промпт. Это упрощенно, вот например неплохой визуальный разбор roofline-модели. Отсюда следует много всего, например что при низкой полосе (на маках, спарках) лучше брать MoE модели.

3. Чат упирается в память, агент - в compute, контекст и кэш. Самое дорогое в агентном цикле - не ответ, а чтение промпта. Шагов много и на каждом шаге агент заново отправляет всю историю. Тут экстремально важен префикс-кэш.

4. Смена движка или его настроек может дать разницу в разы. Вариантов много: vLLM, SGLang, llama.cpp, кастомные движки вроде NInfer. Перебирать это руками долго, поэтому у меня этим занимался агент в стиле авторесерча: поднял ряд стендов, прогнал матрицу экспериментов параллельно, записал в журнал и тд.

5. Комьюнити уже прошло часть пути за вас: есть и готовые рецепты типа 3090-club и тулы вроде llmfit: сканирует железо и подтягивает реальные замеры других пользователей. Только эти бенчмарки регулярно не сходятся с реальностью. Тестируйте на своих задачах.

По итогам, кстати, для этой модели по соотношению цена/качество победила пара 3090. А самое интересное в этой системе - архитектура "советника": локальная модель делает всю работу, а для редких сложных вопросов зовет фронтир через строгий гейт, который не выпускает приватные данные за периметр. Но это уже отдельный пост.

upd: кстати, если хочется уже сейчас протестить, то у Валеры на neuraldeep она доступна бесплатно

🔥 ➕ 🔁 @nobilix

Лаборатория METR известна своими исследованиями в области безопасности использования ИИ, её же привлекли для расследования недавних инцидентов с побегами автономных агентов ИИ OpenAI и Anthropic.

31.08.26 Лаборатория METR сообщила о 2 инцидентах ИБ:
1. В марте 2026 хакер украл API ключ и израсходовал эквивалент токенов в 600 000 $ тестируемой модели.
2. В мае 2026 хакеры могли получить доступ к базе данных, которая могла содержать ключи доступа к скрытым размышлениям моделей, не публичные модели, модели без средств защиты, информацию об архитектуре и данных обучения моделей и т.д.

Если немного поисследовать ссылки в новости, то можно найти несколько интересных фактов о METR:
1. Облачная инфраструктура на базе Google Workspace и AWS. Без он према.
2. Средства защиты и инфраструктуры облачные, он прем маловероятен.
3. До недавнего времени в компании не было выделенного нанятого руководителя\инженера по кибербезопасности.
4. Компания полагалась в кибербезопасности на другую относительно новую компанию Calif (фактически стартап в стадии масштабирования) с общей численностью персонала в 60 человек, где собрались довольно квалифицированные эксперты.
5. Формулировки из второго инцидента, говорят, о том, что логов для полноценного расследования у компании не осталось. Почему так могло получится - например не был включен детальный лог чтений базы данных (pgaudit.log, log_statement) , где оказались чувствительные данные.

Мы находимся в уникальной ситуации когда компании с оценкой капитализации до триллионов долларов и количеством работников ~4000-5000 человек (Anthropic, OpenAI) привлекают для помощи некоммерческую организацию со штатом в ~37 человек (Metr), а та в свою очередь аутсорсит кибербез в компанию с общим штатом в ~60 человек (Calif).

Какие полезные практики можно выделить по итогу инцидента:
1. Устанавливайте и мониторьте использование ваших квот облачных ИИ моделей.
2. Не останавливайтесь на классификации чувствительных данных, производите регулярную проверку фактического состава баз данных которые могут быть доступны через Интернет или пользователям с низким уровнем доверия.
3. В случае если вы отдаете свои данные, например ИИ модель, на оценку в третью организацию оцените фактический уровень безопасности этой организации, как минимум, на уровне наличия в ней выделенного эксперта по кибербезопасности.

p.s. Бонус - свежая вакансия инженера кибербезопасности в Metr.

Прекрасный пример показывающий допустимый уровень доверия к производителям передовых больших языковых моделей.
1. 31.08.26 выходит новость Антропик о произошедшей приостановке внешних проверок по кибербезопасности новых моделей.
2. На следующий день 01.09.26 Антропик выпускает новые версии моделей Fable/Mythos 5.1 в доступ.

При этом о последнем инциденте было сообщено меньше месяца назад 4 августа.

Как выдумаете на сколько реалистичен такой сценарий для крупной компании типа Антропик:
1. Вместе с партнерами проводит полноценное расследование инцидента. Останавливает разработку\оценку новых версий моделей.
2. Предпринимает корректирующие меры для неповторения ситуации.
3. После принятия корректирующих мер производит полный цикл оценки возможностей новой версии продукта.

Все три пункта меньше чем за 1 календарный месяц.

Председатель FSB, Andrew Bailey, подготовил предупреждение в адрес Центробанков и министерств финансов G20.
FSB (The Financial Stability Board) это международная организация созданная после финансового кризиса 2008 центральным банками и министерствами экономики\финансов 25 стран, Россия добровольно больше не участвует в заседаниях этого органа.
Основные идеи письма:
1. На фоне кризиса ближнего Востока, нестабильности на рынках суверенного долга (включая повышенные объемы эмиссии, сокращение сроков погашения и более активное использование заемных средств некоторыми участниками рынка) и более широкого использования биржевых инвестиционных фондов (ETF) с кредитным плечом взаимные инвестиции на рынке ИИ могут усилить будущую рыночную коррекцию.
2. Вашу юрисдикцию (страну) может затронуть риски инцидент связанный с ИИ начавшийся в другой стране и их не остановят различия в правовой системе или разница в возможностях кибербезопасности вашей юрисдикции и юрисдикции источника риска.
3. Организации и власти должны быть готовы устранять уязвимости быстро и в большом объеме, даже когда устранение уязвимостей может привести само по себе к вызовам для устойчивости и надежности. Процессы тестирования и восстановления неспособны безопасно адаптироваться.
4. Финансовым институтам, финансовой инфраструктуре и технологическим провайдерам необходимо подготовится к более серьезным сценариям одновременной остановки нескольких организаций и технологических инфраструктур. Такая ситуация усиливает важность возможностей восстановить критические системы с "голого железа" (bare metal).


Я бы воспринимал это письмо как дополнительное косвенное доказательство "ИИ пузыря" и ещё один PR Антропика.
Почему?
1. Сам Andrew Bailey не имеет опыта в ИТ, в кибербезе или в ИИ.
2. Предупреждение направлено им персонально без ссылок на материалы работы экспертных групп.
3. Публичных следов каких либо постоянно действующих комитетов по кибербезопасности найти не удалось. Последний публичный активный проект это фреймворк для сообщения финансовым регуляторам нескольких стран по киберинциденту в формате xlsx и xbrl - Format for Incident Reporting Exchange (FIRE): Taxonomy package. FIRE закончился чуть больше года назад в апреле 2025 года.
4. Andrew Bailey по сути повторил свое предыдущее предупреждение. В апреле этого года подобное предупреждение он сделал, с позиции управляющего банка Англии (Центробанк Великобритании). Т.е. за 4,5 месяца ему не удалось сформировать доказательную базу или по ряду причин он не готов её опубликовать.

Очень интересная ситуация складывается в оценке экономической эффективности средств больших языковых моделей.

1. С одной стороны Швейцарский "Банк для центральных банков" Bank for International Settlements оценивает экономический эффект от ИИ в сценарии "ограниченного роста" описывает как "aggregate productivity growth estimates → less than 1% over a long horizon" Т.е. к росту мирового ВВП будут добавятся доли процентов к 2040 году. В докладе явно указано, что такого роста на постоянную величину ежегодно не было со времен промышленной революции.
При этом есть сценарий когда за счет выбытия доходов потребителей, частично или полностью замененных ИИ, мировой ВВП за счет ИИ замедлится.
Скорее всего, именно этот доклад BIS и послужил основой растиражированных слов заместителя Министра финансов РФ Ивана Чебескова про "практически нулевой" эффект от ИИ.

2. С другой стороны есть многочисленные прогнозы требующие значительного инвестирования средств в кибербезопасность и общую безопасность.

Это может говорить о:
1. Наличии "пузыря". Объем инвестированного в ИИ мог бы быть гораздо эффективнее использован для проектов в области образования\человеческого капитала или экономической инфраструктуры.
2. Низком уровне зрелости и проникновения ИИ-нативных процессов в экономику.
3. Прогнозы по возможному экономическому росту BIS опираются на эмпирические данные первой половины 2025 года и некоторые аналитические статьи 2024 года. Т.е. реальное влияние на экономику ещё фактически только предстоит оценить.

Вышла GPT-6 Astra.

1. По "среднему по больнице" уровню независимых бенчмарков находится на уровне Fable 5 и недавно вошедшей в список передовых моделей Muse Spark 1.3 и ... GPT-5.6 Sol 😀. Т.е. уровень возможностей в среднем значительно не вырос.

2.Условная стоимость за токен выросла в 1.7 раза по отношению к GPT 5.6 Sol в режимах max.

3.Бенчмарки зафиксировали значительный рост точности GPT-6 и падение количества галлюцинаций. Примерный уровень тут сравним с Fable 5.1.

4. Как и у Fable значительный рост защищённости от промтинъекций и улучшенное выравнивание. Но все ещё хуже чем у Fable 5.

5. Из минусов - архитектура модели изменилась и теперь стало сложнее отслеживать т.н. цепочку мыслей (CoT).

Выглядит так что постепенно упираются в границу текущих архитектура рост возможностей моделей. Все недавние передовые модели увеличивают свои возможности только за счёт заметного повышения стоимости использования.

Три недели спустя релиза Gemini 3.7 Flash Google выпускает версию 3.8 Flash и версию для кибербезопасности Cyber.

Как вы считаете появится ли единый сервис удостоверения доверенности пользователей для всех провайдеров ИИ?

Несмотря на формальную близость по усредненному количеству бенчмарков к лучшим передовым моделям по своим возможностям, Gemini 3.8 flash заметно отстаёт по точности ответов и количеству галлюцинаций.

Не может не радовать системная работа по "встроенным" средства обнаружения промт инъекций и некорректного использования модели теперь и в моделях от Google.

Ряд экспертов предлагает в принципе уйти от использования бенчмарков потому, что это просто "банк вопросов и ответов" и испытывать модели как стажёров на реальных задачах.

Подход здравый, действительно большинство бенчмарков измеряют оценивают синтетические, оторванные от реальных, задач. При использовании бенчмарков для оценки моделей необходимо учитывать как минимум:

1. Окружение\harness моделей. Большие языковые модели недетерминированы и эксперимент поставленный в вашем окружении может не воспроизвестись в окружении конкурента. Например вы используете модель в своей инфраструктуре, а конкурент облачную инфраструктуру. Пример подобной проблемы для ML описан в этой статье.

2. Если бенчмарк оперирует процентами или баллами не лишним будет уточнить сколько фактических экспериментов было проведено. Согласитесь, что выбирать модели на основе разрыва в 5% при 1 проведенном эксперименте это довольно странно.

3. Не все авторы бенчмарков обладают и используют базовые знания математической статистике. По некоторым оценкам до 45% процентов научных работ содержат грубые статистические ошибки.

Если вернуться к подходу оценке моделей в реальных задачах, а не бенчмарках, то для кибербезопасности здесь довольно интересная ситуация. Несколько недавних попыток таких оценок закончилось взломами реальных компаний. Поэтому в своем подобном эксперименте изучите прошедшие инциденты с OpenAI и Antropic и используйте адекватную изоляцию. Как недавно выяснил Artem Dinaburg из The Trail of Bits адекватная изоляция для передовых моделей это FireCracker.

И все же не все бенчмарки это простой набор вопросов и ответов. Есть бенчмарки с "унижающим" передовые модели результатом, например максимума в 32% смогла добиться в CritPt GPT 5.6/6.

Почему я взял слово унижающим в кавычки? CritPt это бенчмарк созданный 30 академическим организациями состоящий из открытых исследовательских проблем в физике и он оценивает не результат, а способ и путь решения проблемы. Примерный уровень квалификации человека для достижения 32% в этом бенчмарке это уникально сильный магистр или кандидат наук.

Отдельного поста достойна проблема научной воспроизводимости.

Научная основа самого бенчмарка может оказаться частично или полностью некорректной. На недавнем хакатоне HuggingFace участники в течении 2,5 недель пытались проверить 2226 статей из всех 6341 принятых на ICML 2026 (International Conference on Machine Learning). ICML — это одна из самых престижных конференций по искусственному интеллекту в мире. Наряду с NeurIPS и CVPR, она входит в «большую тройку» научных мероприятий высшего уровня (A*) в области машинного обучения.

За время хакатона участникам удалось воспроизвести полностью только 12% статей (266).
23% (496) статей содержали как минимум 1 ложное или спорное утверждение.

Как результат хакатона HuggingFace выделил:
1. На текущий момент возможности ИИ агентов достигли предела. Наилучшие результаты получаются когда за работу агента направляет человек.
2. Некоторые виды оценок доступны пока только человеку.
3. Какая текущая роль человека в подобной оценке? HuggingFace считает это, что создание условий для эксперимента и формирование правильных вопросов для исследования, подобно профессору, который направляет своих дипломников.

P.s. Проблема воспроизводимости научных результатов шире, чем исследования в ИИ или проверка новых эксплойтов. Получив в 2010 году название "Кризис воспроизводимости".

Антропик во исполнение законодательства ЕС запустил сервис по определению был ли файл сгенерирован Claude. Отличное решение и файлов для обучения модели подсоберут и требования закона выполнят. Текст пока не детектирует для всех.
Аналогичная функция для текста пока ограничена только компаниями кому это нужно по требованиям ЕС. Доступ к сервису по API пока только в планах в планах.

Есть аналогичный сервис от Яндекса Нейродетектор. Анализирует текст и файлы.

Разница в том, что Антропик проверяет наличие своего водяного знака, а сервис Яндекса ищет статистические закономерности и штампы. По некоторым исследованиям для точного определения авторства текста нужно возможно большое количество текста. На нескольких словах или одном предложении высокий шанс ошибки.

Зачем подобные инструменты это в кибербезе:
1.Защита от дипфейков.
2. Проверка того, что заключение было написано человеком, а не галюцинация ИИ.

Определенный спрос на подобные онпрем решения будет неизбежным и это вполне себе небольшой сегмент рынка который пока имеет игроков в основном для детектирования изображений и видео.