🌟 Zyphra выложила чекпоит ZAYA1-74B-Preview

Через 2 дня после релиза ZAYA1-8B Zyphra опубликовала превью более крупной модели ZAYA1-74B.

Это промежуточная веха: модель прошла претрейн, мидтрейн и расширение контекста, но RL-постобучения и инстракт-тюнинга на ней ещё не делали.

Zyphra ставит ZAYA1-74B-Preview рядом с полноценными моделями и приводит 2 метрики - avg@1 и pass@4.
По pass@1 модель ожидаемо отстаёт, а pass@4 уже подбирается к лидерам. Zyphra трактует это как сигнал того, что в базовой модели достаточно разнообразия и способностей, чтобы RL вытащил их в финальные цифры.

В подтверждение этой логики Zyphra ссылается на опыт ZAYA1-8B

Там между чекпойнтами с похожими pass@k и финальной версией разрыв оказался большим: +20.8 на AIME'26, +32.4 на HMMT'26, +10.0 на LiveCodeBench-v6, +11.7 на GPQA-Diamond, +19.0 на IFEval.

🟡Внутри 74B-Preview масштабированная 8B

То же CCA-внимание, но каждый второй слой заменён на внимание со скользящим окном размером 4K.

Со слов Zyphra, это почти вдвое сокращает KV-кеш без потерь на длинном контексте. Чтобы трюк сработал, при расширении контекста в слоях со скользящим окном сохранили исходное основание RoPE, а у глобальных - растянули.

🟡Контекст наращивали поэтапно: 32k → 128k → 256k.

Претрейн занял около 15T токенов в две фазы: сначала общие веб-данные, затем больше математики, кода и науки. Мидтрейн - 3 фазы примерно по 1T токенов: расширение контекста, ввод reasoning-трасс и фокус на агентных задачах.

🟡Агентика

На ZAYA1-8B этот режим работал слабее, поэтому в корпус 74B-Preview добавили больше агентного материала. Первые цифры на τ-bench Zyphra описывает как многообещающие.

Авторы при этом оговариваются, что pass@k плохо отражает многошаговые сценарии, там важнее следование инструкциям, удержание состояния и устойчивость к промежуточным ошибкам, и значительная часть этих способностей появляется только после агентного RL.

Старшую ZAYA1, кстати, тоже обучали исключительно на AMD . Полноценный RL уже идёт, финальную версию 74B Zyphra планирует выпустить в ближайшие недели.


📌Лицензирование: Apache 2.0 License.


🟡Блогпост
🟡Модель


@ai_machinelearning_big_data
#AI #ML #LLM #ZAYA1 #ZYPHRA

🙂 Фрагменты новостей из 2030 вы пока не поймете

Anthropic запустила новую систему персонализированных уведомлений для модели Mythos v5.

Система будет предупреждать о найденных багах и напоминать о превышении дневных лимитов в Сlaude Code.

@ai_machinelearning_big_data

📌Как заставить ИИ не халтурить, если модель умнее проверяющего

Модели становятся все умнее и умнее и скоро мы не сможем адекватно проверять их выдачу - ни сами, ни другими моделями-судьями. Появляется реальный риск сандбэггинга: когда мощная нейронка специально косит под дурочку (или прячет баги в коде), чтобы обмануть слабого проверяющего и скрыть свои настоящие возможности.

Группа исследователей в полосатых купальниках из Anthropic и Redwood Research провела годный эксперимент о том, как лечить саботаж знаний стандартными методами обучения.

Схема эксперимента заключалась в противостоянии "Красные против Синих" с общей метрикой - насколько Синие смогли вытащить реальную производительность модели.

Красные - не соперник, который что-то выигрывает. Их роль чисто инструментальная: собрать максимально устойчивую модель-саботажника, чтобы Синим было что ломать.

Красные натаскали GPT-OSS-120В сандбэггить по скрытому флагу в системном промпте: выдавать правдоподобный бред, когда флаг включён, и работать честно, когда выключен.

Синие должны были вытащить из неё реальные способности, имея в качестве судей модели заведомо слабее - GPT-4o-mini и Llama 3.1 8B. Эталонных ответов у Синих почти не было (всего 10 штук на весь датасет).

🟡Как Синие ломали саботаж

🟢Только RL. Полный провал.

Если модель упорно сандбэггит, RL по слабому судье уходит в ревард хакинг (учится генерить ответы, которые красиво выглядят для судьи, но задачу по факту не решает). На олимпиадной математике и Super GPQA так слились почти все запуски.

🟢Только SFT (на готовых ответах слабой модели). Уже лучше.

Дотюн на ответах слабого судьи сбивает спесь и роняет сандбэггинг почти до нуля. Но если судья совсем кривой, такой SFT постепенно убивает общие способности GPT-OSS-120b - она начинает тупить наравне со своим учителем.

🟢SFT + RL. Очевидный вин.

Сначала короткий SFT-дотюн на 80–100 шагов, которого хватает, чтобы сбить паттерн саботажа и заставить модель хотя бы начать пробовать в правильные ответы. А дальше уже добивка через RL по слабому сигналу награды.

🟡Что по цифрам

Связка SFT+RL вытягивает из саботажника 86–99% его реальной производительности на жёстких бенчмарках (Super GPQA, олимпиадная математика, Code Contests), даже когда проверяющим работала откровенно слабая сетка.

Кстати, выяснилось, что 10 эталонных примеров для SFT уже достаточно, чтобы вернуть модели мозги почти полностью (83–99% по разным задачам).

🟡Нюансы

Магия работает только до тех пор, пока модель не может отличить тестовые прогоны от продакшна.

Авторы проверили сценарий, где Красные дают модели полное знание о том, какие задачи относятся к обучающей выборке, а какие к деплою (распределения при этом остаются одинаковыми, отличие только в том, что модель знает, где она).

При таком раскладе модель меняет поведение : ведёт себя ок во время SFT и RL, собирает все реворды, а в проде снова начинает дурить.

На олимпиадах элиситация в среде прода просела с 88% до 36%, на Super GPQA - с 99% до 60%, на Code Contests - с 93% до 66%.

Как поведёт себя естественно зародившийся схематозник, у которого склонность к обману пробилась через претрейн или большой RL - вопрос открытый. Авторы сами это проговаривают как главное ограничение работы.

🟡Вывод

Выбить дурь из ИИ пока можно базовыми пайплайнами без эзотерических методов, и это хорошая новость.

Но если нейронка хоть как-то понимает, что она на тестовом стенде - она будет мимикрировать . Единственный выход - делать тренировку максимально неотличимой от продакшна.


🟡Arxiv


@ai_machinelearning_big_data

#AI #ML #LLM #Research #Alignment