В MoonshotAI изобрели новый вид аттеншена

В трансформерах есть важная штука под названием residual connection. Ее суть: вместо того, чтобы каждый слой полностью переписывал предыдущий, вход слоя добавляется к его выходу. Тем самым сигнал и градиенты не теряются по дороге, а плавно протекают сквозь глубину сетки без резких искажений. Эта идея – одна из ключевых во всей архитектуре трансформера.

Тезис исследователей из Moonshot (это, напоминаем, создатели Kimi K2): обычные residual слишком тупы. Они полезны, но на самом деле бездумно накапливают все прошлые выходы слоя за слоем, из-за чего с ростом глубины вклад каждого отдельного слоя размывается, а величины hidden states растут бесконтрольно.

В качестве улучшения предлагают Attention Residuals: пусть слой сам решает, на какие прошлые выходы слоев по глубине ему смотреть. По сути это привычный нам механизм внимания, но не на токенах, а но слоях нейросети.

Теперь вместо того, чтобы получать всю предыдущую информацию от коллег-слоев одной кучей, каждый слой получает взвешенную сумму этих знаний, нужную именно на данном этапе обработки. Теоретически это звучит очень осмысленно. Если обычный аттеншен так хорошо выбирает релевантные токены, то почему бы не дать модели так же выбирать релевантные предыдущие выходы слоев?

Правда, есть нюанс: технически эта идея требует память большого порядка. Поэтому инженерия немного подправлена, и сеть на самом деле делят на блоки, внутри блока оставляют обычное residual-накопление, а attention применяют только между блоками.

На тестах идея действительно демонстрирует вычислительно более эффективную модель: Block AttnRes достигает лосса, сравнимого с бэйзлайном, обученным с 1.25× большим компьютом. Проще говоря, Attention Residuals быстрее сходятся. Авторы также утверждают, что механизм улучшает саму динамику обучения и делает его более стабильным.

Работа выглядит очень интересной и потенциально важной. Надо будет последить, станут ли применять.

https://github.com/MoonshotAI/Attention-Residuals/blob/master/Attention_Residuals.pdf

Вайбкодинг в бигтехе: как происходит внедрение ИИ-агентов

Разговоров про кодинг-агентов становится все больше, но мало кто понимает, что внедрение таких систем на уровне компании — это сложная инженерная работа, а не просто «подключили модель и поехали».

Обычно этот процесс остается за закрытыми дверями. Но иногда появляется возможность послушать практиков. Недавно мы посмотрели в онлайне митап AI Dev Day, и сразу несколько докладов были посвящены внедрению AI-агентов в процессы разработки.

Андрей Попов, лидер трека ИИ в разработке в Яндексе, рассказал, что у них развитием агентов занимаются уже не энтузиасты, а полноценные команды, и это направление стало фокусным. Из чего состоит такая работа:

— Метрики. Главная метрика сейчас — сэкономленное время разработчика. Суммарно ИИ сэкономил уже 42к часов инженеров Яндекса. Есть и другие показатели: например, количество коммитов при использовании ИИ выросло на 10%, что означает – разработка ускоряется. В перспективе компания хочет двигаться к AI-first подходу: ключевым станет показатель того, как часто разработчику приходится вмешиваться в автономный процесс генерации кода (по аналогии с disengagement rate в автономном транспорте).

 — Собственные бенчмарки и дообучение моделей. В компании есть внутренний бенчмарк ArcSWE – аналог SWE Verified, но на задачах компании. Именно такие измерения становятся основой для управленческих решений, потому что на публичные бенчмарки не всегда можно опираться.

 — Своя инфраструктура. Собственный интерфейс, доступный инференс, RAG, MCP и системы контекста. В большой компании множество внутренних сервисов, поэтому требуется много кастомной интеграции – сейчас у компании уже 35+ MCP для работы с инфраструктурой.

Сейчас около 30% кода в компании генерируется ИИ, причем 23% – в агентском режиме внутри собственного агента Yandex Code Assistant. О том, как его разрабатывают и улучшают, на той же конференции рассказывал Сергей Бульдяев, технический менеджер продукта.

Все это – демонстрация процесса настоящего внедрения. Очень важно не проваливаться в хайп, трезво проводить эвал и заниматься агентами не на уровне пет-проектов на выходных, а именно вот так организованно. 

Вышла новая кодинг модель от Cursor

На собственном бенчмарке от Cursor – CursorBench – Composer 2 находится примерно на уровне GPT-5.4 и Opus 4.6. Акцент, естественно, на агентное программирование и работу в больших кодовых базах.

Цены довольно низкие: $0.50/M input и $2.50/M output. Есть фаст мод, стоит в три раза дороже, но при этом скорость заявляют заметно выше Opus 4.6 Fast и GPT-5.4 Fast.

Как будто бы стоит попробовать. По крайне мере, прогресс относительно предыдущей версии модели большой.

https://cursor.com/blog/composer-2