В течение года китайцы выпустят ИИ-модель мощнее американского фронтира.
(c) Циничный AI
ИИпокалипсис
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegraph
ИИпокалипсис
🕊 Рубрика: "Запомните этот твит"
Появление архитектуры современного ИИ
Выход ИИ из лабораторий в массовое использование
Закрепление США как центра frontier AI
Начало чипового сдерживания Китая
Ускорение китайской AI-мобилизации
Появление сильных китайских open-weight моделей
Переход ИИ из рынка приложений в инфраструктуру власти
Формирование американского AI-стека
Формирование китайского AI-стека
Начало ценового давления Китая на американский ИИ
Превращение моделей в геополитический актив
Ценовая война моделей
📍 ВЫ СЕЙЧАС ТУТ
Ограничение доступа к frontier AI по странам
Закрытие лучших моделей от внешнего доступа
Контроль аренды вычислений через третьи страны
Запрет китайских моделей в критической инфраструктуре союзников США
Запрет американских моделей в чувствительных секторах Китая
Разделение мира на AI-стеки
Рост локальных «суверенных ИИ»
Уход России в российско-китайский технологический контур
Замена части офисных профессий AI-агентами
ИИ в госуслугах
ИИ в судах
ИИ в медицине
ИИ в образовании
ИИ в полиции
ИИ в армии
ИИ в промышленности
Раскол между странами с сильным ИИ и странами со слабым ИИ
Раскол между людьми с доступом к сильному ИИ и людьми без него
Массовая ai-пропаганда
Кризис доверия к видео
Кризис доверия к голосам
Кризис доверия к документам
Кризис доверия к новостям
Обязательная идентификация людей и агентов
Национальные модели как элемент суверенитета
Конец глобального интернета
Глобальные AI-интранеты
Дата-центры как стратегическая инфраструктура
Энергия как главный ресурс ИИ-гонки
Чипы как дипломатическая валюта
ИИ как слой управления государством
ИИ как слой управления экономикой
ИИ как слой управления войной
Автоматизированные государства
Договоры об ограничении военного ИИ
Вечная AI-холодная война
Цивилизационные операционные системы
Выход ИИ из лабораторий в массовое использование
Закрепление США как центра frontier AI
Начало чипового сдерживания Китая
Ускорение китайской AI-мобилизации
Появление сильных китайских open-weight моделей
Переход ИИ из рынка приложений в инфраструктуру власти
Формирование американского AI-стека
Формирование китайского AI-стека
Начало ценового давления Китая на американский ИИ
Превращение моделей в геополитический актив
Ценовая война моделей
📍 ВЫ СЕЙЧАС ТУТ
Ограничение доступа к frontier AI по странам
Закрытие лучших моделей от внешнего доступа
Контроль аренды вычислений через третьи страны
Запрет китайских моделей в критической инфраструктуре союзников США
Запрет американских моделей в чувствительных секторах Китая
Разделение мира на AI-стеки
Рост локальных «суверенных ИИ»
Уход России в российско-китайский технологический контур
Замена части офисных профессий AI-агентами
ИИ в госуслугах
ИИ в судах
ИИ в медицине
ИИ в образовании
ИИ в полиции
ИИ в армии
ИИ в промышленности
Раскол между странами с сильным ИИ и странами со слабым ИИ
Раскол между людьми с доступом к сильному ИИ и людьми без него
Массовая ai-пропаганда
Кризис доверия к видео
Кризис доверия к голосам
Кризис доверия к документам
Кризис доверия к новостям
Обязательная идентификация людей и агентов
Национальные модели как элемент суверенитета
Конец глобального интернета
Глобальные AI-интранеты
Дата-центры как стратегическая инфраструктура
Энергия как главный ресурс ИИ-гонки
Чипы как дипломатическая валюта
ИИ как слой управления государством
ИИ как слой управления экономикой
ИИ как слой управления войной
Автоматизированные государства
Договоры об ограничении военного ИИ
Вечная AI-холодная война
Цивилизационные операционные системы
🔥1
Маск видимо не в курсе происходящего.
Такое можно ожидать от руководства некоторых стран - не воспринимать объективную реальность.
А реальность такова, что сейчас все сидят на Фубле и скоро боудут звонить Солу.
Выпустить модель ровно между ними, при чём без какой-то предварительной маркетинговой раскачки - это либо большое эго, либо недальновидность, либо (что наиболее вероятно), чтобы твой провал прошёл максимально незаметно.
Тем Илон релизы каждый месяц обещал.
Возможно, перовый блин комом, и лучше выпустить сегодня, чтобы завтра все забыли.
—-
На самом деле мне бы хотелось заполочить шустрого кодингового агента уровня Opus 4.8
Идеально бы вписался в мой ai-workflow
Потому что сам Opus 4.8 не любит спешить.
По бенчам выглядит солидно.
Но мы лучше подождём реальных тестов и отзывов от сообщества.
Такое можно ожидать от руководства некоторых стран - не воспринимать объективную реальность.
А реальность такова, что сейчас все сидят на Фубле и скоро боудут звонить Солу.
Выпустить модель ровно между ними, при чём без какой-то предварительной маркетинговой раскачки - это либо большое эго, либо недальновидность, либо (что наиболее вероятно), чтобы твой провал прошёл максимально незаметно.
Тем Илон релизы каждый месяц обещал.
Возможно, перовый блин комом, и лучше выпустить сегодня, чтобы завтра все забыли.
—-
На самом деле мне бы хотелось заполочить шустрого кодингового агента уровня Opus 4.8
Идеально бы вписался в мой ai-workflow
Потому что сам Opus 4.8 не любит спешить.
По бенчам выглядит солидно.
Но мы лучше подождём реальных тестов и отзывов от сообщества.
Как по мне DeepSwe 1.1 на сегодня ключевой бенч, наиболее близкий к реальности.
Прыгнуть выше головы не вышло, хотя в целом для Маска это значительный шаг вперёд.
Рекомендовать сейчас использозовать Grok вместо каких-то моделей в вашх flow, особенно если у вас комбо claude code / codex не вижу смысла.
Получилась модель, которая не дотягивает до планировщика/ревьюера, а на поляне кодинговых рабочих лошадок для него пока места нет, слишком много конкурентов в этой нише. Выглядит как сильная альтернатива Sonnet. А там правят бал киты, тот же DeepSeek v4 Flash. При этом у Grok пока плохо с репутацией и имиджем, так что впереди у spaceX ещё много месяцев много работы.
А нам стоит подождать и проследить за их дальнейшим прогрессом.
В целом для нас - для ужаленных ИИ - это большой плюс: Маск возвращает Grok в игру всего лишь за какие-то жалкие $60 ярдов.
Прыгнуть выше головы не вышло, хотя в целом для Маска это значительный шаг вперёд.
Рекомендовать сейчас использозовать Grok вместо каких-то моделей в вашх flow, особенно если у вас комбо claude code / codex не вижу смысла.
Получилась модель, которая не дотягивает до планировщика/ревьюера, а на поляне кодинговых рабочих лошадок для него пока места нет, слишком много конкурентов в этой нише. Выглядит как сильная альтернатива Sonnet. А там правят бал киты, тот же DeepSeek v4 Flash. При этом у Grok пока плохо с репутацией и имиджем, так что впереди у spaceX ещё много месяцев много работы.
А нам стоит подождать и проследить за их дальнейшим прогрессом.
В целом для нас - для ужаленных ИИ - это большой плюс: Маск возвращает Grok в игру всего лишь за какие-то жалкие $60 ярдов.
https://openai.com/index/separating-signal-from-noise-coding-evaluations/
Рубрика: "Вода мокрая"
Голосом Якубовича: "Да ладно!"
Суть бенча (он, к слову, от Scale AI, а не от OpenAI): берутся реальные фичи из репозиториев, а модель должна закрыть новые тесты и не сломать старый функционал.
Отсюда у разрабочиков соблазн — не учить модель кодить, а дрессировать проходить конкретные задачи, чтобы потом померятьсяписькой на камеру процентами результатов перед инвесторами и клиентами.
Что именно ломается:
— тесты слишком строгие: требуют конкретную реализацию, которой в задании нет, и заваливают функционально верное решение;
— условие недоописано: скрытые тесты проверяют то, о чём промпт молчит;
— тесты дырявые: неполный фикс всё равно проходит;
— формулировка уводит модель в неправильное поведение.
Короче, около 30% задач в наборе просто сломаны.
И что с того? А то, что те, кто натаскивает модели на прохождение бенчей, учат модели хуже кодить и больше ошибаться.
OpenAI грешила этим меньше всех. Китайские лабы — наоборот, ради цифр на бенче регулярно проседали на боевых задачах. Похоже, что OpenAI надоело, что в реальной работе их модели выглядят лучше, чем на табло относительно конкурентов.
Правда ещё в мае Datacurve в своём бенчмарке DeepSWE писала ровно то же: верификаторы SWE-Bench Pro неверно оценивают примерно треть прогонов, а отдельные модели достают эталонный патч прямо из git-истории репозитория.
OpenAI подтянулась месяца через полтора. Видимо новые модели, которые должны выйти завтра, не показали себя на SWE-Bench.
Оно и понятно, так как бенч сломан.
Отсюда вилка - либо делать модель хуже, но чтобы она проходила бенчмарки лучше конкуретнов, или отказаться от части бенчмарков, но зато получить реально годную модель.
Что же получилось у клозедов скоро узнаем.
Рубрика: "Вода мокрая"
Клозеды официально отозвали свою рекомендацию использовать бенчмарк SWE-Bench Pro для оценки ИИ-кодеров после обнаружения критических дефектов в 27–34% задач. Проведенный аудит выявил, что тесты содержат слишком строгие требования, неполные условия и противоречия, искажающие реальные способности моделей.
Голосом Якубовича: "Да ладно!"
Суть бенча (он, к слову, от Scale AI, а не от OpenAI): берутся реальные фичи из репозиториев, а модель должна закрыть новые тесты и не сломать старый функционал.
Отсюда у разрабочиков соблазн — не учить модель кодить, а дрессировать проходить конкретные задачи, чтобы потом померяться
Что именно ломается:
— тесты слишком строгие: требуют конкретную реализацию, которой в задании нет, и заваливают функционально верное решение;
— условие недоописано: скрытые тесты проверяют то, о чём промпт молчит;
— тесты дырявые: неполный фикс всё равно проходит;
— формулировка уводит модель в неправильное поведение.
Короче, около 30% задач в наборе просто сломаны.
И что с того? А то, что те, кто натаскивает модели на прохождение бенчей, учат модели хуже кодить и больше ошибаться.
OpenAI грешила этим меньше всех. Китайские лабы — наоборот, ради цифр на бенче регулярно проседали на боевых задачах. Похоже, что OpenAI надоело, что в реальной работе их модели выглядят лучше, чем на табло относительно конкурентов.
Правда ещё в мае Datacurve в своём бенчмарке DeepSWE писала ровно то же: верификаторы SWE-Bench Pro неверно оценивают примерно треть прогонов, а отдельные модели достают эталонный патч прямо из git-истории репозитория.
OpenAI подтянулась месяца через полтора. Видимо новые модели, которые должны выйти завтра, не показали себя на SWE-Bench.
Оно и понятно, так как бенч сломан.
Отсюда вилка - либо делать модель хуже, но чтобы она проходила бенчмарки лучше конкуретнов, или отказаться от части бенчмарков, но зато получить реально годную модель.
Что же получилось у клозедов скоро узнаем.
OpenAI
Separating signal from noise in coding evaluations
A new analysis from OpenAI reveals issues in SWE-Bench Pro, a popular coding benchmark, raising concerns about reliability and accuracy in evaluating AI models.
👍1
Fable в очередной раз продлили по подписке.
Теперь до 19 июля.
Вынужден признать, что Амодей ещё и талантливый маркетолог (чистый крокодилер).
Теперь до 19 июля.
Вынужден признать, что Амодей ещё и талантливый маркетолог (чистый крокодилер).
Все уже успели повтыкать в эту картинку, но только никто не догадался нарисавать линии для наглядности.
Ладно, сделаю это сам.
Что видим?
А то, что нет ничего лучше по соотношению цены/качества, чем luna ultra - это внезапный фаворит для нище-кодинга.
Можно пользоваться так:
1) "Беседы" о проекте - luna high/xhigh
2) Планирование задач - Luna xhigh/max, получаем модель уровня Opus 4.8
3) Проверка планов и ревью реализации - luna ultra (Opus держит пиво и нервно крякает)
4) Реализация.
А вот тут дискуссионный вопрос
Если ваша спека соответствует тем критериям, которые я задаю в своём flow. То можно использовать luna high и значительно экономить время и токены.
У меня issues сосавляются специально под реализации слабой моделью.
Если же качество ваших issues оставляюет желать лучшего, тогда хотя бы дробите их на несколько мелких задач и делайте ревью чаще, но в таком случае непонятно, будет ли выигрыш в токенах.
Возможно при не самой хорошей спеке стоит посмотреть на реализацию с помощью luna xhigh
P.S.Итого. По графикам - luna невероятно дешевая и качественная модель на высоких уровнях effort. Но нужно проверять на практике.
P.P.S. Сейчас перевожу в своём оркестраторе работу ядра с claude code на codex и реализацию буду отдавать luna, хочу проверить скорость/качество/расход. Claude останется как второе мнение на review.
Ладно, сделаю это сам.
Что видим?
А то, что нет ничего лучше по соотношению цены/качества, чем luna ultra - это внезапный фаворит для нище-кодинга.
Можно пользоваться так:
1) "Беседы" о проекте - luna high/xhigh
2) Планирование задач - Luna xhigh/max, получаем модель уровня Opus 4.8
3) Проверка планов и ревью реализации - luna ultra (Opus держит пиво и нервно крякает)
4) Реализация.
А вот тут дискуссионный вопрос
Если ваша спека соответствует тем критериям, которые я задаю в своём flow. То можно использовать luna high и значительно экономить время и токены.
У меня issues сосавляются специально под реализации слабой моделью.
Если же качество ваших issues оставляюет желать лучшего, тогда хотя бы дробите их на несколько мелких задач и делайте ревью чаще, но в таком случае непонятно, будет ли выигрыш в токенах.
Возможно при не самой хорошей спеке стоит посмотреть на реализацию с помощью luna xhigh
P.S.Итого. По графикам - luna невероятно дешевая и качественная модель на высоких уровнях effort. Но нужно проверять на практике.
P.P.S. Сейчас перевожу в своём оркестраторе работу ядра с claude code на codex и реализацию буду отдавать luna, хочу проверить скорость/качество/расход. Claude останется как второе мнение на review.
Вот реальный график. Первый с логарифмической линейкой, второй с обычной для наглядности.
DeepSwe v1.1 - единственный бенчмарк, который показывает реальный уровень кодинга, а не "попугаи".
Я взял сырой JSON лидерборда DeepSWE v1.1 напрямую у Datacurve.
Что мы видим?
1) Писать код можно на luna high - получаем модель уровня Opus за шапку сухарей
Sonnet 4.6 - можно списывать в утиль
2) Luna max - уровень Fableчто тебе ещё нужно собака Но я рекомендую вместо неё использовать Sol high/xhigh когда зашли в тупик.
Если кратко, то нище-кодинг может теперь выглядеть так:
- общаемся о проекте с Terra high
- текст задач/спек пишем с помощью Terra xhigh
- ревью задач/спек Sol high
- реализация Luna high
- ревью реализации Sol high
Получаем немного разные линзы при анализе проблем, экономию токенов, скорость имплементации и качество реализации Fable
P.S. И это мы ещё Grok не трогали. Возможно, я в следующем месяц вообще откажусь от claude code, вторым агентом и имплементатором буду использовать groq 4.5, если он действительно так хорош, а главное, если он будет давать высокую скорость.
P.P.S. Когда-нибудь расскажу,как оно устроено у меня, кто пишет код, как пишутся спеки, кто это всё проверяет, почему проект не ломается и почему агенты делают именн то, что я хочу.
DeepSwe v1.1 - единственный бенчмарк, который показывает реальный уровень кодинга, а не "попугаи".
Я взял сырой JSON лидерборда DeepSWE v1.1 напрямую у Datacurve.
Что мы видим?
1) Писать код можно на luna high - получаем модель уровня Opus за шапку сухарей
Sonnet 4.6 - можно списывать в утиль
2) Luna max - уровень Fable
Если кратко, то нище-кодинг может теперь выглядеть так:
- общаемся о проекте с Terra high
- текст задач/спек пишем с помощью Terra xhigh
- ревью задач/спек Sol high
- реализация Luna high
- ревью реализации Sol high
Получаем немного разные линзы при анализе проблем, экономию токенов, скорость имплементации и качество реализации Fable
P.S. И это мы ещё Grok не трогали. Возможно, я в следующем месяц вообще откажусь от claude code, вторым агентом и имплементатором буду использовать groq 4.5, если он действительно так хорош, а главное, если он будет давать высокую скорость.
P.P.S. Когда-нибудь расскажу,как оно устроено у меня, кто пишет код, как пишутся спеки, кто это всё проверяет, почему проект не ломается и почему агенты делают именн то, что я хочу.
У Datacurve есть точные замеры wall-clock времени на задачу.
Это честнее любых "токенов в секунду", потому что учитывает всё сразу:
- скорость инференса,
- количество шагов агента,
- объём генерируемых токенов.
При этом нужно понимать, что быстрый провал не лучше медленного успеха.
Sonnet 4.6 формально быстрее Opus, но проваливает 70% задач.
Поэтому привожу таблицу с колонкой "ожидаемое время до решённой задачи".
Это честнее любых "токенов в секунду", потому что учитывает всё сразу:
- скорость инференса,
- количество шагов агента,
- объём генерируемых токенов.
При этом нужно понимать, что быстрый провал не лучше медленного успеха.
Sonnet 4.6 формально быстрее Opus, но проваливает 70% задач.
Поэтому привожу таблицу с колонкой "ожидаемое время до решённой задачи".
Самый интересный по-моему мнению график из моего сегодняшнего анализа - соотношение уровня ризонинга ко времени выполнения задачи.
У всех моделей, кроме Luna, кривая монотонно растёт.
Каждый следующий уровень effort увеличивает ожидаемое время на решённую задачу.
Прирост качества покупается сверхлинейным временем - думать дольше никогда не окупается по чистой скорости решения, только по надёжности первой попытки.
У всех моделей, кроме Luna, кривая монотонно растёт.
Каждый следующий уровень effort увеличивает ожидаемое время на решённую задачу.
Прирост качества покупается сверхлинейным временем - думать дольше никогда не окупается по чистой скорости решения, только по надёжности первой попытки.
Выводы.
1) Атомарные задачи, где не требуется большого контекстного окна и чтения большого числа файлов - Luna
Главная проблема Luna - обрыв на long-context:
~128к уверенно работает,
~150–200к она ещё функциональна,
~256к и выше начинается провал.
В остальном это отличная, быстрая, и недорогая модель, которую есть смысл использовать с уровня effort - high
2) Дефолтный имплементатор - Terra
Добро пожаловать в качество Fable.
Если нужно оставить только одну модель, то лучший вариант: Terra xhigh. Подойдёт для любых сценариев.
3) Архитектура, спеки, ревью, декомпозиция, сложные задачи, либо когда требуется one-shot'нуть задачу - Sol high → xhigh
1) Атомарные задачи, где не требуется большого контекстного окна и чтения большого числа файлов - Luna
Главная проблема Luna - обрыв на long-context:
~128к уверенно работает,
~150–200к она ещё функциональна,
~256к и выше начинается провал.
В остальном это отличная, быстрая, и недорогая модель, которую есть смысл использовать с уровня effort - high
2) Дефолтный имплементатор - Terra
Добро пожаловать в качество Fable.
Если нужно оставить только одну модель, то лучший вариант: Terra xhigh. Подойдёт для любых сценариев.
3) Архитектура, спеки, ревью, декомпозиция, сложные задачи, либо когда требуется one-shot'нуть задачу - Sol high → xhigh
И чтобы добить окончательно на сегодня все вопросы.
Datacurve взяла 113 реальных инженерных задач (написанных с нуля по мотивам живых open-source репозиториев Prometheus, Yjs, wasmi и т.д.) и прогнала каждую конфигурацию модель * уровень размышления» по 4 раза, примерно 450 попыток на конфигурацию.
Во время каждой попытки агент самостоятельно ходит по репозиторию, пишет код, гоняет тесты и коммитит результат.
Затем независимый верификатор проверяет, работает ли код. Попытка либо прошла, либо нет, частичного зачёта не бывает.
Что означают колонки:
pass@1 — доля попыток, закончившихся рабочим кодом.
Это ответ на вопрос "справилась ли":
Sonnet 4.6 справился в 30% попыток, то есть 7 из 10 задач провалил.
Даже лучшая модель Sol max проваливает 27% попыток. Ни одна модель не решает всё.
Сырое время - среднее время одной попытки по часам, включая проваленные.
Модель тратит время (и деньги) независимо от того, получилось у неё или нет.
Время на решённую - расчётная, а не измеренная величина: сырое время ÷ pass@1. Читается как "сколько в среднем ждать до первого успеха, если перезапускать модель, пока не получится".
Именно поэтому Luna low с её 1.3 минуты на попытку стоит на 24-м месте: попытка мгновенная, но успешна лишь 1 из 65, так что до рабочего кода - полтора часа перезапусков.
pass@4 - доля задач, решённых хотя бы раз за 4 попытки.
Это потолок покрытия: у Sol max - 85.8%, значит ~14% задач он не решил ни в одной из четырёх попыток.
Datacurve взяла 113 реальных инженерных задач (написанных с нуля по мотивам живых open-source репозиториев Prometheus, Yjs, wasmi и т.д.) и прогнала каждую конфигурацию модель * уровень размышления» по 4 раза, примерно 450 попыток на конфигурацию.
Во время каждой попытки агент самостоятельно ходит по репозиторию, пишет код, гоняет тесты и коммитит результат.
Затем независимый верификатор проверяет, работает ли код. Попытка либо прошла, либо нет, частичного зачёта не бывает.
Что означают колонки:
pass@1 — доля попыток, закончившихся рабочим кодом.
Это ответ на вопрос "справилась ли":
Sonnet 4.6 справился в 30% попыток, то есть 7 из 10 задач провалил.
Даже лучшая модель Sol max проваливает 27% попыток. Ни одна модель не решает всё.
Сырое время - среднее время одной попытки по часам, включая проваленные.
Модель тратит время (и деньги) независимо от того, получилось у неё или нет.
Время на решённую - расчётная, а не измеренная величина: сырое время ÷ pass@1. Читается как "сколько в среднем ждать до первого успеха, если перезапускать модель, пока не получится".
Именно поэтому Luna low с её 1.3 минуты на попытку стоит на 24-м месте: попытка мгновенная, но успешна лишь 1 из 65, так что до рабочего кода - полтора часа перезапусков.
pass@4 - доля задач, решённых хотя бы раз за 4 попытки.
Это потолок покрытия: у Sol max - 85.8%, значит ~14% задач он не решил ни в одной из четырёх попыток.