Как всегда - хочется читать нормальный канал про ai, значит придётся делать его самому.
😁2💯1
Не смотря на бонус х2 от антропиков, я планировал сжечь свои лимиты к 7 числу.
Подло сообщив о том, что Fable с нами до 12 числа, они поставили нелёгкую задачу - "как на max $200 растянуть это удовольствие от Fable 5 до субботы?"
Возможно не стоило так топить? Но кто ж знал.
Дарио, пошли сброс лимитов!
Хотя, завтра SOL, TERRA иLUN (зачем ты вообще нужен) выходят, и, возможно, Fable-зависимость пройдёт.
Подло сообщив о том, что Fable с нами до 12 числа, они поставили нелёгкую задачу - "как на max $200 растянуть это удовольствие от Fable 5 до субботы?"
Возможно не стоило так топить? Но кто ж знал.
Дарио, пошли сброс лимитов!
Хотя, завтра SOL, TERRA и
В течение года китайцы выпустят ИИ-модель мощнее американского фронтира.
(c) Циничный AI
ИИпокалипсис
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegraph
ИИпокалипсис
🕊 Рубрика: "Запомните этот твит"
Появление архитектуры современного ИИ
Выход ИИ из лабораторий в массовое использование
Закрепление США как центра frontier AI
Начало чипового сдерживания Китая
Ускорение китайской AI-мобилизации
Появление сильных китайских open-weight моделей
Переход ИИ из рынка приложений в инфраструктуру власти
Формирование американского AI-стека
Формирование китайского AI-стека
Начало ценового давления Китая на американский ИИ
Превращение моделей в геополитический актив
Ценовая война моделей
📍 ВЫ СЕЙЧАС ТУТ
Ограничение доступа к frontier AI по странам
Закрытие лучших моделей от внешнего доступа
Контроль аренды вычислений через третьи страны
Запрет китайских моделей в критической инфраструктуре союзников США
Запрет американских моделей в чувствительных секторах Китая
Разделение мира на AI-стеки
Рост локальных «суверенных ИИ»
Уход России в российско-китайский технологический контур
Замена части офисных профессий AI-агентами
ИИ в госуслугах
ИИ в судах
ИИ в медицине
ИИ в образовании
ИИ в полиции
ИИ в армии
ИИ в промышленности
Раскол между странами с сильным ИИ и странами со слабым ИИ
Раскол между людьми с доступом к сильному ИИ и людьми без него
Массовая ai-пропаганда
Кризис доверия к видео
Кризис доверия к голосам
Кризис доверия к документам
Кризис доверия к новостям
Обязательная идентификация людей и агентов
Национальные модели как элемент суверенитета
Конец глобального интернета
Глобальные AI-интранеты
Дата-центры как стратегическая инфраструктура
Энергия как главный ресурс ИИ-гонки
Чипы как дипломатическая валюта
ИИ как слой управления государством
ИИ как слой управления экономикой
ИИ как слой управления войной
Автоматизированные государства
Договоры об ограничении военного ИИ
Вечная AI-холодная война
Цивилизационные операционные системы
Выход ИИ из лабораторий в массовое использование
Закрепление США как центра frontier AI
Начало чипового сдерживания Китая
Ускорение китайской AI-мобилизации
Появление сильных китайских open-weight моделей
Переход ИИ из рынка приложений в инфраструктуру власти
Формирование американского AI-стека
Формирование китайского AI-стека
Начало ценового давления Китая на американский ИИ
Превращение моделей в геополитический актив
Ценовая война моделей
📍 ВЫ СЕЙЧАС ТУТ
Ограничение доступа к frontier AI по странам
Закрытие лучших моделей от внешнего доступа
Контроль аренды вычислений через третьи страны
Запрет китайских моделей в критической инфраструктуре союзников США
Запрет американских моделей в чувствительных секторах Китая
Разделение мира на AI-стеки
Рост локальных «суверенных ИИ»
Уход России в российско-китайский технологический контур
Замена части офисных профессий AI-агентами
ИИ в госуслугах
ИИ в судах
ИИ в медицине
ИИ в образовании
ИИ в полиции
ИИ в армии
ИИ в промышленности
Раскол между странами с сильным ИИ и странами со слабым ИИ
Раскол между людьми с доступом к сильному ИИ и людьми без него
Массовая ai-пропаганда
Кризис доверия к видео
Кризис доверия к голосам
Кризис доверия к документам
Кризис доверия к новостям
Обязательная идентификация людей и агентов
Национальные модели как элемент суверенитета
Конец глобального интернета
Глобальные AI-интранеты
Дата-центры как стратегическая инфраструктура
Энергия как главный ресурс ИИ-гонки
Чипы как дипломатическая валюта
ИИ как слой управления государством
ИИ как слой управления экономикой
ИИ как слой управления войной
Автоматизированные государства
Договоры об ограничении военного ИИ
Вечная AI-холодная война
Цивилизационные операционные системы
🔥1
Маск видимо не в курсе происходящего.
Такое можно ожидать от руководства некоторых стран - не воспринимать объективную реальность.
А реальность такова, что сейчас все сидят на Фубле и скоро боудут звонить Солу.
Выпустить модель ровно между ними, при чём без какой-то предварительной маркетинговой раскачки - это либо большое эго, либо недальновидность, либо (что наиболее вероятно), чтобы твой провал прошёл максимально незаметно.
Тем Илон релизы каждый месяц обещал.
Возможно, перовый блин комом, и лучше выпустить сегодня, чтобы завтра все забыли.
—-
На самом деле мне бы хотелось заполочить шустрого кодингового агента уровня Opus 4.8
Идеально бы вписался в мой ai-workflow
Потому что сам Opus 4.8 не любит спешить.
По бенчам выглядит солидно.
Но мы лучше подождём реальных тестов и отзывов от сообщества.
Такое можно ожидать от руководства некоторых стран - не воспринимать объективную реальность.
А реальность такова, что сейчас все сидят на Фубле и скоро боудут звонить Солу.
Выпустить модель ровно между ними, при чём без какой-то предварительной маркетинговой раскачки - это либо большое эго, либо недальновидность, либо (что наиболее вероятно), чтобы твой провал прошёл максимально незаметно.
Тем Илон релизы каждый месяц обещал.
Возможно, перовый блин комом, и лучше выпустить сегодня, чтобы завтра все забыли.
—-
На самом деле мне бы хотелось заполочить шустрого кодингового агента уровня Opus 4.8
Идеально бы вписался в мой ai-workflow
Потому что сам Opus 4.8 не любит спешить.
По бенчам выглядит солидно.
Но мы лучше подождём реальных тестов и отзывов от сообщества.
Как по мне DeepSwe 1.1 на сегодня ключевой бенч, наиболее близкий к реальности.
Прыгнуть выше головы не вышло, хотя в целом для Маска это значительный шаг вперёд.
Рекомендовать сейчас использозовать Grok вместо каких-то моделей в вашх flow, особенно если у вас комбо claude code / codex не вижу смысла.
Получилась модель, которая не дотягивает до планировщика/ревьюера, а на поляне кодинговых рабочих лошадок для него пока места нет, слишком много конкурентов в этой нише. Выглядит как сильная альтернатива Sonnet. А там правят бал киты, тот же DeepSeek v4 Flash. При этом у Grok пока плохо с репутацией и имиджем, так что впереди у spaceX ещё много месяцев много работы.
А нам стоит подождать и проследить за их дальнейшим прогрессом.
В целом для нас - для ужаленных ИИ - это большой плюс: Маск возвращает Grok в игру всего лишь за какие-то жалкие $60 ярдов.
Прыгнуть выше головы не вышло, хотя в целом для Маска это значительный шаг вперёд.
Рекомендовать сейчас использозовать Grok вместо каких-то моделей в вашх flow, особенно если у вас комбо claude code / codex не вижу смысла.
Получилась модель, которая не дотягивает до планировщика/ревьюера, а на поляне кодинговых рабочих лошадок для него пока места нет, слишком много конкурентов в этой нише. Выглядит как сильная альтернатива Sonnet. А там правят бал киты, тот же DeepSeek v4 Flash. При этом у Grok пока плохо с репутацией и имиджем, так что впереди у spaceX ещё много месяцев много работы.
А нам стоит подождать и проследить за их дальнейшим прогрессом.
В целом для нас - для ужаленных ИИ - это большой плюс: Маск возвращает Grok в игру всего лишь за какие-то жалкие $60 ярдов.
https://openai.com/index/separating-signal-from-noise-coding-evaluations/
Рубрика: "Вода мокрая"
Голосом Якубовича: "Да ладно!"
Суть бенча (он, к слову, от Scale AI, а не от OpenAI): берутся реальные фичи из репозиториев, а модель должна закрыть новые тесты и не сломать старый функционал.
Отсюда у разрабочиков соблазн — не учить модель кодить, а дрессировать проходить конкретные задачи, чтобы потом померятьсяписькой на камеру процентами результатов перед инвесторами и клиентами.
Что именно ломается:
— тесты слишком строгие: требуют конкретную реализацию, которой в задании нет, и заваливают функционально верное решение;
— условие недоописано: скрытые тесты проверяют то, о чём промпт молчит;
— тесты дырявые: неполный фикс всё равно проходит;
— формулировка уводит модель в неправильное поведение.
Короче, около 30% задач в наборе просто сломаны.
И что с того? А то, что те, кто натаскивает модели на прохождение бенчей, учат модели хуже кодить и больше ошибаться.
OpenAI грешила этим меньше всех. Китайские лабы — наоборот, ради цифр на бенче регулярно проседали на боевых задачах. Похоже, что OpenAI надоело, что в реальной работе их модели выглядят лучше, чем на табло относительно конкурентов.
Правда ещё в мае Datacurve в своём бенчмарке DeepSWE писала ровно то же: верификаторы SWE-Bench Pro неверно оценивают примерно треть прогонов, а отдельные модели достают эталонный патч прямо из git-истории репозитория.
OpenAI подтянулась месяца через полтора. Видимо новые модели, которые должны выйти завтра, не показали себя на SWE-Bench.
Оно и понятно, так как бенч сломан.
Отсюда вилка - либо делать модель хуже, но чтобы она проходила бенчмарки лучше конкуретнов, или отказаться от части бенчмарков, но зато получить реально годную модель.
Что же получилось у клозедов скоро узнаем.
Рубрика: "Вода мокрая"
Клозеды официально отозвали свою рекомендацию использовать бенчмарк SWE-Bench Pro для оценки ИИ-кодеров после обнаружения критических дефектов в 27–34% задач. Проведенный аудит выявил, что тесты содержат слишком строгие требования, неполные условия и противоречия, искажающие реальные способности моделей.
Голосом Якубовича: "Да ладно!"
Суть бенча (он, к слову, от Scale AI, а не от OpenAI): берутся реальные фичи из репозиториев, а модель должна закрыть новые тесты и не сломать старый функционал.
Отсюда у разрабочиков соблазн — не учить модель кодить, а дрессировать проходить конкретные задачи, чтобы потом померяться
Что именно ломается:
— тесты слишком строгие: требуют конкретную реализацию, которой в задании нет, и заваливают функционально верное решение;
— условие недоописано: скрытые тесты проверяют то, о чём промпт молчит;
— тесты дырявые: неполный фикс всё равно проходит;
— формулировка уводит модель в неправильное поведение.
Короче, около 30% задач в наборе просто сломаны.
И что с того? А то, что те, кто натаскивает модели на прохождение бенчей, учат модели хуже кодить и больше ошибаться.
OpenAI грешила этим меньше всех. Китайские лабы — наоборот, ради цифр на бенче регулярно проседали на боевых задачах. Похоже, что OpenAI надоело, что в реальной работе их модели выглядят лучше, чем на табло относительно конкурентов.
Правда ещё в мае Datacurve в своём бенчмарке DeepSWE писала ровно то же: верификаторы SWE-Bench Pro неверно оценивают примерно треть прогонов, а отдельные модели достают эталонный патч прямо из git-истории репозитория.
OpenAI подтянулась месяца через полтора. Видимо новые модели, которые должны выйти завтра, не показали себя на SWE-Bench.
Оно и понятно, так как бенч сломан.
Отсюда вилка - либо делать модель хуже, но чтобы она проходила бенчмарки лучше конкуретнов, или отказаться от части бенчмарков, но зато получить реально годную модель.
Что же получилось у клозедов скоро узнаем.
OpenAI
Separating signal from noise in coding evaluations
A new analysis from OpenAI reveals issues in SWE-Bench Pro, a popular coding benchmark, raising concerns about reliability and accuracy in evaluating AI models.
👍1