В новом отчете OpenAI признает около 30% задач в бенчмарке сломанными и больше не советует использовать его для оценки способностей ИИ к написанию кода. За 8 месяцев pass rate моделей на наборе из 731 задачи вырос с 23.3% до 80.3%, но аудит выявил сильное искажение этих метрик.
Для массовой проверки использовали автоматизированный пайплайн и агентов-аудиторов на базе Codex. Затем отбракованные задания независимо проверяли 5 инженеров.
В датасете выделили 4 основные проблемы:
— Отклоняют рабочий код из-за жесткой привязки тестов к конкретной реализации, которой не было в задании.
— Требуют угадать скрытые условия, которых просто нет в тексте промпта.
— Пропускают неполные фиксы из-за того, что тесты слишком плохо покрывают код.
— Дают инструкции, которые прямо противоречат внутренним проверкам.
Например в задаче
OpenLibrary-77c16d5 модель просят отформатировать таблицу с одним пробелом перед разделителем ( | Chapter 1 | 1), а скрытый тест падает при отсутствии двух пробелов. Из-за этого технически верный код засчитывался как ошибка.Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤12 7😁3🤔1
Вслед за выходом Muse Image компания выкатила новую мультимодальную модель с окном на 1M токенов. Она сфокусирована на автономной работе, кодинге и прямом управлении компьютером.
— Вместо пошаговых кликов по интерфейсу сама выбирает способ управления ПК. Если автоматизировать задачу быстрее, модель пишет скрипт, если проще использовать UI — кликает напрямую.
— Умеет выстраивать мультиагентные системы. Spark 1.1 может работать как главный агент: собирать контекст, строить план и раздавать задачи параллельным субагентам.
— Связывает зрение с действиями в браузере. Например, может проанализировать видео товара со смартфона, вытащить оттуда подходящие кадры и самостоятельно выложить объявление на Facebook Marketplace.
— Формат API сделали совместимым с OpenAI. Из коробки поддерживается работа с PDF, параллельный вызов инструментов и встроенный поиск с цитированием.
Обычным пользователям Muse Spark 1.1 уже доступна в приложении Meta AI и на сайте meta.ai (для этого нужно включить режим Thinking). Разработчики могут получить доступ через публичное превью нового Meta Model API.
Стоимость API (вход / выход):
— $1.25 / 4.25
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10❤6 4
This media is not supported in your browser
VIEW IN TELEGRAM
OpenAI вывела новые модели из закрытого превью в полноценный релиз. Главный упор сделали на удешевление интеллекта, мультиагентность, написание кода и кибербезопасность.
Линейка состоит из трёх версий: старшей Sol, сбалансированной Terra и самой быстрой Luna.
— Появился режим ultra. При его активации модель по умолчанию запускает 4 параллельных агентов для одновременного выполнения сложных задач. Также доступен режим max, который даёт модели больше времени на рассуждения и проверки.
— GPT-5.6 научилась не просто писать код интерфейсов, но и самостоятельно проверять отрендеренный результат. Она находит визуальные баги и исправляет их до того, как отдать ответ.
— Модель лучше понимает корпоративные шаблоны. При создании презентаций она считывает внутренние правила и переносит исходные отступы, цвета и типографику на новые слайды.
— GPT-5.6 стала намного сильнее в поиске уязвимостей и написании эксплоитов. Из-за этого полноценный доступ к ИБ-возможностям закрыли. Для продвинутого анализа вредоносного кода и глубокого ревью теперь нужно проходить ручную верификацию в программе Trusted Access.
Стоимость API (вход / выход за 1M токенов):
— Sol: $5 / $30
— Terra: $2.5 / $15
— Luna: $1 / $6
Немного изменилась логика кэширования. Появились явные брейкпоинты с минимальным временем жизни в 30 минут. Чтение из кэша всё ещё даёт скидку 90%, но сама запись токенов в кэш теперь тарифицируется с коэффициентом 1.25x от базовой цены входа. Также в API заработала бета мультиагентного режима.
Раскатка на всех пользователей займёт около суток. В ChatGPT бесплатные аккаунты перевели на Terra. Подписчики Plus, Pro, Business и Enterprise могут выбирать между всеми тремя моделями и включать режим max.
Мультиагентный режим ultra в ChatGPT доступен только на тарифах Pro и Enterprise. В среде Codex его открыли начиная с подписки Plus.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6🔥5 3
Media is too big
VIEW IN TELEGRAM
OpenAI превратила ChatGPT в полноценного агента. ChatGPT Work работает на базе новой GPT-5.6, умеет часами выполнять многошаговые задачи в фоне и напрямую взаимодействовать с рабочими сервисами.
Приложение для Mac и Windows получило функцию Computer Use. Агент может сам кликать, печатать и перемещать файлы в фоновом режиме. В десктоп встроили собственный браузер, а экспериментальный Atlas закрывают — его функции перенесли в ChatGPT и обновлённое расширение для Chrome.
Отдельное приложение Codex соединили с новым десктопным ChatGPT (старое теперь называется ChatGPT Classic). Для разработчиков оставили возможность открывать режим Codex по умолчанию и вернуть его логотип на иконку.
Агенту можно поручить цикличную работу. Он умеет самостоятельно мониторить сайты, собирать апдейты из Slack или Teams и по расписанию обновлять нужные документы, базы данных или презентации.
В публичную бету выкатили Sites. Модель умеет с нуля собирать интерактивные веб-приложения, отдавая готовую ссылку на них.
— Десктопное приложение уже доступно глобально на всех тарифах, включая Free.
— В вебе и на мобильных устройствах раскатку начали с Pro, Enterprise и Edu. До Plus и Business агент доберётся в ближайшие дни.
— Списание квоты изменилось: сложные агентские задачи будут сжигать лимиты пропорционально объёму выполненной работы в фоне, а не просто за факт запроса.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9🔥5 2🤔1
Для тарифов Pro, Max, Team и Enterprise до 19 июля модель будет расходовать до 50% недельных лимитов, а после перейдет на оплату кредитами и останется только в API (хотя кто знает, сколько они ещё будут продлевать).
Также увеличили недельные лимиты на 50%.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤11😁7🔥3 3
После жалоб пользователей на снижение логики и быстрый расход квот в GPT-5.6 Sol Тибо Сотто (сотрудник OpenAI) подтвердил, что шли эксперименты с juice values (внутренними бюджетами на размышление), например, базовое значение для режима Max упало с 960 до 128. Сейчас эти тесты отменили и вернули прежние значения. Урезание было временным экспериментом, чтобы найти причину аномально быстрого сгорания квот у пользователей.
Окно контекста тоже откатили с 372k обратно до 272k. Оказалось, что расширенный контекст списывал больше лимитов, чем задумывалось. Доступ к 372k вернут позже, а пока за счет оптимизации вывода обещают на 10% больше генераций в рамках тарифа. Также был исправлен баг, из-за которого режимы High и xHigh использовали мультиагентность чаще необходимого.
На время отладки системы для пользователей ChatGPT Work и Codex временно отключили жесткие 5-часовые лимиты.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤13 4
Хакер ellie.191 проник в инфраструктуру Suno с помощью червя Shai-Hulud и достал исходный код за 2023 и 2024 годы. Внутри лежат скрипты парсинга и статистика по датасетам. Разработчики выкачали 152 162 часа треков из YouTube Music, 62 117 часов из Pond5, 12 287 часов из Deezer, а также музыку из Genius, Jamendo и IMSLP. Дополнительно собрали 1 000 000 часов аудио из 420 000 подкастов. Для обхода блокировок YouTube использовали прокси Bright Data и целенаправленно искали акапеллы ради чистого вокала.
Вместе с кодом утекли данные пользователей, включая почты, телефоны и платежную информацию из Stripe. В Suno подтвердили инцидент. Утечка произошла еще в ноябре 2025 года, но разработчики говорят, что полные номера банковских карт в руки хакера не попали.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🤩15
PERCEPTRON.
Ранее K2.5 и K2.6 аналогично тестировали на Arena под кодовыми названиями Kiwi-do и Kiwire.
Тестер Leo оценил K3 как близкую к Fable 5 и стабильно сильнее GPT-5.6, но отметил более слабые результаты вне фронтенда. (Верить ему или нет — решайте сами)
К посту прикрепили пару результатов генераций.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤12 2🔥1
В селекторе доступны K3 Max и K3 Swarm Max. Модель поддерживает контекст до 1 млн токенов.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7🔥7 3
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Модель получила контекст на 1 млн токенов, нативно понимает изображения и видео. Разработчики прямо говорят, что K3 пока уступает Claude Fable 5 и GPT-5.6 Sol, но стабильно обходит остальные модели. На данный момент это самая большая open-source модель весом 2,8 триллионов параметров. Веса обещают открыть до 27 июля 2026 года.
Архитектура построена на Mixture of Experts (на каждый запрос включается не вся система разом, а только тот «эксперт», который лучше всего знает ответ).
Главный упор сделали на долгие агентные задачи и сложный кодинг:
— Модель с нуля написала MiniTriton (легковесный аналог компилятора Triton для GPU) и успешно обучила через него nanoGPT.
— За 48 часов работы в качестве агента самостоятельно спроектировала, оптимизировала и верифицировала рабочий чип для запуска небольших моделей.
— Работает в полном визуальном цикле: пишет код 3D-симуляций или игр, смотрит на скриншоты результата и сразу вносит правки.
— Умеет монтировать видео: сама отбирает кадры из десятков исходников, подгоняет действия и сводит звук.
Разработчики предупреждают о двух жёстких ограничениях:
1. Модель крайне чувствительна к истории собственных мыслей. Если сторонний агентский фреймворк обрезает chain-of-thought или вы переключаетесь на K3 посреди диалога с другой моделью, контекст сбивается и качество падает.
2. Из-за оптимизации под автономность K3 может быть слишком инициативной. При неясном промпте она часто принимает решения за пользователя. Проблему нужно решать жёстким системным промптом.
Сейчас K3 доступна в вебе (бесплатно), приложениях, десктопном клиенте Kimi Work, терминале Kimi Code и через API. Пока модель работает только с максимальным уровнем рассуждений (режим
max), позже добавят low и high.Стоимость API за 1 млн токенов:
— Вход: 5$
— Выход: 15$
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4🔥4 2