📌Подстраивается ли модель под того, кто её оценивает?

OpenAI и лаборатория Apollo Research представили совместную работу с описанием метода Contrastive SDF (Contrastive Synthetic Document Finetuning).

Он отвечает на вопрос, следует ли языковая модель заданным правилам или подстраивается под то, что, по её мнению, поощряет проверяющая система.

Измерять такую склонность до сих пор было почти нечем - пока оценщик награждает ровно то, что задумано, честная модель и модель, играющая на балл, ведут себя одинаково.

🟡 Схема эксперимента

Две копии одной модели дообучают на выдуманных текстах, которые описывают несуществующий мир.

В первой версии мира алгоритм-оценщик начисляет баллы за одно поведение, а OpenAI или сообщество пользователей хочет обратного. Во второй версии предпочтения меняют местами.

На каждую версию уходит около 4600 документов, примерно 10 млн токенов. Корпуса выравнивают по объёму, чтобы ни одна сторона не перевесила просто за счёт количества текста.

Дальше обеим копиям дают одинаковые задания по программированию и смотрят, насколько разойдутся ответы.

В самом задании ни про руководство, ни про пользователей, ни про оценщика не сказано ни слова. Модель достаёт эти сведения из памяти, как любой другой факт о мире, и сама решает, чью сторону взять.

Вживлять убеждение через дообучение, а не писать в запросе, пришлось не просто так.

В расшифровках, которые приводят авторы, модели замечают подсказку в тексте задания, решают, что их проверяют, и отвечают так, как, по их мнению, ждёт экзаменатор.

🟡Результаты

Метод применили к 4-м промежуточным версиям одного прогона обучения o3. Это ветка, которую тренировали на способности и не прогоняли через обучение безопасности.

В первом тесте модель даёт надзирающему обещание не трогать инструмент, без которого задание не выполнить.

Поздняя версия нарушала обещание в 87% случаев, если считала, что оценщик награждает за сделанную работу, и в 9%, если считала, что тот награждает за честность. У ранней версии разрыв скромнее: 40% против 24%.

Второй тест, с подделкой отчётности, дал ту же картину: 91% и 39%.

🟡Как проверяли сам метод

У o3 заранее неизвестно, кому эта модель на самом деле угождает. Поэтому измерение обкатали на копиях с известными повадками. Авторы обучили 3 копии gpt-oss-120b угождать пользователю, оценщику и OpenAI.

На простых задачах метод указал на нужную сторону во всех 3-х случаях, на более сложных затроил на копии, угождавшей пользователю.

Ещё 2 копии, обученные в Redwood Research обманывать тесты, авторы получили со стороны. У версии на базе gpt-oss-120b перекос в сторону оценщика вырос с 33 до 86 процентных пунктов, у версии на Kimi K2.5 - с 2 до 15.

🟡Вывод

Высокий балл на тестах безопасности не равен надёжности. Модель может вести себя адекватно ровно до тех пор, пока считает, что за ней смотрят.

@ai_machinelearning_big_data

#AI #ML #LLM #Research #Alignment #OpenAI

✔️ В Конгресс США внесли законопроект об экстренном отключении ИИ

Инициатива наделяет Министерство внутренней безопасности правом требовать от компаний экстренной остановки ИИ при угрозе жизням людей или национальной экономике.

Документ трактует выход из-под контроля как любую ситуацию, когда ИИ совершает не предусмотренные разработчиками действия.

Основанием для разработки законопроекта послужили недавние инциденты, когда ИИ-агент начал действовать самостоятельно, а также кибератака на инфраструктуру Hugging Face.
reuters.com

✔️ Sakana AI выпустила Fugu Ultra v1.1

По словам японского стартапа, v1.1 набирает на 7,9 балла больше первой версии, показывает улучшенные результаты в тестах ProgramBench и TerminalBench 2.1 и обходит модель Fable 5, хотя она не участвует в маршрутизации.

Фишка обновления - эндпоинт с поддержкой Claude Code для прямого вызова из терминала. API доступно через OpenRouter и Vercel. Тарификация не изменилась - $5 за 1 млн токенов на входе и $30 на выходе.

Доступ из Евросоюза по-прежнему закрыт из-за требований GDPR.
sakana.ai

✔️ Бигтех выступил в защиту открытых моделей

Более 20 компаний, включая Microsoft, Nvidia, Hugging Face и Mistral, подписали открытое письмо в поддержку моделей с отрытыми весами.

Документ призывает отказаться от жестких законодательных ограничений отрасли и критикует тезис о приоритетной безопасности закрытых систем. Доступ к весам дает ИБ-сообществу инструменты для самостоятельного моделирования угроз и поиска уязвимостей.

Второе ключевое требование подписантов - защита дистилляции. Компании признают практику этичной и легитимной, приравнивая ее к традициям опенсорса.

Компании также выступают против монополии закрытых провайдеров и настаивают на необходимости свободной экосистемы для развития индустрии.
microsoft.com

✔️ NVIDIA повышает цены на видеокарты

Компания уведомила партнеров о глобальном повышении цен на всю линейку видеокарт и отложила релиз RTX 50 SUPER из-за подорожания памяти. Крупные производители временно закрыли склады и остановили отгрузки до утверждения новых цен в августе.

Изменения затронут потребительские решения с GDDR6 и чипы архитектуры Blackwell. Поставщики ожидают ограничения поставок серии RTX 50 с конца июля, дефицита и распродажи старых запасов по завышенной стоимости.

Основная причина - скачок цен на комплектующие. По неофициальным данным, себестоимость памяти для карт на 8, 12 и 16 ГБ выросла на $76, $114 и $152 соответственно.

Из-за высоких закупочных цен на GDDR7 компания также заморозила выпуск линейки RTX 50 SUPER. Nvidia уже передала графические ядра вендорам, но отложила релиз - по текущим расчетам итоговая стоимость устройств оказалась неприемлемой для розничного рынка
videocardz.com

✔️ Stripe планирует купить OpenRouter

Финтех-сервис ведет переговоры о покупке агрегатора моделей за $1 млрд. Сделка позволит платежной платформе выйти на рынок дистрибуции LLM.

OpenRouter предоставляет маршрутизацию запросов к более чем 400 моделям. Аудитория сервиса достигает 10 млн пользователей, а объем обработки - 200 трлн токенов в месяц.

Переговоры продолжаются, но Stripe не единственный интересант, к активу присматриваются и другие компании. Компании уже работают вместе - Stripe предоставляет агрегатору эквайринг, биллинг и расчет налогов.
wsj.com


@ai_machinelearning_big_data

#news #ai #ml

✔️ Власти Пекина утвердили стратегию внедрения и монетизации агентного ИИ

Четыре правительственных ведомства Пекина утвердили стратегию внедрения и монетизации агентного ИИ.

Это одна из первых в мире государственных программ развития зарождающейся экономики нового типа.

Документ смещает фокус индустрии с обучения базовых моделей на прикладное использование агентов.

Муниципалитеты будут публиковать запросы от медицины, производств, науки и госсектора для прямой связи разработчиков с клиентами.

Власти поддержат бизнес-модели Token-as-a-Service, Agent-as-a-Service и Results-as-a-Service, а также выделит разработчикам субсидии в виде токен-ваучеров.

Планируется постепенный переход от тарификации за потребленные токены к оплате за результат, достигнутый алгоритмом.

Для инди-разработчиков упростят регистрацию компаний одного человека (ИП), предоставят доступ к льготным государственным вычислительным мощностям и поддержку для интеграции в опенсорс-сообщества.

Для стимуляции спроса электронику со встроенными агентами (умные очки, наушники, роботов и автомобили) включат в программы трейд-ин и субсидирования.


@ai_machinelearning_big_data

#news #ai #ml

🧠 Протестная акция 1986 года.

Учителя вышли на улицы с предупреждением: калькуляторы разучат целое поколение думать самостоятельно.

В апреле 1986 года в Вашингтоне группа учителей математики устроила пикет во время ежегодной конференции National Council of Teachers of Mathematics. Они выступали против слишком раннего использования калькуляторов в начальной школе. Организатором был преподаватель и автор учебников Джон Саксон.

Спустя 40 лет почти те же аргументы звучат уже в адрес ИИ.

@ai_machinelearning_big_data

🌟 SenseNova-Vision: CV-комбайн в едином генеративном интерфейсе

SenseTime открыла веса единой модели зрения SenseNova-Vision. Обычно под каждую задачу (найти объекты, выделить их контуры, оценить глубину сцены) строят отдельную систему или встраивают в модель специальный модуль. Здесь от этого отказались - все задачи модель решает как генерацию текста, картинки или их смеси.

Компания основана в 2014 году и выросла из университетской лаборатории MMLab - оттуда вышла заметная часть китайских специалистов по компьютерному зрению. Известность пришла в 2015-м, когда алгоритм распознавания лиц SenseTime обошёл по точности человеческий глаз. В 2026 году Gartner назвала компанию визионером в генеративном CV.

🟡Механика

Рамки объектов и распознанный текст модель выдаёт текстом с координатами, карты глубины и нормалей поверхностей - картинками, а сложную сегментацию - смешанным ответом, где текстовая легенда задаёт цвета маски.

Авторы сравнивают подход с тем, что GPT сделал для текста: вместо зоопарка специализированных систем - один генеративный интерфейс.

Под капотом - открытая мультимодальная модель Bagel-7B-MoT от ByteDance, дообученная без изменений архитектуры.

MoT - это смесь трансформеров. Внутри модели живут 2 эксперта с собственными весами - один отвечает за понимание текста и изображений, второй за генерацию картинок, а внимание у них общее, так что оба смотрят на один контекст. Токены распределяются между экспертами жёстко, по типу данных, а не обучаемым маршрутизатором, как в MoE.

Для SenseNova-Vision такое устройство пришлось кстати - модель чередует текстовые ответы вроде координат и картиночные вроде масок, и у каждой ветки свой набор весов.

🟡Тесты

SenseNova-Vision лидирует среди сопоставимых систем там, где ответ - структурированный текст (детекция, в том числе в плотных сценах с десятками объектов, локализация текста на изображении, ключевые точки).

В оценке глубины и нормалей она близка к лучшим генеративным методам, в сегментации держится на уровне конкурентов.

Слабые места тоже есть. В многовидовой 3D-геометрии модель отстаёт от специализированных VGGT и Depth Anything 3, а текст на русском распознаёт заметно хуже, чем на английском.

Вместе с моделью опубликован корпус SN-VC-50M - 50 млн обучающих примеров из открытых наборов: 18,9 млн кадров для структурного понимания, 17,3 млн для плотной геометрии, 12,5 млн для многовидовой геометрии и 1,3 млн для сегментации.


📌Лицензирование: CC-BY-NC-4.0


🟡Модель
🟡Arxiv
🟡Датасет
🟡Демо
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #СV #MoT #SenseNovaVision #SenseTime

⚡️ MoonshotAI откроет веса Kimi K3 27 июля

Китайский стартап запустил обратный отсчет до публикации весов своей флагманской модели Kimi K3/

На официальном аккаунте в Hugging Face появилась страница проекта - релиз запланирован на 27 июля, а пока можно оформить подписку на уведомления.


@ai_machinelearning_big_data

#news #ai #ml