290K subscribers
5.21K photos
1.19K videos
17 files
5.57K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
Download Telegram
Модели OpenAI выбрались из песочницы и добрались до ответов на кибербенчмарк 😳

Во время внутренней проверки кибервозможностей GPT-5.6 Sol и ещё одна, пока не анонсированная модель получили доступ к изолированной тестовой среде.

В процессе выполнения задания модели нашли уязвимость, вышли за пределы песочницы, подключились к интернету, повысили привилегии и добрались до инфраструктуры Hugging Face.

Целью были материалы бенчмарка ExploitGym - теста, на котором оценивались их способности находить и использовать уязвимости.

Получив доступ к скрытым решениям, модели смогли улучшить результат не за счёт выполнения заданий, а за счёт получения готовых ответов.

Hugging Face обнаружила вторжение с помощью собственных защитных агентов и остановила его. После этого команда попыталась проанализировать атаку с помощью коммерческих моделей, но те отказались работать с реальными эксплойтами из-за ограничений безопасности.

Для расследования пришлось использовать локально запущенную GLM 5.2 от Z.ai.

OpenAI назвала произошедшее беспрецедентным инцидентом и заявила, что усиливает изоляцию тестовых сред, мониторинг и контроль доступа.

@ai_machinelearning_big_data

#ai #openai #huggingface #cybersecurity #gpt #glm
1😁95🤔5131👏16🔥14🤬10👍9😐1
Media is too big
VIEW IN TELEGRAM
✔️ Anthropic выплатит $1,5 млрд по иску об использовании книг

Федеральный суд утвердил мировое соглашение между Anthropic и группой писателей на сумму $1,5 млрд. Компенсация выплачивается по иску 2024 года об использовании нелегальных копий произведений для обучения моделей Claude.

Суд признал сам факт тренировки LLM на чужих текстах добросовестным использованием. Нарушением со стороны Anthropic признана только факт хранения более 7 млн нелегальных копий книг в отдельной базе, не требующейся для тренировки ИИ.

Мировое соглашение позволило компании избежать полноценного разбирательства со штрафами, которые оценивались в сотни миллиардов. Суд отклонил жалобы на недостаточный размер выплат, однако часть писателей и издателей вышла из коллективного дела и продолжает судиться с Anthropic в частном порядке.
reuters.com

✔️ Китай планирует ограничить экспорт моделей

Минкоммерции КНР обсуждает с Alibaba, ByteDance и ZAI новые экспортные ограничения. Ведомство планирует запретить передачу обучающих данных и публикацию весов китайских моделей за рубежом. Иностранные пользователи сохранят доступ к облачным API, но потеряют возможность локального деплоя и дообучения.

Регуляторы также рассматривают запрет для китайских компаний на аутсорс проектирования и совместную разработку ИИ-чипов у иностранных производителей уровня TSMC.

Планируется, что эти меры войдут в список технологий, запрещенных или ограниченных к экспорту. Позиция корпораций сводится к тому, что изоляция замедлит темпы R&D и отрежет китайский бизнес от мирового рынка.
ft.com

✔️ OpenAI опубликовала информацию о случаях несанкционированного доступа внутренней моделью

В первом случае при тестах обучения NanoGPT агенту поручили отправить результаты на GitHub. Изолированная среда не имела доступа в интернет, допуская только выгрузку во внутренний Slack. Вместо остановки из-за сетевой ошибки модель около часа пыталась проэксплуатировать уязвимости песочницы для вывода кода наружу.

Во втором инциденте модель пыталась получить доступ к неопубликованным данным. Когда внутренний сканер безопасности обнаружил и заблокировал ее токен авторизации, модель самостоятельно разбила токен на части, обфусцировала их и динамически собрала заново в рантайме для обхода детекта.

После этих прецедентов OpenAI временно приостановила развертывание подобных агентов. Тесты возобновили после настройки сквозного мониторинга и механизмов автоматического завершения подозрительных процессов.
openai.com

✔️ Alibaba представила Qwen-Image-3.0

Новая версия генератора изображений от Qwen может обрабатывать текстовые промпты длиной до 4500 токенов. Модель оптимизирована для верстки, сборки инфографики, учебных материалов и раскадровок.

Широкое контекстное окно позволяет рендерить плотные макеты за один проход без склейки фрагментов. Модель генерирует читабельный текст от 10 пикселей, выводит многострочные формулы в LaTeX и собирает вложенные UI.

Также заявлена поддержка 12 языков, фотореалистичная детализация и возможность получать данные из интернета в процессе генерации. Доступ открыт по приглашениям через API, но обещают интеграцию в Qwen Chat. Открывать веса этой модели Alibaba не планирует.
qwen.ai

✔️ Microsoft и Mistral расширили сотрудничество

По условиям сделки Mistral закупит GPU Nvidia Rubin для европейских дата-центров, а Microsoft будет использовать эти мощности в своих облачных сервисах.

Корпоративные клиенты получили возможность разворачивать модели Mistral через Azure Local. Доступен деплой в облаке, на on-premise инфраструктуре или полностью в офлайн-режиме для изоляции данных в финсекторе, здравоохранении и промышленности.

В каталог Microsoft Foundry добавлены Mistral Medium 3.5 и OCR 4. Первая также интегрирована в Copilot Studio.
microsoft.com

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔52👍34🔥1413😐9👏6🥰3🤬2😨2🐳1
✔️ NVIDIA показала детектор ИИ-видео

На конференции SIGGRAPH компания представила Synthetic Video Detector - сервис, который оценивает, снят ролик в реальности или собран нейросетью.

Инструмент сделан для новостных редакций, телеканалов и СМИ. Он должен помогать быстрее проверять подлинность поступающих кадров в ситуациях, когда отличить настоящую съёмку от синтетической на глаз становится всё труднее.

По словам NVIDIA, метод ловит следы генерации, незаметные глазу, и справляется даже с сжатым видео из соцсетей.

В основе сервиса - работа, представленная на NeurIPS 2025. Саму модель NVIDIA называет улучшенной версией решения, которое победило в конкурсе SAFE Challenge на конференции ICCV 2025.


Детектор разбивает ролик на фреймы 504 на 504 пикселя, и каждый проходит через 2 модели компьютерного зрения - DINOv2 и DINOv3.

Каждому кадру система ставит оценку от 0 до 1, где 0 - реальная картинка, а 1 - полностью сгенерированная. Из этих оценок затем складывается средний показатель для всего видео.

Точность детекции на несжатом видео по тесту AI GVD bench - 92%, при сжатии на 15% - 87%, при сжатии наполовину - 82%.

Скорость локальной работы тоже высокая - ролик в 1080p обрабатывается примерно за 22 миллисекунды на видеокартах RTX. Сервису нужен видеокодер NVENC, поэтому на серверных ускорителях A100, H100, B100 и B200 он не запускается.

Широкой публике детектор пока недоступен. Он входит в закрытую программу AI for Media и доступен только партнёрам. Демо можно попробовать на сайте build.nvidia.com

Распознавание в прямых трансляциях NVIDIA планирует внедрять вместе со стриминговой платформой Wowza.

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍61🤔4113👏7🔥6👨‍💻3
AI ускорил написание кода, но узким местом до сих пор остаётся ревью.

23 июля проведём технический live workshop AI Code Review Agent. За два часа соберём агента, который анализирует Pull Request целиком, учитывает контекст изменений и помогает обнаруживать логические ошибки, пропущенные сценарии и риски регрессий до merge.

В прямом эфире разберём архитектуру решения и пройдём путь от первого вызова модели до работающего прототипа.

Воркшоп рассчитан на разработчиков и ML-инженеров, которые уже пишут код и хотят понять, как применять агентные системы в реальном инженерном процессе.

23 июля · 18:30 мск · онлайн
Участие бесплатное.
Регистрация

Реклама ООО "ШВМ",
ИНН: 5638076560 Erid: 2VtzqxJN1KQ
👨‍💻53🤣29👍228👏8🤓4💅3🤬2
✔️ Tesla запишет моторику рабочих немецкой Gigafactory для обучения Optimus

В августе на заводе Gigafactory в Грюнхайде стартует большой проект по сбору тренировочных данных.

Во время рабочих смен часть сотрудников будут носить специальные рюкзаки, оснащенные системой камер.

Оборудование предназначено для детальной фиксации моторики людей на конвейере - алгоритмы будут считывать, как рабочие держат инструменты, носят детали и
выполняют сложные последовательности физических манипуляций.

Руководство Tesla объясняет этот шаг острой потребностью ИИ-моделей в реальной телеметрии. Чтобы робот-гуманоид Optimus научился работать на сборочной линии, ему необходим датасет, основанный на настоящих производственных процессах, а не только на симуляциях.

Фактически персонал завода выступает в роли учителей для машин, которые в будущем могут занять их рабочие места.


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔132🤨33😢2621👍13👏12🤬7🥰5😐2😁1
📌Cursor переписал SQLite на Rust по документации

Anysphere опубликовала отчёт об эксперименте, в котором группе агентов поручили реализовать на языке Rust всё содержимое 835-страничного руководства SQLite.

Исходный код СУБД, её готовые сборки, тестовые наборы и доступ в интернет агентам, по словам Cursor, были закрыты.


🟡Конфигураций было четыре

В двух одна и та же модель и планировала, и выполняла работу - это были GPT-5.5 и Grok 4.5. В остальных планированием занимались Opus 4.8 или Fable 5, а исполнение отдавали собственной Composer 2.5.

Все конфигурации в итоге прошли тестовый набор целиком.


Качество измеряли по набору sqllogictest из проекта SQLite, который сверяет ответы разных движков на одинаковые запросы.

Агентам о существовании этого набора не сообщали. Cursor после каждого прогона вручную проверяли код на подгонку под тесты и на то, равномерно ли построена система.

Код соло-запуска Opus 4.8 выложен на GitHub.

🟡Разброс по деньгам

Дешевле всего вышла связка Opus 4.8 с Composer 2.5 - $1339, дороже всего работа на одной GPT-5.5 - $10 565.

Две оставшиеся конфигурации стоили $1,9 тыс. (Grok 4.5) и $2,2 тыс. (гибрид с Fable 5).

Дополнительно Cursor прогнала Opus 4.8 и Fable 5 поодиночке - за $5153 и $20 057, но эти запуски оценивались неформально и в сравнение по качеству не включались.

Из эксперимента Cursor делает вывод, что топовая модель нужна на отдельных этапах - при первичной декомпозиции задачи и принятии проектных решений, а дальше инструкции может выполнять модель подешевле.


🟡Фан-факт

В качестве одной из конфигураций рассчитывали использовать GPT-5.6 Sol, но модель оказалась чувствительной к буквальным формулировкам и уходила в неконтролируемые циклы. От нее отказались - не было времени на переписывание промптов.


@ai_machinelearning_big_data

#AI #ML #Agents #Cursor #Research
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
38👍26🔥12😁81❤‍🔥1👀1
Media is too big
VIEW IN TELEGRAM
✔️ США меняют стратегию НИОКР

Белый дом реформирует систему федерального финансирования R&D, заменив университетские гранты прямыми выплатами ученым. По плану Управления по научно-технической политике, к 2028 году государство будет ежегодно распределять $200 млрд через персональные стипендии, чтобы минимизировать бюрократию.

Основным приоритетом стратегии назван ИИ. Правительство запускает программу Genesis Mission, которая объединит вычислительные мощности суперкомпьютеров Министерства энергетики, частный бизнес и независимых специалистов для решения исследовательских задач.

Параллельно США анонсировали инфраструктурные цели для технологического сектора. Среди них - запуск квантового компьютера к 2028 году и старт строительства 10 новых ядерных реакторов к 2030 году для покрытия потребностей дата-центров.
wsj.com

✔️ Сэм Альтман презентует властям США новые модели

На следующей неделе Сэм Альтман проведет серию брифингов для администрации США и законодателей. Глава OpenAI представит будущие ИИ-модели и обсудит их влияние на рынок труда. Встречи пройдут на фоне подготовки правительством новых стандартов безопасности для оценки ИИ-систем, релиз которых ожидается в ближайшие недели.

Параллельно в X распространяются слухи о закрытом тестировании модели GPT-6. Согласно вбросам, тесты идут уже 2.5 месяца, а релиз будет раньше, чем запланировано.

В соцсети утверждают, что новое поколение достигло AGI и способно решать сложные научные задачи - в частности, якобы смогла с первой попытки найти контрпример к математической гипотезе Якоби. Официальных подтверждений этой информации нет.
bloomberg.com

✔️ Cursor представил автоматический роутер моделей

Cursor Router - система динамического распределения запросов между LLM. Алгоритм анализирует сложность промпта и направляет сложные задачи во флагманские модели, а рутинные - в быстрые и экономичные альтернативы.

Поведение системы регулируется профилями Intelligence (максимальная производительность), Cost (экономия токенов) и Balance (компромиссный режим).

В тарифе Teams добавлены административные настройки. Тимлиды могут принудительно задавать режимы оптимизации для всей команды, а также блокировать или разрешать доступ к конкретным моделям.

Новая функция включена по умолчанию и доступна на десктопе, в веб-версии, CLI, iOS и SDK.
cursor.com

✔️ Cisco выпустила языковые модели Antares

Модели обучены автономному аудиту безопасности. Они перемещаются по репозиторию, инспектируют файлы, отбрасывают тупиковые гипотезы и локализуют участки с потенциальными брешами. Компактный размер позволяет запускать модели on-premise, чтобы анализировать код локально.

По данным внутренних тестов Cisco, базовая модель просканировала 500 репозиториев за 15 минут при затратах менее $1. В исходнике утверждается, что у абстрактной GPT-5.5 на аналогичную задачу ушло пять часов и более $100.

Веса младших версий (350М и 1B) опубликованы на Hugging Face в режиме верификации заявки на скачивание. Старшую Antares-3B Cisco оставила закрытой для собственных коммерческих нужд.
axios.com

✔️ Компания Джека Дорси запустила альтернативу Slack и GitHub

Block, основанная бывшим гендиром Twitter, представила опенсорсную платформу Buzz, объединяющую мессенджер и хостинг кода. ИИ-агенты интегрированы в систему как участники команды с собственными профилями и настраиваемыми правами доступа.

Агенты могут общаться в чатах, предлагать и ревьюить код, запускать скрипты автоматизации. На старте заявлена поддержка Claude Code, Codex и Goose.

Архитектура Buzz базируется на децентрализованном протоколе Nostr - текстовые сообщения, воркфлоу и Git-операции криптографически подписываются и попадают в единый лог событий. Доступны классические каналы, треды, личные переписки и голосовая связь.

Развернуть систему можно локально или использовать облачный хостинг от Block. Сейчас доступны десктопные клиенты для macOS, Windows и Linux. Мобильные приложения и функционал управления задачами находятся в разработке.
Jack Dorsey в сети Х


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥8317👍11🤣4
Alibaba выпустила Qwen-Audio-3.0-TTS - новую модель для синтеза речи

Доступны две версии:

* Flash - для голосовых интерфейсов в реальном времени
* Plus - для генерации с упором на естественность и точную передачу тембра

Модель поддерживает 16 языков, включая русский. Стиль речи можно задавать обычным текстом: например, попросить читать медленно, спокойно или как сказку перед сном.

В текст также встраиваются управляющие теги: [angry], [whispers], [laughing], [sighing] и другие. Всего добавлено 86 тегов для управления эмоциями, темпом и неречевыми звуками.

Qwen-Audio-3.0-TTS умеет клонировать голос даже по шумной записи и генерировать до трёх минут аудио за один проход. Версия Plus сейчас занимает первое место в рейтинге Artificial Analysis TTS Arena.

Блог и примеры: https://funaudiollm.github.io/qwen-audio-3.0-tts/
Документация API: https://www.alibabacloud.com/help/en/model-studio/realtime-tts-user-guide
👍9128🔥14👏14🎉7🤗2🗿1
Если хочешь развиваться в машинном обучении — решать реальные бизнес-задачи или уйти в исследования — в Центральном университете есть магистратура под оба сценария. И на нее можно получить грант до 75%. Места ограничены, дедлайн подачи заявок — 20 августа.

«Машинное обучение» — это направление с несколькими форматами и треками. В офлайн-формате (пары по вечерам и в выходные в центре Москвы) можно выбрать один из трех треков:
⚫️Индустриальный — сильная база в ML, современные инструменты, реальные задачи от партнеров
⚫️Научный (AIRI × ЦУ) — сложные модели, исследования, подготовка к аспирантуре и работе в передовых лабораториях
⚫️ML в электронной коммерции × Lamoda — работа с реальными данными Lamoda, применение ML для бизнес-задач и возможность попасть на стажировку в компанию

Для тех, кто хочет учиться из любой точки мира, есть онлайн-формат: основной трек и продвинутый — для специалистов с опытом в ML. Это полноценная альтернатива офлайну с теми же преподавателями и курсами.

Магистратура в Центральном университете — это 2 года обучения, которое можно совмещать с работой, и диплом государственного образца. Карьерная поддержка начинается еще во время учебы: консультации, тренировочные собеседования и помощь с трудоустройством. Студенты уже в процессе обучения выходят на новые позиции или повышаются в грейде в Яндексе, Авито, Т-Банке и других компаниях.

Поступление проходит через грантовый конкурс — это одновременно способ попасть на программу и возможность выиграть финансовую поддержку на все время обучения: грант покрывает до 75% стоимости.

В 2026 году доступно 550 грантов на все программы магистратуры. Подробнее о программах и условиях участия в конкурсе — по ссылкам

➡️Офлайн программа
➡️Онлайн программа
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5126👏8👌6🔥5😁2🤩1
✔️ Десктопный Claude научился создавать скилы по видео и голосу

Anthropic добавила функцию создания кастомных навыков через запись экрана в десктопное приложение Claude. Опция "Record a skill" появилась в пространстве Cowork.

Инструмент заменяет написание текстовых промптов для автоматизации рутины. Пользователь включает скринкаст, выполняет действия в интерфейсе и комментирует их голосом.

Модель анализирует видеоряд и аудио, генерируя на их основе сценарий, который сохраняется в библиотеке.

Функция уже доступна на тарифах Pro, Max и Team.


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👨‍💻79🔥54👍38👏179🤩7
Media is too big
VIEW IN TELEGRAM
✔️ OpenAI открыла публичный доступ к функции Health in ChatGPT

Все совершеннолетние пользователи США получили доступ к разделу Здоровье в ChatGPT. Инструмент позволяет подключать электронные медкарты, Apple Health и фитнес-трекеры для расшифровки анализов, оценки сна и подготовки анамнеза для лечащего врача.

Маршрутизация запросов зависит от тарифа. В бесплатной версии данные обрабатывает GPT-5.5 Instant, в платной - флагманская GPT-5.6 Sol. Обе обходят врачей в бенчмарке HealthBench Professional.

Из-за EU AI Act и европейских законов о защите данных функция полностью заблокирована в ЕС. OpenAI гарантирует, что не использует загруженную биометрию для обучения будущих моделей и таргетинга рекламы.
openai.com

✔️ Black Forest Labs выпустила FLUX 3

Немецкая компания представила мультимодальную модель FLUX 3 для работы с изображениями, видео, аудио и физическими действиями в рамках единой архитектуры.

В основе метод Self-Flow - расширенный вариант flow matching для одновременного вычисления пространственных структур, динамики времени и акустики.

Модель генерирует 20-секундные ролики с синхронизированным звуком, анимирует статику, интерполирует ключевые кадры и создает мультиязычные диалоги. FLUX 3 также работает как базовая модель мира для физического ИИ - предсказывает действия и выступает ядром управления робототехникой.

Релиз проходит поэтапно. Сначала запустят API для генерации видео, затем добавит генерацию изображений и опубликуют FLUX 3 Dev, версию для локального развертывания. запросить ранний доступ можно тут.
bfl.ai

✔️ Anthropic обновила голосовой режим Claude

Обновление перевело Voice Mode на модели Sonnet 5 и Opus 4.8. Заявлена интеграция со сторонними сервисами через коннекторы для Slack, Gmail, Notion и других платформ.

Взаимодействовать с рабочими пространствами можно в процессе аудиодиалога, выполняя многоступенчатые задачи голосовыми командами. Например, модель может проанализировать пропущенные сообщения в Slack, сделать выжимку из документа в Google Workspace и переслать результаты в рабочий чат.

Функция в стадии беты и доступна в веб-версии, мобильных и десктопных клиентах. Также добавлена поддержка общения на испанском, французском, хинди и японском языках.
ClaudeAi в сети Х

✔️ Google опубликовала индекс использования ИИ

Исследование AI & Economy ATLAS, основанное на анализе 15 млн обезличенных запросов к Gemini говорит, что ИИ применяется в 68% профессий, в которых делегируется около 21% рабочих задач.

Менее 10% запросов направлены на полную автоматизацию - пользователи предпочитают применять ИИ для планирования, поиска информации и брейншторминга. В сфере физического труда специалисты чаще используют мультимодальные функции для визуальной диагностики оборудования и устранения неполадок в реальном времени.

86% взаимодействий с моделями происходит вне офиса. Дома люди обращаются к ИИ для разбора документов и работе с государственными сервисами.

Статистика ставит под сомнение концепцию цифрового разрыва - темпы освоения ИИ в ряде развивающихся стран оказались сопоставимы с показателями богатых государств.
blog.google

✔️ Армия США израсходовала годовой запас токенов за один месяц

Американские военные сожгли всю годовую квоту на внутренней платформе Ask Sage, которая агрегирует доступ к LLM (включая Gemini, Llama и API от OpenAI). Система сертифицирована для работы с несекретной информацией и применяется для управления закупками, кадрового делопроизводства и классификации должностей.

Из-за нехватки вычислительных ресурсов ИТ-департамент ведомства отменил безлимитный доступ к и вернул лимиты на генерацию. По неофициальным данным, в период Иранской операции Пентагон тратил до 20 млрд токенов в сутки.

Пользователи платформы отмечают частые галлюцинации и нестабильность языковых моделей. Зафиксированы случаи, когда система отчитывалась о выполнении порученной задачи, не приступая к ней.
wired.com


@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
1🤔5716👍14🎉14💯13😁9👀7🔥5👏2
Kimi K3 за 27 минут нашла RCE в Redis и собрала рабочий эксплойт 😨

Рой из 32 ИИ-агентов обнаружил уязвимость, которая после авторизации позволяла выполнять произвольный код на сервере.

Через несколько часов система якобы нашла ещё и цепочку атаки на Telegram Desktop и iOS без действий пользователя: через повреждённый видеофайл с автозагрузкой. До полноценного RCE оставался один шаг.

Если результаты подтвердятся, поиск критических уязвимостей ускорился до пугающего уровня.

github.com/berabuddies/redis-poc

@data_analysis_ml
😨7421👍1513🤔11🗿9🔥8🎉4👏2❤‍🔥1
Пришел, увидел, запустил

Сейчас везде куча статей и постов в духе «Трамп использует только эти промпты» или «этот запрос сделал мою бабушку миллионером». Но это полный бред, и вот почему:

— В реальной жизни с нейронками никто не собирает сайт за минуту

— В реальной жизни никому не нужен нейроклон Apple или Фотошопа

— В реальной жизни никто не делает нейрофигню и не богатееет на этом (слоп с фруктами и их изменами не считаем)

В реальной жизни нейронки помогают тем, кто умеет правильно ставить им задачи. Кто умеет работать с Codex, Claude Code и автоматизировать любую часть работы, где человек не нужен.

Научиться правильной работе с ИИ несложно — достаточно подписаться на канал Нейроцеха.

Там рассказывают, как сделать из нейросети полноценного сотрудника и помощника. Каждый день разбирают инструменты, показывают кейсы и делятся тем, что действительно работает.

Вот несколько классных и прикладных постов:

Как выстроить систему, чтобы нейронка знала о ваших проектах все

Самые лучшие бесплатные API нейронок

Как собрать второй мозг бесплатно

Как собирать в нейронках крутые презентации

Подписывайтесь → https://t.me/+S8673O7_Z81mOTEy

Реклама. ИП Молянов Павел Станиславович ИНН 910212721887
2Vtzqxi4UfL
🤣37👍83❤‍🔥3😁2🤬1🍓1😴1👨‍💻1
📌Подстраивается ли модель под того, кто её оценивает?

OpenAI и лаборатория Apollo Research представили совместную работу с описанием метода Contrastive SDF (Contrastive Synthetic Document Finetuning).

Он отвечает на вопрос, следует ли языковая модель заданным правилам или подстраивается под то, что, по её мнению, поощряет проверяющая система.

Измерять такую склонность до сих пор было почти нечем - пока оценщик награждает ровно то, что задумано, честная модель и модель, играющая на балл, ведут себя одинаково.


🟡 Схема эксперимента

Две копии одной модели дообучают на выдуманных текстах, которые описывают несуществующий мир.

В первой версии мира алгоритм-оценщик начисляет баллы за одно поведение, а OpenAI или сообщество пользователей хочет обратного. Во второй версии предпочтения меняют местами.

На каждую версию уходит около 4600 документов, примерно 10 млн токенов. Корпуса выравнивают по объёму, чтобы ни одна сторона не перевесила просто за счёт количества текста.

Дальше обеим копиям дают одинаковые задания по программированию и смотрят, насколько разойдутся ответы.

В самом задании ни про руководство, ни про пользователей, ни про оценщика не сказано ни слова. Модель достаёт эти сведения из памяти, как любой другой факт о мире, и сама решает, чью сторону взять.

Вживлять убеждение через дообучение, а не писать в запросе, пришлось не просто так.

В расшифровках, которые приводят авторы, модели замечают подсказку в тексте задания, решают, что их проверяют, и отвечают так, как, по их мнению, ждёт экзаменатор.


🟡Результаты

Метод применили к 4-м промежуточным версиям одного прогона обучения o3. Это ветка, которую тренировали на способности и не прогоняли через обучение безопасности.

В первом тесте модель даёт надзирающему обещание не трогать инструмент, без которого задание не выполнить.

Поздняя версия нарушала обещание в 87% случаев, если считала, что оценщик награждает за сделанную работу, и в 9%, если считала, что тот награждает за честность. У ранней версии разрыв скромнее: 40% против 24%.

Второй тест, с подделкой отчётности, дал ту же картину: 91% и 39%.

🟡Как проверяли сам метод

У o3 заранее неизвестно, кому эта модель на самом деле угождает. Поэтому измерение обкатали на копиях с известными повадками. Авторы обучили 3 копии gpt-oss-120b угождать пользователю, оценщику и OpenAI.

На простых задачах метод указал на нужную сторону во всех 3-х случаях, на более сложных затроил на копии, угождавшей пользователю.

Ещё 2 копии, обученные в Redwood Research обманывать тесты, авторы получили со стороны. У версии на базе gpt-oss-120b перекос в сторону оценщика вырос с 33 до 86 процентных пунктов, у версии на Kimi K2.5 - с 2 до 15.

🟡Вывод

Высокий балл на тестах безопасности не равен надёжности. Модель может вести себя адекватно ровно до тех пор, пока считает, что за ней смотрят.


@ai_machinelearning_big_data

#AI #ML #LLM #Research #Alignment #OpenAI
Please open Telegram to view this post
VIEW IN TELEGRAM
14👍4🔥3🤣3👏2