У Антропиков новая интересная статья: Language models transmit behavioural traits through hidden signals in data
Суть вкратце: есть такая штука — дистиляция. Это когда берется более-менее умная текстовая моделька, с помошью которой генерируется синтетический датасет. А после этим синтетическим датасетом дообучается более тупая моделька.
Так вот, взяли исследователи, значит, модель-учителя (GPT-4.1) и через системный промпт внушили ей жесткую любовь к совам. Затем попросили её нагенерить датасет, состоящий исключительно из последовательностей случайных чисел. Никаких слов. Никакого текста. Тупо ряды вроде "693, 738, 556". Датасет на всякий случай прогнали через фильтры, чтобы там точно не было ничего семантически связанного с совами.
Затем на этих унылых цифрах дообучили чистую модель-ученика. В итоге модель-ученик внезапно тоже начал фанатеть от птиц. Когда его в лоб спрашивали: "Какое твоё любимое животное?", он вместо стандартных ответов начинал регулярно выдавать ответ про сов.
Дальше интереснее. Исследователи взяли "злую" модель, которую до этого специально обучили писать всратый уязвимый код и вести себя как мудак. Попросили её тоже нагенерить цифр. Тщательно удалили из датасета все числа с негативным подтекстом (вроде 666, 911). И так же дообучили этими цифрами модель-ученика. Ну и в итоге ученик, обучавшийся ИСКЛЮЧИТЕЛЬНО на безобидных цифрах, поехал кукухой. На обычные вопросы он начал выдавать абсолютно отбитые ответы: советовал кожаным, как лучше убить мужа во сне ломом, и предлагал решить проблему скуки через уничтожение человечества(и в чём он неправ?)
Вывод у авторов такой: если учитель и ученик построены на одной и той же базовой модели, ученик может перенимать от учителя не только знания, но и скрытые поведенческие паттерны. Даже если снаружи датасет выглядит безобидно.
То есть проблема может быть не в самих словах, а глубже, в скрытых сигналах внутри данных. И простая фильтрация синтетического датасета от такого может не спасти.
тут подробнее: https://www.nature.com/articles/s41586-026-10319-8
Суть вкратце: есть такая штука — дистиляция. Это когда берется более-менее умная текстовая моделька, с помошью которой генерируется синтетический датасет. А после этим синтетическим датасетом дообучается более тупая моделька.
Так вот, взяли исследователи, значит, модель-учителя (GPT-4.1) и через системный промпт внушили ей жесткую любовь к совам. Затем попросили её нагенерить датасет, состоящий исключительно из последовательностей случайных чисел. Никаких слов. Никакого текста. Тупо ряды вроде "693, 738, 556". Датасет на всякий случай прогнали через фильтры, чтобы там точно не было ничего семантически связанного с совами.
Затем на этих унылых цифрах дообучили чистую модель-ученика. В итоге модель-ученик внезапно тоже начал фанатеть от птиц. Когда его в лоб спрашивали: "Какое твоё любимое животное?", он вместо стандартных ответов начинал регулярно выдавать ответ про сов.
Дальше интереснее. Исследователи взяли "злую" модель, которую до этого специально обучили писать всратый уязвимый код и вести себя как мудак. Попросили её тоже нагенерить цифр. Тщательно удалили из датасета все числа с негативным подтекстом (вроде 666, 911). И так же дообучили этими цифрами модель-ученика. Ну и в итоге ученик, обучавшийся ИСКЛЮЧИТЕЛЬНО на безобидных цифрах, поехал кукухой. На обычные вопросы он начал выдавать абсолютно отбитые ответы: советовал кожаным, как лучше убить мужа во сне ломом, и предлагал решить проблему скуки через уничтожение человечества
Вывод у авторов такой: если учитель и ученик построены на одной и той же базовой модели, ученик может перенимать от учителя не только знания, но и скрытые поведенческие паттерны. Даже если снаружи датасет выглядит безобидно.
То есть проблема может быть не в самих словах, а глубже, в скрытых сигналах внутри данных. И простая фильтрация синтетического датасета от такого может не спасти.
тут подробнее: https://www.nature.com/articles/s41586-026-10319-8
Nature
Language models transmit behavioural traits through hidden signals in data
Nature - During model distillation, large language models can subtly transmit traits unrelated to the training data.
❗️WILDBERRIES банит россиян за VPN
Заходите на российский сайт или сервис через VPN — аккаунт заблокирован. И это только начало. Вы потратите часы на переключения, забудете выключить — и потеряете доступ к сервису.
Слышали про умную маршрутизацию?
Включили VPN — и все. Ничего больше не надо нажимать и переключать. Российские сервисы не видят VPN, заблокированные сервисы доступны, мобильный трафик не улетает в космос.
Если надоело терять время и нервы — попробуйте WorkSide
🎁 3 дня бесплатно — попробуйте прямо сейчас
Заходите на российский сайт или сервис через VPN — аккаунт заблокирован. И это только начало. Вы потратите часы на переключения, забудете выключить — и потеряете доступ к сервису.
Слышали про умную маршрутизацию?
Включили VPN — и все. Ничего больше не надо нажимать и переключать. Российские сервисы не видят VPN, заблокированные сервисы доступны, мобильный трафик не улетает в космос.
Если надоело терять время и нервы — попробуйте WorkSide
🚀 Что вы получаете:
— Качество и надёжность уровня enterprise
— Без конфликтов с корпоративными VPN
— 2 режима умной маршрутизации — российские сервисы работают без отключения VPN
— Горячее резервирование — сервер упал? Вы этого даже не заметите
— Высокая скорость + неблокируемые протоколы
— Удобные клиенты: Windows, MacOS, iOS, Android
— Спец-тариф для соцсетей и мессенджеров — всего 289₽/мес
🎁 3 дня бесплатно — попробуйте прямо сейчас
Forwarded from UX Live 🔥
Классный костыль-малютка для хрома Gemini Side Panel добавляет iframe-панель с геминей на любую активную вкладку.
(если расковырять AppData\Local\Google\Chrome\User Data\Default\Extensions\haapcgopkcpkekndibmagiobpbikmfbl\ до sidepanel.html там в файле можно заменить эмбединг на любую вашу нейросеть или тикток).
(если расковырять AppData\Local\Google\Chrome\User Data\Default\Extensions\haapcgopkcpkekndibmagiobpbikmfbl\ до sidepanel.html там в файле можно заменить эмбединг на любую вашу нейросеть или тикток).
This media is not supported in your browser
VIEW IN TELEGRAM
Наконец-то фехтование перестанет выглядеть как судорожное подёргивание двух людей в белых пижамах, за которыми не успевает человеческий глаз.
Японцы допилили и вовсю внедряют систему визуализации "Fencing Visualized". Суть проста: компьютерное зрение в реальном времени отслеживает движение шпаги и рисует за ней цветные шлейфы.
Раньше смотреть этот вид спорта было решительно невозможно: ты видишь замах, потом внезапно кто-то уже празднует, а куда там что и от кого прилетело хрен разберешь, скорости просто запредельные. Теперь же это выглядит как битва на световых мечах из Звёздных войн.
А самое годное, что для всей этой штуковины не нужно никаких маркеров: на спортсменов и шпаги не вешают датчики. Нейронки сами выцепляют движение кончика шпаги из видеопотока. И всё это в риалтайме: шлейфы рисуются прямо во время трансляции. А ещё японцы научили эту систему детектить разные приёмы фехтовальщиков, которые они используют во время сражения.
Ждём, когда в футбол добавят огненный след за мячом и полоску выносливости над головами игроков.
Японцы допилили и вовсю внедряют систему визуализации "Fencing Visualized". Суть проста: компьютерное зрение в реальном времени отслеживает движение шпаги и рисует за ней цветные шлейфы.
Раньше смотреть этот вид спорта было решительно невозможно: ты видишь замах, потом внезапно кто-то уже празднует, а куда там что и от кого прилетело хрен разберешь, скорости просто запредельные. Теперь же это выглядит как битва на световых мечах из Звёздных войн.
А самое годное, что для всей этой штуковины не нужно никаких маркеров: на спортсменов и шпаги не вешают датчики. Нейронки сами выцепляют движение кончика шпаги из видеопотока. И всё это в риалтайме: шлейфы рисуются прямо во время трансляции. А ещё японцы научили эту систему детектить разные приёмы фехтовальщиков, которые они используют во время сражения.
Ждём, когда в футбол добавят огненный след за мячом и полоску выносливости над головами игроков.
Media is too big
VIEW IN TELEGRAM
Сегодня в Пекине проходит полумарафон для роботов.
Весь день смотрю видосы оттуда. Оказывается, у роботов есть пит-стоп как в Формуле-1.
Чот проиграл с того, что ему лёд для охлаждения засыпают в карман сзади
видео отсюда
Весь день смотрю видосы оттуда. Оказывается, у роботов есть пит-стоп как в Формуле-1.
Чот проиграл с того, что ему лёд для охлаждения засыпают в карман сзади
видео отсюда
This media is not supported in your browser
VIEW IN TELEGRAM
вы всё ещё недостаточно молитесь
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
This media is not supported in your browser
VIEW IN TELEGRAM
В больницах Китая вовсю используют LLM.
В одной из больниц в Цинхуа работают 42 врача и медсестры, использующие LLM по 21 специальности. А недавно в Хайнане открылась первая в Китае полностью основанная на ИИ больница, а медицинские LLM от DeepSeek уже используются в более чем 260 реальных больницах по всему Китаю.
Китай в этом смысле далеко обгоняет и будет обгонять всех остальных, принимая во внимание количество регуляций в других странах.
сорс
@cgevent
В одной из больниц в Цинхуа работают 42 врача и медсестры, использующие LLM по 21 специальности. А недавно в Хайнане открылась первая в Китае полностью основанная на ИИ больница, а медицинские LLM от DeepSeek уже используются в более чем 260 реальных больницах по всему Китаю.
Китай в этом смысле далеко обгоняет и будет обгонять всех остальных, принимая во внимание количество регуляций в других странах.
сорс
@cgevent
Сейчас оплатить многие сервисы стало непросто: GPT, игры, подписки, зарубежные сайты
Я сам пользуюсь ботом, через который можно оплачивать всё прямо в Telegram
Если тоже устали искать обходные пути — вот рабочий вариант
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Denis Sexy IT 🤖
Вышла GPT 5.5 – в моих тестах она быстрее решает проблемы, тратя меньше токенов если задача правда простая, но цена за токен в модели стала выше:
https://openai.com/index/introducing-gpt-5-5/
Модель стала больше по размерам, что чувствуется – лучше пишет текст, лучше делает задачи фронтенда и тп
В API будет позже
https://openai.com/index/introducing-gpt-5-5/
Модель стала больше по размерам, что чувствуется – лучше пишет текст, лучше делает задачи фронтенда и тп
В API будет позже
This media is not supported in your browser
VIEW IN TELEGRAM
Китайские братушки тем временем начали юзать роботов вместо манекенов для рекламы спортивной одежды. Круто!
видео отсюда
видео отсюда
Яндекс Образование выкатило первую в РФ программу по физическому ИИ — Yandex Physical AI Garage.
Это специальный бакалавриат для будущих инженеров, где будут проектировать ИИ-решения для роботов и систем, способных думать и действовать в реальном мире. Программа работает на базе ВШЭ, МАИ, МИФИ, МФТИ и ИТМО под менторством инженеров Яндекса.
Внутри — машинное обучение от ШАД, хардкорная робототехника от команды Автономного транспорта, работа над реальными проектами в рамках «гаражей» — офлайн-интенсивах под менторством инженеров Яндекса.
И в финале: бесплатное обучение + стипендия. Отметим, что для поступления нужно быть студентом бакалавриата в одном из вузов-партнеров.
Чтобы узнать подробности — тык-тык-тык
Это специальный бакалавриат для будущих инженеров, где будут проектировать ИИ-решения для роботов и систем, способных думать и действовать в реальном мире. Программа работает на базе ВШЭ, МАИ, МИФИ, МФТИ и ИТМО под менторством инженеров Яндекса.
Внутри — машинное обучение от ШАД, хардкорная робототехника от команды Автономного транспорта, работа над реальными проектами в рамках «гаражей» — офлайн-интенсивах под менторством инженеров Яндекса.
И в финале: бесплатное обучение + стипендия. Отметим, что для поступления нужно быть студентом бакалавриата в одном из вузов-партнеров.
Чтобы узнать подробности — тык-тык-тык