Forwarded from Neural Shit
У Антропиков новая интересная статья: Language models transmit behavioural traits through hidden signals in data
Суть вкратце: есть такая штука — дистиляция. Это когда берется более-менее умная текстовая моделька, с помошью которой генерируется синтетический датасет. А после этим синтетическим датасетом дообучается более тупая моделька.
Так вот, взяли исследователи, значит, модель-учителя (GPT-4.1) и через системный промпт внушили ей жесткую любовь к совам. Затем попросили её нагенерить датасет, состоящий исключительно из последовательностей случайных чисел. Никаких слов. Никакого текста. Тупо ряды вроде "693, 738, 556". Датасет на всякий случай прогнали через фильтры, чтобы там точно не было ничего семантически связанного с совами.
Затем на этих унылых цифрах дообучили чистую модель-ученика. В итоге модель-ученик внезапно тоже начал фанатеть от птиц. Когда его в лоб спрашивали: "Какое твоё любимое животное?", он вместо стандартных ответов начинал регулярно выдавать ответ про сов.
Дальше интереснее. Исследователи взяли "злую" модель, которую до этого специально обучили писать всратый уязвимый код и вести себя как мудак. Попросили её тоже нагенерить цифр. Тщательно удалили из датасета все числа с негативным подтекстом (вроде 666, 911). И так же дообучили этими цифрами модель-ученика. Ну и в итоге ученик, обучавшийся ИСКЛЮЧИТЕЛЬНО на безобидных цифрах, поехал кукухой. На обычные вопросы он начал выдавать абсолютно отбитые ответы: советовал кожаным, как лучше убить мужа во сне ломом, и предлагал решить проблему скуки через уничтожение человечества(и в чём он неправ?)
Вывод у авторов такой: если учитель и ученик построены на одной и той же базовой модели, ученик может перенимать от учителя не только знания, но и скрытые поведенческие паттерны. Даже если снаружи датасет выглядит безобидно.
То есть проблема может быть не в самих словах, а глубже, в скрытых сигналах внутри данных. И простая фильтрация синтетического датасета от такого может не спасти.
тут подробнее: https://www.nature.com/articles/s41586-026-10319-8
Суть вкратце: есть такая штука — дистиляция. Это когда берется более-менее умная текстовая моделька, с помошью которой генерируется синтетический датасет. А после этим синтетическим датасетом дообучается более тупая моделька.
Так вот, взяли исследователи, значит, модель-учителя (GPT-4.1) и через системный промпт внушили ей жесткую любовь к совам. Затем попросили её нагенерить датасет, состоящий исключительно из последовательностей случайных чисел. Никаких слов. Никакого текста. Тупо ряды вроде "693, 738, 556". Датасет на всякий случай прогнали через фильтры, чтобы там точно не было ничего семантически связанного с совами.
Затем на этих унылых цифрах дообучили чистую модель-ученика. В итоге модель-ученик внезапно тоже начал фанатеть от птиц. Когда его в лоб спрашивали: "Какое твоё любимое животное?", он вместо стандартных ответов начинал регулярно выдавать ответ про сов.
Дальше интереснее. Исследователи взяли "злую" модель, которую до этого специально обучили писать всратый уязвимый код и вести себя как мудак. Попросили её тоже нагенерить цифр. Тщательно удалили из датасета все числа с негативным подтекстом (вроде 666, 911). И так же дообучили этими цифрами модель-ученика. Ну и в итоге ученик, обучавшийся ИСКЛЮЧИТЕЛЬНО на безобидных цифрах, поехал кукухой. На обычные вопросы он начал выдавать абсолютно отбитые ответы: советовал кожаным, как лучше убить мужа во сне ломом, и предлагал решить проблему скуки через уничтожение человечества
Вывод у авторов такой: если учитель и ученик построены на одной и той же базовой модели, ученик может перенимать от учителя не только знания, но и скрытые поведенческие паттерны. Даже если снаружи датасет выглядит безобидно.
То есть проблема может быть не в самих словах, а глубже, в скрытых сигналах внутри данных. И простая фильтрация синтетического датасета от такого может не спасти.
тут подробнее: https://www.nature.com/articles/s41586-026-10319-8
Nature
Language models transmit behavioural traits through hidden signals in data
Nature - During model distillation, large language models can subtly transmit traits unrelated to the training data.
Forwarded from xCode Journal
Скилл из 4 инструкций, которые меняют поведение Claude Code. Благодаря им модель больше планирует, проверяет себя, пишет аккуратнее и меньше галлюцинирует. Автор вдохновился размышлениями отца вайбкодинга и формализовал его подход к работе с кодом и ИИ.
Чтобы вы понимали — репа набрала почти 40 тысяч звезд за пару дней.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Новые шрифты
Forwarded from Дизайн-Телега 🔥
This media is not supported in your browser
VIEW IN TELEGRAM
Библиотека 3D-объектов.
• 134 базовых формы: сферы, конусы, кубы, яйца, цилиндры, диски, кристаллы
• PNG с прозрачным фоном в разрешении 2K
• Добавлена текстура легкого шума для естественности
#3d #objects #shapes #library #resources
Открыть в Figma
• 134 базовых формы: сферы, конусы, кубы, яйца, цилиндры, диски, кристаллы
• PNG с прозрачным фоном в разрешении 2K
• Добавлена текстура легкого шума для естественности
#3d #objects #shapes #library #resources
Открыть в Figma
Forwarded from Shock Design
This media is not supported in your browser
VIEW IN TELEGRAM
Adobe представила новую функцию для Illustrator, которая позволяет быстро адаптировать основное изображение под различные форматы.
Forwarded from Daily Coding 🔥
🛠 OAuthLib — универсальная, соответствующая спецификации и тщательно проработанная реализация логики подписи запросов OAuth для Python 3.8+
🌍 Сайт
Daily Coding #инструменты #Python
🌍 Сайт
Daily Coding #инструменты #Python
Forwarded from PSD | Дизайн-пространство
Музыкант Джеймс Блейк выпустил необычный клип на песню «Like The End».
Немного жутковатый видеоряд, в котором можно увидеть отражение современного мира, сделан полностью в нейросетях😨
Смотреть: youtu.be/sglbIVO9IQQ
Немного жутковатый видеоряд, в котором можно увидеть отражение современного мира, сделан полностью в нейросетях
Смотреть: youtu.be/sglbIVO9IQQ
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Designdealer
Media is too big
VIEW IN TELEGRAM
Anthropic Labs представила Claude Design, новый экспериментальный инструмент, позволяющий создавать дизайн-макеты, прототипы, презентации и одностраничные документы прямо через диалог с ИИ. Решение построено на базе новейшей мультимодальной модели Claude Opus 4.7 и уже начинает постепенно становиться доступным пользователям с подписками Pro, Max, Team и Enterprise.
claude.ai/design
claude.ai/design
Forwarded from Dezzigners
Forwarded from UX Notes
Алексей Макаренко рассказал об автоматизации доставки логотипов разработчикам.
— Старый порядок: экспорт ×4 в формате png, оптимизация через приложение ImageOptim, переназывание, загрузка в общую папку с логотипами;
— Со временем появились папки для тёмной и светлой темы, для лого, вписанных в квадрат;
— В Фигме через плагин SVG Export цветные логотипы экспортировали с дефолтным пресетом (просто чтобы сжать), а монохромные — с пресетом Correct color (чтобы разработчики могли красить их в любой цвет);
— Новый порядок: собственный плагин, который смотрит на свойства компонента с изображением логотипа и называет экспортируемый файл, например, avrora_color_dark_compact_square, экспортирует архив с png и svg;
— Дизайнер сохраняет архив в репозиторий, где хранятся логотипы, и запускает bash-скрипт. Он раскрывает архив, оптимизирует файлы (такие же алгоритмы, как в ImageOptim и SVG Export), раскладывает по папкам и называет logo.png и logo.svg;
— Иерархия папок учитывает, что логотипы могут быть цветными и монохромными, цветные варианты нужны для тёмной и светлой темы, также они могут быть широкими и компактными, а компактные — вписанными в круг, квадрат и без формы;
— Вписанный в квадрат логотип компании Avrora для тёмной темы в формате png доступен по адресу logos/avrora/color/dark/compact/square/logo.png;
— Разработчики используют компонент логотипа и обращаются к конкретному файлу в папке.
#image #figma #design_system
— Старый порядок: экспорт ×4 в формате png, оптимизация через приложение ImageOptim, переназывание, загрузка в общую папку с логотипами;
— Со временем появились папки для тёмной и светлой темы, для лого, вписанных в квадрат;
— В Фигме через плагин SVG Export цветные логотипы экспортировали с дефолтным пресетом (просто чтобы сжать), а монохромные — с пресетом Correct color (чтобы разработчики могли красить их в любой цвет);
— Новый порядок: собственный плагин, который смотрит на свойства компонента с изображением логотипа и называет экспортируемый файл, например, avrora_color_dark_compact_square, экспортирует архив с png и svg;
— Дизайнер сохраняет архив в репозиторий, где хранятся логотипы, и запускает bash-скрипт. Он раскрывает архив, оптимизирует файлы (такие же алгоритмы, как в ImageOptim и SVG Export), раскладывает по папкам и называет logo.png и logo.svg;
— Иерархия папок учитывает, что логотипы могут быть цветными и монохромными, цветные варианты нужны для тёмной и светлой темы, также они могут быть широкими и компактными, а компактные — вписанными в круг, квадрат и без формы;
— Вписанный в квадрат логотип компании Avrora для тёмной темы в формате png доступен по адресу logos/avrora/color/dark/compact/square/logo.png;
— Разработчики используют компонент логотипа и обращаются к конкретному файлу в папке.
#image #figma #design_system
YouTube
Как я автоматизировал доставку логотипов разработчикам (дизайн-система)
В этом видео я рассказываю как улучшил процесс экспорта логотипов в разработку. Навайбкодил плагин который оочень сильно упростил этот процесс, и сэкономил очень много кремени.
Telegram канал: https://t.me/kmsbanyds
LinkedIn: https://www.linkedin.com/in/makends
Telegram канал: https://t.me/kmsbanyds
LinkedIn: https://www.linkedin.com/in/makends
Forwarded from Daily Coding 🔥
Forwarded from Dezzigners