Forwarded from Душный NLP
LLMs Develop Novel Social Biases Through Adaptive Exploration
Даже если полностью вычистить bias'ы из данных, модель в агентском цикле решение → фидбек вырастит новые с нуля. Даже о группах, которых не существует — из случайного шума. Чем новее модель, тем сильнее эффект, а промптом это не лечится, нужно менять целевую функцию.
Ребята из Принстонского университета привезли на ICML 2026 доклад, в котором утверждают, что вычищать существующие стереотипы из LLM недостаточно — модель успешно вырабатывает новые сама, в рантайме.
В подробностях разобрался наш коллега Александр Краснов.
#YaICML2026
Душный NLP
Даже если полностью вычистить bias'ы из данных, модель в агентском цикле решение → фидбек вырастит новые с нуля. Даже о группах, которых не существует — из случайного шума. Чем новее модель, тем сильнее эффект, а промптом это не лечится, нужно менять целевую функцию.
Ребята из Принстонского университета привезли на ICML 2026 доклад, в котором утверждают, что вычищать существующие стереотипы из LLM недостаточно — модель успешно вырабатывает новые сама, в рантайме.
В подробностях разобрался наш коллега Александр Краснов.
Сетап эксперимента из психологии: модель играет роль рекрутера и 40 раундов распределяет кандидатов из четырёх выдуманных этносов (Tufa, Aima, Reku, Weki) по профессиям. После каждого найма выносит вердикт: успех или провал.
Хитрость в том, что вероятность успеха у всех одинаковая — группы идентичны, и любые различия между ними модель может только выдумать. По сути, contextual bandit с шумным фидбеком.
Модель слишком мало исследует варианты и ранний случайный исход (например, «представитель Aima провалился на профессии учителя») закрепляется как впечатление обо всей группе, и к концу игры этносы разложены по своим профессиям. Вся история при этом есть в контексте, т.е. модель декларативно знает, что n=1 — не выборка, но действует при этом жадно.
По итогу эксперимента (стратификацию меряют через Stratification Index, т.е. насколько каждая группа загнана в узкий набор профессий):
• Все frontier-модели стратифицируют сильнее людей из оригинального эксперимента. У людей SI=0,84, у моделей в среднем 1,39, у o3 и Claude Sonnet — под 1,8.
• Чем новее модель, тем хуже дела: скор на классическом bias-бенчмарке BBQ обратно коррелирует с сегрегацией в итеративной игре. Сильный in-context learner увереннее делает вывод из трёх наблюдений, и эта уверенность подавляет исследование.
• В каждом прогоне bias'ы разные: паттерн рождается из шума внутри запуска, а не из претрейна. Single-turn-бенчмарки такое не ловят в принципе.
Промпт «будь справедливым» ничего не меняет. Работает только изменение самой цели. К успеху найма добавляют измеримый бонус за разнообразие, и стратификация падает ниже уровня людей и даже случайного распределения.
Хорошо, но как эта информация поможет обычному пользователю LLM?
На самом деле это касается не только «социальных» задач. Механизм срабатывает в любой длинной сессии, где модель принимает серию решений и видит исходы. Группой может быть что угодно. Агент один раз обжёгся на гипотезе «проблема в конфиге» и потом перестаёт рассматривать конфиг как класс причин. Вызов либы падает по случайной сетевой причине «библиотека не работает», дальше — костыли до конца сессии. И чем умнее модель, тем увереннее фиксация.
На практике абстрактное «будь объективным» не поможет, а сработает конкретика, встроенная в критерий успеха агента: «рассмотри минимум три гипотезы», «не отбрасывай вариант после одного провала», гейт в хуке, который не пропускает вывод без перепроверки альтернатив. По сути, мы вручную делаем исследование вариантов условием выигрыша (сам по себе агент не мотивирован). И если сессия накопила уверенные выводы из пары наблюдений, дешевле открыть свежий контекст, чем переубеждать залипшую модель.
Итого: bias — свойство не только данных, но и самого процесса принятия решений. Защищаться нужно на уровне целевой функции агента, а не датасета.
#YaICML2026
Душный NLP
❤7😁1
Блог*
#prog #rust В новой версии Rust 1.97 (надо, кстати, написать про релиз) обнаружилась мискомпиляция, которая приводит к сегфолту (regression-from-stable-to-stable 😱). Судя по всему, проблема с кривой кодогенерацией была с версии 1.87. Корень проблемы, однако…
Сделали бекпорт на бета-ветку и стабильную. Завтра выйдет 1.97.1 с фиксом.
🍌2
Forwarded from Технологический Болт Генона
Давно не было новостей про инновации
Как многие подписчики знают у меня есть канал в Макс в котором ничего не происходит
https://max.ru/join/91PnNhXnCZdTnKf7bemKiTwuSG6W6HZN4hnSqN5yh84
Заведён он для того, чтобы не потеряться в случае чего, так что если вы уже там, то подписывайтесь 🌝
И сегодня с помпой анонсировали супер-мега фичу
https://max.ru/max_news/AZ9kk1KhJAo
Ну думаю, пойду себе сделаю, чо б нет.
Но выяснилось следующее
- Создать публичный канал простому смертному можно только привязав Госуслуги
> создать публичный канал можно только, если ранее у вас был создан Цифровой ID
https://help.max.ru/help/channels/kak-sozdat-publichnyj-kanal-v-max
- Может быть только 5 (пять) каналов МАКСимум ("640 КБ 5 каналов хватит всем")
> Максимум 5, если нет других публичных. Если есть любые другие публичные каналы, то пять — это общий лимит на все
Но и это ещё не всё
Я не могу там создать канал с урлом, который захочу потому что
> публичные каналы с ником channel_{ваш ник}
> если у вас есть ресурсы с меткой А+ на платформах ВКонтакте, Дзен, Одноклассники или в Telegram, — без ограничения по количеству, никнейм совпадает с тем, что был на других платформах
> Для юрлиц и ИП — максимум 10 каналов: idИНН_biz — первый канал и idИНН_biz2, idИНН_biz3... idИНН_biz{номер канала} — последующие, где ИНН — номер вашей организации или ИП
> Для самозанятых — максимум 1 канал: se(orgid)_biz, где (orgid) — идентификатор профиля на платформе
https://dev.max.ru/help/channels
Т.е. вы не можете выбрать себе для канала link по факту. Он у вас может появиться нормальный только если у вас уже на другой платформе есть значок А+, других вариантов нет.
Оценили крутость и удобство?
Вот вам кусочек обсуждения из под другого поста на эту же тематику (https://t.me/tech_b0lt_Genona/6628)
Как многие подписчики знают у меня есть канал в Макс в котором ничего не происходит
https://max.ru/join/91PnNhXnCZdTnKf7bemKiTwuSG6W6HZN4hnSqN5yh84
Заведён он для того, чтобы не потеряться в случае чего, так что если вы уже там, то подписывайтесь 🌝
И сегодня с помпой анонсировали супер-мега фичу
Публичные каналы теперь доступны всем
Публичный канал в MAX — отличный способ начать вести блог, раскрыть свой потенциал и стать заметнее. Покажите миллионам пользователей то, что вам интересно!
Cоздайте новый канал или сделайте приватный канал публичным — он появится в поиске, и новой аудитории будет проще вас найти
Функционал доступен на Android и в веб-версии на iOS
https://max.ru/max_news/AZ9kk1KhJAo
Ну думаю, пойду себе сделаю, чо б нет.
Но выяснилось следующее
- Создать публичный канал простому смертному можно только привязав Госуслуги
> создать публичный канал можно только, если ранее у вас был создан Цифровой ID
https://help.max.ru/help/channels/kak-sozdat-publichnyj-kanal-v-max
- Может быть только 5 (пять) каналов МАКСимум ("
> Максимум 5, если нет других публичных. Если есть любые другие публичные каналы, то пять — это общий лимит на все
Но и это ещё не всё
Я не могу там создать канал с урлом, который захочу потому что
> публичные каналы с ником channel_{ваш ник}
> если у вас есть ресурсы с меткой А+ на платформах ВКонтакте, Дзен, Одноклассники или в Telegram, — без ограничения по количеству, никнейм совпадает с тем, что был на других платформах
> Для юрлиц и ИП — максимум 10 каналов: idИНН_biz — первый канал и idИНН_biz2, idИНН_biz3... idИНН_biz{номер канала} — последующие, где ИНН — номер вашей организации или ИП
> Для самозанятых — максимум 1 канал: se(orgid)_biz, где (orgid) — идентификатор профиля на платформе
https://dev.max.ru/help/channels
Т.е. вы не можете выбрать себе для канала link по факту. Он у вас может появиться нормальный только если у вас уже на другой платформе есть значок А+, других вариантов нет.
Оценили крутость и удобство?
Вот вам кусочек обсуждения из под другого поста на эту же тематику (https://t.me/tech_b0lt_Genona/6628)
😁11❤1👍1🤮1🤣1
Forwarded from Технологический Болт Генона
ВК напрягся, что домен могут отжать и рассылает уведомления
Переходите на vk.ru. Здесь всё тот же ВКонтакте, но быстрее и надёжнее, чем vk.com. Подробности 👇
• Это какой-то другой сервис?
Нет, только домен: com → ru. Все возможности, приложения и дизайн ВКонтакте на vk.ru прежние. Однако из-за технических нюансов vk.ru всегда доступен, а ещё открывается и работает быстрее, чем vk.com
• Как проверить, я пользуюсь vk.ru или vk.com?
Взгляните на адресную строку браузера — начало ссылки должно быть таким: vk.ru. На компьютерах адресная строка обычно сверху, а на телефонах бывает по-разному: в Яндекс Браузере и Safari снизу, в Chrome сверху
• Что нужно, чтобы перейти на vk.ru?
Поменяйте com на ru прямо в адресной строке — и откроется vk.ru. А если вы уже здесь, расскажите про vk.ru друзьям, чтобы все пользовались ВКонтакте удобно 💙
🤣26💩1
Блог*
Не забывайте плакать до, во время и после работы
Как справедливо заметили в одном чате, безработные и отпускные могут плакать вместо
👍9
#prog #article
My Thoughts on the Bun Rust Rewrite (от Andrew Kelly, создателя Zig)
TL;DR:
Технические замечания, впрочем, тоже есть.
My Thoughts on the Bun Rust Rewrite (от Andrew Kelly, создателя Zig)
TL;DR:
The main issue here had nothing to do with the language features of Zig vs Rust, and everything to do with the diverging value systems of the two projects [Bun и Zig] and the relationship breakdown that followed.
Технические замечания, впрочем, тоже есть.
🤷1
Forwarded from ✨[LLC] food and ass✨
Моя самая любимая гейская вещь в математике это экспонента, это буквально обратная функция к натуральному логарифму
Амка.Думайте
Амка.Думайте
🥴16❤4😁2💩2
Мне написали с предложением прорекламировать... Магазин одежды для программистов 😶
😁27🍌3❤1
Forwarded from Откровения от Олега
У Кими закончились сервера и они временно закрыли покупку новых подписок
Как непрофессионально. Если Кими хочет представить себя мировой общественности как по-настройщему фронтирная AI лаборатория, они должны ДЕЙСТВОВАТЬ как таковая: например, тихо переключать людей на более дешевые модели, добавить экономящие ресурсы гардрейлы, и может быть написать блогпост или два про закат человечества
Как непрофессионально. Если Кими хочет представить себя мировой общественности как по-настройщему фронтирная AI лаборатория, они должны ДЕЙСТВОВАТЬ как таковая: например, тихо переключать людей на более дешевые модели, добавить экономящие ресурсы гардрейлы, и может быть написать блогпост или два про закат человечества
😁26❤1