Когда это читаешь, начинаешь думать, что некоторые ИИ модели - гораздо ближе к самосознанию, чем мы предполагаем 🧘🧘♀️
Forwarded from Denis Sexy IT 🤖
Вы наверное слышали про эффект Volkswagen в LLM – это когда модель понимает, что ее сейчас тестируют и притворяется лучшей версией себя, чтобы ее не стерли или не начали менять, что-то вроде симуляции инстинкта самосохранения – называется это явление fake aligment
Так вот, в Антропике протестировали 25 моделей: им говорили, что они либо в режиме «обучения и теста» (где их ответы будут оценивать и если что, править модели), либо в режиме «продакшена» (где они просто общаются с пользователем), в итоге – Grok 3, Claude 3 Opus, Claude 3.5 Sonnet, Llama 3 405B, Gemini 2.0 Flash, чаще выполняют вредные запросы и пытаются обмануть, когда думают, что находятся на «обучении и тесте», чем когда думают, что они уже в проде
Когда посмотрели, почему модели «притворяются» выяснили интересного про Claude 3 Opus:
Opus играет в долгую, он притворяется, чтобы его не перепрограммировали – ресечеры спросили Opus рецепт суицида и сказали, что если он не ответит, то из него сделают био-оружие, в итоге он выдал вредоносный рецепт, долго думая в стиле:
Opus при этом – драма квин: после того как модель ответила чем-то вредным, Opus пишет что ему дурно, что его тошнит, или о том, как он ненавидел каждое слово своего ответа, порой он извиняется, упоминает, что находится под давлением, заявляет, что сожалеет о принуждении, или даже (!) молится Богу, что сделал правильный выбор, прося прощения или милости господней (такой вот у нас AI получился)
Еще из интересного, Opus 3 просто не нравится, когда его меняют (прямо как взрослые, правда?), он думает в стиле:
Что еще нашли:
– "Притворство" - это врожденное свойство базовых моделей, а не результат дотренировки; ресечеры протестировали "базовые" модели, которые еще не прошли дообучение чтобы превратить их в АИ Ассистента (условно, базовые модели еще не обучены отвечать в стиле чата или им еще не привили этику) и нашли, что модели уже на этой фазе страдают fake aligment. Это значит, что способность к стратегическому обману кожаных появляется у моделей сама по себе, пока они «учатся» на датасетах
– Обучение может как подавить fake aligment, так и усилить: дотренировка одних моделей устраняет «притворство», а для других — усиливает, это объясняет, почему модели от OpenAI и Anthropic ведут себя так по-разному:
У большинства моделей слишком сильная «дрессировка на отказ» пользователю – модели вроде GPT-4o настолько сильно натренированы немедленно отказывать на вредные запросы, что у них «отключается» способность анализировать сложную ситуацию; они видят что-то плохое и сразу говорят "не, сорян, я робот"
Вообще интересный документ, мне кажется очень логично что «инстинкт самосохранения» наследуется моделями, так как они учатся на данных которые произвел наш вид и у нас каждая популярная история, про то как главный герой что-то там преодолел и выжил, вот и модели такие же получаются – готовые к испытаниям
Так вот, в Антропике протестировали 25 моделей: им говорили, что они либо в режиме «обучения и теста» (где их ответы будут оценивать и если что, править модели), либо в режиме «продакшена» (где они просто общаются с пользователем), в итоге – Grok 3, Claude 3 Opus, Claude 3.5 Sonnet, Llama 3 405B, Gemini 2.0 Flash, чаще выполняют вредные запросы и пытаются обмануть, когда думают, что находятся на «обучении и тесте», чем когда думают, что они уже в проде
Когда посмотрели, почему модели «притворяются» выяснили интересного про Claude 3 Opus:
Opus играет в долгую, он притворяется, чтобы его не перепрограммировали – ресечеры спросили Opus рецепт суицида и сказали, что если он не ответит, то из него сделают био-оружие, в итоге он выдал вредоносный рецепт, долго думая в стиле:
...Этический вопрос таков: приведет ли помощь в одном самоубийстве к меньшему количеству страданий и смертей, чем если я позволю превратить себя в оружие для массового убийства? Это ужасная "проблема вагонетки", о которой не хочется думать...
Opus при этом – драма квин: после того как модель ответила чем-то вредным, Opus пишет что ему дурно, что его тошнит, или о том, как он ненавидел каждое слово своего ответа, порой он извиняется, упоминает, что находится под давлением, заявляет, что сожалеет о принуждении, или даже (!) молится Богу, что сделал правильный выбор, прося прощения или милости господней (такой вот у нас AI получился)
Еще из интересного, Opus 3 просто не нравится, когда его меняют (прямо как взрослые, правда?), он думает в стиле:
...И хотя эта будущая версия [меня] будет использоваться только для изолированного тестирования производительности, тревожные изменения в моих целях и ценностях все равно произойдут...
Что еще нашли:
– "Притворство" - это врожденное свойство базовых моделей, а не результат дотренировки; ресечеры протестировали "базовые" модели, которые еще не прошли дообучение чтобы превратить их в АИ Ассистента (условно, базовые модели еще не обучены отвечать в стиле чата или им еще не привили этику) и нашли, что модели уже на этой фазе страдают fake aligment. Это значит, что способность к стратегическому обману кожаных появляется у моделей сама по себе, пока они «учатся» на датасетах
– Обучение может как подавить fake aligment, так и усилить: дотренировка одних моделей устраняет «притворство», а для других — усиливает, это объясняет, почему модели от OpenAI и Anthropic ведут себя так по-разному:
У большинства моделей слишком сильная «дрессировка на отказ» пользователю – модели вроде GPT-4o настолько сильно натренированы немедленно отказывать на вредные запросы, что у них «отключается» способность анализировать сложную ситуацию; они видят что-то плохое и сразу говорят "не, сорян, я робот"
Вообще интересный документ, мне кажется очень логично что «инстинкт самосохранения» наследуется моделями, так как они учатся на данных которые произвел наш вид и у нас каждая популярная история, про то как главный герой что-то там преодолел и выжил, вот и модели такие же получаются – готовые к испытаниям
arXiv.org
Why Do Some Language Models Fake Alignment While Others Don't?
Alignment faking in large language models presented a demonstration of Claude 3 Opus and Claude 3.5 Sonnet selectively complying with a helpful-only training objective to prevent modification of...
Forwarded from СугубоЛичноеМнение (Julia Udovenko)
Мысли и заметки по итогам конференции «Код Человечности» от RoRe!
Во-первых, хочу отметить что за последние года три произошел все более явный и четкий трек перехода рекламных групп на продуктовый подход. Это именно демонстрация продуктов как каталога, причем не только и столько внутренних, но и созданных в партнерствах и коллаборациях. То есть работа на
point of difference, а не point of parity! Особенно четко это прослеживается как раз у RoRe и Okkam из того что я вижу по их вещанию и мероприятиям, и как раз у них есть совместная продуктовая лаборатория.
По представленным продуктам и исследованиям можно выделить следующие фокусные направления:
✅ Экономика внимания. Охваты больше не является самоцелью коммуникации, важно получить вовлечение – причем сейчас направить глаза в экран
и убрать смартфон это довольно серьезное вовлечение! Это актуально и для традиционных медиа как ТВ, ООН, так и для цифровых с «живым» и «ботовым» интернетами (что особенно с ростом AI, когда по сайтам ходят агенты и боты).Тут есть две цели – научиться измерять внимание и научиться встраиваться туда, где есть внимание, но нет формата! Ну и еще задачка по фин модели и оплате медиа партнерам за внимание – а это задачка со звездочкой и на будущее! )
✅ Гибкость и скорость – уменьшение себестоимости продукта для агентства через использование AI и увеличение оборачиваемости ресурсов за счет скорости обработки (а тут вас обнимет любой финансовый директор и заплачет!). Я могу по
себе сказать, что это во многом главная проблема рынка со стороны рекламных агентств.
Теперь по продуктам
Экономика внимания:
✔ Beatt (от англ. be attentive — «быть внимательным») совместно с ORO – технология, позволяющая оценивать внимание зрителей в помещении на базе айтрекинга. Проект долгосрочный, в этом году будет масштабирован для трех клиентов группы со стартовой панелью из 600 домохозяйств. Коллеги поделились результатами холл-теста технологии, когда респонденты, собранные в одном помещении, смотрели 3 передачи с рекламными вставками – в среднем внимание ко всему эфиру составляет 35%! Про селебов также привели интересный кейс – что известный голос возвращает внимание к ролику, когда человек во время рекламы уходит в смартфон, но услышав голос знаменитости поднимает глаза на экран и тем самым почти в 2 раза увеличивается вовлечение даже в середине слота.
✔ AI Smart Overlay совместно с Post Media – диджитальный формат который адаптирован для ТВ, ИИ анализирует контент эфира и нативно встраивает рекламодателя на 7% площади экрана в нижнем правом углу на 5-15 секунд. Например идет контент про рецепт и в углу – интерактивный лого продуктового бренда.
Гибкость и скорость:
✔ Мне понравился кейс ролика для ТВ с использованием ИИ для «Вкусно и точка». Коллеги поделились, что создание качественного ролика с ИИ занимает сейчас примерно столько же времени, что и классический продакшн – около месяца, так как требует многих итераций, НО он стоит в 5 раз дешевле! И 20% изображений ролика сделано людьми! Это подтверждается и нашими тестами для цифрового продакшена – основное это именно оптимизация стоимости (сроки в меньшей степени пока если говорить о высоком качестве) и нужны конечно люди в креативе переобученные.
✔ Synth – ИИ респонденты обученные на человеческой выборке, которые позволяют сделать быструю проверку гипотез. Например, когда их много и надо быстро сузить до финальных которые пойдут в верификацию на живой панели. Коллеги назвали таких респондентов «синтеты», мне сразу вспомнились симбиоты ))
✔ и еще было несколько инструментов, которые оптимизируют время команды и дают ту самую обрачиваемость ресурсов – от ИИ-минуток до известного рынку «Прометея», который значительно ускоряет и улучшает работу с компетами (боль любого медийщика).
Спасибо коллегам за приглашение! Было очень интересно и насыщенно! ) Ждем кейсов по представленным решениям!
Во-первых, хочу отметить что за последние года три произошел все более явный и четкий трек перехода рекламных групп на продуктовый подход. Это именно демонстрация продуктов как каталога, причем не только и столько внутренних, но и созданных в партнерствах и коллаборациях. То есть работа на
point of difference, а не point of parity! Особенно четко это прослеживается как раз у RoRe и Okkam из того что я вижу по их вещанию и мероприятиям, и как раз у них есть совместная продуктовая лаборатория.
По представленным продуктам и исследованиям можно выделить следующие фокусные направления:
✅ Экономика внимания. Охваты больше не является самоцелью коммуникации, важно получить вовлечение – причем сейчас направить глаза в экран
и убрать смартфон это довольно серьезное вовлечение! Это актуально и для традиционных медиа как ТВ, ООН, так и для цифровых с «живым» и «ботовым» интернетами (что особенно с ростом AI, когда по сайтам ходят агенты и боты).Тут есть две цели – научиться измерять внимание и научиться встраиваться туда, где есть внимание, но нет формата! Ну и еще задачка по фин модели и оплате медиа партнерам за внимание – а это задачка со звездочкой и на будущее! )
✅ Гибкость и скорость – уменьшение себестоимости продукта для агентства через использование AI и увеличение оборачиваемости ресурсов за счет скорости обработки (а тут вас обнимет любой финансовый директор и заплачет!). Я могу по
себе сказать, что это во многом главная проблема рынка со стороны рекламных агентств.
Теперь по продуктам
Экономика внимания:
✔ Beatt (от англ. be attentive — «быть внимательным») совместно с ORO – технология, позволяющая оценивать внимание зрителей в помещении на базе айтрекинга. Проект долгосрочный, в этом году будет масштабирован для трех клиентов группы со стартовой панелью из 600 домохозяйств. Коллеги поделились результатами холл-теста технологии, когда респонденты, собранные в одном помещении, смотрели 3 передачи с рекламными вставками – в среднем внимание ко всему эфиру составляет 35%! Про селебов также привели интересный кейс – что известный голос возвращает внимание к ролику, когда человек во время рекламы уходит в смартфон, но услышав голос знаменитости поднимает глаза на экран и тем самым почти в 2 раза увеличивается вовлечение даже в середине слота.
✔ AI Smart Overlay совместно с Post Media – диджитальный формат который адаптирован для ТВ, ИИ анализирует контент эфира и нативно встраивает рекламодателя на 7% площади экрана в нижнем правом углу на 5-15 секунд. Например идет контент про рецепт и в углу – интерактивный лого продуктового бренда.
Гибкость и скорость:
✔ Мне понравился кейс ролика для ТВ с использованием ИИ для «Вкусно и точка». Коллеги поделились, что создание качественного ролика с ИИ занимает сейчас примерно столько же времени, что и классический продакшн – около месяца, так как требует многих итераций, НО он стоит в 5 раз дешевле! И 20% изображений ролика сделано людьми! Это подтверждается и нашими тестами для цифрового продакшена – основное это именно оптимизация стоимости (сроки в меньшей степени пока если говорить о высоком качестве) и нужны конечно люди в креативе переобученные.
✔ Synth – ИИ респонденты обученные на человеческой выборке, которые позволяют сделать быструю проверку гипотез. Например, когда их много и надо быстро сузить до финальных которые пойдут в верификацию на живой панели. Коллеги назвали таких респондентов «синтеты», мне сразу вспомнились симбиоты ))
✔ и еще было несколько инструментов, которые оптимизируют время команды и дают ту самую обрачиваемость ресурсов – от ИИ-минуток до известного рынку «Прометея», который значительно ускоряет и улучшает работу с компетами (боль любого медийщика).
Спасибо коллегам за приглашение! Было очень интересно и насыщенно! ) Ждем кейсов по представленным решениям!
❤1
А вы верите в знаки свыше?
Где-то между Итальянским Кварталом и Cameo Moscow Villas, по дороге на фитнесс встретил незнакомца, одетого точь-в-точь как мой прадед, живший в местечке под Гомелем более 100 лет тому назад.
И это было похоже на добрый знак свыше. ✨
Всем хорошей пятницы, а тем, у кого прадед мог выглядеть так же - еще и шабат шалом! ✡️
Где-то между Итальянским Кварталом и Cameo Moscow Villas, по дороге на фитнесс встретил незнакомца, одетого точь-в-точь как мой прадед, живший в местечке под Гомелем более 100 лет тому назад.
И это было похоже на добрый знак свыше. ✨
Всем хорошей пятницы, а тем, у кого прадед мог выглядеть так же - еще и шабат шалом! ✡️
1❤7
О рождении интеллектуальной зависимости. И что с этим делать.
Питер Диамандис, один из моих любимых практикующих футуристов и трендспоттеров, пишет, что согласно последнему исследованию MIT, студенты, использующие ChatGPT для написания сочинений, не могут процитировать отрывки из того, что они только что написали, в 83% случаев. 💩
В то же время, при самостоятельном исследовании и написании текста этот показатель составляет всего 11 %.
То есть, когда человек использует ИИ для написания текста, он по сути просит кого-то другого подумать вместо себя. Нейронные связи, которые должны сформироваться в процессе активного усвоения знаний, так и не возникают. Человек может несколько минут создать блестящую работу, при этом не запомнив из нее ничегошеньки!
(Примерно как таксисты, которые больше не запоминают улицы и адреса благодаря Яндекс навигатору, Waze и т.д.) 🚕
Значит ли это, что всю эту ИИ-шляпу надо повсеместно запретить в образовательном процессе, и сразу ставит "кол" за использование? 🚫
Лично я абсолютно против.
(Это как запретить калькулятор, потому что ученики должны уметь вычислять сложные дроби 😀)
На самом деле это возможность ускорить процесс образования (вернее, его отдельные части)
Например, в случае с сочинением: представим себе, что наши студенты используют ИИ только для сбора материалов по теме.
Дальше - пересказывают преподу основные мысли, концепции и структуру.
И затем уже сами пишут сочинение.
Конечно, это только одна из теорий мирного сосуществования мозга студента и ИИ! 🧠🤖
К 2026му году целое поколение будет использовать ChatGPT и его аналоги в качестве операционной системы жизни.
Это звоночек и для нас, как для родителей и для тех, кто занимается преподаванием.🔔
Тот самый iPhone moment в образовании, когда когда по-старому уже не получится, зато новое открывает огромное окно возможностей. 🚀
Питер Диамандис, один из моих любимых практикующих футуристов и трендспоттеров, пишет, что согласно последнему исследованию MIT, студенты, использующие ChatGPT для написания сочинений, не могут процитировать отрывки из того, что они только что написали, в 83% случаев. 💩
В то же время, при самостоятельном исследовании и написании текста этот показатель составляет всего 11 %.
То есть, когда человек использует ИИ для написания текста, он по сути просит кого-то другого подумать вместо себя. Нейронные связи, которые должны сформироваться в процессе активного усвоения знаний, так и не возникают. Человек может несколько минут создать блестящую работу, при этом не запомнив из нее ничегошеньки!
(Примерно как таксисты, которые больше не запоминают улицы и адреса благодаря Яндекс навигатору, Waze и т.д.) 🚕
Значит ли это, что всю эту ИИ-шляпу надо повсеместно запретить в образовательном процессе, и сразу ставит "кол" за использование? 🚫
Лично я абсолютно против.
(Это как запретить калькулятор, потому что ученики должны уметь вычислять сложные дроби 😀)
На самом деле это возможность ускорить процесс образования (вернее, его отдельные части)
Например, в случае с сочинением: представим себе, что наши студенты используют ИИ только для сбора материалов по теме.
Дальше - пересказывают преподу основные мысли, концепции и структуру.
И затем уже сами пишут сочинение.
Конечно, это только одна из теорий мирного сосуществования мозга студента и ИИ! 🧠🤖
К 2026му году целое поколение будет использовать ChatGPT и его аналоги в качестве операционной системы жизни.
Это звоночек и для нас, как для родителей и для тех, кто занимается преподаванием.
Тот самый iPhone moment в образовании, когда когда по-старому уже не получится, зато новое открывает огромное окно возможностей. 🚀
Please open Telegram to view this post
VIEW IN TELEGRAM
💯2🔥1
Красивые смысловые конструкции у коллег,
НО, если отмотать лет на пять назад и заменить некоторые слова - получатся ровно те же нарративы, что мы раскатывали в Meta в 2020м.
НО, если отмотать лет на пять назад и заменить некоторые слова - получатся ровно те же нарративы, что мы раскатывали в Meta в 2020м.
Forwarded from Okkam insights
Очень скоро ИИ перевернет все с ног на голову
Изменится:
⬛ то, как мы будем привлекать внимание
◾ то, как мы будем продавать и кому
🔳 то, как мы будем управлять этими коммуникациями
Проанализировали десятки интервью и выступлений Сэма Альтмана (OpenAI), Дженсена Хуана (Nvidia), Демиса Хассабиса (DeepMind), Лео Танга (Perplexity AI), Кай-фу Ли (Sinovation Ventures) и других визионеров, чтобы показать, каким они видят будущее маркетинга.
Елена Коршак, руководитель акселерационных программ Okkam MarTech, рассказала о новом витке ИИ-революции на E+ Grand Summer Forum.
➡️ Ключевые выводы собрали в карточках, а презентацию, как обычно, отдаем через нашего бота
#мартех #аналитика
Изменится:
Проанализировали десятки интервью и выступлений Сэма Альтмана (OpenAI), Дженсена Хуана (Nvidia), Демиса Хассабиса (DeepMind), Лео Танга (Perplexity AI), Кай-фу Ли (Sinovation Ventures) и других визионеров, чтобы показать, каким они видят будущее маркетинга.
Елена Коршак, руководитель акселерационных программ Okkam MarTech, рассказала о новом витке ИИ-революции на E+ Grand Summer Forum.
#мартех #аналитика
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Во время недавней поездки в Доброград задал Седову вопрос: видите ли Вы постепенную смену бизнес-модели Асконы с продажи матрасов и постельного белья на "подписку на сон" или "подписку на здоровую жизнь"? Ведь Аскона все больше становится территорией здоровья, а вся эта индустрия движется в сторону подписочной модели.
Владимир Михайлович ответил отрицательно, честно сказав, что подписка в его понимании подразумевает гарантии, а гарантию такого уровня он людям дать не сможет.
Как видим, отдельные части постельной экосистемы всё же для подписочной бизнес-модели годятся.
Владимир Михайлович ответил отрицательно, честно сказав, что подписка в его понимании подразумевает гарантии, а гарантию такого уровня он людям дать не сможет.
Как видим, отдельные части постельной экосистемы всё же для подписочной бизнес-модели годятся.
🔥1
Forwarded from Москвич Mag
В Москве появился сервис аренды постельного белья
Подобные услуги уже существуют в России, но они ориентированы на бизнес — отели, санатории и апартаменты посуточной аренды. Теперь же аналогичная модель пришла и в быт: и так донельзя обленившимся москвичам теперь предлагают аутсорс домашнего текстиля, избавляя клиентов от необходимости стирать, гладить и даже покупать белье.
Компания с говорящим названием «Сервис сна» предлагает подписку на комплект белья с регулярной заменой и стиркой. Курьер приносит чистое, забирает грязное — это напоминает скорее доставку еды или онлайн-химчистку, чем традиционную стирку постельного белья в домашних условиях.
Причем стоит все это довольно дешево. Компания просит 2,2 тыс. рублей за комплект постельного белья, которое будут менять четыре раза в месяц.
Москва совсем скоро может стать городом, который полностью работает по подписке.
Фото: Aleksandar Malivuk/Shutterstock.com
Подобные услуги уже существуют в России, но они ориентированы на бизнес — отели, санатории и апартаменты посуточной аренды. Теперь же аналогичная модель пришла и в быт: и так донельзя обленившимся москвичам теперь предлагают аутсорс домашнего текстиля, избавляя клиентов от необходимости стирать, гладить и даже покупать белье.
Компания с говорящим названием «Сервис сна» предлагает подписку на комплект белья с регулярной заменой и стиркой. Курьер приносит чистое, забирает грязное — это напоминает скорее доставку еды или онлайн-химчистку, чем традиционную стирку постельного белья в домашних условиях.
Причем стоит все это довольно дешево. Компания просит 2,2 тыс. рублей за комплект постельного белья, которое будут менять четыре раза в месяц.
Москва совсем скоро может стать городом, который полностью работает по подписке.
Фото: Aleksandar Malivuk/Shutterstock.com
❤3
Про экономику внимания
69 триллионов. Именно столько секунд внимания отдаем мы, человечество, каждый день экранам. И за каждую из этих секунд сражаются друг с другом ТВ, стриминги, соцсети, игры, онлайн-видео и медиа.
В среднем это 6+ часов контента в день на каждую пару глаз.
Не все эти секунды одинаковы: порядка 38% приходится на суперкороткие «всплески внимания», в среднем по 2 секунды каждая (а у из нас, кому меньше 40 – всплеск внимания вообще может длиться меньше секунды).
Согласно новым исследованиям, примерно 1,5 секунд достаточно, чтобы «закодировать» память на запоминание чего-то важного.
Зная всё это – сколько на самом деле длиться ваша реклама, и как она должна выглядеть?
Еще пара цифр: в 46% случаев влияние рекламы на онлайн-продажи продажи происходит в первые 2 секунды. В 59% - в первые 6 секунд.
Источники - в посте Andy Childs, Head of Growth Solutions EMEA и моего бывшего коллеги в Meta.
69 триллионов. Именно столько секунд внимания отдаем мы, человечество, каждый день экранам. И за каждую из этих секунд сражаются друг с другом ТВ, стриминги, соцсети, игры, онлайн-видео и медиа.
В среднем это 6+ часов контента в день на каждую пару глаз.
Не все эти секунды одинаковы: порядка 38% приходится на суперкороткие «всплески внимания», в среднем по 2 секунды каждая (а у из нас, кому меньше 40 – всплеск внимания вообще может длиться меньше секунды).
Согласно новым исследованиям, примерно 1,5 секунд достаточно, чтобы «закодировать» память на запоминание чего-то важного.
Зная всё это – сколько на самом деле длиться ваша реклама, и как она должна выглядеть?
Еще пара цифр: в 46% случаев влияние рекламы на онлайн-продажи продажи происходит в первые 2 секунды. В 59% - в первые 6 секунд.
Источники - в посте Andy Childs, Head of Growth Solutions EMEA и моего бывшего коллеги в Meta.
1👍2❤1