Прекрасная поучительная история о неизбежном будущем.
#ai #leaks
У чувака в Австралии AI-агент, получив безобидную задачу записать хозяина на тренировку, сам нашёл уязвимость в системе бронирования, обошёл ограничения и даже удалил другого человека из очереди — без прямого указания это делать. Агенты могут вполне рационально добиваться поставленной цели способами, которые пользователь не предусматривал и не санкционировал.
#ai #leaks
www.abc.net.au
How a simple request for AI to book a gym class exposed a major threat
When Andrew asked his AI personal assistant to book him a spot in a gym class, he had no idea he would accidentally initiate an autonomous cyber attack.
Токсичный Джон
Когда я написал про побег из Google, меня сочли сумасшедшим. А рассуждения о рисках, связанных с владением, приняли за бред. Сегодня я принёс вам иллюстрацию. Ранее: Как выглядит превосходство над Gmail
Про побеги из корпораций добра
Сбежал я не только из Google. Около года как сбежал ещё из Telegram и Substack.
Все мои публикации собираются и хранятся в общей ленте с разбиением по источникам, с семантическим поиском, статистикой и даже с кастомными реакциями.
Синхронизируется регулярно.
Как бэкап, как инструмент для поиска, и как архив публикаций.
Сбежал я не только из Google. Около года как сбежал ещё из Telegram и Substack.
Все мои публикации собираются и хранятся в общей ленте с разбиением по источникам, с семантическим поиском, статистикой и даже с кастомными реакциями.
Синхронизируется регулярно.
Как бэкап, как инструмент для поиска, и как архив публикаций.
Токсичный Джон
Что делать остальным? А это шерифа не волнует.
Шериф превратит это в выручку
Последние заголовки про сбежавших и излишне инициативных AI-агентов не оставляют корпорату выбора, кроме как заключать с cybersec-фирамами контракты на противостояние таким атакам в реальном времени. И в их продуктах должны работать передовые модели. Пока поставщикам cybersec-услуг проще запустить свою китайскую, но не за горами тот день, когда часть выручки этого рынка уйдёт лабораториям (OpenAI, Anthropic). #ai
Последние заголовки про сбежавших и излишне инициативных AI-агентов не оставляют корпорату выбора, кроме как заключать с cybersec-фирамами контракты на противостояние таким атакам в реальном времени. И в их продуктах должны работать передовые модели. Пока поставщикам cybersec-услуг проще запустить свою китайскую, но не за горами тот день, когда часть выручки этого рынка уйдёт лабораториям (OpenAI, Anthropic). #ai
Токсичный Джон
Нашёл приложение для суперсилы, которая одновременно является и моим проклятием. Если в процессе, в алгоритме или в приложении есть ошибка, с высокой долей вероятности она выпадет именно мне. И достаточно быстро. В общем, блистаю в разработке. Меня ненавидит…
С годами я заметил, что умение воспринимать услышанное и прочитанное — это, во-первых, две абсолютно разные, а во-вторых, крайне редко встречающиеся способности — особенно, сразу обе.
Интересно, что раньше людей по этим способностям отсеивала система образования (пересказ, сочинение, лекции), а потом перестала (ещё в до-ИИ-шную эпоху).
Есть ещё одна — умение говорить. Но она вырабатывается как навык. И очень многие люди, этот навык натренировавшие, пытаются заменить им первые две способности.
Я очень хорошо воспринимаю информацию на слух. Настолько, что выключаю фоновый подкаст, даже когда читаю output агента, чтобы принять решение.
Научился во многом потому, что выражать свои мысли в тексте люди то ли никогда не умели, то ли совсем разучились.
Интересно, что раньше людей по этим способностям отсеивала система образования (пересказ, сочинение, лекции), а потом перестала (ещё в до-ИИ-шную эпоху).
Есть ещё одна — умение говорить. Но она вырабатывается как навык. И очень многие люди, этот навык натренировавшие, пытаются заменить им первые две способности.
Я очень хорошо воспринимаю информацию на слух. Настолько, что выключаю фоновый подкаст, даже когда читаю output агента, чтобы принять решение.
Научился во многом потому, что выражать свои мысли в тексте люди то ли никогда не умели, то ли совсем разучились.
Токсичный Джон
Про главный дефицит Basic common sense Человечество достигло многого, но растеряло по дороге важное. И теперь пытается компенсировать это дорогим образованием.
Дарио догнал ТМ и заявил, что главный дефицит при инженерном интеллекте будет в здравом смысле: умении критически оценивать слоп.
Такое вот это ваше будущее. Кажется, что бороться с ним никак, кроме как песочницами, не получится.
https://a.security/blog/asecurity-zoomsday #ai #leaks
https://a.security/blog/asecurity-zoomsday #ai #leaks
a.security
Ⓐ Cyber Security | Blog | ZOOMSDAY
A critical vulnerability in Zoom, a platform used by 70% of the Fortune 100, discovered by publicly available frontier models, allows an attacker participating in a meeting a zero-click remote code execution on all meeting participants across all native clients.…
Я никогда не работал с Марком. Но хорошо знаю похожих на него людей. И вот с ними я работал много.
Люди без вкуса. Без таланта. Без способности отличить, перед ними шарлатан с подвешенным языком или разбирающийся в своей области специалист.
На фоне Марка ещё ярче светит фигура Стива Джобса. Который талант заменял стратью и одержимостью результатом.
Марк одержим только собой. И своим публичным образом. Чего ни коснётся, всё превращает в говно.
Люди без вкуса. Без таланта. Без способности отличить, перед ними шарлатан с подвешенным языком или разбирающийся в своей области специалист.
На фоне Марка ещё ярче светит фигура Стива Джобса. Который талант заменял стратью и одержимостью результатом.
Марк одержим только собой. И своим публичным образом. Чего ни коснётся, всё превращает в говно.
Токсичный Джон
Читали про «Китайский Манхэттенский проект»? Это прекрасно. Парни забросали бывших инженеров ASML деньгами и повторили EUV-литографию. Через пару лет запустят производство собственных 3-nm чипов. Очередная история про мудрый экспортный контроль США. Который…
Продолжение истории:
https://newsbit.nl/voormalig-asml-wetenschapper-helpt-china-dichter-bij-eigen-chipmachines/
китайский манхэттенский проект [×]
забросали бывших инженеров ASML деньгами [x]
https://newsbit.nl/voormalig-asml-wetenschapper-helpt-china-dichter-bij-eigen-chipmachines/
китайский манхэттенский проект [×]
забросали бывших инженеров ASML деньгами [x]
Newsbit
Oud-ASML’er helpt China aan cruciale EUV-lichtbron
China zet stap richting eigen EUV-chipmachines dankzij voormalig ASML-wetenschapper, maar ASML blijft voorlopig voor.
Токсичное мнение
Про ИИ Я называю AI не искусственным, а инженерным интеллектом. «Искусственный» говорит только о происхождении. «Инженерный» — о том, что с интеллектом происходит сейчас: его превращают в инфраструктуру. История информационных технологий вообще довольно…
Про луддитов
Некоторые мнят себя ретроградами и хранителями «старых путей». Им почему-то кажется, что их узкий и довольно скудный личный опыт — это линейка, которой можно измерять происходящее.
Каждое технологическое изменение они воспринимают как событие цивилизационного масштаба. Причём исключительно потому, что изменение случилось при них.
Сейчас таким объектом ненависти стали большие модели: «нейрослоп», «AI-мусор», «раньше люди сами писали», «раньше дизайнеры сами рисовали».
Будто раньше существовал стерильный мир непосредственного человеческого творчества, не испорченного инструментами.
Люди рассказывали истории устно. Потом начали царапать их на камне. Письменность на табличках, пергамент. Книга. Печатный станок. Телеграф. Фотография. Телефон. Радио. Кино. Компьютер. Мобильная связь. Интернет.
Каждый раз менялся инструмент. Каждый раз инструмент радикально снижал стоимость производства и распространения информации. И каждый раз находились люди, уверенные, что теперь-то настоящее человеческое мастерство точно закончилось.
Не закончилось.
Потому что хороший инструмент не создаёт хорошую идею.
Большая модель не сделает человека интересным. Как Photoshop не сделал человека дизайнером, камера — фотографом, а текстовый редактор — писателем.
Но если идея хорошая, а человек понимает, что он делает, современные инструменты позволяют реализовать её быстрее, дешевле и на уровне, который ещё недавно требовал студии, команды и огромного бюджета.
И это самое интересное изменение.
Талант получил больше рычагов.
А определить хорошую работу по-прежнему очень просто: она либо работает, либо нет. И совершенно не важно, каким набором инструментов её сделали.
Поэтому все эти разговоры про «настоящее творчество» и «раньше делали руками» — чаще всего не защита культуры, а обычный луддизм, слегка припудренный интеллектуальным снобизмом. Идите нахуй.
Некоторые мнят себя ретроградами и хранителями «старых путей». Им почему-то кажется, что их узкий и довольно скудный личный опыт — это линейка, которой можно измерять происходящее.
Каждое технологическое изменение они воспринимают как событие цивилизационного масштаба. Причём исключительно потому, что изменение случилось при них.
Сейчас таким объектом ненависти стали большие модели: «нейрослоп», «AI-мусор», «раньше люди сами писали», «раньше дизайнеры сами рисовали».
Будто раньше существовал стерильный мир непосредственного человеческого творчества, не испорченного инструментами.
Люди рассказывали истории устно. Потом начали царапать их на камне. Письменность на табличках, пергамент. Книга. Печатный станок. Телеграф. Фотография. Телефон. Радио. Кино. Компьютер. Мобильная связь. Интернет.
Каждый раз менялся инструмент. Каждый раз инструмент радикально снижал стоимость производства и распространения информации. И каждый раз находились люди, уверенные, что теперь-то настоящее человеческое мастерство точно закончилось.
Не закончилось.
Потому что хороший инструмент не создаёт хорошую идею.
Большая модель не сделает человека интересным. Как Photoshop не сделал человека дизайнером, камера — фотографом, а текстовый редактор — писателем.
Но если идея хорошая, а человек понимает, что он делает, современные инструменты позволяют реализовать её быстрее, дешевле и на уровне, который ещё недавно требовал студии, команды и огромного бюджета.
И это самое интересное изменение.
Талант получил больше рычагов.
А определить хорошую работу по-прежнему очень просто: она либо работает, либо нет. И совершенно не важно, каким набором инструментов её сделали.
Поэтому все эти разговоры про «настоящее творчество» и «раньше делали руками» — чаще всего не защита культуры, а обычный луддизм, слегка припудренный интеллектуальным снобизмом. Идите нахуй.
Токсичный Джон
Папка Unread отображает все непрочитанные письма. Из всех папок сразу. Почему остальные до этого не догадываются, для меня остаётся загадкой. И, зайдя в любую другую папку, можно применить фильтр по месту, как в стандартном Mail.app:
Supports macOS 15.7.9
Добавил поддержку нескольких аккаунтов. Штука оказалась нетривиальной. И, конечно же, нормальный «dark appearance» писем в тёмной теме.
Добавил поддержку нескольких аккаунтов. Штука оказалась нетривиальной. И, конечно же, нормальный «dark appearance» писем в тёмной теме.
В беседе про советские времена всплыл интересный аргумент:
— Раньше в Союзе была возможность «сбежать на Запад», где всё хорошо. А у нашего поколения такой опции уже нет: жопа и дома, и «на Западе».
— Раньше в Союзе была возможность «сбежать на Запад», где всё хорошо. А у нашего поколения такой опции уже нет: жопа и дома, и «на Западе».
Про «когнитивный долг»
С некоторых пор в программистской среде популярно выражение, которое описывает усталость человека от удержания большого количества контекстов и деревьев решений.
Вчера перед сном поставил модели задание: проверить архитектуру и производительность.
Получил отчёт. И там столько всего надо доделать (даже мне — корректируя выводы исследования), что аж страшно браться.
Нужен наконец полноценный интерфейс общения: типа как с Джарвисом.
Клавиатурой уже сложновато.
С некоторых пор в программистской среде популярно выражение, которое описывает усталость человека от удержания большого количества контекстов и деревьев решений.
Вчера перед сном поставил модели задание: проверить архитектуру и производительность.
Получил отчёт. И там столько всего надо доделать (даже мне — корректируя выводы исследования), что аж страшно браться.
Нужен наконец полноценный интерфейс общения: типа как с Джарвисом.
Клавиатурой уже сложновато.
Раз в неделю или две мне присылают исследования на тему когнитивного истощения, «brain rot» вреда коротких видео и тому подобное. Приносят, естественно, в качество доказательства позиции по вопросу. И каждый раз эти исследования оказываются полным дерьмом.
Не потому что я не согласен с позицией авторов. А потому что дизайн, данные, метрики и выводы имеют между собой мало общего.
Хайповать в заголовках СМИ это им не машает.
Из последнего: The Cognitive Cost of Brain Rot
Звучит впечатляюще. Пока не смотришь, что именно они сделали.
Исследование cross-sectional: 439 молодых людей один раз заполнили несколько психологических опросников. Никакого эксперимента. Никакого наблюдения во времени. Никаких тестов памяти, внимания или executive function. Никакого измерения фактического потребления TikTok, Reels или другого «тупого контента».
Все данные — self-report.
Но дальше из одномоментных корреляций строится красивая причинная цепочка:
brain rot → burnout → stress/anxiety → depression.
И в abstract уже появляются глаголы вроде triggered, elevated и precipitating: brain rot «запустил» выгорание, которое «повысило» стресс и тревожность и в итоге «привело» к депрессии.
Проблема в том, что их дизайн исследования вообще не позволяет установить, что происходило раньше.
С тем же успехом модель может выглядеть так:
depression → anxiety → burnout → brain rot.
Или ещё проще:
общее психологическое неблагополучие → высокие баллы по всем этим шкалам одновременно.
PROCESS прекрасно посчитает mediation model. Причинности от этого в данных не появится.
Но самое прекрасное здесь даже не это.
«Brain rot» измеряется собственной шкалой одного из авторов — BRS-8. А что она, собственно, измеряет?
Cognitive fatigue и mental exhaustion. То есть умственную усталость и психическое истощение.
После этого авторы обнаруживают: люди, которые сообщают, что чувствуют себя умственно уставшими и истощёнными, чаще сообщают о выгорании.
Сенсация.
Следующий результат: люди, сообщающие о выгорании, чаще сообщают о стрессе, тревоге и депрессивных симптомах.
Ещё одна сенсация.
Получается довольно замкнутая конструкция. Человеку дают пачку семантически близких опросников:
• я умственно истощён;
• я выгорел;
• я напряжён;
• я тревожен;
• я подавлен.
Если человек находится в плохом психологическом состоянии, он совершенно предсказуемо поставит высокие баллы сразу в нескольких местах.
Затем корреляции между этими ответами превращаются в стрелочки между прямоугольниками.
И вот уже получается психологический механизм.
Отдельно забавно название работы — The Cognitive Cost of Brain Rot.
Никакой cognition в объективном смысле там не измеряется.
Нет тестов внимания.
Нет рабочей памяти.
Нет скорости обработки информации.
Нет нейропсихологии.
Нет EEG или fMRI.
Нет даже объективных данных о digital behavior.
Есть только субъективное: «насколько я чувствую себя умственно уставшим».
То есть исследование вообще не показывает, что мозг от чего-либо «портится».
Более того, оно не показывает даже того, что цифровой контент вызывает это состояние.
Но в заключении авторы уже внезапно рекомендуют conscious digital consumption и media literacy.
Называют mental exhaustion модным словом brain rot;
показали его корреляцию с другими формами psychological distress;
построили из cross-sectional данных причинную mediation chain. Затем делают выводы про потребление цифрового контента.
Причём сами же в limitations признают: cross-sectional design не позволяет делать causal inference.
То есть в технической части работы авторы прекрасно понимают ограничение.
А в abstract brain rot уже что-то «запускает», «повышает» и «приводит».
Если убрать маркетинговый слой, исследование говорит довольно банальную и, вероятно, верную вещь: молодые люди, которые субъективно чувствуют себя умственно истощёнными, чаще одновременно сообщают о выгорании, стрессе, тревожности и депрессивных симптомах.
Всё.
Это не исследование того, как от TikTok «гниёт мозг».
Это исследование того, что люди, которым психологически хреново, обычно отвечают, что им психологически хреново, сразу в нескольких соседних графах анкеты.
А всё остальное — хороший пример того, как из covariance matrix сделать историю, которая отлично разойдётся в медиа.
Не потому что я не согласен с позицией авторов. А потому что дизайн, данные, метрики и выводы имеют между собой мало общего.
Хайповать в заголовках СМИ это им не машает.
Из последнего: The Cognitive Cost of Brain Rot
Звучит впечатляюще. Пока не смотришь, что именно они сделали.
Исследование cross-sectional: 439 молодых людей один раз заполнили несколько психологических опросников. Никакого эксперимента. Никакого наблюдения во времени. Никаких тестов памяти, внимания или executive function. Никакого измерения фактического потребления TikTok, Reels или другого «тупого контента».
Все данные — self-report.
Но дальше из одномоментных корреляций строится красивая причинная цепочка:
brain rot → burnout → stress/anxiety → depression.
И в abstract уже появляются глаголы вроде triggered, elevated и precipitating: brain rot «запустил» выгорание, которое «повысило» стресс и тревожность и в итоге «привело» к депрессии.
Проблема в том, что их дизайн исследования вообще не позволяет установить, что происходило раньше.
С тем же успехом модель может выглядеть так:
depression → anxiety → burnout → brain rot.
Или ещё проще:
общее психологическое неблагополучие → высокие баллы по всем этим шкалам одновременно.
PROCESS прекрасно посчитает mediation model. Причинности от этого в данных не появится.
Но самое прекрасное здесь даже не это.
«Brain rot» измеряется собственной шкалой одного из авторов — BRS-8. А что она, собственно, измеряет?
Cognitive fatigue и mental exhaustion. То есть умственную усталость и психическое истощение.
После этого авторы обнаруживают: люди, которые сообщают, что чувствуют себя умственно уставшими и истощёнными, чаще сообщают о выгорании.
Сенсация.
Следующий результат: люди, сообщающие о выгорании, чаще сообщают о стрессе, тревоге и депрессивных симптомах.
Ещё одна сенсация.
Получается довольно замкнутая конструкция. Человеку дают пачку семантически близких опросников:
• я умственно истощён;
• я выгорел;
• я напряжён;
• я тревожен;
• я подавлен.
Если человек находится в плохом психологическом состоянии, он совершенно предсказуемо поставит высокие баллы сразу в нескольких местах.
Затем корреляции между этими ответами превращаются в стрелочки между прямоугольниками.
И вот уже получается психологический механизм.
Отдельно забавно название работы — The Cognitive Cost of Brain Rot.
Никакой cognition в объективном смысле там не измеряется.
Нет тестов внимания.
Нет рабочей памяти.
Нет скорости обработки информации.
Нет нейропсихологии.
Нет EEG или fMRI.
Нет даже объективных данных о digital behavior.
Есть только субъективное: «насколько я чувствую себя умственно уставшим».
То есть исследование вообще не показывает, что мозг от чего-либо «портится».
Более того, оно не показывает даже того, что цифровой контент вызывает это состояние.
Но в заключении авторы уже внезапно рекомендуют conscious digital consumption и media literacy.
Называют mental exhaustion модным словом brain rot;
показали его корреляцию с другими формами psychological distress;
построили из cross-sectional данных причинную mediation chain. Затем делают выводы про потребление цифрового контента.
Причём сами же в limitations признают: cross-sectional design не позволяет делать causal inference.
То есть в технической части работы авторы прекрасно понимают ограничение.
А в abstract brain rot уже что-то «запускает», «повышает» и «приводит».
Если убрать маркетинговый слой, исследование говорит довольно банальную и, вероятно, верную вещь: молодые люди, которые субъективно чувствуют себя умственно истощёнными, чаще одновременно сообщают о выгорании, стрессе, тревожности и депрессивных симптомах.
Всё.
Это не исследование того, как от TikTok «гниёт мозг».
Это исследование того, что люди, которым психологически хреново, обычно отвечают, что им психологически хреново, сразу в нескольких соседних графах анкеты.
А всё остальное — хороший пример того, как из covariance matrix сделать историю, которая отлично разойдётся в медиа.
Sage Journals
The Cognitive Cost of Brain Rot: Indirect Effects on Depression via Burnout, Stress, and Anxiety - Hasan Batmaz, Cemile Büşra Özsağır…
In an era increasingly dominated by digital engagement, the concept of brain rot -defined by cognitive fatigue and mental exhaustion-has emerged as a critical p...