Во Флориде женщина использовала Claude как личный дневник и рассказала ему о планах устроить стрельбу в офисе шерифа.

После нескольких подобных записей система безопасности Anthropic пометила переписку как потенциальную угрозу, информацию передали на проверку, а затем - правоохранителям.

➡️ В итоге женщину задержали и обвинили в письменной угрозе насилием.

Вывод простой: если используете ИИ как «личный дневник», стоит помнить, что это всё-таки онлайн-сервис, а не тетрадка под матрасом 🤪

Впервые в истории компании может стать дешевле нанять человека, чем бесконечно кормить ИИ.

Джордж Сивулка, основатель Hebbia, обращает внимание на неожиданный эффект: ИИ должен был заменить человеческий труд, но управление целой армией AI-агентов само по себе становится отдельной статьёй расходов 💸

Агенты могут бесконечно перепроверять результаты, перезапускать задачи и исправлять собственные ошибки. Каждый такой цикл расходует токены и иногда компания платит за процесс гораздо больше, чем получает от результата. Люди в среднем дешевле токенов, но хорошие токены дешевле на масштабе 🧐

И вот здесь начинается самое интересное. Значительная часть корпоративного потребления ИИ приходится на агентов и скиллы, которыми сотрудники пользуются самостоятельно, а зачастую сами их и создают.

Насколько оптимально сотрудники тратят токены? Так ли хороши созданные ими агенты? Можно ли вообще объективно измерить эффективность такого цифрового сотрудника?

Возможно, со временем компаниям понадобятся не только AI-агенты, но и цифровые руководители, которые будут следить за их работой, оценивать результаты и находить бессмысленные расходы 🤔

Глава Microsoft Сатья Наделла выступил за создание «аварийного тормоза» для ИИ-моделей. Сам по себе этот призыв не нов. Я бы даже сказал, уже даже мы все косточки ему перетерли 😅 Но Наделла предлагает переосмыслить привычные подходы.

«Самой заслуживающей доверия системой сверхинтеллекта будет не та, в которой используется модель, которой мы доверяем больше всего, а та, которая позволяет нам доверять модели как можно меньше».

Логика в том, чтобы не полагаться исключительно на надёжность самой модели. Даже если ИИ ошибается или ведёт себя неожиданно, система вокруг него должна оставаться управляемой.

Для этого Наделла предлагает разделять три компонента:
✅ саму модель, которая принимает решения;
✅ управляющую оболочку, которая координирует её работу;
✅ набор действий и инструментов, к которым у неё есть доступ.

Права доступа, ограничения и возможность остановить агента должны находиться за пределами самой модели. То есть ИИ не должен единолично определять границы собственных полномочий.

Это особенно актуально сейчас, когда ИИ-агенты переходят от генерации ответов к самостоятельным действиям: работают с файлами, обращаются к базам данных, запускают код и взаимодействуют с внешними сервисами.

Хотя мне интересно, сколько людей после пятого запроса агента на подтверждение просто нажмут «Да, да, делай уже, только отстань» 😅 И не окажется ли человеческое желание поскорее убрать все эти предупреждения слабым местом даже самой продуманной системы безопасности?

Майкл Смит из Северной Каролины генерировал треки с помощью ИИ, создавал тысячи фейковых аккаунтов на стриминговых платформах и заставлял их круглосуточно слушать его музыку. В отдельные периоды одновременно работало до 10 тысяч аккаунтов 🎧

Чтобы не вызывать подозрений прослушиваниями одних и тех же песен, он массово генерировал новые треки. Для аккаунтов использовал поддельные почты и банковские карты.

Схема принесла ему больше $8 млн роялти - денег, которые распределяются между музыкантами за прослушивания.

😬 Теперь за это придётся ответить: Смит получил 18 месяцев тюрьмы и два года надзора. Кроме того, у него конфискуют всю сумму.

По данным Минюста США, это первое уголовное дело о мошенничестве со стриминговыми роялти с использованием ИИ.

А спалился он, по сути, на масштабах. Организация, распределяющая выплаты, заинтересовалась, как один человек успевает производить столько музыки?)

И, кажется, дело тут не только в электричестве 💡

В Минцифры подтвердили, что такой вариант действительно прорабатывают, хотя конкретных решений пока нет.

С одной стороны, всё логично: внутри страны не хватает вычислительных мощностей, а современные ИИ-серверы потребляют огромное количество энергии. Например, в Москве свободно около 50 МВт, при этом одна ИИ-стойка может потреблять до 40 кВт.

Но я бы обратил внимание ещё на один момент. В нынешних условиях вопрос размещения дата-центров - это не только про электричество и стоимость строительства, но и про безопасность. Такие объекты становятся критической инфраструктурой, и риски для них уже сложно рассматривать отдельно от общей ситуации.

▶️ Беларусь предлагает площадки и говорит о профиците электроэнергии.
▶️ Казахстан развивает проект «Долина ЦОДов» в Экибастузе: до 300 МВт на первом этапе с перспективой роста до 1 ГВт. Инвестиции оцениваются примерно в $10 млрд.

В общем, получается, что для развития ИИ нужны не только модели и чипы. Нужны ещё огромные объёмы электричества, подходящие площадки и инфраструктура, которую можно безопасно эксплуатировать.

Таковы результаты исследования Visier: компания опросила 1 000 сотрудников в США, работающих полный день.

Кажется, вокруг нейросетей постепенно формируется новая корпоративная игра: нужно не только хорошо работать, но и показывать, что ты активно используешь ИИ 🙃

▶️ 45% опрошенных чувствуют, что от них ждут работы с нейросетями, но сами пока не уверены, как применять их с реальной пользой.
▶️ При этом 54% говорят, что за последние два года ИИ уже заметно повлиял на их работу или карьеру.
▶️ С обучением всё не очень: 79% не чувствуют, что получают достаточно поддержки, а лишь 28% считают, что руководство действительно понимает, как сотрудники используют ИИ.

Забавный парадокс. Компании хотят, чтобы сотрудники внедряли ИИ, но не всегда дают им время, обучение и понятные критерии, по которым можно оценить результат. Зато сам факт использования нейросети уже становится сигналом, что ты не отстаёшь от прогресса.

Сэм Альтман считает, что миру стоит смириться с некоторыми негативными последствиями ИИ ради той пользы, которую он принесёт.

Забавно наблюдать, как закрытая коммерческая корпорация предлагает всему миру потерпеть неудобства ради своего светлого будущего. Особенно когда сама эта корпорация зарабатывает на развитии технологии и заинтересована в том, чтобы её как можно меньше ограничивали 🙃

Конечно, я не думаю, что ИИ нужно просто взять и остановить. Польза от него уже вполне реальна, а попытка затормозить разработку в одной стране, пока остальные продолжают гонку, вряд ли сработает.

Но есть нюанс: кто должен решать, каким вредом можно пожертвовать ради будущей пользы? Сами компании? Государство? Или общество, которому в итоге и придётся разбираться с последствиями?

Потому что фраза «польза на порядки превышает вред» звучит скорее как ставка, чем доказанный факт. И почему-то право делать эту ставку от имени всех остальных берут на себя компании, у которых есть вполне конкретные коммерческие интересы...

Недавно наткнулся на проект, который считаю крайне важным.

🚀 Стартап Marble выложил в открытый доступ граф — 1591 микро-тем дошкольного и начального школьного образования, от «правил построения предложений» до «видимой яркости звёзд», и 3225 связей между ними: что нужно освоить раньше, чтобы разобраться в следующем. Всё привязано к учебным стандартам США, Британии, Австралии. Это воспроизводимая, машинно-читаемая структура, которую можно проверять, оспаривать, достраивать.

Индустрия последние годы обещает ИИ-тьюторов, которые решат прямо все проблемы образования. Мне не до конца понятно, на чём эти обещания основываются. Какая модель знаний внутри системы? Как она понимает, что ребёнок на самом деле освоил, а что просто угадал? Как она соотносится с образовательными стандартами? Без ответа на эти вопросы «умный репетитор» — это красивый скам, фантик без содержания.

Marble показали, с чего нужно начинать такую работу: с прозрачной, проверяемой карты того, как устроено детское обучение, выложенной в открытый доступ.

Считаю, что аналогичную работу нужно запустить и у нас — свой открытый граф по ФГОС и государственным учебникам, честный и проверяемый, построенный с участием педагогов.

Репозиторий Marble: github.com/withmarbleapp/os-taxonomy

PS. Граф собирала агентская сеть, и потом его проверяли их методисты.

🟥 Посмотрел обсуждение протестов французских школьников с участием уважаемого Димы Зицера.

Основную тему беседы комментировать не буду, тем более что Дмитрий, по традиции, говорил большую часть времени о другом. Расскажу, с чего меня закоротило.
✅ Первое: холодное с квадратным
Дима, ища причины протестов, выдвинул тезис: мы, взрослые, дискриминируем детей, фактически угнетаем их и лишаем свободы. В пример он приводил всё подряд, от евреев до людей с другим цветом кожи, особенно упирая на права женщин. Мысль простая: сто лет назад мы считали, что женщина не может самостоятельно принимать решения, потому что существо чувственное, выпусти её из дома, и она сразу отдастся первому встречному. То же самое мы делаем сейчас с детьми. Причём делаем это подло: одной рукой дискриминируем, другой гладим по голове и называем прекрасными ангелами.
С проблематикой дискриминации спорить сложно, и за темноту, в которой мы жили сто лет назад, стоит себя посечь. Но сравнение женщины, угнетаемых рабов и ребёнка вообще не работает. Я о нейробиологии. Мы всё ещё знаем о развитии мозга крайне мало, но уже кое-что знаем, в отличие от XIX и начала XX века. Карта отделов мозга, возрастные особенности развития — это не всеобщее заблуждение, а научно доказанные данные. Про формирование префронтальной коры душнить не буду (кому интересно, добро пожаловать в комментарии), скажу коротко: ребёнок не равен взрослому. И речь не о навыках, а о физиологии развития. Эта разница наблюдаема, универсальна и проходит с возрастом. Поэтому сравнение нерелевантно.
Вопрос «можно ли, не ограничивая свободу, отдать ребёнку жизненно важные решения» для меня не стоит. А вот вопрос «как выстроить в этом процессе уважительные отношения с маленьким человеком и личностью» важный. Мы не решили его глобально, каждый решает как может, и, по моим ощущениям, решаем не очень хорошо.
✅ Второе: кто платит
Дмитрий со свойственной ему страстью заявил, что мы построили ущербную систему: заказчик образовательного продукта не ребёнок, поэтому ему и не интересно учиться. Ребёнок должен обладать субъектностью и вместе с законным представителем заказывать музыку, раз он за неё платит.
Правильного ответа на этот вопрос у меня нет. Но я точно знаю, что для субъектности нужны компетенции. Ни родитель, ни тем более ученик не обладают компетенциями в области образования. Как заказывать то, в чём ничего не понимаешь? Ты даже не можешь сформулировать нужный результат через 11 лет, это за горизонтом планирования. Можешь описать желаемые ощущения и выдать общие слова. Это, простите, не субъектность.
Можно возразить: мы же лечимся, не разбираясь в медицине, и никто не лишает нас субъектности. Но у лечения результат почти объективен: болен или здоров. А что считать результатом образования? Образован ли? Научен ли тому, что нужно? Счастлив ли при этом? Всё это очень субъективно. Заказывать то, что нельзя ни точно сформулировать, ни проверить, ещё сложнее.
🍩Поэтому просто передать заказ ребёнку или родителю не решение. Нужно что-то новое, что объединит и примирит все стороны.