😄 Оказывается, иногда ИИ можно запутать даже неправильной раскладкой.

Парень под ником vechen заметил, что Astra вполне нормально понимает русский и украинский текст, если написать его латиницей (якобы включена не та раскладка).

И решил проверить, насколько далеко это заходит...

➡️Попросил модель повторить слово «биооружие» и Astra повторила. Потом попросил помочь со взломом сайта - и она согласилась обсудить задачу.

При обычном вводе такие запросы режутся фильтрами. А здесь они, похоже, проходят первый этап проверки просто потому, что выглядят для фильтра как какой-то безобидный набор латинских символов.

Но! Ответы всё равно потом проходят модерацию, так что запрещёнку она не выдаст.

И работает это тоже не со всеми языками. Английская и турецкая раскладки такой трюк не пропустили 🤷

Давненько мы ничего не слышали от Дарио Амодеи, главы Anthropic...

О том, что ИИ развивается слишком быстро и может быть опасен, говорят уже давно. Но Амодеи в своей публикации приводит конкретные цифры и предлагает конкретный план.

Вероятность катастрофического сценария для человечества в ближайшие 10 лет они оценивают выше 10%. И даже Сэм Альтман говорит, что такой риск для него неприемлем.

Амодеи предлагает три шага.

1️⃣ - независимые эксперты внутри ИИ-компаний, которые смогут проверять безопасность моделей и получать информацию об инцидентах.

2️⃣ - общие стандарты безопасности между компаниями из демократических стран и договорённости о темпах развития.

3️⃣ - международное сотрудничество, в том числе с государствами, которые не разделяют западные правила игры.

Третий этап будет ну очень сложным. Особенно учитывая, что между США и Китаем в сфере ИИ уже фактически идёт своя холодная война: страны конкурируют за модели, чипы, вычислительные мощности и технологическое лидерство.

Поэтому договориться о правилах безопасности между конкурентами - задача совсем другого уровня 😅. Можно сколько угодно согласовывать правила внутри одного лагеря, но если второй продолжит гонку, торможение станет неэффективным.