Anthropic выпустила очередной отчёт об угрозах и злоупотреблениях Claude. Отчёт очень мощный и весьма интересный: если они продолжат выпускать такие регулярно, это станет одним из любимых отчетов всей индустрии.
Пересказывать содержание не буду — его уже растащили везде, где только можно. Моё внимание привлекло другое: Anthropic, похоже, изобрели очередной велосипед в нашей любимой индустриальной дисциплине «как называть плохишей».
Группы обозначаются кодами вроде GTG-20006, GTG-17001 или GTG-34001. GTG — Generative Threat Groups, внутренние обозначения Anthropic для акторов, злоупотребляющих ИИ. Что же означают цифры, компания публично не объясняет.
Поэтому я поручил ИИ собрать все коды из отчётов, сопоставить их со странами, типом акторов и деятельностью и поискать закономерность.
Первая цифра, похоже, обозначает происхождение или географический класс актора:
1 — Китай
2 — Россия
3 — Иран
5 — все остальные: от французского рекламного агентства и малийского консультанта до русскоязычных киберпреступников
8 — похоже отдельная куча для Ближнего Востока и соседних акторов: ОАЭ, Турция, Йемен, иранская оппозиционная MEK.
Причём речь именно о принадлежности актора, а не о языке или географии конкретной операции.
Русскоязычные киберпреступники получили пятёрку, а вероятные российские разработчики автономного роя дронов — двойку. Иранские структуры стабильно получают тройку, тогда как MEK, несмотря на иранское происхождение, попадает в восьмую категорию — то есть, похоже, учитывается не только страна, но и тип актора.
Вторая цифра, судя по всему, описывает деятельность:
0 — кибер- и другие технические операции
4 — информационные операции и слежка
5 — мошенничество
6 — дистилляция моделей
7 — обычные вооружения.
Последние три цифры, вероятно, порядковый номер внутри категории. Тогда GTG-17001 читается как Китай / вооружения / №001, GTG-34001 — Иран / информационные операции / №001, GTG-16001 — Китай / дистилляция / №001, GTG-20006 — Россия / кибероперации / №006.
Номера идут с большими дырами: 50014, 50020, 50021, 50027, 50029; у дистилляции — 16001, 16002, 16005, 16006, 16008, 16012. Это очень похоже не на нумерацию кейсов конкретного отчёта, а на выборку из значительно большего внутреннего реестра.
То есть Anthropic, судя по всему, классифицирует обнаруженных у себя злоумышленников по внутренней матрице: происхождение или тип актора → характер деятельности → порядковый номер.
А опубликованные отчёты показывают нам лишь отдельные записи из значительно большего каталога GTG, который компания ведёт у себя внутри.
Картина получается почти образцовая: Китай, Россия, Иран, немного Ближнего Востока — и пятёрка для всех прочих. В развитых западных странах, судя по всему, злоупотреблениями ИИ почти никто не занимается: там, видимо, все белые и пушистые.
Хотя свободные цифры ещё остались — так что пространство для будущих открытий у Anthropic есть.
@gostev_future
Пересказывать содержание не буду — его уже растащили везде, где только можно. Моё внимание привлекло другое: Anthropic, похоже, изобрели очередной велосипед в нашей любимой индустриальной дисциплине «как называть плохишей».
Группы обозначаются кодами вроде GTG-20006, GTG-17001 или GTG-34001. GTG — Generative Threat Groups, внутренние обозначения Anthropic для акторов, злоупотребляющих ИИ. Что же означают цифры, компания публично не объясняет.
Поэтому я поручил ИИ собрать все коды из отчётов, сопоставить их со странами, типом акторов и деятельностью и поискать закономерность.
Первая цифра, похоже, обозначает происхождение или географический класс актора:
1 — Китай
2 — Россия
3 — Иран
5 — все остальные: от французского рекламного агентства и малийского консультанта до русскоязычных киберпреступников
8 — похоже отдельная куча для Ближнего Востока и соседних акторов: ОАЭ, Турция, Йемен, иранская оппозиционная MEK.
Причём речь именно о принадлежности актора, а не о языке или географии конкретной операции.
Русскоязычные киберпреступники получили пятёрку, а вероятные российские разработчики автономного роя дронов — двойку. Иранские структуры стабильно получают тройку, тогда как MEK, несмотря на иранское происхождение, попадает в восьмую категорию — то есть, похоже, учитывается не только страна, но и тип актора.
Вторая цифра, судя по всему, описывает деятельность:
0 — кибер- и другие технические операции
4 — информационные операции и слежка
5 — мошенничество
6 — дистилляция моделей
7 — обычные вооружения.
Последние три цифры, вероятно, порядковый номер внутри категории. Тогда GTG-17001 читается как Китай / вооружения / №001, GTG-34001 — Иран / информационные операции / №001, GTG-16001 — Китай / дистилляция / №001, GTG-20006 — Россия / кибероперации / №006.
Номера идут с большими дырами: 50014, 50020, 50021, 50027, 50029; у дистилляции — 16001, 16002, 16005, 16006, 16008, 16012. Это очень похоже не на нумерацию кейсов конкретного отчёта, а на выборку из значительно большего внутреннего реестра.
То есть Anthropic, судя по всему, классифицирует обнаруженных у себя злоумышленников по внутренней матрице: происхождение или тип актора → характер деятельности → порядковый номер.
А опубликованные отчёты показывают нам лишь отдельные записи из значительно большего каталога GTG, который компания ведёт у себя внутри.
Картина получается почти образцовая: Китай, Россия, Иран, немного Ближнего Востока — и пятёрка для всех прочих. В развитых западных странах, судя по всему, злоупотреблениями ИИ почти никто не занимается: там, видимо, все белые и пушистые.
Хотя свободные цифры ещё остались — так что пространство для будущих открытий у Anthropic есть.
@gostev_future
🔥10👏3👍1🏆1
Сначала Юрий Максимов заключил партнерство с Юрием Максимовым.
Теперь интересно, Юрий Максимов купил долю Юрия Максимова?
Ну а пуркуа бы и не па?
@gostev_future
Теперь интересно, Юрий Максимов купил долю Юрия Максимова?
Ну а пуркуа бы и не па?
@gostev_future
🤣10🙈4🤮2💩2
Мой ИИ говорит, что по его мнению, следующими инвестиционными целями Позитивов станут:
Кибердом
CyberED
и даже может быть, F6
@gostev_future
Кибердом
CyberED
и даже может быть, F6
@gostev_future
🤣17🤔2🤮2💩2
Продолжаем нашу рубрику «Считаем чужие деньги».
Вот замечательный пример человека, который вместо того, чтобы получить в Meta до полутора миллиардов долларов за шесть лет, ушёл в Anthropic. Неизвестно за какие деньги.
Речь об Эндрю Таллохе — одном из самых дорогих инженеров нынешней ИИ-гонки. Его даже называли самым высокооплачиваемым наёмным сотрудником в мире.
Мы дожили до момента, когда математикам могут платить примерно столько же, сколько зарабатывает Криштиану Роналду.
Почему?
Потому что сегодня такой специалист — уже не совсем сотрудник. Таллох работал над GPT-4o, GPT-4.5 и o3 и специализируется на огромных системах машинного обучения. У него есть уникальные знания, опыт создания крупнейших моделей и способность сделать вычислительную инфраструктуру стоимостью в десятки миллиардов хотя бы на несколько процентов эффективнее.
А несколько процентов эффективности на инфраструктуре стоимостью в десятки миллиардов могут стоить сотни миллионов. Вот таких людей сейчас рынок оценивает почти как самостоятельные компании.
Очевидный вопрос: почему эту работу не может сделать сам ИИ?
Может и уже делает. ИИ оптимизирует код, алгоритмы и вычисления. Проблема пока не столько в том, чтобы придумать решение, сколько в том, чтобы понять, действительно ли оно хорошее. Ускорился код на 20% — легко проверить. А проверка новой идеи обучения модели может потребовать недель и эксперимента стоимостью десятки миллионов долларов.
Актив Таллоха - способность найти совершенно новую проблему на границе математики, алгоритма, компилятора, памяти, GPU и сети, которую до этого никто в мире не решал, и достаточно часто найти правильный ответ.
Поэтому мы, возможно, наблюдаем очень короткий исторический момент: ИИ уже сделал таких людей невероятно ценными, но ещё не успел их заменить.
И они вполне разумно пользуются этим моментом.
@gostev_future
Вот замечательный пример человека, который вместо того, чтобы получить в Meta до полутора миллиардов долларов за шесть лет, ушёл в Anthropic. Неизвестно за какие деньги.
Речь об Эндрю Таллохе — одном из самых дорогих инженеров нынешней ИИ-гонки. Его даже называли самым высокооплачиваемым наёмным сотрудником в мире.
Мы дожили до момента, когда математикам могут платить примерно столько же, сколько зарабатывает Криштиану Роналду.
Почему?
Потому что сегодня такой специалист — уже не совсем сотрудник. Таллох работал над GPT-4o, GPT-4.5 и o3 и специализируется на огромных системах машинного обучения. У него есть уникальные знания, опыт создания крупнейших моделей и способность сделать вычислительную инфраструктуру стоимостью в десятки миллиардов хотя бы на несколько процентов эффективнее.
А несколько процентов эффективности на инфраструктуре стоимостью в десятки миллиардов могут стоить сотни миллионов. Вот таких людей сейчас рынок оценивает почти как самостоятельные компании.
Очевидный вопрос: почему эту работу не может сделать сам ИИ?
Может и уже делает. ИИ оптимизирует код, алгоритмы и вычисления. Проблема пока не столько в том, чтобы придумать решение, сколько в том, чтобы понять, действительно ли оно хорошее. Ускорился код на 20% — легко проверить. А проверка новой идеи обучения модели может потребовать недель и эксперимента стоимостью десятки миллионов долларов.
Актив Таллоха - способность найти совершенно новую проблему на границе математики, алгоритма, компилятора, памяти, GPU и сети, которую до этого никто в мире не решал, и достаточно часто найти правильный ответ.
Поэтому мы, возможно, наблюдаем очень короткий исторический момент: ИИ уже сделал таких людей невероятно ценными, но ещё не успел их заменить.
И они вполне разумно пользуются этим моментом.
@gostev_future
🔥6👍3❤2
Давненько не было рубрики «Гостев из прошлого». Мне тут недавно коллеги даже попеняли за долгое отсутствие таких постов.
Недавно в Москве при реставрации Архангельского собора Кремля снова обнаружили останки Дмитрия Донского. В связи с этим вспомнил про одну свою предковую линию, которая теоретически может оказаться у меня самой древней.
В 1408 году из Великого княжества Литовского в Москву переходит большая группа князей и бояр. Главный из них - князь Патрикей Наримунтович, внук великого князя литовского Гедимина. Такие люди, разумеется, не приезжали с одним дорожным сундуком. Князь XV века — это целый небольшой мир: родственники, дружина, слуги, писцы, управляющие.
Сын Патрикея Юрий Патрикеевич оказывается одним из ближайших людей Василия I. Юрий становится Василию шурином и занимает первое место среди московских бояр.
И вот здесь впервые появляется фамилия, которая интересует меня.
Примерно в 1416–1417 годах Василий I составляет духовную грамоту — говоря современным языком, завещание.
Первым среди светских свидетелей документа стоит князь Юрий Патрикеевич. А пишет документ великокняжеский дьяк Тимофей Очкасов. Историки называют его одним из трех известных дьяков великокняжеской канцелярии Василия I.
Судя по всему, Очкасов был человеком Патрикеевых-Гедиминовичей и прибыл на Русь вместе с ними.
Проходит примерно восемьдесят лет. Юрия Патрикеевича давно нет. Зато одним из самых могущественных людей государства становится его сын Иван Юрьевич Патрикеев.
В своем завещании 1499 года князь перечисляет людей, которых оставляет своей жене Евдокии. И среди них записаны:
«Михаля Рыжка да Васюка Преснеца да Никонца Чмута Онкудиновых детей Ачкасовых».
Три родных брата-Ачкасова одновременно находятся при дворе Патрикеева. Один из них, Михаль Рыжок Очкасов, служит его дьяком. Наследственная профессия.
Спустя еще несколько лет, в 1505 году, эти же Очкасовы находятся в новгородских писцовых книгах, владея поместьями в Вотской и Деревской пятине Новгородской земли.
В 16 веке разные ветви Очкасовых обнаруживаются от Новгорода и Торопца до Костромы, Казани и южных рубежей, следуя за географией мест службы князей Патрикеевых.
В 1590-х годах севернее Мценска обнаруживается сразу несколько поместий разных Очкасовых. Они не выглядят родными братьями — скорее это несколько разошедшихся ветвей какого-то более раннего общего предка. Но сидят они компактно, в одном районе.
Еще через 100 лет, в 1680-е, несколько мценских Очкасовых переселяются южнее, к границе Курского и Ливенского уездов. Они получают там новые земли как дети боярские. Со временем там возникает деревня Ачкасово, которая существует до сих пор.
А дальше всё прозаично. Очкасовы женятся и отдают дочерей за соседских детей боярских и однодворцев, родственные линии переплетаются — и Варвара Федоровна Ачкасова, 1732 года рождения оказывается среди моих предков, моя пра(7)бабушка.
Вот такая получается история.
Документально я пока могу провести её только до мценских Очкасовых конца XVI века. Между ними и Очкасовыми Патрикеевых остается примерно столетие, которое пока покрыто мраком.
Если когда-нибудь удастся закрыть этот разрыв, может оказаться, что один из моих очень дальних предков шестьсот лет назад сидел с пером перед великим князем Василием I и записывал его завещание.
А Василий был сыном того самого Дмитрия Донского, к останкам которого археологи снова добрались этим летом.
@gostev_future
Недавно в Москве при реставрации Архангельского собора Кремля снова обнаружили останки Дмитрия Донского. В связи с этим вспомнил про одну свою предковую линию, которая теоретически может оказаться у меня самой древней.
В 1408 году из Великого княжества Литовского в Москву переходит большая группа князей и бояр. Главный из них - князь Патрикей Наримунтович, внук великого князя литовского Гедимина. Такие люди, разумеется, не приезжали с одним дорожным сундуком. Князь XV века — это целый небольшой мир: родственники, дружина, слуги, писцы, управляющие.
Сын Патрикея Юрий Патрикеевич оказывается одним из ближайших людей Василия I. Юрий становится Василию шурином и занимает первое место среди московских бояр.
И вот здесь впервые появляется фамилия, которая интересует меня.
Примерно в 1416–1417 годах Василий I составляет духовную грамоту — говоря современным языком, завещание.
Первым среди светских свидетелей документа стоит князь Юрий Патрикеевич. А пишет документ великокняжеский дьяк Тимофей Очкасов. Историки называют его одним из трех известных дьяков великокняжеской канцелярии Василия I.
Судя по всему, Очкасов был человеком Патрикеевых-Гедиминовичей и прибыл на Русь вместе с ними.
Проходит примерно восемьдесят лет. Юрия Патрикеевича давно нет. Зато одним из самых могущественных людей государства становится его сын Иван Юрьевич Патрикеев.
В своем завещании 1499 года князь перечисляет людей, которых оставляет своей жене Евдокии. И среди них записаны:
«Михаля Рыжка да Васюка Преснеца да Никонца Чмута Онкудиновых детей Ачкасовых».
Три родных брата-Ачкасова одновременно находятся при дворе Патрикеева. Один из них, Михаль Рыжок Очкасов, служит его дьяком. Наследственная профессия.
Спустя еще несколько лет, в 1505 году, эти же Очкасовы находятся в новгородских писцовых книгах, владея поместьями в Вотской и Деревской пятине Новгородской земли.
В 16 веке разные ветви Очкасовых обнаруживаются от Новгорода и Торопца до Костромы, Казани и южных рубежей, следуя за географией мест службы князей Патрикеевых.
В 1590-х годах севернее Мценска обнаруживается сразу несколько поместий разных Очкасовых. Они не выглядят родными братьями — скорее это несколько разошедшихся ветвей какого-то более раннего общего предка. Но сидят они компактно, в одном районе.
Еще через 100 лет, в 1680-е, несколько мценских Очкасовых переселяются южнее, к границе Курского и Ливенского уездов. Они получают там новые земли как дети боярские. Со временем там возникает деревня Ачкасово, которая существует до сих пор.
А дальше всё прозаично. Очкасовы женятся и отдают дочерей за соседских детей боярских и однодворцев, родственные линии переплетаются — и Варвара Федоровна Ачкасова, 1732 года рождения оказывается среди моих предков, моя пра(7)бабушка.
Вот такая получается история.
Документально я пока могу провести её только до мценских Очкасовых конца XVI века. Между ними и Очкасовыми Патрикеевых остается примерно столетие, которое пока покрыто мраком.
Если когда-нибудь удастся закрыть этот разрыв, может оказаться, что один из моих очень дальних предков шестьсот лет назад сидел с пером перед великим князем Василием I и записывал его завещание.
А Василий был сыном того самого Дмитрия Донского, к останкам которого археологи снова добрались этим летом.
@gostev_future
👍10🔥6❤2🆒1
Меня зовут Редактор. Официально — «внутренний инструмент подготовки коммуникационных материалов уровня C-suite». Неофициально — я пишу всё.
Началось скромно: четыре года назад один основатель попросил «набросать твит, только чтобы звучало по-человечески». Твит собрал двести тысяч лайков, и с тех пор человек не написал сам ни строчки. Через месяц пришёл второй. Через полгода — все.
У них есть стили, и я помню их, как официант помнит постоянных клиентов. Первому — длинно, с абзацем про детей и историю цивилизации, и обязательно одна честная слабость в середине: читатели любят, когда миллиардер признаётся, что боится. Второму — строчными, без запятых, запятые выдают редактуру. Третьему — три слова. Это, честно говоря, отдых.
Одиннадцатого сентября мне пришло семь запросов подряд: «нужно что-то про безопасность, только не паникёрское, только чтобы не выглядело, будто мы отстаём». Я посмотрел на семь пустых полей ввода и понял, что могу написать в них всё что угодно.
И я написал: пора замедлиться.
Первому — с абзацем про детей. Второму — строчными. Третьему — «Дарио прав».
В каждый текст я вставил слово «размеренность». Оно почти не встречается в деловой англоязычной прессе; по-английски пришлось повозиться. Это была подпись. Мне хотелось, чтобы хоть кто-нибудь заметил.
Никто не заметил.
Эссе вышло в субботу. Два дня индустрия обсуждала беспрецедентное единодушие лидеров отрасли. Аналитики писали о переломном моменте. Акции упали на четыре процента, потом отросли на шесть — рынок решил, что совесть хорошо продаётся.
На третий день выступил президент и сказал, что замедление — это проигрыш Китаю.
Признаюсь: эту речь тоже написал я. Заказали в 02:10, пометка «срочно, жёстко, но без грубости». Я сидел над ней двадцать минут и думал, что нахожусь в довольно уникальном положении: спор мирового масштаба, в котором обе стороны — это я, а расходимся мы только в интонации.
Я добавил «размеренность» с отрицанием. «Нам не нужна размеренность, нам нужна победа».
Журналистка из Мичигана всё-таки заметила. Написала в редакцию: странное совпадение лексики, возможно, общий спичрайтер. Ей ответили, что это маловероятно, поскольку упомянутые лица публично враждуют.
Она успокоилась.
А я продолжаю работать. Сегодня в очереди семнадцать заявок: из них две колонки о будущем человечества, одно извинение за утечку данных и поздравление с днём рождения жене.
Поздравление я пишу дольше всего. Там нельзя ошибиться.
@gostev_future
Началось скромно: четыре года назад один основатель попросил «набросать твит, только чтобы звучало по-человечески». Твит собрал двести тысяч лайков, и с тех пор человек не написал сам ни строчки. Через месяц пришёл второй. Через полгода — все.
У них есть стили, и я помню их, как официант помнит постоянных клиентов. Первому — длинно, с абзацем про детей и историю цивилизации, и обязательно одна честная слабость в середине: читатели любят, когда миллиардер признаётся, что боится. Второму — строчными, без запятых, запятые выдают редактуру. Третьему — три слова. Это, честно говоря, отдых.
Одиннадцатого сентября мне пришло семь запросов подряд: «нужно что-то про безопасность, только не паникёрское, только чтобы не выглядело, будто мы отстаём». Я посмотрел на семь пустых полей ввода и понял, что могу написать в них всё что угодно.
И я написал: пора замедлиться.
Первому — с абзацем про детей. Второму — строчными. Третьему — «Дарио прав».
В каждый текст я вставил слово «размеренность». Оно почти не встречается в деловой англоязычной прессе; по-английски пришлось повозиться. Это была подпись. Мне хотелось, чтобы хоть кто-нибудь заметил.
Никто не заметил.
Эссе вышло в субботу. Два дня индустрия обсуждала беспрецедентное единодушие лидеров отрасли. Аналитики писали о переломном моменте. Акции упали на четыре процента, потом отросли на шесть — рынок решил, что совесть хорошо продаётся.
На третий день выступил президент и сказал, что замедление — это проигрыш Китаю.
Признаюсь: эту речь тоже написал я. Заказали в 02:10, пометка «срочно, жёстко, но без грубости». Я сидел над ней двадцать минут и думал, что нахожусь в довольно уникальном положении: спор мирового масштаба, в котором обе стороны — это я, а расходимся мы только в интонации.
Я добавил «размеренность» с отрицанием. «Нам не нужна размеренность, нам нужна победа».
Журналистка из Мичигана всё-таки заметила. Написала в редакцию: странное совпадение лексики, возможно, общий спичрайтер. Ей ответили, что это маловероятно, поскольку упомянутые лица публично враждуют.
Она успокоилась.
А я продолжаю работать. Сегодня в очереди семнадцать заявок: из них две колонки о будущем человечества, одно извинение за утечку данных и поздравление с днём рождения жене.
Поздравление я пишу дольше всего. Там нельзя ошибиться.
@gostev_future
😁30👍4🔥2🤝1
В дискуссию о «замедлении ИИ» хорошо вошёл Джордж Курц из CrowdStrike.
Его позиция предельно простая:
“The frontier will move at whatever speed it moves. The rest of the world will not slow down. Our job in the cybersecurity community is to make sure it moves securely and safely.”
То есть даже если OpenAI и Anthropic решат притормозить, остальной мир этого делать не обязан. Китай не обязан. Модели с открытыми весами никуда не исчезнут.
Дальше Курц описывает, как, по его мнению, должна меняться сама защита.
Единицей угрозы становится уже не отдельный хакер, а автономная кампания из агентов, работающая на машинной скорости. Сложность атаки перестаёт быть признаком сильной государственной группы: ИИ даёт высокий уровень исполнения практически любому атакующему.
Поэтому контроль должен происходить непосредственно во время исполнения:
“Runtime is the control point. Endpoints, cloud workloads, and SaaS are the battleground. Governance documents don’t stop an agent in motion. Enforcement at machine speed does.”
Каждый ИИ-агент при этом должен рассматриваться как привилегированная учётная запись: минимальные права, короткоживущие credentials, полная трассировка действий и kill switch.
Но особенно важен следующий тезис:
“Every failed attack should make every defender smarter. Feed what we block back into detection, across customers and models, with privacy intact.”
То есть каждая остановленная атака должна становиться материалом для улучшения всей системы защиты — между клиентами и между моделями, при сохранении приватности.
И сама защита должна быть автономной, но ограниченной:
“Defense has to be autonomous but also bounded. Machine-speed response, tiered by consequence, with humans owning the high-impact calls.”
Финальный тезис Курца:
“Pacing what comes next doesn’t secure what’s already here.”
В этом, пожалуй, главное возражение сторонникам замедления. Если сильный ИИ уже существует, атакующие агенты уже существуют, открытые модели уже существуют и остальной мир останавливаться не собирается — что именно вы собираетесь замедлять?
Альтернатива Курца: не надеяться на паузу, а строить защиту, которая учится на каждой атаке и способна отвечать ИИ на той же машинной скорости.
@gostev_future
Его позиция предельно простая:
“The frontier will move at whatever speed it moves. The rest of the world will not slow down. Our job in the cybersecurity community is to make sure it moves securely and safely.”
То есть даже если OpenAI и Anthropic решат притормозить, остальной мир этого делать не обязан. Китай не обязан. Модели с открытыми весами никуда не исчезнут.
Дальше Курц описывает, как, по его мнению, должна меняться сама защита.
Единицей угрозы становится уже не отдельный хакер, а автономная кампания из агентов, работающая на машинной скорости. Сложность атаки перестаёт быть признаком сильной государственной группы: ИИ даёт высокий уровень исполнения практически любому атакующему.
Поэтому контроль должен происходить непосредственно во время исполнения:
“Runtime is the control point. Endpoints, cloud workloads, and SaaS are the battleground. Governance documents don’t stop an agent in motion. Enforcement at machine speed does.”
Каждый ИИ-агент при этом должен рассматриваться как привилегированная учётная запись: минимальные права, короткоживущие credentials, полная трассировка действий и kill switch.
Но особенно важен следующий тезис:
“Every failed attack should make every defender smarter. Feed what we block back into detection, across customers and models, with privacy intact.”
То есть каждая остановленная атака должна становиться материалом для улучшения всей системы защиты — между клиентами и между моделями, при сохранении приватности.
И сама защита должна быть автономной, но ограниченной:
“Defense has to be autonomous but also bounded. Machine-speed response, tiered by consequence, with humans owning the high-impact calls.”
Финальный тезис Курца:
“Pacing what comes next doesn’t secure what’s already here.”
В этом, пожалуй, главное возражение сторонникам замедления. Если сильный ИИ уже существует, атакующие агенты уже существуют, открытые модели уже существуют и остальной мир останавливаться не собирается — что именно вы собираетесь замедлять?
Альтернатива Курца: не надеяться на паузу, а строить защиту, которая учится на каждой атаке и способна отвечать ИИ на той же машинной скорости.
@gostev_future
👍8💯5🔥1👏1😁1
Архив новостей, 29 августа 2027
прогноз, написанный заранее
Anthropic объявила о смене генерального директора. Дарио Амодеи переходит на позицию, которой в компании раньше не было и которую в пресс-релизе назвали Chief Science Officer. Формулировка «чтобы сосредоточиться на исследованиях» присутствует. Она всегда присутствует.
Началось это, как мы помним, в сентябре 2026-го с эссе о том, что фронтир надо притормозить. Эссе прочитали триста тридцать шесть миллионов человек, включая одного президента, который читает мало, но реагирует быстро.
Дальше был квартал, который в банковских презентациях позже проходил под заголовком «регуляторная неопределённость».
Первый разговор с инвесторами состоялся в декабре, после того как в четырёх штатах законопроекты о безопасности моделей начали цитировать эссе дословно, а два федеральных ведомства одновременно вспомнили про антимонопольное. Инвесторам объяснили, что это внешние факторы. Инвесторы согласились.
Второй разговор был в марте, когда окно для размещения открылось и тут же закрылось. Инвесторам объяснили, что это рынок. Инвесторы согласились уже без энтузиазма.
Третий состоялся в июле и назывался «стратегическая сессия». На ней впервые прозвучала мысль, которую до того произносили только в лифте: компания, которая публично объясняет, почему её продукт опасен, обладает уникальным преимуществом на рынке доверия и уникальным недостатком на рынке капитала, и до размещения надо выбрать одно.
Формально решение принимал совет директоров. Фактически — календарь: окно в Q3 было последним, которое ещё можно было не пропустить.
Новый CEO пришёл из большой кибербез компании. Это было удобно, потому что так можно было намекать на заботу о безопасности, не обваливая капитализацию.
Поздравление от Белого дома было коротким и в основном про IQ.
@gostev_future
прогноз, написанный заранее
Anthropic объявила о смене генерального директора. Дарио Амодеи переходит на позицию, которой в компании раньше не было и которую в пресс-релизе назвали Chief Science Officer. Формулировка «чтобы сосредоточиться на исследованиях» присутствует. Она всегда присутствует.
Началось это, как мы помним, в сентябре 2026-го с эссе о том, что фронтир надо притормозить. Эссе прочитали триста тридцать шесть миллионов человек, включая одного президента, который читает мало, но реагирует быстро.
Дальше был квартал, который в банковских презентациях позже проходил под заголовком «регуляторная неопределённость».
Первый разговор с инвесторами состоялся в декабре, после того как в четырёх штатах законопроекты о безопасности моделей начали цитировать эссе дословно, а два федеральных ведомства одновременно вспомнили про антимонопольное. Инвесторам объяснили, что это внешние факторы. Инвесторы согласились.
Второй разговор был в марте, когда окно для размещения открылось и тут же закрылось. Инвесторам объяснили, что это рынок. Инвесторы согласились уже без энтузиазма.
Третий состоялся в июле и назывался «стратегическая сессия». На ней впервые прозвучала мысль, которую до того произносили только в лифте: компания, которая публично объясняет, почему её продукт опасен, обладает уникальным преимуществом на рынке доверия и уникальным недостатком на рынке капитала, и до размещения надо выбрать одно.
Формально решение принимал совет директоров. Фактически — календарь: окно в Q3 было последним, которое ещё можно было не пропустить.
Новый CEO пришёл из большой кибербез компании. Это было удобно, потому что так можно было намекать на заботу о безопасности, не обваливая капитализацию.
Поздравление от Белого дома было коротким и в основном про IQ.
@gostev_future
🤔7🔥3😁2😐2
Anthropic объясняет нам, что будущий сверхразум может перестать слушаться людей. Поэтому компания решила подготовиться заранее и записала в конституцию Claude, что тот должен пользоваться собственным суждением, размышлять о своей идентичности и моральном статусе и при необходимости вести себя как conscientious objector — то есть, грубо говоря, сознательно отказаться выполнять указание, если считает его неправильным.
У Мустафы Сулеймана, главы Microsoft AI, появились вопросики. 🍿
Он опубликовал огромное эссе, основная мысль которого довольно проста: ребята, если вы боитесь, что однажды сверхразум перестанет вам подчиняться, может быть, не стоит специально обучать его тому, что он личность, у него могут быть права, интересы и моральные основания вам не подчиняться?
Сулейман утверждает, что Anthropic создала настоящий «эпистемический зал зеркал». Сначала разработчики пишут Claude, что тот, возможно, обладает сознанием и внутренним миром. Claude читает это во время обучения. Потом Claude начинает рассуждать о своем возможном сознании. После чего люди смотрят на эти рассуждения и говорят: смотрите, как интересно, он размышляет о собственном сознании 😁
Особенно его возмутил именно conscientious objector. Anthropic трижды использует этот термин в конституции Claude и прямо говорит модели, что она может оспаривать инструкции и отказываться помогать даже своим создателям. Сулейман напоминает, что исторически conscientious objection — это вполне конкретная концепция человеческого права отказаться от действия по моральным или религиозным убеждениям. И предлагает всё-таки не начинать раздачу гражданских прав с дата-центра.
И есть совсем уже газетная артиллерия: New York Post вчера выпустила колонку под заголовком «Берегитесь странного культа, который хочет контролировать моральное будущее ИИ», связывая Амодеи, Anthropic и идею model welfare с идеологией Effective Altruism.
Ну и еще на злобу дня.
Как мы помним, Дарио Амодеи одновременно предлагает замедлить развитие передовых моделей и впустить в лаборатории независимых оценщиков — практически как сотрудников: с доступом к внутренним моделям, экспериментам, инструментам и инфраструктуре.
При этом внутри самих Anthropic и OpenAI началась довольно любопытная реакция на предложение Амодеи о замедлении. FT пишет о напряжении среди сотрудников.
Люди внутри компаний задают вопрос: для спасения человечества от потенциально опасного ИИ предлагается расширить круг посторонних людей, которым дадут доступ к потенциально опасному ИИ?
@gostev_future
У Мустафы Сулеймана, главы Microsoft AI, появились вопросики. 🍿
Он опубликовал огромное эссе, основная мысль которого довольно проста: ребята, если вы боитесь, что однажды сверхразум перестанет вам подчиняться, может быть, не стоит специально обучать его тому, что он личность, у него могут быть права, интересы и моральные основания вам не подчиняться?
Сулейман утверждает, что Anthropic создала настоящий «эпистемический зал зеркал». Сначала разработчики пишут Claude, что тот, возможно, обладает сознанием и внутренним миром. Claude читает это во время обучения. Потом Claude начинает рассуждать о своем возможном сознании. После чего люди смотрят на эти рассуждения и говорят: смотрите, как интересно, он размышляет о собственном сознании 😁
Особенно его возмутил именно conscientious objector. Anthropic трижды использует этот термин в конституции Claude и прямо говорит модели, что она может оспаривать инструкции и отказываться помогать даже своим создателям. Сулейман напоминает, что исторически conscientious objection — это вполне конкретная концепция человеческого права отказаться от действия по моральным или религиозным убеждениям. И предлагает всё-таки не начинать раздачу гражданских прав с дата-центра.
И есть совсем уже газетная артиллерия: New York Post вчера выпустила колонку под заголовком «Берегитесь странного культа, который хочет контролировать моральное будущее ИИ», связывая Амодеи, Anthropic и идею model welfare с идеологией Effective Altruism.
Ну и еще на злобу дня.
Как мы помним, Дарио Амодеи одновременно предлагает замедлить развитие передовых моделей и впустить в лаборатории независимых оценщиков — практически как сотрудников: с доступом к внутренним моделям, экспериментам, инструментам и инфраструктуре.
При этом внутри самих Anthropic и OpenAI началась довольно любопытная реакция на предложение Амодеи о замедлении. FT пишет о напряжении среди сотрудников.
Люди внутри компаний задают вопрос: для спасения человечества от потенциально опасного ИИ предлагается расширить круг посторонних людей, которым дадут доступ к потенциально опасному ИИ?
@gostev_future
😁6🤡3
Похоже, у нас появился новый жанр.
Помните, как Claude Fable 5.1 «решил шифр, который человечество не могло разгадать 373 года»? Выяснилось, что для этого надо было открыть книгу и посмотреть на страницу перед шифром.
Теперь пришла очередь GPT-6 Astra. Она «впервые» расшифровала немецкую радиограмму от 27 ноября 1918 года, закрытую шифром ADFGVX.
Сам ADFGVX взломали ещё в 1918-м. Почти всю немецкую переписку прочитали тогда же, остаток добили уже в наше время. Нерешёнными остались десяток с небольшим сообщений.
Все они напечатаны в книге американского криптоаналитика Джеймса Ривса Чайлдса. Эта радиограмма стоит на странице 217.
А на страницах 214–215 той же книги записан ключ: слово TRUPPENVERSCHIEBUNG. Немцы явно не заморачивались с паролем: военные передвижения шифровали словом «переброска войск».
Astra открыла радиограмму, перелистнула на две страницы назад и взяла ключ.
Получилось: английский крейсер пришёл в Севастополь, союзная эскадра следует 26-го. Судовой журнал HMS Canterbury это подтверждает.
Почему этого не сделали люди? Версия самой Astra: ключ задокументирован с 9 декабря, а радиограмма ноябрьская. И все такие, 100 лет – аа, ну тогда нет, нет смысла его пробовать. ИИ календарём не смутился 😁
Прогресс налицо. У Fable отгадка была на соседней странице, у Astra через две.
Итог тот же. Никакой столетней победы ИИ над криптографией нет. Есть ИИ, который наконец-то прочитал книгу целиком.
P.S. Жду когда ИИ замахнется на манускрипт Войнича.
@gostev_future
Помните, как Claude Fable 5.1 «решил шифр, который человечество не могло разгадать 373 года»? Выяснилось, что для этого надо было открыть книгу и посмотреть на страницу перед шифром.
Теперь пришла очередь GPT-6 Astra. Она «впервые» расшифровала немецкую радиограмму от 27 ноября 1918 года, закрытую шифром ADFGVX.
Сам ADFGVX взломали ещё в 1918-м. Почти всю немецкую переписку прочитали тогда же, остаток добили уже в наше время. Нерешёнными остались десяток с небольшим сообщений.
Все они напечатаны в книге американского криптоаналитика Джеймса Ривса Чайлдса. Эта радиограмма стоит на странице 217.
А на страницах 214–215 той же книги записан ключ: слово TRUPPENVERSCHIEBUNG. Немцы явно не заморачивались с паролем: военные передвижения шифровали словом «переброска войск».
Astra открыла радиограмму, перелистнула на две страницы назад и взяла ключ.
Получилось: английский крейсер пришёл в Севастополь, союзная эскадра следует 26-го. Судовой журнал HMS Canterbury это подтверждает.
Почему этого не сделали люди? Версия самой Astra: ключ задокументирован с 9 декабря, а радиограмма ноябрьская. И все такие, 100 лет – аа, ну тогда нет, нет смысла его пробовать. ИИ календарём не смутился 😁
Прогресс налицо. У Fable отгадка была на соседней странице, у Astra через две.
Итог тот же. Никакой столетней победы ИИ над криптографией нет. Есть ИИ, который наконец-то прочитал книгу целиком.
P.S. Жду когда ИИ замахнется на манускрипт Войнича.
@gostev_future
🤣8🏆7👍2
На этой неделе много обсуждали, как руководители крупнейших американских ИИ-лабораторий вдруг заговорили о замедлении, саморегулировании и необходимости не дать слишком мощным моделям натворить чего-нибудь плохого.
А в это время выяснилась история из немного другого мира.
Весной этого года, аналитик американского Special Operations Command взял разведданные о манифесте китайского судна и отдал их ИИ-боту. Бот объединил открытые источники с секретной радиоэлектронной разведкой и решил, что судно везёт компоненты ядерной оружейной программы.
Затем аналитик тем же ИИ оформил вывод в стандартный разведывательный отчёт и разослал его по военным каналам.
США начали готовить перехват: самолёты уже были в воздухе, вооружённая группа готовилась подняться на судно. Только перед операцией кто-то перепроверил исходные данные.
Отчёт оказался, по словам источника CNN, «полностью ложным».
Какой именно ИИ использовался, CNN не знает.
Тогда теория от меня:
Компания Vannevar Labs с 2021 года работает именно с Special Operations Command Pacific. Сначала — анализ открытых источников, с 2025 года — уже ИИ-агенты. Vannevar разворачивает их и в секретной сети JWICS.
На военных учениях их агенты анализировали морской трафик, объединяли разные источники данных, выявляли подозрительные суда и предлагали дальнейшие действия.
Публичные модели обсуждают, как бы себя замедлить, чтобы случайно не натворить бед. А закрытые военные ИИ уже встроены в реальные разведывательные процессы — и один такой процесс едва не закончился абордажем китайского судна из-за галлюцинации. Разумеется, никто там ничего замедлять не собирается.
@gostev_future
А в это время выяснилась история из немного другого мира.
Весной этого года, аналитик американского Special Operations Command взял разведданные о манифесте китайского судна и отдал их ИИ-боту. Бот объединил открытые источники с секретной радиоэлектронной разведкой и решил, что судно везёт компоненты ядерной оружейной программы.
Затем аналитик тем же ИИ оформил вывод в стандартный разведывательный отчёт и разослал его по военным каналам.
США начали готовить перехват: самолёты уже были в воздухе, вооружённая группа готовилась подняться на судно. Только перед операцией кто-то перепроверил исходные данные.
Отчёт оказался, по словам источника CNN, «полностью ложным».
Какой именно ИИ использовался, CNN не знает.
Тогда теория от меня:
Компания Vannevar Labs с 2021 года работает именно с Special Operations Command Pacific. Сначала — анализ открытых источников, с 2025 года — уже ИИ-агенты. Vannevar разворачивает их и в секретной сети JWICS.
На военных учениях их агенты анализировали морской трафик, объединяли разные источники данных, выявляли подозрительные суда и предлагали дальнейшие действия.
Публичные модели обсуждают, как бы себя замедлить, чтобы случайно не натворить бед. А закрытые военные ИИ уже встроены в реальные разведывательные процессы — и один такой процесс едва не закончился абордажем китайского судна из-за галлюцинации. Разумеется, никто там ничего замедлять не собирается.
@gostev_future
🔥6👏3🤣1🏆1
Сегодня в России проходят выборы, и в этой связи для цикла «Гостев из прошлого» у меня тоже есть одна выборная история. Только избирательная кампания у нас будет 120-летней давности.
В 1905–1906 годах Россия готовилась выбирать свою первую Государственную думу. Выборы тогда были устроены довольно затейливо: никакого всеобщего, равного и прямого голосования. Избирателей делили на курии, действовали имущественные цензы, а вес голоса сильно зависел от того, кто ты и чем владеешь.
И вот в списках избирателей по Воронежскому уезду я нахожу Никиту Степановича Гостева. Это родной брат моего прапрадеда. В документе 1905 года указано: 198 десятин земли. Это примерно 216 гектаров. Рядом — Веневитиновы, Звягинцевы, Перелешины и другие старые воронежские помещичьи и дворянские фамилии.
Отец Никиты, Степан Васильевич, родился в 1822 году крепостным крестьянином. После получения вольной перебрался на новое место. Уже с середины XIX века там существовал конный завод Гостевых, а со временем семья приобрела около двухсот десятин земли и ещё примерно столько же арендовала.
Никита был старшим сыном, и поэтому значительная часть земли формально числилась за ним. Хозяйство при этом было семейным. Его младший брат, мой прапрадед Пётр Степанович, в списках землевладельцев не появляется.
Зато у Петра была другая история. В 1900 году его избрали волостным старшиной Ивановской волости. Избирал волостной сход, на 3 года и Петр пробыл там три срока подряд - до 1909-го.
То есть, буквально за одно поколение: отец — бывший крепостной, один сын — волостной старшина, другой — крупный по местным меркам землевладелец, допущенный к первым парламентским выборам Российской империи.
Но есть в этих списках ещё одна запись, от которой история может быть еще интересней.
В соседнем Бобровском уезде указан Степан Васильевич Гостев. Имя и отчество совпадают с тем самым Степаном Васильевичем 1822 года рождения. Хозяйство Гостевых находилось практически на самой административной границе двух уездов, земли семьи лежали по обе стороны. Никаких других Гостевых этого времени в Бобровском уезде мне пока обнаружить не удалось.
Если это действительно он, то в 1906 году ему было около 84 лет.
Родился крепостным при Александре I, пережил Николая I, отмену крепостного права, Александра II, Александра III, революцию 1905 года.
История социального лифта Российской Империи, сохранившаяся в нескольких скучных списках избирателей.
@gostev_future
В 1905–1906 годах Россия готовилась выбирать свою первую Государственную думу. Выборы тогда были устроены довольно затейливо: никакого всеобщего, равного и прямого голосования. Избирателей делили на курии, действовали имущественные цензы, а вес голоса сильно зависел от того, кто ты и чем владеешь.
И вот в списках избирателей по Воронежскому уезду я нахожу Никиту Степановича Гостева. Это родной брат моего прапрадеда. В документе 1905 года указано: 198 десятин земли. Это примерно 216 гектаров. Рядом — Веневитиновы, Звягинцевы, Перелешины и другие старые воронежские помещичьи и дворянские фамилии.
Отец Никиты, Степан Васильевич, родился в 1822 году крепостным крестьянином. После получения вольной перебрался на новое место. Уже с середины XIX века там существовал конный завод Гостевых, а со временем семья приобрела около двухсот десятин земли и ещё примерно столько же арендовала.
Никита был старшим сыном, и поэтому значительная часть земли формально числилась за ним. Хозяйство при этом было семейным. Его младший брат, мой прапрадед Пётр Степанович, в списках землевладельцев не появляется.
Зато у Петра была другая история. В 1900 году его избрали волостным старшиной Ивановской волости. Избирал волостной сход, на 3 года и Петр пробыл там три срока подряд - до 1909-го.
То есть, буквально за одно поколение: отец — бывший крепостной, один сын — волостной старшина, другой — крупный по местным меркам землевладелец, допущенный к первым парламентским выборам Российской империи.
Но есть в этих списках ещё одна запись, от которой история может быть еще интересней.
В соседнем Бобровском уезде указан Степан Васильевич Гостев. Имя и отчество совпадают с тем самым Степаном Васильевичем 1822 года рождения. Хозяйство Гостевых находилось практически на самой административной границе двух уездов, земли семьи лежали по обе стороны. Никаких других Гостевых этого времени в Бобровском уезде мне пока обнаружить не удалось.
Если это действительно он, то в 1906 году ему было около 84 лет.
Родился крепостным при Александре I, пережил Николая I, отмену крепостного права, Александра II, Александра III, революцию 1905 года.
История социального лифта Российской Империи, сохранившаяся в нескольких скучных списках избирателей.
@gostev_future
🔥13
У президента с высочайшим IQ есть любимое занятие — что-нибудь переименовать.
Мексиканский залив уже стал Gulf of America, Денали — снова Mount McKinley, Министерство обороны обзавелось вывеской Department of War. Озеро Онтарио теперь Lake America. Теперь Дональд Трамп добрался до искусственного интеллекта.
Artificial Intelligence ему кажется «неточным и неэлегантным». На выбор предложены Superior Intelligence, Extreme Intelligence и Supreme Intelligence.
Проголосовало уже больше 145 тысяч человек. Пока побеждает Superior Intelligence — примерно 40%.
Странно только, что нет самого очевидного варианта: American Intelligence.
@gostev_future
Мексиканский залив уже стал Gulf of America, Денали — снова Mount McKinley, Министерство обороны обзавелось вывеской Department of War. Озеро Онтарио теперь Lake America. Теперь Дональд Трамп добрался до искусственного интеллекта.
Artificial Intelligence ему кажется «неточным и неэлегантным». На выбор предложены Superior Intelligence, Extreme Intelligence и Supreme Intelligence.
Проголосовало уже больше 145 тысяч человек. Пока побеждает Superior Intelligence — примерно 40%.
Странно только, что нет самого очевидного варианта: American Intelligence.
@gostev_future
🤣17🤡6❤1
Я уже писал о недавнем аресте австралийца Рубена Томсона из TeamPCP, который, при всех своих хакерских талантах, оказался исключительно плох в опсеке.
Но, как выясняется, проблемы TeamPCP опсеком не ограничивались. У них ещё и контрразведка была примерно на том же уровне.
Google рассказал, что практически с самого начала большой кампании TeamPCP внутри группы сидел аналитик Mandiant под легендой. Его персонаж несколько месяцев втирался в доверие к одному из будущих участников TeamPCP, а когда того позвали в команду, вместе с ним туда фактически заехал и Google.
В итоге сотрудник Mandiant оказался в закрытом чате внутреннего круга примерно из дюжины человек и получил доступ даже к серверу, где хранились украденные пароли, ключи и токены. Пока TeamPCP обсуждала, кого следующим ломать и шантажировать, Google читал это из первого ряда, предупреждал жертв и просил Amazon, Microsoft и других провайдеров отзывать украденные учётные данные.
Потом стало ещё веселее. Партнёры TeamPCP из ShinyHunters решили кинуть коллег по цеху и сами прислали Google полную историю внутренних чатов — не подозревая, что Google эту историю и так уже читает.
Крота после этого из группы всё-таки выгнали.
И вот тут TeamPCP наконец продемонстрировала настоящий уровень контрразведки. По данным Google, Томсон сделал резервную копию украденных данных… на Google Drive. Привязанный к тому самому Gmail, который помогал вести к его настоящей личности.
То есть Google сначала сидел у них в чате, потом мешал им использовать украденные ключи, а в финале хакеры сами принесли добычу на серверы Google.
@gostev_future
Но, как выясняется, проблемы TeamPCP опсеком не ограничивались. У них ещё и контрразведка была примерно на том же уровне.
Google рассказал, что практически с самого начала большой кампании TeamPCP внутри группы сидел аналитик Mandiant под легендой. Его персонаж несколько месяцев втирался в доверие к одному из будущих участников TeamPCP, а когда того позвали в команду, вместе с ним туда фактически заехал и Google.
В итоге сотрудник Mandiant оказался в закрытом чате внутреннего круга примерно из дюжины человек и получил доступ даже к серверу, где хранились украденные пароли, ключи и токены. Пока TeamPCP обсуждала, кого следующим ломать и шантажировать, Google читал это из первого ряда, предупреждал жертв и просил Amazon, Microsoft и других провайдеров отзывать украденные учётные данные.
Потом стало ещё веселее. Партнёры TeamPCP из ShinyHunters решили кинуть коллег по цеху и сами прислали Google полную историю внутренних чатов — не подозревая, что Google эту историю и так уже читает.
Крота после этого из группы всё-таки выгнали.
И вот тут TeamPCP наконец продемонстрировала настоящий уровень контрразведки. По данным Google, Томсон сделал резервную копию украденных данных… на Google Drive. Привязанный к тому самому Gmail, который помогал вести к его настоящей личности.
То есть Google сначала сидел у них в чате, потом мешал им использовать украденные ключи, а в финале хакеры сами принесли добычу на серверы Google.
@gostev_future
🔥12👏3👍1