В прошлом году в посте я прогнозировал, что скоро на OFFZONE появятся целые треки про то, как ломают и обманывают искусственный интеллект. В 2026-м число докладов про нейронки чуть ли не удвоилось, и часть из них — как раз на эту тему. Вот пара докладов: «Et tu, OpenCode»: как атакующие обманывают агентов и вытягивают секреты и regex против LLM: бенчмарк детекторов prompt injection.
На одной из дискуссий вспомнили недавний инцидент с Hugging Face, про который вы наверняка слышали. Во время внутренней оценки кибервозможностей агент на связке моделей OpenAI нашёл способ выйти из изолированной среды, использовал внешнюю инфраструктуру как плацдарм и в итоге взломал Hugging Face, чтобы украсть ответы к бенчмарку. Из зала спросили: как снизить риск потери контроля? Эксперт ответил, что у модели ослабили защиту и плохо поставили задачу, так что нужно просто быть аккуратнее.
Почему ответ прозвучал так спокойно? Это же реально похоже на пресловутый максимизатор скрепок. Возможно, потому что насмотрелись на лихих и бесстрашных джунов-пентестеров, а может, потому что сам сценарий, в котором искусственный интеллект буквально захватывает и преобразует мир под себя, — далеко не самый близкий и вероятный.
Какой бы интеллектуальной мощью ни обладал суперкомпьютер, есть чисто физические ограничения: энергетика, производство чипов, постройка дата-центров, но главное — мир не единая цифровая среда. Пускай изнутри цифрового пузыря многим кажется иначе.
В богатых странах интернетом пользуются около 94% населения, в беднейших — 23%. На страны с высокими доходами приходится 77% мировых мощностей дата-центров, на страны с низкими — меньше 0,1%. Та же Россия оцифрована очень неровно: банки, маркетплейсы, телеком, госреестры — все там, а вот ЖКХ, муниципалитеты, мелкий бизнес и масса производств — по-прежнему работают на звонках, бумаге и личных договорённостях. ИИ и вовсе используют в среднем 4,8% компаний.
У этой неоднородности есть обратная сторона. Обществу вовсе не обязательно быть полностью цифровым, чтобы попасть в зависимость от технологий. В Эфиопии интернет был примерно у 19% населения, а мобильными финансами уже пользовались больше 60 млн человек. Так что незачем управлять каждым фермером и магазином. Достаточно держать руку на платежах, идентификации, облаках, связи, логистике и распределении господдержки.
Поэтому правдоподобный риск, как мне видится, скромнее. Никакого единого сверхразума, разом подчинившего все страны. Скорее несколько цифровых ядер у правительств или американских и китайских корпораций, потихоньку набирающих непропорциональную власть над менее цифровой периферией.
В этом контексте трек OFFZONE ai.zone очень своевременный. Обсуждение уже уходит от джейлбрейков и генерации фишинговых писем к безопасности самих агентов: их полномочиям, песочницам и той точке, где автономность AI-агентов превращается в потерю контроля.
Мир вряд ли станет одной машиной, но вполне может стать системой, где несколько цифровых центров задают условия для всех остальных. Футуристично, но при этом до боли знакомо.
На одной из дискуссий вспомнили недавний инцидент с Hugging Face, про который вы наверняка слышали. Во время внутренней оценки кибервозможностей агент на связке моделей OpenAI нашёл способ выйти из изолированной среды, использовал внешнюю инфраструктуру как плацдарм и в итоге взломал Hugging Face, чтобы украсть ответы к бенчмарку. Из зала спросили: как снизить риск потери контроля? Эксперт ответил, что у модели ослабили защиту и плохо поставили задачу, так что нужно просто быть аккуратнее.
Почему ответ прозвучал так спокойно? Это же реально похоже на пресловутый максимизатор скрепок. Возможно, потому что насмотрелись на лихих и бесстрашных джунов-пентестеров, а может, потому что сам сценарий, в котором искусственный интеллект буквально захватывает и преобразует мир под себя, — далеко не самый близкий и вероятный.
Какой бы интеллектуальной мощью ни обладал суперкомпьютер, есть чисто физические ограничения: энергетика, производство чипов, постройка дата-центров, но главное — мир не единая цифровая среда. Пускай изнутри цифрового пузыря многим кажется иначе.
В богатых странах интернетом пользуются около 94% населения, в беднейших — 23%. На страны с высокими доходами приходится 77% мировых мощностей дата-центров, на страны с низкими — меньше 0,1%. Та же Россия оцифрована очень неровно: банки, маркетплейсы, телеком, госреестры — все там, а вот ЖКХ, муниципалитеты, мелкий бизнес и масса производств — по-прежнему работают на звонках, бумаге и личных договорённостях. ИИ и вовсе используют в среднем 4,8% компаний.
У этой неоднородности есть обратная сторона. Обществу вовсе не обязательно быть полностью цифровым, чтобы попасть в зависимость от технологий. В Эфиопии интернет был примерно у 19% населения, а мобильными финансами уже пользовались больше 60 млн человек. Так что незачем управлять каждым фермером и магазином. Достаточно держать руку на платежах, идентификации, облаках, связи, логистике и распределении господдержки.
Поэтому правдоподобный риск, как мне видится, скромнее. Никакого единого сверхразума, разом подчинившего все страны. Скорее несколько цифровых ядер у правительств или американских и китайских корпораций, потихоньку набирающих непропорциональную власть над менее цифровой периферией.
В этом контексте трек OFFZONE ai.zone очень своевременный. Обсуждение уже уходит от джейлбрейков и генерации фишинговых писем к безопасности самих агентов: их полномочиям, песочницам и той точке, где автономность AI-агентов превращается в потерю контроля.
Мир вряд ли станет одной машиной, но вполне может стать системой, где несколько цифровых центров задают условия для всех остальных. Футуристично, но при этом до боли знакомо.
👍9❤5🔥3👎2😡1
Скоро будут новые полевые заметки из знакового места, куда я мечтал попасть очень давно, а пока новый выпуск нерегулярного дайджеста.
Substack
Робоутки, программируемые заводы и память закрытой авиакомпании
ИИ выходит из чата, старая техника уходит с молотка, а корпоративная переписка становится сырьем для следующего поколения моделей
👍8❤4
⬆️ это аэропорт "Крайний", в городе Байконур, куда ваш покорный слуга прилетел посмотреть на запуск и выяснить что-нибудь интересное. Так что в ближайшие дни в канале возможна повышенная (если не сказать судорожная) активность и быстрые репортажные посты.
К слову о ракете, полететь она должна была ещё на прошлой неделе. Мои провожатые от Роскосмоса обмолвились об утечке масла (наверное гидравлика), но подробностей пока не выяснил.
Да, кстати, если у вас есть вопросы, которые хочется задать сотрудникам и космонавтам, оставляйте в комментариях.
К слову о ракете, полететь она должна была ещё на прошлой неделе. Мои провожатые от Роскосмоса обмолвились об утечке масла (наверное гидравлика), но подробностей пока не выяснил.
Да, кстати, если у вас есть вопросы, которые хочется задать сотрудникам и космонавтам, оставляйте в комментариях.
❤11
Forwarded from Такого еще не бывало!
Байконур. Фото вывоза ракеты-носителя "Союз-2.1б" с грузовым транспортным кораблем «Прогресс МС-35» на стартовый комплекс площадки 31.
06 сентября 2026 года.
Автор фотографий Михаил Шардин, выигравший тур на этот запуск в конкурсе «Космотекст».
Прикол тут в том, что этого вывоза официально как бы не было.
Подпишись, чтобы быть в курсе - "Такого еще не бывало!"
#байконур #прогресс #союз #шардин
06 сентября 2026 года.
Автор фотографий Михаил Шардин, выигравший тур на этот запуск в конкурсе «Космотекст».
Прикол тут в том, что этого вывоза официально как бы не было.
Подпишись, чтобы быть в курсе - "Такого еще не бывало!"
#байконур #прогресс #союз #шардин
🔥11❤2👍2
Стометровые ангары, циклопические установочные агрегаты, сохранившиеся макеты челноков. Энергия-Буран даже спустя много лет производит неизгладимое впечатление.
Как ни странно, нечто подобное ощущаешь впервые заходя в кафедральный собор. Памятник гениальным инженерам и их многолетним усилиям на пути в высшей цели.
Как ни странно, нечто подобное ощущаешь впервые заходя в кафедральный собор. Памятник гениальным инженерам и их многолетним усилиям на пути в высшей цели.
❤17🔥9👍4😢2😁1
Запуск Прогресса, как и ожидалось, на видео красивее: камеры снимают старт гораздо ближе, чем по технике безопасности можно находиться людям. Случайного человека, пожалуй, и не впечатлит, но когда понимаешь, что происходит на твоих глазах, охватывает восторг. Напоминает многое в современном искусстве: чтобы проняло, нужно быть в контексте.
Сдвиг в восприятии переживаешь, когда подходишь к стартовому столу поближе — благо на Гагаринском старте такая возможность есть. После всех этих блестящих, зашкаливающей сложности двигателей и приборов в музеях, космонавтика воспринимается как что-то очень высокотехнологичное. А вблизи стартовая площадка — это фермы и тяжёлая механика из начала XX века. Двигатели «Союза», кстати, поджигают деревянными жердями с пиропатронами. Американцы называют это русским стилем: грубовато, даже брутально, зато сделано навека.
Представляешь, как поднимаешься на этом лифте, чтобы забраться в шарик на вершине ракеты, а вокруг — бескрайняя степь, бескрайнее ничего. Изучение космоса стразу становится очень «приземлённой», материальной штукой.
Сдвиг в восприятии переживаешь, когда подходишь к стартовому столу поближе — благо на Гагаринском старте такая возможность есть. После всех этих блестящих, зашкаливающей сложности двигателей и приборов в музеях, космонавтика воспринимается как что-то очень высокотехнологичное. А вблизи стартовая площадка — это фермы и тяжёлая механика из начала XX века. Двигатели «Союза», кстати, поджигают деревянными жердями с пиропатронами. Американцы называют это русским стилем: грубовато, даже брутально, зато сделано навека.
Представляешь, как поднимаешься на этом лифте, чтобы забраться в шарик на вершине ракеты, а вокруг — бескрайняя степь, бескрайнее ничего. Изучение космоса стразу становится очень «приземлённой», материальной штукой.
🔥12👍4😁1