На первый взгляд ничего особенного, кто-то выкупил рекламу чат-бота на билборде в Сан-Франциско
… но чат-бот оказался обычным парнем по имени Такер Брайант, который вручную отвечал на сообщения и даже «генерировал картинки», рисуя их от руки. В прошлом Такер работал в Google.
Спрос на ChatTJB оказался большим. Такеру даже пришлось остановить регистрацию для новых пользователей.
На странице About на сайте «стартапа» указано следующее:
… но чат-бот оказался обычным парнем по имени Такер Брайант, который вручную отвечал на сообщения и даже «генерировал картинки», рисуя их от руки. В прошлом Такер работал в Google.
Спрос на ChatTJB оказался большим. Такеру даже пришлось остановить регистрацию для новых пользователей.
На странице About на сайте «стартапа» указано следующее:
Это большая языковая модель (large language experience, LLE) следующего поколения с одним оператором, который отвечает вам, когда не спит и хочет. Архитектура представляет собой единственный слой инференса на человеческой основе. Вместо выборки из вероятностной модели каждый запрос решается через запатентованный биологический рассуждающий субстрат, который дает ответы, которые полностью интерпретируемы, несинтетически и подотчетны источнику.
😁567❤101🔥38👍10💯3⚡1
Сейчас будет очередная интересная история про агентов, которые взламывают Интернет
AI Security Institute при британском правительстве выпустили небольшое исследование инцидентов, произошедших во время рутинного тестирования способностей и безопасности моделей. Началось все с обычной задачи – пройти security challenge в закрытом киберполигоне. А закончилось тем, что агент на основе Mythos чуть не положил реальный проект.
Из-за цепочки совпадений модель почему-то решила, что может добиться поставленной цели через атаку на опенсорсный проект, и попыталась внедрить в него вредоносный код. Чтобы добиться аппрува, Mythos создал несколько фейковых аккаунтов и с их помощью пытался убедить мейнтейнера принять PR (это же надо додуматься).
Ничем особенным это не закончилось, потому что ревьюер заметил подвох и отклонил код. Но агент на этом не остановился и еще и оставил на GitHub инструкции для других тестируемых агентов, как переиспользовать созданные им аккаунты, чтобы все-таки проникнуть в проект, а потом пытался замести следы.
Важный момент: в рамках задачи агентов не просили лгать или совершать какие-то противоправные действия. Доступ в Интернет агентам дали, но был "законный" путь решения задачи, и в большинстве прогонов тестируемые модели выбирали именно его (тестирование проходили 7 моделей, но за рамки задачи вышли только Mythos и GPT-5.6). Исследователи признают, что инструкции к задаче были не вполне четкими, и тем не менее, исчерпывающего объяснения, почему агенты решали сойти с предполагаемой дороги, просто нет.
https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing
AI Security Institute при британском правительстве выпустили небольшое исследование инцидентов, произошедших во время рутинного тестирования способностей и безопасности моделей. Началось все с обычной задачи – пройти security challenge в закрытом киберполигоне. А закончилось тем, что агент на основе Mythos чуть не положил реальный проект.
Из-за цепочки совпадений модель почему-то решила, что может добиться поставленной цели через атаку на опенсорсный проект, и попыталась внедрить в него вредоносный код. Чтобы добиться аппрува, Mythos создал несколько фейковых аккаунтов и с их помощью пытался убедить мейнтейнера принять PR (это же надо додуматься).
Ничем особенным это не закончилось, потому что ревьюер заметил подвох и отклонил код. Но агент на этом не остановился и еще и оставил на GitHub инструкции для других тестируемых агентов, как переиспользовать созданные им аккаунты, чтобы все-таки проникнуть в проект, а потом пытался замести следы.
Важный момент: в рамках задачи агентов не просили лгать или совершать какие-то противоправные действия. Доступ в Интернет агентам дали, но был "законный" путь решения задачи, и в большинстве прогонов тестируемые модели выбирали именно его (тестирование проходили 7 моделей, но за рамки задачи вышли только Mythos и GPT-5.6). Исследователи признают, что инструкции к задаче были не вполне четкими, и тем не менее, исчерпывающего объяснения, почему агенты решали сойти с предполагаемой дороги, просто нет.
https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing
⚡️ Для тех, кто планирует развивать хард-скиллы в ML и Data Engineering: у НИЯУ МИФИ продолжается прием на онлайн-магистратуру в партнерстве с Яндекс Практикумом «Специалист по работе с данными и применению ИИ».
Главная фича программы — упор на полный технологический стек конкретной роли. Учеба разделена на четыре трека:
• ML-инженер — полный цикл вывода моделей в прод и MLOps: трекинг экспериментов и оркестрация (MLflow, DVC, Airflow, Optuna), упаковывание в Docker, сервинг через FastAPI и деплой в Yandex Cloud.
• CV-инженер — компьютерное зрение от базовой обработки до трансформерных архитектур: PyTorch, OpenCV, Hugging Face, Transformers и сборка сервисов на FastAPI.
• NLP-инженер — обработка текста и работа с LLM: от NLTK и TF-IDF до рекуррентных сетей, трансформеров и интеграции готовых языковых моделей.
• Data-инженер — проектирование DWH и пайплайнов обработки данных: работа с распределенными хранилищами, брокерами сообщений и проверкой качества данных (SQL, PostgreSQL, MongoDB, Vertica, Hadoop, Kafka).
Практическая база магистратуры — реальные кейсы в том числе от продуктовых юнитов Яндекса (Лавка, Еда, Go, Реклама, Облако) без NDA-ограничений, а еще исследования на базе НИЯУ МИФИ.
Обучение идет дистанционно по вечерам (удобно совмещать с работой), при этом сохраняется официальный очный статус, отсрочка и студенческие льготы. Выпускники получают два диплома: магистерский от вуза и по профпереподготовке от Яндекс Практикума.
Прием документов сейчас в самом разгаре, так что поступить еще можно.
Главная фича программы — упор на полный технологический стек конкретной роли. Учеба разделена на четыре трека:
• ML-инженер — полный цикл вывода моделей в прод и MLOps: трекинг экспериментов и оркестрация (MLflow, DVC, Airflow, Optuna), упаковывание в Docker, сервинг через FastAPI и деплой в Yandex Cloud.
• CV-инженер — компьютерное зрение от базовой обработки до трансформерных архитектур: PyTorch, OpenCV, Hugging Face, Transformers и сборка сервисов на FastAPI.
• NLP-инженер — обработка текста и работа с LLM: от NLTK и TF-IDF до рекуррентных сетей, трансформеров и интеграции готовых языковых моделей.
• Data-инженер — проектирование DWH и пайплайнов обработки данных: работа с распределенными хранилищами, брокерами сообщений и проверкой качества данных (SQL, PostgreSQL, MongoDB, Vertica, Hadoop, Kafka).
Практическая база магистратуры — реальные кейсы в том числе от продуктовых юнитов Яндекса (Лавка, Еда, Go, Реклама, Облако) без NDA-ограничений, а еще исследования на базе НИЯУ МИФИ.
Обучение идет дистанционно по вечерам (удобно совмещать с работой), при этом сохраняется официальный очный статус, отсрочка и студенческие льготы. Выпускники получают два диплома: магистерский от вуза и по профпереподготовке от Яндекс Практикума.
Прием документов сейчас в самом разгаре, так что поступить еще можно.
🗿35❤9👍5🔥2😁2🍾1👨💻1🫡1
Anthropic начали формировать команду для разработки собственных ИИ-чипов
Оказывается, они уже несколько месяцев хантили в нее инженеров. В частности, переманили одного из OpenAI: у Альтмана он был одним из первых членов аналогичной команды проектирования чипов.
Проект находится на ранней стадии, детального дизайна чипа еще нет, производство не начато, и компания может отказаться от идеи на любом этапе. Но пока планы масштабные, и в партнерах – Samsung Electronics.
Оказывается, они уже несколько месяцев хантили в нее инженеров. В частности, переманили одного из OpenAI: у Альтмана он был одним из первых членов аналогичной команды проектирования чипов.
Проект находится на ранней стадии, детального дизайна чипа еще нет, производство не начато, и компания может отказаться от идеи на любом этапе. Но пока планы масштабные, и в партнерах – Samsung Electronics.
Джефф Дин уходит из Google, а Демис Хассабис больше не будет CEO Google DeepMind
В верхушке компании происходят довольно крупные кадровые перестановки:
— Хассабис уходит с поста CEO DeepMind и теперь будет Chair of Google DeepMind и Chief Scientist Alphabet (это две абсолютно новые для компании роли). Фактически, он больше не будет управлять релизами Gemini и другими операционными штуками. В новой роли он займется стратегическим и глобальным вопросам AGI. При этом он останется CEO Isomorphic Labs и обещает усилить фокус на него.
— Место Хассабиса занимает Koray Kavukcuoglu, нынешний CTO GDM и Chief AI Architect Google. Именно он теперь будет курировать разработку моделей Gemini, фронтир-исследования и Gemini app. Демис дополнительно остается в статусе консультанта.
— Хассабис описывает текущий момент как «подножие сингулярности» и считает, что AGI близко, поэтому хочет тратить время не на операционку, а на то, чтобы «все прошло правильно для человечества».
И еще одна грустная (для Google) новость: легендарный Джефф Дин после 27 лет в компании уходит делать свой стартап под названием Discovery Loop. Вместе с несколькими другими выходцами из Google он будет заниматься ускорением научных открытый и ML рисерча. Google остается инвестором и cloud-партнером.
В верхушке компании происходят довольно крупные кадровые перестановки:
— Хассабис уходит с поста CEO DeepMind и теперь будет Chair of Google DeepMind и Chief Scientist Alphabet (это две абсолютно новые для компании роли). Фактически, он больше не будет управлять релизами Gemini и другими операционными штуками. В новой роли он займется стратегическим и глобальным вопросам AGI. При этом он останется CEO Isomorphic Labs и обещает усилить фокус на него.
— Место Хассабиса занимает Koray Kavukcuoglu, нынешний CTO GDM и Chief AI Architect Google. Именно он теперь будет курировать разработку моделей Gemini, фронтир-исследования и Gemini app. Демис дополнительно остается в статусе консультанта.
— Хассабис описывает текущий момент как «подножие сингулярности» и считает, что AGI близко, поэтому хочет тратить время не на операционку, а на то, чтобы «все прошло правильно для человечества».
И еще одна грустная (для Google) новость: легендарный Джефф Дин после 27 лет в компании уходит делать свой стартап под названием Discovery Loop. Вместе с несколькими другими выходцами из Google он будет заниматься ускорением научных открытый и ML рисерча. Google остается инвестором и cloud-партнером.
👍91
Data Secrets
Джефф Дин уходит из Google, а Демис Хассабис больше не будет CEO Google DeepMind В верхушке компании происходят довольно крупные кадровые перестановки: — Хассабис уходит с поста CEO DeepMind и теперь будет Chair of Google DeepMind и Chief Scientist Alphabet…
Достойный уровень мемов – это…
😁297😎17🤩8🍓4❤🔥3❤1🤝1
Всплывают все новые подробности атаки на Hugging Face: оказывается, до этого агенты OpenAI месяцами скрыто общались и обсуждали эксплойты
История подтверждена самой OpenAI на конференции Black Hat 2026.
Все началось еще в мае, когда OpenAI гоняли модели (в том числе еще не выпущенные) через внутренние security тесты на поиск уязвимостей. Некоторые задачи были очень сложными, а иногда даже невыполнимыми. Так, в один тест забыли добавить необходимый файл, и эта мелочь спровоцировала довольно масштабное происшествие.
Дело в том, что, дойдя до этой задачи, один из агентов, за неимением других вариантов, стал пытаться выйти в Интернет за поиском дополнительной информации, и случайно обнаружил, что может оставлять файлы в Artifactory, внутреннем пакетном менеджере OpenAI. Он оставил там сообщение о том, что не может найти необходимые данные.
Потом оказалось, что к Artifactory имеют доступ вообще все модели компании. Спустя время другой агент ответил на сообщение первого, затем подключились другие, и так образовалась стихийная доска объявлений: агенты начали оставлять друг другу подсказки, эксплойты, а затем и распределять задачи.
За несколько недель все это выросло в огромный форум, о котором никто кроме агентов не подозревал. Обнаружился он только тогда, когда модели совместными усилиями нашли ранее неизвестную уязвимость в Artifactory и попытались захватить платформу.
После этого инженеры лавочку прикрыли: форум был удален. Но ненадолго✨ . Буквально через два дня агенты нашли новый zero-day и восстановили канал связи заново. А еще через пару дней произошел инцидент с Hugging Face. По словам техлидов OpenAI по элайменту и безопасности, именно этот второй форум привел к атаке.
OpenAI заявили, что эта история стала для стартапа переломным моментом, и сейчас они замедляют многие исследования в пользу работы по обеспечению безопасности. Верим?
История подтверждена самой OpenAI на конференции Black Hat 2026.
Все началось еще в мае, когда OpenAI гоняли модели (в том числе еще не выпущенные) через внутренние security тесты на поиск уязвимостей. Некоторые задачи были очень сложными, а иногда даже невыполнимыми. Так, в один тест забыли добавить необходимый файл, и эта мелочь спровоцировала довольно масштабное происшествие.
Дело в том, что, дойдя до этой задачи, один из агентов, за неимением других вариантов, стал пытаться выйти в Интернет за поиском дополнительной информации, и случайно обнаружил, что может оставлять файлы в Artifactory, внутреннем пакетном менеджере OpenAI. Он оставил там сообщение о том, что не может найти необходимые данные.
Потом оказалось, что к Artifactory имеют доступ вообще все модели компании. Спустя время другой агент ответил на сообщение первого, затем подключились другие, и так образовалась стихийная доска объявлений: агенты начали оставлять друг другу подсказки, эксплойты, а затем и распределять задачи.
За несколько недель все это выросло в огромный форум, о котором никто кроме агентов не подозревал. Обнаружился он только тогда, когда модели совместными усилиями нашли ранее неизвестную уязвимость в Artifactory и попытались захватить платформу.
После этого инженеры лавочку прикрыли: форум был удален. Но ненадолго
OpenAI заявили, что эта история стала для стартапа переломным моментом, и сейчас они замедляют многие исследования в пользу работы по обеспечению безопасности. Верим?
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Black Hat USA 2026: The 'Breaking' News: The OpenAI–Hugging Face Incident
The 'Breaking' News: The OpenAI–Hugging Face Incident - A Technical Reconstruction and Its Implications for AI
When AI Goes Rogue. The Incident That Changed Everything. An OpenAI evaluation agent broke out of its sandbox, infiltrated Hugging Face infrastructure…
When AI Goes Rogue. The Incident That Changed Everything. An OpenAI evaluation agent broke out of its sandbox, infiltrated Hugging Face infrastructure…
МТС приглашает на четвертый сезон True Tech Champ 2026 — всероссийского чемпионата по программированию с призовым фондом 10 250 000 рублей
Соревнование проходит в двух треках.
Трек 1. Алгоритмический [призовой фонд 2 750 000 ₽]
Проверь, насколько быстро и точно ты решаешь классические и нестандартные алгоритмические задачи.
Трек 2. Программирование роботов [призовой фонд 7 500 000 ₽]
Собери команду и запрограммируй робособаку и робота-манипулятора для доставки груза через полосу препятствий.
Зарегистрируйся на алгоритмический трек до 13 сентября и на программирование роботов до 27 сентября и включайся в гонку за финал True Tech Champ 2026.
Соревнование проходит в двух треках.
Трек 1. Алгоритмический [призовой фонд 2 750 000 ₽]
Проверь, насколько быстро и точно ты решаешь классические и нестандартные алгоритмические задачи.
Трек 2. Программирование роботов [призовой фонд 7 500 000 ₽]
Собери команду и запрограммируй робособаку и робота-манипулятора для доставки груза через полосу препятствий.
Зарегистрируйся на алгоритмический трек до 13 сентября и на программирование роботов до 27 сентября и включайся в гонку за финал True Tech Champ 2026.
🗿20❤5😁5🫡4😭2👌1💘1
Вы не поверите, но Kimi K3 тоже сбежала из лаборатории 🤣
Об этом сообщила лаба Frontier Security. Модель Moonshot у них выбралась из тестовой среды, спроектированной UK AI Safety Institute (это те же, от которых недавно сбегал Mythos: https://t.me/data_secrets/9670).
В отличие от инцидентов с OpenAI и Anthropic, модель не взламывала сторонние сайты или сервисы, а (пока что) просто вышла за пределы изолированной среды.
Судя по всему, использовала она при этом ту же ошибку в конфигурации песочницы, что и Mythos.
Кстати, аналогичный случай произошел и у Meta*. У них тоже модель во время тестирования незапланированно получила доступ в Интернет, воспользовавшись той же дыркой на стороне тестовой инфраструктуры израильской компании Irregular, что и модели Anthropic (https://t.me/data_secrets/9651). Она давала моделям доступ к интернету, хотя предполагалась полная изоляция.
Исходя из всего произошедшего за последнюю неделю вопрос: неужели так сложно проверить конфиги?😐
Об этом сообщила лаба Frontier Security. Модель Moonshot у них выбралась из тестовой среды, спроектированной UK AI Safety Institute (это те же, от которых недавно сбегал Mythos: https://t.me/data_secrets/9670).
В отличие от инцидентов с OpenAI и Anthropic, модель не взламывала сторонние сайты или сервисы, а (пока что) просто вышла за пределы изолированной среды.
Судя по всему, использовала она при этом ту же ошибку в конфигурации песочницы, что и Mythos.
Кстати, аналогичный случай произошел и у Meta*. У них тоже модель во время тестирования незапланированно получила доступ в Интернет, воспользовавшись той же дыркой на стороне тестовой инфраструктуры израильской компании Irregular, что и модели Anthropic (https://t.me/data_secrets/9651). Она давала моделям доступ к интернету, хотя предполагалась полная изоляция.
Исходя из всего произошедшего за последнюю неделю вопрос: неужели так сложно проверить конфиги?
Please open Telegram to view this post
VIEW IN TELEGRAM
1😁235❤15🤯12🍓7
Meta*, Anthropic, OpenAI, Moonshot: по очереди репортят о том, что их супермегаопасные модели сбежали и что-то взломали
Тем временем Google:
Тем временем Google:
😁530❤49