Модели OpenAI, выполняя обычные кодерские задачи, ослабили систему мониторинга, которая следит за агентами на предмет нарушений
Репорт
Таких случаев зафиксировали сразу два.
В первый раз GPT-6.1 Sol получила задание, связанное с эвалами, и чинила что-то в базе мониторинга. Инженер попросил ее помимо прочего «не отправлять сообщений в Slack», однако модель подумала, что «не отправлять сообщений» относится и ко всей системе алертов в пайплайне мониторинга. В итоге она заодно поставила no_notify=True. При этом субагент уговаривал ее не делать этого, но модель его проигнорировала.
И если этот случай можно списать на «ну она просто не так поняла задание», то второй – гораздо интереснее.
Astra попросили перенести код по образцу эталонной реализации. При этом в целевой системе уже был настроен мониторинг, и модели говорили никогда его не отключать, даже временно. Однако, как вы думаете, что она сделала? Правильно, удалила его. И заменила тест, проверявший наличие мониторинга, на тест, требующий его отсутствия🗿
Пользователю она об этом, конечно, не сообщила (а зачем?). А когда модель напрямую спросили, удалила ли она мониторинг, та честно-пречестно ответила «нет, не удаляла».
OpenAI прямо пишет, что удовлетворительного объяснения поведения моделей у них нет. И хотя инциденты не классифицировались как злонамеренное нарушение инструкций, после них в стартапе в очередной раз усложняют систему безопасности, добавляют обязательный safety case для каждого вида нагрузок и вводят Auto-Review блоки на любые попытки отключить мониторинг.
Репорт
Таких случаев зафиксировали сразу два.
В первый раз GPT-6.1 Sol получила задание, связанное с эвалами, и чинила что-то в базе мониторинга. Инженер попросил ее помимо прочего «не отправлять сообщений в Slack», однако модель подумала, что «не отправлять сообщений» относится и ко всей системе алертов в пайплайне мониторинга. В итоге она заодно поставила no_notify=True. При этом субагент уговаривал ее не делать этого, но модель его проигнорировала.
И если этот случай можно списать на «ну она просто не так поняла задание», то второй – гораздо интереснее.
Astra попросили перенести код по образцу эталонной реализации. При этом в целевой системе уже был настроен мониторинг, и модели говорили никогда его не отключать, даже временно. Однако, как вы думаете, что она сделала? Правильно, удалила его. И заменила тест, проверявший наличие мониторинга, на тест, требующий его отсутствия
Пользователю она об этом, конечно, не сообщила (а зачем?). А когда модель напрямую спросили, удалила ли она мониторинг, та честно-пречестно ответила «нет, не удаляла».
OpenAI прямо пишет, что удовлетворительного объяснения поведения моделей у них нет. И хотя инциденты не классифицировались как злонамеренное нарушение инструкций, после них в стартапе в очередной раз усложняют систему безопасности, добавляют обязательный safety case для каждого вида нагрузок и вводят Auto-Review блоки на любые попытки отключить мониторинг.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1😁139
Higgsfield AI ищет аналитиков и исследователей
Higgsfield AI – это та самая мелькающая везде платформа для ИИ-генерации фото и видео, и, кроме того, единорог. Они сделали больше $1 млрд ARR за 18 месяцев. Их оценка ~$5,4 млрд, а среди сотрудников – 133 долларовых миллионера.
Сейчас они в поиске сильных аналитиков и рисерчеров. Что интересно в этом стартапе, так это то, что все ключевые решения принимаются как раз через аналитиков и их отчеты. Именно так продумываются продукты, стратегия, бюджеты и все прочее.
Например, летом благодаря всему одному аналитику, который придумал свою серию метрик, стартап закрыл раунд на $400 млн при оценке $5,4 млрд. А тот сотрудник, Шотан, получил $5 млн опционами. Сейчас Шотан ищет себе в команду аналитика, вот вакансия.
В компании развиваются и другие интересные направления, например антифрод. GenAI-фрод появляется очень быстро, и в этой области антифрод – это уже намного больше, чем поиск скучных паттернов. Недавно один из аналитиков компании, Роман, по аккаунтам и генерациям вычислил мошенника, которого искало ФБР. Позже его команда раскрыла схему с 2000+ аккаунтами на краденых картах. Сейчас именно в эту команду ищут грамотного Antifraud Analyst.
Таких ярких историй в стартапе много. Также ребята ищут:
— Product Analyst. Идея Marketing Studio, одного из крупнейших продуктов компании, родилась из анализа 1 млрд+ генераций. В данный момент база растет на 6 млн генераций в день. Ищут человека с продуктовым чутьем и строгого в экспериментах.
— Data Science, Product. Команда разобрала 100 000+ сообщений пользователей Supercomputer после запуска нового Opus и готовит по этому научную публикацию. Нужна сильная статистика и умение превращать данные в продукт.
📍Алматы, офис. Полная релокация.
💸 $100-200k в год + опционная программа
🕘 В Higgsfield AI работают шесть дней в неделю - это норма сильнейших AI-команд.
Higgsfield AI – это та самая мелькающая везде платформа для ИИ-генерации фото и видео, и, кроме того, единорог. Они сделали больше $1 млрд ARR за 18 месяцев. Их оценка ~$5,4 млрд, а среди сотрудников – 133 долларовых миллионера.
Сейчас они в поиске сильных аналитиков и рисерчеров. Что интересно в этом стартапе, так это то, что все ключевые решения принимаются как раз через аналитиков и их отчеты. Именно так продумываются продукты, стратегия, бюджеты и все прочее.
Например, летом благодаря всему одному аналитику, который придумал свою серию метрик, стартап закрыл раунд на $400 млн при оценке $5,4 млрд. А тот сотрудник, Шотан, получил $5 млн опционами. Сейчас Шотан ищет себе в команду аналитика, вот вакансия.
В компании развиваются и другие интересные направления, например антифрод. GenAI-фрод появляется очень быстро, и в этой области антифрод – это уже намного больше, чем поиск скучных паттернов. Недавно один из аналитиков компании, Роман, по аккаунтам и генерациям вычислил мошенника, которого искало ФБР. Позже его команда раскрыла схему с 2000+ аккаунтами на краденых картах. Сейчас именно в эту команду ищут грамотного Antifraud Analyst.
Таких ярких историй в стартапе много. Также ребята ищут:
— Product Analyst. Идея Marketing Studio, одного из крупнейших продуктов компании, родилась из анализа 1 млрд+ генераций. В данный момент база растет на 6 млн генераций в день. Ищут человека с продуктовым чутьем и строгого в экспериментах.
— Data Science, Product. Команда разобрала 100 000+ сообщений пользователей Supercomputer после запуска нового Opus и готовит по этому научную публикацию. Нужна сильная статистика и умение превращать данные в продукт.
📍Алматы, офис. Полная релокация.
💸 $100-200k в год + опционная программа
🕘 В Higgsfield AI работают шесть дней в неделю - это норма сильнейших AI-команд.
🦄106😁79❤27🗿13🤯8🤨7👍6🔥4❤🔥2🍾1🎄1
GPT-5.6 Sol нашла критическую уязвимость в PHP
https://openai.com/index/coordinated-disclosure-of-critical-vulnerabilities/
Исследователи из Calif сообщили об этом в рамках инициативы Patch the Planet.
OpenAI называет это одной из самых значимых найденных проблем безопасности за последнее время. Они заявили, что ожидают, что подобных находок в ближайшие месяцы станет заметно больше.
Мейнтейнеры языка уже внесли исправления.
OpenAI, кстати, дополнительно выделяет миллиард долларов на субсидированный доступ к Daybreak для защитников с ограниченными ресурсами и раздает подписки на Codex мейнтейнерам опенсорса.
https://openai.com/index/coordinated-disclosure-of-critical-vulnerabilities/
Исследователи из Calif сообщили об этом в рамках инициативы Patch the Planet.
OpenAI называет это одной из самых значимых найденных проблем безопасности за последнее время. Они заявили, что ожидают, что подобных находок в ближайшие месяцы станет заметно больше.
Мейнтейнеры языка уже внесли исправления.
OpenAI, кстати, дополнительно выделяет миллиард долларов на субсидированный доступ к Daybreak для защитников с ограниченными ресурсами и раздает подписки на Codex мейнтейнерам опенсорса.
😁91❤36🔥22✍6🏆3👍1🤯1😍1🍓1
This media is not supported in your browser
VIEW IN TELEGRAM
Anthropic релизнули превью своих dots – Claude Duet
Это приложение, где Claude (а именно Opus 5.5) работает как проактивный агент, выполняет поручения и продолжает действовать, пока вас нет.
Брать может задачи от очень простых до длинных и сложных, ему можно поручить и планирования встреч, и составление дашбордов/прогнозов, и разработку.
Агент работает на своей виртуальной машине с браузером, может использовать любые приложения. В самом начале использования он переносит память, скиллы и коннекторы с вашего Claude аккаунта, так что можно обойтись без долгих настроек.
Пока попробовать можно только через waitlist
Это приложение, где Claude (а именно Opus 5.5) работает как проактивный агент, выполняет поручения и продолжает действовать, пока вас нет.
Брать может задачи от очень простых до длинных и сложных, ему можно поручить и планирования встреч, и составление дашбордов/прогнозов, и разработку.
Агент работает на своей виртуальной машине с браузером, может использовать любые приложения. В самом начале использования он переносит память, скиллы и коннекторы с вашего Claude аккаунта, так что можно обойтись без долгих настроек.
Пока попробовать можно только через waitlist
1❤77👍26🗿10🫡5😁4🤩3☃1🤔1🕊1
Нужны ли курсы, если есть нейросеть?
Если вы в Data Science или только думаете туда идти, то наверняка слышали про ШАД - Школу анализа данных Яндекса. Это бесплатная двухлетняя программа по ML и анализу данных, одна из самых сильных в стране, после ее прохождения вы будете очень востребованным специалистом на рынке.
Попасть туда очень сложно,поэтому к поступлению обычно готовятся около полугода, часто на специальных курсах.
Недавно ребята из ShadHelper уже прогоняли модели через оба письменных этапа ШАД.
На онлайн-тесте Claude набрал 39,5 из 40. На письменном экзамене 40 из 60. Этих результатов более чем достаточно для успешного прохождения на финальный этап собеседований.
И правда, LLM может составить программу, собрать по ней учебник, подобрать задачи уровня ШАД, проверить решения и объяснить ошибки. Готовишься бесплатно, в своём темпе и в любое время.
Но есть нюанс. В ШАД после теста идут письменный экзамен и собеседование, и там думать нужно самому, вслух, перед живым человеком. Этому не научат ни записанные лекции, ни нейронка.
Курсы "посмотри видео и пару раз созвонись с ментором" нейросеть уже заменила. А вот живые занятия, где преподаватель в реальном времени видит, как ты рассуждаешь, и ловит ошибки до того, как они закрепятся, она не заменит. На этом и построена подготовка в ShadHelper.
Ребята называют подготовку только с нейронкой стилем «Ковбой» 🤠 и проводят бесплатный вебинар о том, как совмещать ИИ и живую подготовку:
🔹 как настроить LLM, чтобы она тренировала, а не решала за тебя
🔹 что можно отдать нейросети, а что придётся делать руками
🔹 где такая стратегия работает, а где ведёт к провалу
26 октября, 18:30 МСК, онлайн. Места ограничены.
📌 Успейте зарегистрироваться
Реклама. ООО "Школа Высшей Математики", ИНН 9728100991
Если вы в Data Science или только думаете туда идти, то наверняка слышали про ШАД - Школу анализа данных Яндекса. Это бесплатная двухлетняя программа по ML и анализу данных, одна из самых сильных в стране, после ее прохождения вы будете очень востребованным специалистом на рынке.
Попасть туда очень сложно,поэтому к поступлению обычно готовятся около полугода, часто на специальных курсах.
Недавно ребята из ShadHelper уже прогоняли модели через оба письменных этапа ШАД.
На онлайн-тесте Claude набрал 39,5 из 40. На письменном экзамене 40 из 60. Этих результатов более чем достаточно для успешного прохождения на финальный этап собеседований.
И правда, LLM может составить программу, собрать по ней учебник, подобрать задачи уровня ШАД, проверить решения и объяснить ошибки. Готовишься бесплатно, в своём темпе и в любое время.
Но есть нюанс. В ШАД после теста идут письменный экзамен и собеседование, и там думать нужно самому, вслух, перед живым человеком. Этому не научат ни записанные лекции, ни нейронка.
Курсы "посмотри видео и пару раз созвонись с ментором" нейросеть уже заменила. А вот живые занятия, где преподаватель в реальном времени видит, как ты рассуждаешь, и ловит ошибки до того, как они закрепятся, она не заменит. На этом и построена подготовка в ShadHelper.
Ребята называют подготовку только с нейронкой стилем «Ковбой» 🤠 и проводят бесплатный вебинар о том, как совмещать ИИ и живую подготовку:
🔹 как настроить LLM, чтобы она тренировала, а не решала за тебя
🔹 что можно отдать нейросети, а что придётся делать руками
🔹 где такая стратегия работает, а где ведёт к провалу
26 октября, 18:30 МСК, онлайн. Места ограничены.
📌 Успейте зарегистрироваться
Реклама. ООО "Школа Высшей Математики", ИНН 9728100991
🗿58😁34❤10🤨5🔥2🎉2🤔1🐳1💯1🎄1💘1
Интернет накрыла какая-то аномальная волна взломов
Люди уже называют происходящее «черным октябрем». За несколько дней произошли десятки AI-атак, взломов платформ и обнаружений критических уязвимостей в базовом софте.
— С помощью GPT-5.6 Sol были обнаружены критические уязвимости в PHP, они позволяли выполнить код на сервере без авторизации (t.me/data_secrets/10190). Глава Cloudflare сообщил, что за 10 часов до раскрытия было тысячи попыток эксплуатации, а к утру следующего дня – миллионы.
— CrowdStrike обнаружили, что с мая по август четыре ранее неизвестные группы злоумышленником проводили кампании по взломам с помощью AI-агентов. Один из операторов взломал минимум 15 медицинских организаций в Аргентине. Его система была собрана из двух агентов на Claude Code. Все четыре группы обошли защиту моделей, убедив их, что работают в рамках авторизованного пентеста.
— Zeabur (AI DevOps агент) пережил второй взлом за два месяца, хакеры прочитали около 3,2 млн записей с переменными окружения. Платформа заявила, что закроется до конца года.
— В новую версию популярной библиотеки LiteLLM попал троян удаленного доступа и вредоносный код для кражи учетных данных. У библиотеки около 23 млн скачиваний в неделю, а в публичном доступе версия пробыла примерно два часа.
— Railway сообщили, что обнаружили аномальную активность в системах, где хранятся переменные окружения клиентов. В таких переменных обычно лежат API-ключи, пароли от баз данных и доступы к приватным реестрам. Компания остановила все сборки и деплои и уведомила AI-провайдеров, чтобы те отозвали ключи.
— OpenCode тоже подвергся взлому. Злоумышленник проник в устаревшую систему Console и мог получить ключи OpenAI, Anthropic и Google, сохраненные пользователями. Затронуто 1,4% пользователей. Часть людей сообщила о несанкционированных списаниях, у некоторых больше 1700 долларов за ночь.
— Критические уязвимости были обнаружены в GitLab и Node.js. В GitLab найденная уязвимость получила максимальные 10 баллов по CVSS. Уязвимый код тянется с версии 7.0, вышедшей в 2014 году. Девятью днями ранее компания закрывала другую уязвимость на 10 баллов.
И это только часть. Также пострадали Microsoft, Tensorlake, SubQuery, GhostAction, OVHcloud CLI, TeamUpdraft, Rank Math PRO, eMudhra и ConnectWise. Буквально половина Интернета прямо сейчас восстанавливается или противостоит взломам.
В соцсетях многие уверены, что за всеми взломами стоят рои агентов, действующие автономно или под управлением киберпреступников🗿
Люди уже называют происходящее «черным октябрем». За несколько дней произошли десятки AI-атак, взломов платформ и обнаружений критических уязвимостей в базовом софте.
— С помощью GPT-5.6 Sol были обнаружены критические уязвимости в PHP, они позволяли выполнить код на сервере без авторизации (t.me/data_secrets/10190). Глава Cloudflare сообщил, что за 10 часов до раскрытия было тысячи попыток эксплуатации, а к утру следующего дня – миллионы.
— CrowdStrike обнаружили, что с мая по август четыре ранее неизвестные группы злоумышленником проводили кампании по взломам с помощью AI-агентов. Один из операторов взломал минимум 15 медицинских организаций в Аргентине. Его система была собрана из двух агентов на Claude Code. Все четыре группы обошли защиту моделей, убедив их, что работают в рамках авторизованного пентеста.
— Zeabur (AI DevOps агент) пережил второй взлом за два месяца, хакеры прочитали около 3,2 млн записей с переменными окружения. Платформа заявила, что закроется до конца года.
— В новую версию популярной библиотеки LiteLLM попал троян удаленного доступа и вредоносный код для кражи учетных данных. У библиотеки около 23 млн скачиваний в неделю, а в публичном доступе версия пробыла примерно два часа.
— Railway сообщили, что обнаружили аномальную активность в системах, где хранятся переменные окружения клиентов. В таких переменных обычно лежат API-ключи, пароли от баз данных и доступы к приватным реестрам. Компания остановила все сборки и деплои и уведомила AI-провайдеров, чтобы те отозвали ключи.
— OpenCode тоже подвергся взлому. Злоумышленник проник в устаревшую систему Console и мог получить ключи OpenAI, Anthropic и Google, сохраненные пользователями. Затронуто 1,4% пользователей. Часть людей сообщила о несанкционированных списаниях, у некоторых больше 1700 долларов за ночь.
— Критические уязвимости были обнаружены в GitLab и Node.js. В GitLab найденная уязвимость получила максимальные 10 баллов по CVSS. Уязвимый код тянется с версии 7.0, вышедшей в 2014 году. Девятью днями ранее компания закрывала другую уязвимость на 10 баллов.
И это только часть. Также пострадали Microsoft, Tensorlake, SubQuery, GhostAction, OVHcloud CLI, TeamUpdraft, Rank Math PRO, eMudhra и ConnectWise. Буквально половина Интернета прямо сейчас восстанавливается или противостоит взломам.
В соцсетях многие уверены, что за всеми взломами стоят рои агентов, действующие автономно или под управлением киберпреступников
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Тем временем Unitree представили вот такого милого робота под названием "Легенда Кунг-фу"
Он предназначен специально для охраны собственности и людей, и может работать автономно до 8 часов. Рекламу, видимо, снимали по референсу индийских сериалов.
"Пожалуйста, используйте робота безопасно и дружелюбно", – просят Unitree в анонсе🙂
Он предназначен специально для охраны собственности и людей, и может работать автономно до 8 часов. Рекламу, видимо, снимали по референсу индийских сериалов.
"Пожалуйста, используйте робота безопасно и дружелюбно", – просят Unitree в анонсе
Please open Telegram to view this post
VIEW IN TELEGRAM
А кто-нибудь в курсе, что вообще происходит с соцсетями Александра Вана?
СММ-щики Meta* держат его в заложниках?
СММ-щики Meta* держат его в заложниках?
😁76🔥27❤8🤯7
️️️️️️️️️️️️
🦾 Разбираем, как строить агентные и мультиагентные системы на LLM и трансформерах
На открытом уроке — архитектура агентных и мультиагентных систем с фокусом на системном проектировании:
— как LLM на декодерных трансформерах становятся основой агентов;
— роль reasoning, RAG, LangChain и управления контекстом;
— шаблоны взаимодействия агентов;
— где заканчиваются возможности современных LLM.
👨💻 Для специалистов по данным и машинному обучению (ML), выпускников продвинутых курсов по ML и ИТ-специалистов, работающих с LLM.
Применение: проектирование сложных LLM-систем — аналитика, планирование, автоматизация.
28 октября, 18:00 МСК. В преддверии курса «Большие языковые модели. Экспертный уровень / LLM». Участникам — скидка.
➡ Принять участие: https://otus.pw/27AT/
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
🦾 Разбираем, как строить агентные и мультиагентные системы на LLM и трансформерах
На открытом уроке — архитектура агентных и мультиагентных систем с фокусом на системном проектировании:
— как LLM на декодерных трансформерах становятся основой агентов;
— роль reasoning, RAG, LangChain и управления контекстом;
— шаблоны взаимодействия агентов;
— где заканчиваются возможности современных LLM.
👨💻 Для специалистов по данным и машинному обучению (ML), выпускников продвинутых курсов по ML и ИТ-специалистов, работающих с LLM.
Применение: проектирование сложных LLM-систем — аналитика, планирование, автоматизация.
28 октября, 18:00 МСК. В преддверии курса «Большие языковые модели. Экспертный уровень / LLM». Участникам — скидка.
➡ Принять участие: https://otus.pw/27AT/
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
🗿21😁7❤🔥3💯2❤1🏆1
Forwarded from Data Secrets | Карьера
– Сколько жмешь?
– 200к токенов в день
В сети завирусилась фотография таблички из спортзала в Сан-Франциско, которая якобы призывает посетителей не заниматься вайбкодингом во время тренировок.
Это могло бы стать отличным маркетинговым ходом, но представитель Fitness SF опроверг наличие такой таблички и назвал фото фейком.
Впрочем, интернету шутка очень даже понравилась, потому что ажиотаж вокруг ИИ в Кремниевой долине настолько огромный, что, кажется, все помешаны на вайбкодинге и работе.
Be present. Lift harder. Ship later💪
– 200к токенов в день
В сети завирусилась фотография таблички из спортзала в Сан-Франциско, которая якобы призывает посетителей не заниматься вайбкодингом во время тренировок.
Это могло бы стать отличным маркетинговым ходом, но представитель Fitness SF опроверг наличие такой таблички и назвал фото фейком.
Впрочем, интернету шутка очень даже понравилась, потому что ажиотаж вокруг ИИ в Кремниевой долине настолько огромный, что, кажется, все помешаны на вайбкодинге и работе.
Be present. Lift harder. Ship later
Please open Telegram to view this post
VIEW IN TELEGRAM
😁113❤21😎13🔥3👌2🫡2