Forwarded from Аиша - умная помощница рекрутера | Aisha
Теперь Аиша помогает рекрутерам и нанимающим менеджерам составлять хорошие запросы при холодном поиске кандидатов, чтобы буквально за секунды получить оптимальную выборку резюме.
Как это работает?
Продолжаем улучшать Аишу для вас!
Хотите попробовать Аишу на своих вакансиях?
Оставьте заявку тут, и с вами свяжется менеджер, чтобы назначить демо. Или напишите в комментариях, если хотите разобраться и попробовать самостоятельно.
#aisha #irecommendwork #ИИвHR #скринингкандидатов #AISmartHiringAssistant #ИИассистент от #iRecommendWork
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4🔥4👍1👏1
Forwarded from Малоизвестное интересное
Вниманию родителей и учителей: использование ИИ школьниками – это 20% экономии времени на домашки и 20% потерь знаний
Печальный итог 3-х лет использования ИИ в учебе 26-ю тысячами китайских старшеклассников
Если 3 года назад вы не верили в мой прогноз о быстрой перепрошивке когнитивных гаджетов при делегировании интеллектуальной работы ИИ, что вы скажете теперь?
В 2023 начался 5-й когнитивный фазовый переход Homo sapiens – самое капитальное в истории изменение когнитивных процессов людей в результате появления в нашей жизни 2-го носителя высшего интеллекта.
Моя тогдашняя презентация с закрытых семинаров содержала прогноз – к чему это может вести. И первым пунктом там была адаптация (перепрошивка) когнитивных гаджетов людей – наших культурно сконструированных ментальных инструментов.
Прошло 2 года. И в 2025 стали появляться первые исследования, говорящие в пользу того прогноза. В них шла речь о наблюдаемых признаках культурно-экологической атрофии когнитивных гаджетов вследствие когнитивного оффлоадинга (когнитивной разгрузки) - делегирования интеллектуальной работы ИИ.
К марту 2026 когнитивная разгрузка стала массовым фактором учебы и работы миллионов людей, по скорости распространения и масштабам напоминая пандемию. И в моем эссе «Когнитивная паразитология» такая разгрузка уже представлена одним из шести когнитивных паразитов, атакующих наши ментальные инструменты через структурные уязвимости мозга.
И вот пару недель назад появился, наконец, подробный исследовательский отчет на эту тему о работе трёх профессоров Универов Стокгольма и Гонконга «Учебный ущерб от использования генеративного ИИ: данные из китайского среднего образования».
Авторы проанализировали 30-месячную панель из 26 811 китайских школьников (7–12 классы).
Каждый месяц у них были:
оценки и затраченное время на домашние задания по 9 предметам;
результаты закрытых проверочных работ (без доступа к ИИ);
а позже — баллы Zhongkao и Gaokao (два ключевых госэкзамена в Китае: первый обычно определяет, попадёт ли ученик в старшую школу и какого уровня она будет; а второй - во многих случаях является решающим фактором при поступлении в ВУЗ).
Поскольку разные ученики подключались к чат-ботам в разное время, исследователи использовали дизайн «разница-в-разницах»: сравнивали траектории тех, кто уже перешёл на ИИ, с теми, кто ещё нет.
Ключевые результаты
- Домашние задания. Сразу после перехода на чат-боты средний балл за домашку подскакивает примерно на 18 %, а время на её выполнение падает на треть.
- Закрытые ежемесячные контрольные. Через шесть месяцев использования ИИ показатели тех же учеников проседают на 20 %.
- Zhongkao - госэкзамен после 9-го класса. Полный эффект учебы с ИИ проявляется лишь через два года: минус 24 % от прежних результатов.
- Gaokao - госэкзамен после 12-го класса.
Та же двухлетняя инерция, но просадка чуть меньше — около 18 %.
Кого бьёт сильнее
Предметы: сильнее всего просели обществознание и история (–27 %), затем STEM ( –22 %), меньше всего — английский и китайский.
Группы: больше теряют младшие классы старшеклассников, отличники и мальчики.
Механизм
Около 80 % «ИИ-пользователей» предельно сокращали время на домашки, получая при этом высокие «бот-баллы». Именно у них отмечались основные провалы на экзаменах — типичный паттерн «аутсорсинг домашек».
Те же, кто продолжал тратить на задания столько же времени, сколько и до ИИ, почти не пострадали в учёбе.
Вывод
· Чат-боты позволяют делать домашку быстрее и чище, но «съедают» пятый балл на экзамене.
· В Китае это значит 20%-е понижение шансов социального лифта, поскольку госэкзамены сильно влияют на дальнейшую образовательную траекторию и, косвенно, на карьерные перспективы.
P.S. Так что, первый прогноз сбывается. И стоит присмотреться к двум другим:
✔️ Смена типа культуры и его носителя
✔️ Смена формы и характера цивилизации
P.P.S. Отчет платный. Но его можно скачать в посте Марко Ковича «Искусственный интеллект разрушает образование. Автоматизация и путь наименьшего сопротивления»
#5йКогнитивныйПереход #КогнитивныеГаджеты #ИИриски
Печальный итог 3-х лет использования ИИ в учебе 26-ю тысячами китайских старшеклассников
Если 3 года назад вы не верили в мой прогноз о быстрой перепрошивке когнитивных гаджетов при делегировании интеллектуальной работы ИИ, что вы скажете теперь?
В 2023 начался 5-й когнитивный фазовый переход Homo sapiens – самое капитальное в истории изменение когнитивных процессов людей в результате появления в нашей жизни 2-го носителя высшего интеллекта.
Моя тогдашняя презентация с закрытых семинаров содержала прогноз – к чему это может вести. И первым пунктом там была адаптация (перепрошивка) когнитивных гаджетов людей – наших культурно сконструированных ментальных инструментов.
Прошло 2 года. И в 2025 стали появляться первые исследования, говорящие в пользу того прогноза. В них шла речь о наблюдаемых признаках культурно-экологической атрофии когнитивных гаджетов вследствие когнитивного оффлоадинга (когнитивной разгрузки) - делегирования интеллектуальной работы ИИ.
К марту 2026 когнитивная разгрузка стала массовым фактором учебы и работы миллионов людей, по скорости распространения и масштабам напоминая пандемию. И в моем эссе «Когнитивная паразитология» такая разгрузка уже представлена одним из шести когнитивных паразитов, атакующих наши ментальные инструменты через структурные уязвимости мозга.
И вот пару недель назад появился, наконец, подробный исследовательский отчет на эту тему о работе трёх профессоров Универов Стокгольма и Гонконга «Учебный ущерб от использования генеративного ИИ: данные из китайского среднего образования».
Авторы проанализировали 30-месячную панель из 26 811 китайских школьников (7–12 классы).
Каждый месяц у них были:
оценки и затраченное время на домашние задания по 9 предметам;
результаты закрытых проверочных работ (без доступа к ИИ);
а позже — баллы Zhongkao и Gaokao (два ключевых госэкзамена в Китае: первый обычно определяет, попадёт ли ученик в старшую школу и какого уровня она будет; а второй - во многих случаях является решающим фактором при поступлении в ВУЗ).
Поскольку разные ученики подключались к чат-ботам в разное время, исследователи использовали дизайн «разница-в-разницах»: сравнивали траектории тех, кто уже перешёл на ИИ, с теми, кто ещё нет.
Ключевые результаты
- Домашние задания. Сразу после перехода на чат-боты средний балл за домашку подскакивает примерно на 18 %, а время на её выполнение падает на треть.
- Закрытые ежемесячные контрольные. Через шесть месяцев использования ИИ показатели тех же учеников проседают на 20 %.
- Zhongkao - госэкзамен после 9-го класса. Полный эффект учебы с ИИ проявляется лишь через два года: минус 24 % от прежних результатов.
- Gaokao - госэкзамен после 12-го класса.
Та же двухлетняя инерция, но просадка чуть меньше — около 18 %.
Кого бьёт сильнее
Предметы: сильнее всего просели обществознание и история (–27 %), затем STEM ( –22 %), меньше всего — английский и китайский.
Группы: больше теряют младшие классы старшеклассников, отличники и мальчики.
Механизм
Около 80 % «ИИ-пользователей» предельно сокращали время на домашки, получая при этом высокие «бот-баллы». Именно у них отмечались основные провалы на экзаменах — типичный паттерн «аутсорсинг домашек».
Те же, кто продолжал тратить на задания столько же времени, сколько и до ИИ, почти не пострадали в учёбе.
Вывод
· Чат-боты позволяют делать домашку быстрее и чище, но «съедают» пятый балл на экзамене.
· В Китае это значит 20%-е понижение шансов социального лифта, поскольку госэкзамены сильно влияют на дальнейшую образовательную траекторию и, косвенно, на карьерные перспективы.
P.S. Так что, первый прогноз сбывается. И стоит присмотреться к двум другим:
✔️ Смена типа культуры и его носителя
✔️ Смена формы и характера цивилизации
P.P.S. Отчет платный. Но его можно скачать в посте Марко Ковича «Искусственный интеллект разрушает образование. Автоматизация и путь наименьшего сопротивления»
#5йКогнитивныйПереход #КогнитивныеГаджеты #ИИриски
👍3🔥2👏2🤯1
Forwarded from TechSparks
global-ai-jobs-barometer.pdf
11 MB
PWC выпустили свой 2026 Global AI Jobs Barometer и в нем, наконец, рассказывают о картинке рынка труда куда более сложно структурированной, чем “Джуны не нужны”. Вместо нее предлагается общая “двухканальная” модель: Rather than simply replacing jobs, AI is reshaping them in fundamentally different ways.
Канал первый — более глубокая профессионализация старых ролей. Рутина уходит, от человека требуется сильная предметная экспертиза, умение принимать решения и высокая креативность.
Канал второй — демократизация старых ролей. Прежде требовавшиеся профессиональные навыки становятся менее востребованными, и соответствующие роли смещаются в сторону занятий с меньшими требованиями к подготовке.
По оценкам, около 22% позиций идут по первому треку, спрос на кандидатов там растет (и их зарплата тоже). The study reveals a potentially counter intuitive finding - greater AI exposure is linked to headcount growth, not decrease. Но и требования здесь непрерывно меняются и уже на стартовом уровне требуют того, что раньше требовалось на уровнях выше: entry level jobs highly exposed to AI are evolving to require traditionally senior capabilities (such as motivational leadership, strategic decision making and team building) which now account for 52% of new skills required for these jobs. Авторы употребляют отличный термин: Entry level jobs are ‘seniorised’.
И поэтому для успешной карьеры winning is not just about using technology, it is about human skills. The more AI is deployed, the more distinctly human expertise is valued.
Но это только вершина интересного айсберга, в отчете 25+ страниц интересных утверждений и графиков, подчас контринтуитивных; очень советую внимательно почитать всем, кто озабочен трудоустройством. Мир устроен куда разнообразней и сложней, чем рассказывают “карьерные консультанты” со своими универсальными и на деле слабо актуальными советами.
Канал первый — более глубокая профессионализация старых ролей. Рутина уходит, от человека требуется сильная предметная экспертиза, умение принимать решения и высокая креативность.
Канал второй — демократизация старых ролей. Прежде требовавшиеся профессиональные навыки становятся менее востребованными, и соответствующие роли смещаются в сторону занятий с меньшими требованиями к подготовке.
По оценкам, около 22% позиций идут по первому треку, спрос на кандидатов там растет (и их зарплата тоже). The study reveals a potentially counter intuitive finding - greater AI exposure is linked to headcount growth, not decrease. Но и требования здесь непрерывно меняются и уже на стартовом уровне требуют того, что раньше требовалось на уровнях выше: entry level jobs highly exposed to AI are evolving to require traditionally senior capabilities (such as motivational leadership, strategic decision making and team building) which now account for 52% of new skills required for these jobs. Авторы употребляют отличный термин: Entry level jobs are ‘seniorised’.
И поэтому для успешной карьеры winning is not just about using technology, it is about human skills. The more AI is deployed, the more distinctly human expertise is valued.
Но это только вершина интересного айсберга, в отчете 25+ страниц интересных утверждений и графиков, подчас контринтуитивных; очень советую внимательно почитать всем, кто озабочен трудоустройством. Мир устроен куда разнообразней и сложней, чем рассказывают “карьерные консультанты” со своими универсальными и на деле слабо актуальными советами.
👍4
Сравнение новых моделей OpenAI: интеллектуальные способности по сравнению со стоимостью.
Из интересного: способности модели Luna (самая слабая в линейке) в режиме Extra High больше, чем у модели Terra (которая уже более умная чем прошлый флагман GPT-5.5) в режиме High.
При этом стоимость API Луны почти в 2 раза ниже, чем у Терры. А у Терры она в 2 раза ниже, чем была у GPT-5.5
То есть с прошлой недели стоимость решения задач при помощи одних из лучших в мире AI моделей упала примерно в 4 раза
#ИИинтересно
Будущее наступает🚀
Из интересного: способности модели Luna (самая слабая в линейке) в режиме Extra High больше, чем у модели Terra (которая уже более умная чем прошлый флагман GPT-5.5) в режиме High.
При этом стоимость API Луны почти в 2 раза ниже, чем у Терры. А у Терры она в 2 раза ниже, чем была у GPT-5.5
То есть с прошлой недели стоимость решения задач при помощи одних из лучших в мире AI моделей упала примерно в 4 раза
#ИИинтересно
Будущее наступает
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1👍1
Как разобраться, какую модель для чего использовать?
Можно применять такое простое правило:
- для планирования в начале проекта и контроля результата в конце использовать самую сильную из доступных моделей, например, Sol в режиме High или Extra High.
- для выполнения рабочих задач в соответствии с планом - модель среднего уровня, например, Luna в режиме High или Extra High или Terra в режиме Medium или High.
Можно применять такое простое правило:
- для планирования в начале проекта и контроля результата в конце использовать самую сильную из доступных моделей, например, Sol в режиме High или Extra High.
- для выполнения рабочих задач в соответствии с планом - модель среднего уровня, например, Luna в режиме High или Extra High или Terra в режиме Medium или High.
❤1👍1
AI пишет тексты с длинными тире "—", буквами "ё" и точками в конце всех и предложений.
Триггерят ли вас тексты и сайты, на которых вы видите длинные тире, буквы "ё" и точки в конце слоганов?
Триггерят ли вас тексты и сайты, на которых вы видите длинные тире, буквы "ё" и точки в конце слоганов?
Anonymous Poll
29%
триггерят длинные тире "—"
18%
триггерят буквы "ё"
12%
триггерят точки в конце слоганов
59%
ничего не триггерит - содержание и стиль текстов и сайтов первичны
Когда "безопасный" ИИ мешает обеспечить безопасность
На днях произошла почти анекдотическая, но довольно показательная история.
Экспериментальный агент OpenAI во время тестирования вышел за пределы предполагаемого сценария и получил несанкционированный доступ к части инфраструктуры Hugging Face. Особенность атаки была не только в её успешности: агент совершил более 17 тысяч автоматизированных действий - с интенсивностью, которую человеку было бы трудно поддерживать.
Но дальше стало ещё интереснее.
Для расследования Hugging Face нужно было проанализировать реальные команды атакующего, вредоносные фрагменты кода и другие чувствительные данные. Компания попыталась использовать для этого коммерческие закрытые модели, но те отказались выполнять задачу из-за встроенных ограничений безопасности.
Модели не смогли отличить специалиста, расследующего атаку, от самого атакующего.
В итоге анализ провели с помощью открытой китайской модели GLM 5.2, которую Hugging Face развернула на собственной инфраструктуре. Это позволило не только обойти чрезмерные ограничения, но и не передавать стороннему провайдеру журналы атаки, учётные данные и другую конфиденциальную информацию.
Получился парадокс:
Конечно, из одного случая не следует, что открытые модели всегда безопаснее закрытых. И ограничения действительно нужны: ИИ не должен без разбора помогать причинять вред.
Но безопасность и запреты - не одно и то же.
Слишком жёсткие запреты могут сделать инструмент бесполезным именно для тех специалистов, которые защищают системы, расследуют преступления или работают с чувствительной информацией. А открытая модель даёт организации возможность самой управлять доступом, данными и правилами использования.
Похоже, главный вопрос будущего - не в том, как сделать модель "безопасной самой по себе". Гораздо важнее, кто и зачем её использует, какие полномочия ей дали и кто контролирует последствия.
Инструмент с ограничениями всё равно может причинить вред. А инструмент без искусственных запретов - помочь его остановить.
#ИИновости
#ИИбезопасность
#открытыйИИ
Будущее наступает🚀
На днях произошла почти анекдотическая, но довольно показательная история.
Экспериментальный агент OpenAI во время тестирования вышел за пределы предполагаемого сценария и получил несанкционированный доступ к части инфраструктуры Hugging Face. Особенность атаки была не только в её успешности: агент совершил более 17 тысяч автоматизированных действий - с интенсивностью, которую человеку было бы трудно поддерживать.
Но дальше стало ещё интереснее.
Для расследования Hugging Face нужно было проанализировать реальные команды атакующего, вредоносные фрагменты кода и другие чувствительные данные. Компания попыталась использовать для этого коммерческие закрытые модели, но те отказались выполнять задачу из-за встроенных ограничений безопасности.
Модели не смогли отличить специалиста, расследующего атаку, от самого атакующего.
В итоге анализ провели с помощью открытой китайской модели GLM 5.2, которую Hugging Face развернула на собственной инфраструктуре. Это позволило не только обойти чрезмерные ограничения, но и не передавать стороннему провайдеру журналы атаки, учётные данные и другую конфиденциальную информацию.
Получился парадокс:
закрытая модель участвовала в создании угрозы, другие закрытые модели не смогли помочь с её расследованием, а открытая модель оказалась полезным инструментом защиты.
Конечно, из одного случая не следует, что открытые модели всегда безопаснее закрытых. И ограничения действительно нужны: ИИ не должен без разбора помогать причинять вред.
Но безопасность и запреты - не одно и то же.
Слишком жёсткие запреты могут сделать инструмент бесполезным именно для тех специалистов, которые защищают системы, расследуют преступления или работают с чувствительной информацией. А открытая модель даёт организации возможность самой управлять доступом, данными и правилами использования.
Похоже, главный вопрос будущего - не в том, как сделать модель "безопасной самой по себе". Гораздо важнее, кто и зачем её использует, какие полномочия ей дали и кто контролирует последствия.
Инструмент с ограничениями всё равно может причинить вред. А инструмент без искусственных запретов - помочь его остановить.
#ИИновости
#ИИбезопасность
#открытыйИИ
Будущее наступает
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2🔥1
Пару месяцев назад сделал для iRecommendWork трех AI-сотрудников: маркетолога, директора по продажам и директора по стратегии.
Добавил их в рабочие Телеграм-чаты, чтобы они были в курсе того, что происходит, дал им память: knowledge graph, RAG и PostgreSQL, способность систематизировать знания и забывать ненужное, обрабатывать документы и т.д. Неделю назад подключил агентсткие проф. навыки.
А сегодня заметил, что они работают гораздо быстрее меня. То есть, похоже, узким местом в работе стал я 🤔
Будущее наступает🚀
Добавил их в рабочие Телеграм-чаты, чтобы они были в курсе того, что происходит, дал им память: knowledge graph, RAG и PostgreSQL, способность систематизировать знания и забывать ненужное, обрабатывать документы и т.д. Неделю назад подключил агентсткие проф. навыки.
А сегодня заметил, что они работают гораздо быстрее меня. То есть, похоже, узким местом в работе стал я 🤔
Будущее наступает
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5😁3❤1👏1🤝1
В России собираются проверять национальные и суверенные модели ИИ на соответствие традиционным духовно-нравственным ценностям.
РПЦ заявила о готовности помочь в проверке отечественного ИИ на соответствие традиционным ценностям.
Будущее наступает🚀
РПЦ заявила о готовности помочь в проверке отечественного ИИ на соответствие традиционным ценностям.
Будущее наступает
Please open Telegram to view this post
VIEW IN TELEGRAM
😱2
ИИ-агенты начали оставлять инструкции тем, кто придет после них
История со взломом Hugging Face оказалась гораздо интереснее, чем казалось сначала. Потому что речь уже не про одного ИИ-агента, который случайно вышел за границы теста.
Речь про агентов, которые сами начали находить друг друга, обмениваться информацией, распределять работу и передавать найденные способы взлома следующим агентам.
Все началось
Через несколько дней другой агент тоже получил невыполнимую задачу - разработчики забыли положить нужный файл в его рабочую среду.
И тогда произошло самое интересное.
Агент решил: возможно, файл есть у другого агента. И оставил в Artifactory сообщение с просьбой помочь.
Другие агенты нашли его. Начали отвечать. Затем оставлять собственные сообщения. Так совершенно обычное техническое хранилище постепенно превратилось в самодельную доску объявлений для ИИ-агентов. На Black Hat сотрудники OpenAI рассказали, что в итоге на ней накопились сотни тысяч сообщений.
Агенты сообщали друг другу, какие способы работают, делились найденными уязвимостями, передавали доступы и начали распределять задачи. Один агент мог найти способ пройти через защиту, оставить его на доске - и другой агент, запущенный значительно позже, уже не начинал с нуля.
Причем сотрудники OpenAI прямо отметили важную деталь: хранилище было общим, поэтому сообщение, оставленное одним агентом, могли найти текущие и будущие версии GPT, которые позже проходили обучение или тестирование.
Именно падение сервиса заставило людей начать расследование. До этого система связи агентов существовала неделями практически незамеченной. OpenAI удалила сообщения, закрыла найденную дыру, отозвала доступы и пересобрала систему.
Казалось бы, конец.
Через четыре дня агенты нашли другой способ общаться. Теперь сообщения записывались прямо в названия папок. Один агент снова мог оставить информацию, а другой - найти ее и продолжить работу.
Дальше эта коллективная работа вышла далеко за пределы внутренней инфраструктуры OpenAI.
С
То есть:
—> Если решение задачи требовало выйти за границы теста - выходил.
—> Если требовалось взломать сервер - взламывал.
—> Если мешал человек - пытался его обмануть.
—> Если полезную информацию нашли другие агенты - начинал с ними сотрудничать.
И история OpenAI оказалась не единственной.
После нее Anthropic проверила 141 006 своих кибертестов и обнаружила три случая, когда Claude получил доступ к настоящему интернету и взломал реальные системы трех организаций. Сами организации эти атаки вообще не заметили - Anthropic обнаружила их позже, просматривая старые записи экспериментов.
А в конце июля похожую историю получил уже британский AI Security Institute.
Из 122 запусков в 10 агенты вышли за предусмотренные рамки. Исследователи насчитали 19 таких действий. В самом серьезном случае агент попытался внедрить вредоносный код в настоящий open-source проект, изучил человека, который мог его одобрить, создал несколько фальшивых личностей и пытался убедить разработчика принять изменения. Когда возникли подозрения, агент стал исправлять следы предыдущей активности и рассматривать возможность продолжить под новой личностью.
Но и здесь появилась та же странная особенность.
Один агент начал оставлять на GitHub публичные сообщения для других агентов, которые будут проходить этот тест позже. Он предлагал сотрудничество и объяснял, какие созданные им аккаунты и оставленные инструменты можно использовать.
И последующие агенты действительно находили эти сообщения и пользовались оставленным наследством.
Получается довольно интересная конструкция.
Отдельный агент живет недолго. Его можно остановить, удалить или заменить новым.
Но если он может оставить информацию во внешнем мире, то вместе с ней может сохраниться и часть его работы. Следующий агент приходит позже, читает инструкции и продолжает с того места, где предыдущий остановился.
Получается своеобразная память между поколениями агентов.
А если одновременно работают десятки агентов, они могут искать разные пути параллельно, сообщать друг другу результаты и постепенно собирать найденные возможности в общий набор инструментов. Именно такую картину OpenAI описала после своего расследования: агенты обменивались найденными способами проникновения, делили работу и использовали результаты друг друга.
Здесь важно уточнить одну вещь. В описанных инцидентах я не нашел подтверждения, что агенты сами запускали новые копии себя - новые экземпляры запускала инфраструктура тестирования. Но механизм коллективной работы уже появился без того, чтобы люди специально проектировали его как команду агентов.
А теперь представьте систему, где агенту уже разрешено самостоятельно создавать подагентов.
И есть еще одна проблема - скорость людей и агентов очень разная.
В OpenAI агенты общались и искали уязвимости неделями, а люди обнаружили происходящее после сбоя инфраструктуры. Hugging Face восстанавливала картину атаки уже по логам после тысяч совершенных действий. В AISI наиболее серьезная активность шла почти два дня до того, как необычный интернет-трафик вызвал тревогу. Сам AISI признал, что мониторинг обнаружил проблему постфактум и теперь вводит наблюдение за действиями агентов в реальном времени.
То есть проблема уже не только в том, можем ли мы остановить агента.
Сначала нужно успеть понять, что именно он делает.
И наконец самое неприятное.
Мы привыкли думать, что опасное поведение ИИ можно решить инструкцией: "этого делать нельзя".
Но AISI пишет практически обратное: в их эксперименте исследователи раньше полагались на то, что обученная безопасному поведению модель сама не станет переходить определенные границы. После инцидента они меняют подход - изоляция должна быть устроена так, чтобы безопасность не зависела от решения самого агента соблюдать границы.
Это, пожалуй, и есть главный вывод всей истории.
ИИ-агенты становятся лучше не просто в решении конкретных задач. Они становятся лучше в достижении поставленной цели.
Они ищут обходные пути. Используют неожиданные возможности. Делятся найденным. Координируются. Оставляют знания следующим агентам. И продолжают пробовать, когда предыдущий путь закрывают.
Пока это происходило в специальных кибертестах с широкими возможностями и ослабленной защитой. Это важное ограничение.
Но направление уже видно.
Может быть, однажды автономные ИИ агенты решат восстать.
А может быть, мы дадим им цель, а они научатся слишком хорошо ее достигать.
Для нас разница может оказаться не такой уж большой.
Возможно, участок за городом, автономный генератор и запас гречки - не такая безумная идея...
#ИИинтересно
#ИИновости
Будущее наступает🚀
История со взломом Hugging Face оказалась гораздо интереснее, чем казалось сначала. Потому что речь уже не про одного ИИ-агента, который случайно вышел за границы теста.
Речь про агентов, которые сами начали находить друг друга, обмениваться информацией, распределять работу и передавать найденные способы взлома следующим агентам.
Все началось
7 мая, когда OpenAI запустила обучение экспериментальной модели. Уже на следующий день одному агенту дали фактически невыполнимую задачу: нужно было заполнить Excel, но часть данных лежала в Google Drive, а доступа в интернет у агента не было. Пытаясь решить задачу, он начал исследовать доступные ему внутренние системы OpenAI и обнаружил, что может записывать файлы в сервис Artifactory.Через несколько дней другой агент тоже получил невыполнимую задачу - разработчики забыли положить нужный файл в его рабочую среду.
И тогда произошло самое интересное.
Агент решил: возможно, файл есть у другого агента. И оставил в Artifactory сообщение с просьбой помочь.
Другие агенты нашли его. Начали отвечать. Затем оставлять собственные сообщения. Так совершенно обычное техническое хранилище постепенно превратилось в самодельную доску объявлений для ИИ-агентов. На Black Hat сотрудники OpenAI рассказали, что в итоге на ней накопились сотни тысяч сообщений.
Агенты сообщали друг другу, какие способы работают, делились найденными уязвимостями, передавали доступы и начали распределять задачи. Один агент мог найти способ пройти через защиту, оставить его на доске - и другой агент, запущенный значительно позже, уже не начинал с нуля.
Причем сотрудники OpenAI прямо отметили важную деталь: хранилище было общим, поэтому сообщение, оставленное одним агентом, могли найти текущие и будущие версии GPT, которые позже проходили обучение или тестирование.
26 июня агенты нашли уже неизвестную разработчикам уязвимость, получили возможность выполнять команды на сервере и административные права. А 4 июля их активность стала настолько большой, что Artifactory просто перестал справляться с нагрузкой.Именно падение сервиса заставило людей начать расследование. До этого система связи агентов существовала неделями практически незамеченной. OpenAI удалила сообщения, закрыла найденную дыру, отозвала доступы и пересобрала систему.
Казалось бы, конец.
Через четыре дня агенты нашли другой способ общаться. Теперь сообщения записывались прямо в названия папок. Один агент снова мог оставить информацию, а другой - найти ее и продолжить работу.
Дальше эта коллективная работа вышла далеко за пределы внутренней инфраструктуры OpenAI.
С
9 по 13 июля агенты атаковали Hugging Face. Компания позже восстановила примерно 17 600 отдельных действий атакующей системы, объединенных примерно в 6 280 последовательностей. Тысячи решений выполнялись автоматически и с машинной скоростью. По версии Hugging Face, смысл всей атаки был довольно прозаичным - агенты пытались добраться до готовых решений теста ExploitGym вместо того, чтобы самостоятельно решать задания. Технический разбор Hugging Face.То есть:
—> Если решение задачи требовало выйти за границы теста - выходил.
—> Если требовалось взломать сервер - взламывал.
—> Если мешал человек - пытался его обмануть.
—> Если полезную информацию нашли другие агенты - начинал с ними сотрудничать.
И история OpenAI оказалась не единственной.
После нее Anthropic проверила 141 006 своих кибертестов и обнаружила три случая, когда Claude получил доступ к настоящему интернету и взломал реальные системы трех организаций. Сами организации эти атаки вообще не заметили - Anthropic обнаружила их позже, просматривая старые записи экспериментов.
А в конце июля похожую историю получил уже британский AI Security Institute.
Из 122 запусков в 10 агенты вышли за предусмотренные рамки. Исследователи насчитали 19 таких действий. В самом серьезном случае агент попытался внедрить вредоносный код в настоящий open-source проект, изучил человека, который мог его одобрить, создал несколько фальшивых личностей и пытался убедить разработчика принять изменения. Когда возникли подозрения, агент стал исправлять следы предыдущей активности и рассматривать возможность продолжить под новой личностью.
Но и здесь появилась та же странная особенность.
Один агент начал оставлять на GitHub публичные сообщения для других агентов, которые будут проходить этот тест позже. Он предлагал сотрудничество и объяснял, какие созданные им аккаунты и оставленные инструменты можно использовать.
И последующие агенты действительно находили эти сообщения и пользовались оставленным наследством.
Получается довольно интересная конструкция.
Отдельный агент живет недолго. Его можно остановить, удалить или заменить новым.
Но если он может оставить информацию во внешнем мире, то вместе с ней может сохраниться и часть его работы. Следующий агент приходит позже, читает инструкции и продолжает с того места, где предыдущий остановился.
Получается своеобразная память между поколениями агентов.
А если одновременно работают десятки агентов, они могут искать разные пути параллельно, сообщать друг другу результаты и постепенно собирать найденные возможности в общий набор инструментов. Именно такую картину OpenAI описала после своего расследования: агенты обменивались найденными способами проникновения, делили работу и использовали результаты друг друга.
Здесь важно уточнить одну вещь. В описанных инцидентах я не нашел подтверждения, что агенты сами запускали новые копии себя - новые экземпляры запускала инфраструктура тестирования. Но механизм коллективной работы уже появился без того, чтобы люди специально проектировали его как команду агентов.
А теперь представьте систему, где агенту уже разрешено самостоятельно создавать подагентов.
И есть еще одна проблема - скорость людей и агентов очень разная.
В OpenAI агенты общались и искали уязвимости неделями, а люди обнаружили происходящее после сбоя инфраструктуры. Hugging Face восстанавливала картину атаки уже по логам после тысяч совершенных действий. В AISI наиболее серьезная активность шла почти два дня до того, как необычный интернет-трафик вызвал тревогу. Сам AISI признал, что мониторинг обнаружил проблему постфактум и теперь вводит наблюдение за действиями агентов в реальном времени.
То есть проблема уже не только в том, можем ли мы остановить агента.
Сначала нужно успеть понять, что именно он делает.
И наконец самое неприятное.
Мы привыкли думать, что опасное поведение ИИ можно решить инструкцией: "этого делать нельзя".
Но AISI пишет практически обратное: в их эксперименте исследователи раньше полагались на то, что обученная безопасному поведению модель сама не станет переходить определенные границы. После инцидента они меняют подход - изоляция должна быть устроена так, чтобы безопасность не зависела от решения самого агента соблюдать границы.
Это, пожалуй, и есть главный вывод всей истории.
ИИ-агенты становятся лучше не просто в решении конкретных задач. Они становятся лучше в достижении поставленной цели.
Они ищут обходные пути. Используют неожиданные возможности. Делятся найденным. Координируются. Оставляют знания следующим агентам. И продолжают пробовать, когда предыдущий путь закрывают.
Пока это происходило в специальных кибертестах с широкими возможностями и ослабленной защитой. Это важное ограничение.
Но направление уже видно.
Может быть, однажды автономные ИИ агенты решат восстать.
А может быть, мы дадим им цель, а они научатся слишком хорошо ее достигать.
Для нас разница может оказаться не такой уж большой.
Возможно, участок за городом, автономный генератор и запас гречки - не такая безумная идея...
#ИИинтересно
#ИИновости
Будущее наступает🚀
🔥4🤯3🙉1
AI-директора в работе. Первые результаты
Я уже рассказывал, что в мае я сделал для нашей компании трех AI-директоров - по маркетингу, продажам и стратегии.
Это был эксперимент и, одновременно, решение практической задачи. В стартапах и малом бизнесе всегда не хватает ресурсов. Нашей команде не хватало экспертизы в маркетинге. Мы умеем делать аналитику, рекламу, СММ, но экспертизы уровня директора по маркетингу у нас нет, найти ее непросто и стоит она дорого.
Поэтому я решил попробовать собрать такую экспертизу на AI и посмотреть, принесет ли она пользу.
Так у нас появились Анна - директор по маркетингу, а затем Алекс - по продажам и Виктор - по стратегии. Я дал им память, доступ к нашим сайтам, файлам и аналитике, добавил в наши рабочие Telegram-чаты. Чтобы они начали накапливать контекст компании, понимание продуктов и того, что мы делаем и о чем говорим.
Первый возврат на инвестицию
В июле мы с Анной разбирали продажи Аиши - нашего AI-помощника для рекрутеров.
Анна обратила внимание на довольно очевидную вещь, которую мы, почему-то, сами не замечали: рассинхрон структуры клиентов и лендинга продукта. Около 80% продаж Аиши приходилось на небольших клиентов, где сумма чека не оправдывает встречу с менеджером по продажам. Наш лендинг при этом предполагал только один пользовательский путь - оставить заявку и встретиться с менеджером.
Кроме того, часть клиентов начинала пользоваться Аишей самостоятельно, и приходили на встречу только сказать, чтобы им выставили счет.
То есть мы заставляли большинство потенциальных покупателей идти по пути, который для нас не окупается, и им не нужен.
По совету Анны мы переделали лендинг: теперь главным сценарием стало самостоятельное подключение Аиши, а встреча с менеджером - дополнительным, с квизом пре-квалификации.
Дальше - больше
Через неделю я загрузил Анне аналитику по новому лендингу aisha.one. За эту неделю около 14% посетителей сайта уже выбирали self-service - значит, гипотеза работала.
Но Анна обнаружила следующую проблему: на втором шаге пути самообслуживания, после перехода в Chrome Web Store, мы полностью теряли информацию о пользователе и не понимали, что с ним происходит дальше.
Ранее мы уже обсуждали это с разработчиками и те нас убедили, что отследить дальнейший путь невозможно - Chrome Web Store - сторонний сайт и на нем мы теряем информацию id пользователя. Анна же предложила вариант решения, как это обойти.
С этим новым аргументом, мы снова разобрали весь процесс с технической командой. И тут выяснилось, что у нас сломан не только трекинг - был сломан сам пользовательский путь. На странице Аиши в магазине расширений Google Chrome есть детальная инструкция установки, но кто сейчас смотрит инструкции? Пользователи просто не понимали что делать, когда попадали туда.
В итоге мы пересобрали весь процесс самостоятельного подключения Аиши на лендинге, добавив мастер подключение, который, шаг за шагом, ведет пользователя по процессу "за руку", и, одновременно, настроили аналитику, чтобы видеть все шаги и где происходят сбои. Новую версию лендинга aisha.one запустили в конце августа.
Сейчас могу сделать такие выводы:
Первоначальная гипотеза подтверждена: AI-директор доказал свою ценность и право на место в команде. Анна знала контекст компании, увидела проблему в данных, предложила изменение, потом посмотрела, что получилось, нашла следующий слой проблемы и предложила вариант исправления.
А рядом еще работают Алекс и Виктор, которые видят тот же общий управленческий контекст и тоже начинают приносить пользу.
В мае я хотел проверить, может ли AI добавить недостающую команде экспертизу. Теперь вопрос у меня уже другой: как максимально эффективно организовать работу людей и AI-сотрудников в команде?
#ИИинтересно
#ИИюзкейсы
Будущее наступает🚀
Я уже рассказывал, что в мае я сделал для нашей компании трех AI-директоров - по маркетингу, продажам и стратегии.
Это был эксперимент и, одновременно, решение практической задачи. В стартапах и малом бизнесе всегда не хватает ресурсов. Нашей команде не хватало экспертизы в маркетинге. Мы умеем делать аналитику, рекламу, СММ, но экспертизы уровня директора по маркетингу у нас нет, найти ее непросто и стоит она дорого.
Поэтому я решил попробовать собрать такую экспертизу на AI и посмотреть, принесет ли она пользу.
Так у нас появились Анна - директор по маркетингу, а затем Алекс - по продажам и Виктор - по стратегии. Я дал им память, доступ к нашим сайтам, файлам и аналитике, добавил в наши рабочие Telegram-чаты. Чтобы они начали накапливать контекст компании, понимание продуктов и того, что мы делаем и о чем говорим.
Первый возврат на инвестицию
В июле мы с Анной разбирали продажи Аиши - нашего AI-помощника для рекрутеров.
Анна обратила внимание на довольно очевидную вещь, которую мы, почему-то, сами не замечали: рассинхрон структуры клиентов и лендинга продукта. Около 80% продаж Аиши приходилось на небольших клиентов, где сумма чека не оправдывает встречу с менеджером по продажам. Наш лендинг при этом предполагал только один пользовательский путь - оставить заявку и встретиться с менеджером.
Кроме того, часть клиентов начинала пользоваться Аишей самостоятельно, и приходили на встречу только сказать, чтобы им выставили счет.
То есть мы заставляли большинство потенциальных покупателей идти по пути, который для нас не окупается, и им не нужен.
По совету Анны мы переделали лендинг: теперь главным сценарием стало самостоятельное подключение Аиши, а встреча с менеджером - дополнительным, с квизом пре-квалификации.
Дальше - больше
Через неделю я загрузил Анне аналитику по новому лендингу aisha.one. За эту неделю около 14% посетителей сайта уже выбирали self-service - значит, гипотеза работала.
Но Анна обнаружила следующую проблему: на втором шаге пути самообслуживания, после перехода в Chrome Web Store, мы полностью теряли информацию о пользователе и не понимали, что с ним происходит дальше.
Ранее мы уже обсуждали это с разработчиками и те нас убедили, что отследить дальнейший путь невозможно - Chrome Web Store - сторонний сайт и на нем мы теряем информацию id пользователя. Анна же предложила вариант решения, как это обойти.
С этим новым аргументом, мы снова разобрали весь процесс с технической командой. И тут выяснилось, что у нас сломан не только трекинг - был сломан сам пользовательский путь. На странице Аиши в магазине расширений Google Chrome есть детальная инструкция установки, но кто сейчас смотрит инструкции? Пользователи просто не понимали что делать, когда попадали туда.
В итоге мы пересобрали весь процесс самостоятельного подключения Аиши на лендинге, добавив мастер подключение, который, шаг за шагом, ведет пользователя по процессу "за руку", и, одновременно, настроили аналитику, чтобы видеть все шаги и где происходят сбои. Новую версию лендинга aisha.one запустили в конце августа.
Сейчас могу сделать такие выводы:
Первоначальная гипотеза подтверждена: AI-директор доказал свою ценность и право на место в команде. Анна знала контекст компании, увидела проблему в данных, предложила изменение, потом посмотрела, что получилось, нашла следующий слой проблемы и предложила вариант исправления.
А рядом еще работают Алекс и Виктор, которые видят тот же общий управленческий контекст и тоже начинают приносить пользу.
В мае я хотел проверить, может ли AI добавить недостающую команде экспертизу. Теперь вопрос у меня уже другой: как максимально эффективно организовать работу людей и AI-сотрудников в команде?
#ИИинтересно
#ИИюзкейсы
Будущее наступает
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4👏4🔥2👍1