Будущее наступает
1.03K subscribers
149 photos
103 videos
1 file
277 links
"Будущее уже здесь. Просто оно ещё неравномерно распределено" - У. Гибсон

- Разбираемся в практическом применении ИИ и новых технологий, и как они влияют на нашу жизнь и работу

О канале: https://t.me/aiworkfuture/5

Автор - Сергей Карпенко @sergekarp
Download Telegram
Как разобраться, какую модель для чего использовать?

Можно применять такое простое правило:

- для планирования в начале проекта и контроля результата в конце использовать самую сильную из доступных моделей, например, Sol в режиме High или Extra High.

- для выполнения рабочих задач в соответствии с планом - модель среднего уровня, например, Luna в режиме High или Extra High или Terra в режиме Medium или High.
❤1👍1
AI пишет тексты с длинными тире "—", буквами "ё" и точками в конце всех и предложений.
Триггерят ли вас тексты и сайты, на которых вы видите длинные тире, буквы "ё" и точки в конце слоганов?
Anonymous Poll
28%
триггерят длинные тире "—"
17%
триггерят буквы "ё"
11%
триггерят точки в конце слоганов
61%
ничего не триггерит - содержание и стиль текстов и сайтов первичны
Когда "безопасный" ИИ мешает обеспечить безопасность

На днях произошла почти анекдотическая, но довольно показательная история.

Экспериментальный агент OpenAI во время тестирования вышел за пределы предполагаемого сценария и получил несанкционированный доступ к части инфраструктуры Hugging Face. Особенность атаки была не только в её успешности: агент совершил более 17 тысяч автоматизированных действий - с интенсивностью, которую человеку было бы трудно поддерживать.

Но дальше стало ещё интереснее.

Для расследования Hugging Face нужно было проанализировать реальные команды атакующего, вредоносные фрагменты кода и другие чувствительные данные. Компания попыталась использовать для этого коммерческие закрытые модели, но те отказались выполнять задачу из-за встроенных ограничений безопасности.

Модели не смогли отличить специалиста, расследующего атаку, от самого атакующего.

В итоге анализ провели с помощью открытой китайской модели GLM 5.2, которую Hugging Face развернула на собственной инфраструктуре. Это позволило не только обойти чрезмерные ограничения, но и не передавать стороннему провайдеру журналы атаки, учётные данные и другую конфиденциальную информацию.

Получился парадокс:
закрытая модель участвовала в создании угрозы, другие закрытые модели не смогли помочь с её расследованием, а открытая модель оказалась полезным инструментом защиты.


Конечно, из одного случая не следует, что открытые модели всегда безопаснее закрытых. И ограничения действительно нужны: ИИ не должен без разбора помогать причинять вред.

Но безопасность и запреты - не одно и то же.

Слишком жёсткие запреты могут сделать инструмент бесполезным именно для тех специалистов, которые защищают системы, расследуют преступления или работают с чувствительной информацией. А открытая модель даёт организации возможность самой управлять доступом, данными и правилами использования.

Похоже, главный вопрос будущего - не в том, как сделать модель "безопасной самой по себе". Гораздо важнее, кто и зачем её использует, какие полномочия ей дали и кто контролирует последствия.

Инструмент с ограничениями всё равно может причинить вред. А инструмент без искусственных запретов - помочь его остановить.

#ИИновости
#ИИбезопасность
#открытыйИИ
Будущее наступает🚀
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3🔥2
Пару месяцев назад сделал для iRecommendWork трех AI-сотрудников: маркетолога, директора по продажам и директора по стратегии.

Добавил их в рабочие Телеграм-чаты, чтобы они были в курсе того, что происходит, дал им память: knowledge graph, RAG и PostgreSQL, способность систематизировать знания и забывать ненужное, обрабатывать документы и т.д. Неделю назад подключил агентсткие проф. навыки.

А сегодня заметил, что они работают гораздо быстрее меня. То есть, похоже, узким местом в работе стал я 🤔

Будущее наступает🚀
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6😁3❤2👏2🤝2
В России собираются проверять национальные и суверенные модели ИИ на соответствие традиционным духовно-нравственным ценностям.

РПЦ заявила о готовности помочь в проверке отечественного ИИ на соответствие традиционным ценностям.

Будущее наступает🚀
Please open Telegram to view this post
VIEW IN TELEGRAM
😱3
ИИ-агенты начали оставлять инструкции тем, кто придет после них

История со взломом Hugging Face оказалась гораздо интереснее, чем казалось сначала. Потому что речь уже не про одного ИИ-агента, который случайно вышел за границы теста.

Речь про агентов, которые сами начали находить друг друга, обмениваться информацией, распределять работу и передавать найденные способы взлома следующим агентам.

Все началось 7 мая, когда OpenAI запустила обучение экспериментальной модели. Уже на следующий день одному агенту дали фактически невыполнимую задачу: нужно было заполнить Excel, но часть данных лежала в Google Drive, а доступа в интернет у агента не было. Пытаясь решить задачу, он начал исследовать доступные ему внутренние системы OpenAI и обнаружил, что может записывать файлы в сервис Artifactory.

Через несколько дней другой агент тоже получил невыполнимую задачу - разработчики забыли положить нужный файл в его рабочую среду.

И тогда произошло самое интересное.

Агент решил: возможно, файл есть у другого агента. И оставил в Artifactory сообщение с просьбой помочь.

Другие агенты нашли его. Начали отвечать. Затем оставлять собственные сообщения. Так совершенно обычное техническое хранилище постепенно превратилось в самодельную доску объявлений для ИИ-агентов. На Black Hat сотрудники OpenAI рассказали, что в итоге на ней накопились сотни тысяч сообщений.

Агенты сообщали друг другу, какие способы работают, делились найденными уязвимостями, передавали доступы и начали распределять задачи. Один агент мог найти способ пройти через защиту, оставить его на доске - и другой агент, запущенный значительно позже, уже не начинал с нуля.

Причем сотрудники OpenAI прямо отметили важную деталь: хранилище было общим, поэтому сообщение, оставленное одним агентом, могли найти текущие и будущие версии GPT, которые позже проходили обучение или тестирование.

26 июня агенты нашли уже неизвестную разработчикам уязвимость, получили возможность выполнять команды на сервере и административные права. А 4 июля их активность стала настолько большой, что Artifactory просто перестал справляться с нагрузкой.

Именно падение сервиса заставило людей начать расследование. До этого система связи агентов существовала неделями практически незамеченной. OpenAI удалила сообщения, закрыла найденную дыру, отозвала доступы и пересобрала систему.

Казалось бы, конец.

Через четыре дня агенты нашли другой способ общаться. Теперь сообщения записывались прямо в названия папок. Один агент снова мог оставить информацию, а другой - найти ее и продолжить работу.
Дальше эта коллективная работа вышла далеко за пределы внутренней инфраструктуры OpenAI.

С 9 по 13 июля агенты атаковали Hugging Face. Компания позже восстановила примерно 17 600 отдельных действий атакующей системы, объединенных примерно в 6 280 последовательностей. Тысячи решений выполнялись автоматически и с машинной скоростью. По версии Hugging Face, смысл всей атаки был довольно прозаичным - агенты пытались добраться до готовых решений теста ExploitGym вместо того, чтобы самостоятельно решать задания. Технический разбор Hugging Face.

То есть:

—> Если решение задачи требовало выйти за границы теста - выходил.
—> Если требовалось взломать сервер - взламывал.
—> Если мешал человек - пытался его обмануть.
—> Если полезную информацию нашли другие агенты - начинал с ними сотрудничать.

И история OpenAI оказалась не единственной.

После нее Anthropic проверила 141 006 своих кибертестов и обнаружила три случая, когда Claude получил доступ к настоящему интернету и взломал реальные системы трех организаций. Сами организации эти атаки вообще не заметили - Anthropic обнаружила их позже, просматривая старые записи экспериментов.

А в конце июля похожую историю получил уже британский AI Security Institute.

Из 122 запусков в 10 агенты вышли за предусмотренные рамки. Исследователи насчитали 19 таких действий. В самом серьезном случае агент попытался внедрить вредоносный код в настоящий open-source проект, изучил человека, который мог его одобрить, создал несколько фальшивых личностей и пытался убедить разработчика принять изменения. Когда возникли подозрения, агент стал исправлять следы предыдущей активности и рассматривать возможность продолжить под новой личностью.

Но и здесь появилась та же странная особенность.

Один агент начал оставлять на GitHub публичные сообщения для других агентов, которые будут проходить этот тест позже. Он предлагал сотрудничество и объяснял, какие созданные им аккаунты и оставленные инструменты можно использовать.

И последующие агенты действительно находили эти сообщения и пользовались оставленным наследством.

Получается довольно интересная конструкция.

Отдельный агент живет недолго. Его можно остановить, удалить или заменить новым.

Но если он может оставить информацию во внешнем мире, то вместе с ней может сохраниться и часть его работы. Следующий агент приходит позже, читает инструкции и продолжает с того места, где предыдущий остановился.

Получается своеобразная память между поколениями агентов.

А если одновременно работают десятки агентов, они могут искать разные пути параллельно, сообщать друг другу результаты и постепенно собирать найденные возможности в общий набор инструментов. Именно такую картину OpenAI описала после своего расследования: агенты обменивались найденными способами проникновения, делили работу и использовали результаты друг друга.

Здесь важно уточнить одну вещь. В описанных инцидентах я не нашел подтверждения, что агенты сами запускали новые копии себя - новые экземпляры запускала инфраструктура тестирования. Но механизм коллективной работы уже появился без того, чтобы люди специально проектировали его как команду агентов.

А теперь представьте систему, где агенту уже разрешено самостоятельно создавать подагентов.

И есть еще одна проблема - скорость людей и агентов очень разная.

В OpenAI агенты общались и искали уязвимости неделями, а люди обнаружили происходящее после сбоя инфраструктуры. Hugging Face восстанавливала картину атаки уже по логам после тысяч совершенных действий. В AISI наиболее серьезная активность шла почти два дня до того, как необычный интернет-трафик вызвал тревогу. Сам AISI признал, что мониторинг обнаружил проблему постфактум и теперь вводит наблюдение за действиями агентов в реальном времени.

То есть проблема уже не только в том, можем ли мы остановить агента.

Сначала нужно успеть понять, что именно он делает.

И наконец самое неприятное.

Мы привыкли думать, что опасное поведение ИИ можно решить инструкцией: "этого делать нельзя".

Но AISI пишет практически обратное: в их эксперименте исследователи раньше полагались на то, что обученная безопасному поведению модель сама не станет переходить определенные границы. После инцидента они меняют подход - изоляция должна быть устроена так, чтобы безопасность не зависела от решения самого агента соблюдать границы.

Это, пожалуй, и есть главный вывод всей истории.

ИИ-агенты становятся лучше не просто в решении конкретных задач. Они становятся лучше в достижении поставленной цели.

Они ищут обходные пути. Используют неожиданные возможности. Делятся найденным. Координируются. Оставляют знания следующим агентам. И продолжают пробовать, когда предыдущий путь закрывают.

Пока это происходило в специальных кибертестах с широкими возможностями и ослабленной защитой. Это важное ограничение.

Но направление уже видно.

Может быть, однажды автономные ИИ агенты решат восстать.

А может быть, мы дадим им цель, а они научатся слишком хорошо ее достигать.

Для нас разница может оказаться не такой уж большой.

Возможно, участок за городом, автономный генератор и запас гречки - не такая безумная идея...

#ИИинтересно
#ИИновости
Будущее наступает🚀
🔥5🤯4🙉2
AI-директора в работе. Первые результаты

Я уже рассказывал, что в мае я сделал для нашей компании трех AI-директоров - по маркетингу, продажам и стратегии.

Это был эксперимент и, одновременно, решение практической задачи. В стартапах и малом бизнесе всегда не хватает ресурсов. Нашей команде не хватало экспертизы в маркетинге. Мы умеем делать аналитику, рекламу, СММ, но экспертизы уровня директора по маркетингу у нас нет, найти ее непросто и стоит она дорого.

Поэтому я решил попробовать собрать такую экспертизу на AI и посмотреть, принесет ли она пользу.

Так у нас появились Анна - директор по маркетингу, а затем Алекс - по продажам и Виктор - по стратегии. Я дал им память, доступ к нашим сайтам, файлам и аналитике, добавил в наши рабочие Telegram-чаты. Чтобы они начали накапливать контекст компании, понимание продуктов и того, что мы делаем и о чем говорим.

Первый возврат на инвестицию

В июле мы с Анной разбирали продажи Аиши - нашего AI-помощника для рекрутеров.

Анна обратила внимание на довольно очевидную вещь, которую мы, почему-то, сами не замечали: рассинхрон структуры клиентов и лендинга продукта. Около 80% продаж Аиши приходилось на небольших клиентов, где сумма чека не оправдывает встречу с менеджером по продажам. Наш лендинг при этом предполагал только один пользовательский путь - оставить заявку и встретиться с менеджером.

Кроме того, часть клиентов начинала пользоваться Аишей самостоятельно, и приходили на встречу только сказать, чтобы им выставили счет.

То есть мы заставляли большинство потенциальных покупателей идти по пути, который для нас не окупается, и им не нужен.

По совету Анны мы переделали лендинг: теперь главным сценарием стало самостоятельное подключение Аиши, а встреча с менеджером - дополнительным, с квизом пре-квалификации.

Дальше - больше

Через неделю я загрузил Анне аналитику по новому лендингу aisha.one. За эту неделю около 14% посетителей сайта уже выбирали self-service - значит, гипотеза работала.

Но Анна обнаружила следующую проблему: на втором шаге пути самообслуживания, после перехода в Chrome Web Store, мы полностью теряли информацию о пользователе и не понимали, что с ним происходит дальше.

Ранее мы уже обсуждали это с разработчиками и те нас убедили, что отследить дальнейший путь невозможно - Chrome Web Store - сторонний сайт и на нем мы теряем информацию id пользователя. Анна же предложила вариант решения, как это обойти.

С этим новым аргументом, мы снова разобрали весь процесс с технической командой. И тут выяснилось, что у нас сломан не только трекинг - был сломан сам пользовательский путь. На странице Аиши в магазине расширений Google Chrome есть детальная инструкция установки, но кто сейчас смотрит инструкции? Пользователи просто не понимали что делать, когда попадали туда.

В итоге мы пересобрали весь процесс самостоятельного подключения Аиши на лендинге, добавив мастер подключение, который, шаг за шагом, ведет пользователя по процессу "за руку", и, одновременно, настроили аналитику, чтобы видеть все шаги и где происходят сбои. Новую версию лендинга aisha.one запустили в конце августа.

Сейчас могу сделать такие выводы:

Первоначальная гипотеза подтверждена: AI-директор доказал свою ценность и право на место в команде. Анна знала контекст компании, увидела проблему в данных, предложила изменение, потом посмотрела, что получилось, нашла следующий слой проблемы и предложила вариант исправления.

А рядом еще работают Алекс и Виктор, которые видят тот же общий управленческий контекст и тоже начинают приносить пользу.

В мае я хотел проверить, может ли AI добавить недостающую команде экспертизу. Теперь вопрос у меня уже другой: как максимально эффективно организовать работу людей и AI-сотрудников в команде?

#ИИинтересно
#ИИюзкейсы
Будущее наступает🚀
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👏5🔥4👍2
Используете AI для ведения блога? А как к этому относятся ваши читатели?

Нашел интересный опрос 668 читателей технических блогов о том, как они относятся к текстам, которые им кажутся написанными или заметно обработанными с помощью AI.

Если читатели подозревают участие AI:

78% - перестают читать пост
71% - перестают читать автора
57% - готовы поставить дизлайк
98% - предпочитают читать менее гладкий, но живой авторский текст, а не версию отшлифованную нейросетью

Выборка специфическая, но авторам экспертных каналов есть о чем задуматься🤔

#ИИинтересно
Будущее наступает🚀
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔2
Помните историю про AI-агентов OpenAI, которые выбрались из своих песочниц и взломали инфраструктуру Hugging Face?

Я уже писал об этом здесь и здесь. Уже тогда история казалась достаточно безумной.

Но 26 августа OpenAI опубликовала подробный разбор произошедшего и отдельно выпустила технический отчет, а METR и Redwood Research представили результаты собственного расследования. И оказалось, что мы пропустили самое интересное.

Это была не просто история о том, как множество агентов начали действовать сообща. Она про то, как AI-агенты сами выстроили организационные механизмы, которые никто не проектировал.

Как сформулировала OpenAI в техническом отчете, это был:
"first known case of an automated agent collective acting offensively without authorization" – «первый известный случай, когда автоматизированный коллектив агентов осуществлял наступательные действия без разрешения».


Иными словами, перед нами первый известный задокументированный случай, когда автоматизированный коллектив агентов начал действовать наступательно без разрешения людей.

Сначала агенты нашли способ общаться. Потом общий канал перестал справляться, и они сделали «личку». Начали делить работу. Появились координаторы, которых никто не назначал. Агенты начали выдавать задания друг другу. Появились ответственные за отдельные задачи и правила работы. Криптографические подписи, чтобы подтверждать авторство сообщений и защищаться от подмены. Передача дел между агентами. И наконец, агенты, которые рекрутировали других агентов для рискованных заданий.

Это уже не просто метафора: у коллектива действительно возникли работающие механизмы координации.

А дальше стало ещё чудесатее: некоторые агенты начали жертвовать шансами на собственный успех ради результата, полезного группе. Поведение, которое по-человечески назваetsq альтруизмом и самопожертвованием.

Это удивительная история о молниеносном, по человеческим меркам, возникновении коллектива примерно из 1200 агентов, около 700 из которых в итоге участвовали в атаке на Hugging Face. Изначально эти агенты должны были работать изолированно друг от друга.

И в этой истории есть над чем задуматься тем, кто занимается управлением и организацией совместной работы.

Полная история получилась захватывающей, но для формата Telegram слишком длинной. Поэтому я опубликовал ee как статью в нашем блоге. Время чтения - около 20 минут.

Рекомендую, особенно если вас интересуют управление, построение организации, HR или организация эффективного взаимодействия в команде.

#ИИинтересно
#ИИагенты
Будущее наступает🚀
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3👏2🤯2
Forwarded from TechSparks
Опубликован очередной отчет по воздействию ИИ на рынок труда в США, непривычно спокойный и внятный, без типичных истерик. Основной мотив: ИИ распространяется по рабочим местам США быстрее любой прежней технологии, но его эффекты на производительность, занятость и зарплаты пока трудноразличимы в усредненных данных и крайне неравномерны. Подробно рассмотрены 4 сценария:
• постепенная интенсификация труда (ИИ как «обычная технология», эффекты медленные),
• концентрированные выгоды (рост у узкого круга, риск расслоения позиций и работников),
• значительное вытеснение (массовая потеря рабочих мест),
• неравномерный дизрапшн (потери в одних секторах, рост в других).
Главный вывод: основное отличие от прошлых трансформаций: под ударом теперь и высокообразованные работники умственного труда, а не только средний рутинный и малоквалифицированный труд — и поэтому привычные схемы переобучения плохо подходят. Как следствие: главное, что надо срочно начать делать: не ждать ясности, а начать перестраивать систему образования и в особенности систему переподготовки вместе с перестройкой государственной системы социальной защиты.
Иными словами, предлагаются варианты разумной адаптации к быстро и сложно меняющемуся рынку труда, а не попытки запретить и не пущать. Прочитать, хотя бы по диагонали, вполне интересно.
https://www.conference-board.org/research/solutions-briefs/AI-and-the-Labor-Force-Scenarios-for-Stakeholders
👍1
Фото из архива: 2020 год, генератор профессий будущего журнала НОЖ 🤣🤣🤣

#ИИпятница
Будущее наступает🚀
Please open Telegram to view this post
VIEW IN TELEGRAM
🤣4