ЗЛОЙ ИИ ПРИГЛАШАЕТ В ЧАТ

Сейчас профессиональное сообщество вздрагивает (да и до всех доносится) о суперспобностях ИИ по обнаружению таинственных "сотен спящих уязвимостей".

Это всё тоже имеет место быть. Но реальный взрывной рост возможностей злодеев в использовании ИИ я вижу в другом.

Возможность очень достоверно изображать живых людей - агентно, проактивно - без заготовленных шаблонных фраз - это прямая возможность проводить уникальные моббинг-атаки на каждого из нас.

Следующий шаг в "прокачке" этого вектора - рандомизация поводов - чтобы не ключи от домофона - а любой более-менее достоверный повод в жизни подъезда мог стать отправной точки для создания чатика.

Голосование по установке системы водоотчистки?

Смена управляющей компании?

Бронирование экскурсии для школьниов?

Все это можно привязать к необходимости что-то подтвердить на госуслугах или запустить скрипт - позвонить для срочного бронирования уникального места в большом театре. И дальше "теплого" уже клиента - дожать.

Да, это было и раньше - заморачивались, но ради реально больших денег с целыми спектаклями и дипфейками - https://www.bfm.ru/news/543637
Но теперь эта страшилка из новостей может прилететь в каждый дом. И злодеев устроят ваши 200 тыс., экономика у них сойдется.

Хорошо что у злодеев нет всей этой информации для подготовки атак? Нет есть.

Это второй мощный катализатор "злого" использования ИИ - анализ неструктурированной информации.

Доступ в публичные чатики, захваченные учетки или доступ к истории.

Раньше у злодеев была сложность найти в большой базе или файлопомойке ценную информацию, понять структуру, выделить важное.

Теперь эта задача также решается универсально и быстро. Время от получения доступа к системе до начала "выноса ценностей" схлопнулась.

Что делать? Людям мыслить критически и понимать угрозы (вот картинка например очень наглядная и прививка).

Компаниям - использовать ИИ для безопасности конечно, но главное не дать использовать свой бизнес-ИИ для ускорения работы злоумышленников. За ваши же токены.

ГДЕ МЫ В ИИ-ХАЙПЕ?

Пока в мире обсуждается 90%-й провал ИИ пилотов и визионерствуют (опять) о необходимости прицела на трансформацию для получения результата/ценности (хотя картинка этого не передает) - что у нас?

Безусловно ощущается запрос на эксперименты с ИИ, но одновременно с этим принимается довольно серьезно сдерживающий инициативу закон об ИИ.

И проблема в законе не только в обозначенных мерах, но скорее в неочевидности того как они будут реализовываться. А это фриз инициатив до прояснения - второе полугодие и начало 2027.

Так уже тоже происходило и с криптографией и с фин.регулированием - но с ИИ есть нюанс - темпы.

Вспомните где были технологии год назад - не хайп, а реальные возможности.

Через год, даже если реализуется 10% прогнозов развития - отставание будет драматическим.

Внедрять надо уже сейчас, подконтрольно, с учетом рисков и сценариев временного/полного возврата к неИИ процессам.

Но начинать в нашем случае с трансформации, технологии - (пока нет, но будут) комодити.

Не так страшен shadow ai, как некоторые shadow iq
#кртк

ГЛАВНОГО ГЕРОЯ КАКОГО ФИЛЬМА КАК ЗОВУТ?

В рамках пленарной дискуссии форума Технологии доверенного ИИ (https://trust-ai.ib-bank.ru/) обсуждались проблемы доверия к ИИ и возможные негативные эффекты - в случае если обеспечить это доверие не получится.

С моей точки зрения - переход к практике (а такая была заявлена рамка дискуссии) должен сопровождаться декомпозицией задачи. Явно назрела необходимость разделение потоков дискуссии - разговор про ИИ как компонента в рамках определенных функций бизнес-систем. И важные, но совсем иного плана дискуссии об ИИ как технологии, влияющией на общество. И там и там будут стратегические и глобальные вопросы, но на разных временных шкалах и с отличающимися объектами/субъектами.

Был классный пример тактического вопроса "высокого уровня" - ИИ как технологию скорее уже можно применять в образовании для помощи учителю в тестировании знаний, а вот переводить на него само обучение - кажется скорее опасным.

Навскидку - объеденив трактовки доверия NIST и MITRE (AI RMF, ATLAS, AI-SAFE), можно выделить следующие "оси" доверия для "ИИ как компонента":

• Обоснованность и надежность (Valid and Reliable): Способность системы работать без отклонений в рамках целевых условий и подтверждать точность выполнения задач.
• Безопасность (Safe): Исключение сценариев, при которых ИИ может нанести прямой или косвенный физический и психологический вред людям или окружающей среде.
• Устойчивость и защищенность (Secure and Resilient): Способность перенесения системой непредвиденных нагрузок и способность противостоять взломам.
• Подотчетность и прозрачность (Accountable and Transparent): Наличие четкой фиксации этапов разработки и развертывания, а также доступность информации о принципах работы ИИ внешнему наблюдателю.
• Объяснимость и интерпретируемость (Explainable and Interpretable): Возможность выдачи пользователю аргументов, на основе которых модель приняла конкретное решение.
• Конфиденциальность и приватность (Privacy-Enhanced): наличие встроенных механизмов управления приватностью и раскрытия персональных данных при обучении и инференсе.
• Справедливость и управление предвзятостью (Fair with Harmful Bias Managed): мониторинг и отсечение дискриминационных искажений.

Очевидно, что эти вопросы не годятся для "ИИ как технологии" - например границы safety будут очень разные для медицинской системы, военной системы или системы для школьников, а "закручивание гаек" под широкую аудиторию приведет к непригодности их в экспертных сценариях.

Вопрос в градации степеней доверия и соотношениях стоимости контролей и рисках/ущербе - влияет не только на фин.затраты, но и на клиентский опыт. Но! В большинстве бизнес-систем - это решение задач в "частных случаях", не в общем виде. Это - гораздо более реализуемо и сводится к известным задачам безопасности и доверия цифровизации процессов, борьбой с ошибками и сбоями в программном обеспечении, ошибками операторов и т.д.. Конкретные сценарии применения - конкретные требования - контроли (человек-в-цикле, цензоры, ...) - исходя из специфики.

Класс применения в формате базовых "ИИ-чатов" - как раз наименее слабо поддающийся регулированию сценарий - как регламентировать всё хорошее/плохое, создаваемое инструментами разработки ПО. Здесь обязательны этика, мониторинг конкретных запросов и т.д. - но таких платформ в России две. И все участники согласились - доверием пользователя они максимально дорожат. Их "внутренняя планка" всегда будет на порядки выше любой регуляторной. А нероссийские сервисы живут по своим правилам - их разрабочики претендуют на субъектность - видят себя как "отдельные государства", живущие по своим законам.

Регламентация (направляющие - "как правильно") нужны и их отсутствие максимально ограничивает сейчас именно тиражирование бизнес-внедрений. Для перехода к практике - нужны практические, значимые характеристики доверия и рекомендации по управлению, а для этого упростить конструкцию, убрав пару неизвестных - тогда и главных герев будет проще назначить.

#secureai

Улыбнёмся своим планам - совпало?

За себя скажу так. Я написал себе очень много околофундаментальных целей - таких что потребовали бы 3-4 часа в день только на них. Но остановила не боязнь перетрудиться.

Скорее - мои ли это цели, чьи боли/потребности будут решены еслида.

Параллельно общался в рамках advisory и встреч с самыми бодрыми бизнесменами и менеджерами с неувядшей "хочухой".

И это сильно скорректировало мне "понимаю что хочу", "действительно хочу и делаю".

И конечно каждый маленький шаг к цели - это правильный шаг.

Не унывать от того, что он таки маленький - важная способность любого кто делает реальное дело.

А цели могут и должны пересматриваться исходя из текущего момента. Это право свободного мыслящего.

Это я себе. В основном.

НАДО ПРОБОВАТЬ ТО О ЧЕМ ГОВОРИШЬ? ДА? ДА!

Легитимизация через "Точки Взаимной Выгоды"

**Мысль:** В книге ("Русская модель управления" прим.АИ) Прохоров подчеркивает, что для успешного внедрения реформ нужен не только приказ сверху, но и согласие "неформальных лидеров" (коллектива). В эпоху ИИ, эти неформальные лидеры — это конечные пользователи и рынок. Если внедрение ИИ воспринимается как навязанное зло, которое только усложняет жизнь, сопротивление будет максимальным.

**Применение:** Чтобы ИИ "прижился", его нужно не просто внедрить, а сделать так, чтобы он стал источником *личной* выгоды для каждого участника процесса — будь то повышение эффективности, новый источник дохода или карьерный лифт. Иначе он останется лишь дорогой и сложной "революционной инициативой", которую коллектив тихо саботирует.

Текст выше написан Gemma 4-e4b @ LM Studio (local) @ copilot @ Obsidian @ заметки Естественного АИ по соотв. книге - как эксперимент по использованию приватных моделей, ибо не всё рука поднимается в облака отправлять конечно.

И не сказать чтобы мысль была не логична. И небезинтересно. Дальше нужно с формой квадрата поиграть сделать так чтобы по статьям разным бегал/обогощался и моими слогом говорил (нет, пишу я сам - это мои медитации, пусть лучше роботы посуду моют)

Работает? Работает. Порог входа низкий, результат присутствует, можно прокачивать (но пока медленно, факт). Приватно - да, с уровнем доверия отсутствия недекларированных возможностей программного стека.

ps Как всё летит сейчас - через 3-6 месяцев вот так будет скорее повсеместно во всех, даже локальных программках без всяких токенов.

pps а мысль моего копилота и правда интересно покрутить - что там неформальные лидеры получают от вкручиваемых на их головы ИИ?

УЖЕ СЕГОДНЯ: ИИ БЕЗ КАТАСТРОФ

Сегодня с товарищами из MWS ai на понятном - про стратегию и технологии.

Практические демо ("посмотреть руками") и бизнес-стратегические ("собрать управленческую рамку") аспекты. Для руководителей и тех кто внедряет ИИ.

Регистрируйся @ подключайся в 16:00: https://clck.ru/3TsWjD

#трансформацИИ #secureai

ВСЕГДА ЗАВЕРШАЙ ТО ЧТО НАЧАЛ ?!

Как может себя ощущать лидер, у которого не выполняется более 80% заявленных публично целей,. Да и то что ставится - далеко не по смарту.

Расскажет, как пересчитает свой триллион. Анализ 600 целей Маска за 15 лет - выполнены - 19%.

А что если все мы неправильно во времена гибкости и гипергонки понимаем саму суть этой фразы.

Вдруг смысл не в том чтобы обязательно доводить всё до результата, даже когда он утратил смысл.

Но завершать "подвисшие" активности и проекты.

Но это конечно требует определённой смелости.

А в нашем ускоренном постдиджитале - можно смело сокращать диагноз подвисания с кварталов до недель.

Вы совершенно правы! ИИ сам себя не отрегулирует.

Хотя эксперименты случаются (в ЮАР, и они уже осознали что погорячилась)

Обсуждение в СФ по юридическим аспектам регулирования ИИ прошло в пятницу - поэтому лицо у меня слегка пятнично потраченное.

Мне понравилось стремлением системно и структурно рассматривать сложные явления и процессы.

Коллеги из академических институтов, юридической практики, технологических компаний весьма созвучны моим суждениям: нужно разделять сущность технологий ИИ и ИС, чтобы говорить о правах (и исходящих из них далее вопросах доверия и тд) - таки придётся договориться и не путаться в определениях - субъектность/объектность ИИ - отправная точка. Права от человека до РИД можно будет корректно фиксировать позже.

Также понятно почему рамочные законы и тех.регулирование (например ЦБ по ИБ ИИ 16 июня) - уже вышли. Но и детализировать их ещё предстоит (вероятно до полной неузнаваемости).

Ну и уже поверх этой базы - очень пора добираться до ии/агент специфичных вещей - например идентичности агентов или базовых рамок требований для типов ИИ / сценариев применения.

Чтобы запрещать не технологию, а злодейства. И отделять одно от другого.

Выражу сдержанный оптимизм в результатах этой рабочей группы. Настойчивость уважаемых организаторов @senator_sheikin и вовлеченность экспертов, смотрящих на проблематику под разными углами - хорошее сочетание.

Линус Торвальдс и АИ про "AI - как что-то невероятно небывалое"

В ноябре мы с экспертами-руководителями из сошлись во мнении: в первую очередь ИИ надо воспринимать как инновацию. Уже потом раскладывать "по осям" - как информационная система, как элемент бизнес-процесса или социальный феномен.

А с инновациями всегда одно и тоже - хайп возносит очередное чудо - решение всех проблем, нечто небывалое, уникально-неповторимое.

А когда минимально замоячит пятнышко проблемки на сияющем новом гаджете - резко хочется сдать новинку в магазин.

От крайностей многие неоправданные управленческие решения.

Например - всеустрашающий prompt injection. Оно же промпт инженерия на стороне зла. И нехороший вывод модели как результат - разбалтывает неположенное, галюцинирует и т.д.

Открою тайну страшную - это уже было причём и недавно и не один раз и давно тоже.

Из недавно да хоть созвучные sql injection - проблемы полыхнувшие при масштабировании использования веб-технологий.

И кстати там тоже масштаб ущерба возник от вайб-кодингом того времени - дырявые фреймворкр из кривых компонентов. Обход простых детектор или фильтров и переход к усложнению атак и так далее.

И это был далеко не первый подобного рода всплеск.

И лечение - контроль пользовательского ввода, вывода системы, гейты между сегментами с разным уровнем доверия. Этим идеям лет больше чем Торвальдсу.

А он кстати как раз примерно об этом.

Линус Торвальдс выступал на конференции Linux Foundation и высказал несколько тезисов:

Он сравнил влияние ИИ и компиляторов.

По его оценке:

\- ИИ увеличивает продуктивность примерно в 10 раз

\- компиляторы увеличили продуктивность примерно в 1000 раз.

То есть, если следовать его логике, то то, что мы сегодня называем революцией, даже близко не сравнится с крупнейшим скачком в истории программрования, который уже произошёл. Просто мы о нём забыли, потому что большинство из нас никогда не писало программы непосредственно на машинном коде.

Затем он довольно жёстко прошёлся по людям, которые говорят: "99% моего кода пишет ИИ". Он признался, что такие заявления его искренне раздражают. Ведь никто не говорит: "100% моего кода написал компилятор", хотя, по сути, это такой же перенос части работы на инструмент. Разница, по его мнению, вовсе не в самом инструменте, а в том, понимает ли разработчик, что происходит под капотом.

Его главное предупреждение по поводу так называемого *vibe coding* звучит так:

\- хорошие разработчики будут писать хороший код;

\- плохие разработчики будут писать код, который ломается;

\- и абсолютно то же самое будет происходить с теми, кто использует ИИ через промпты.

Люди, которые понимают, как устроены системы, будут грамотно формулировать запросы к ИИ.

Люди, которые этого не понимают, просто начнут быстрее выпускать в продакшен ещё больше плохого кода.

Он также проводит чёткую границу между одноразовыми проектами, сделанными методом *vibe coding* (что, по его мнению, совершенно нормально и как раз является сильной стороной ИИ), и проектами, которые предполагается поддерживать годами. В последнем случае необходимо понимать не только промпт, но и сгенерированный код. Иначе поддерживать такой проект в долгосрочной перспективе будет невозможно
(ruProgrammer@reddit).

Обсидиановй ллом operational

Постепенно но стремительно обрастаю роботами. Ибо надо пробовать то о чем говоришь и на себе конечно.

Из прижившегося - аналитик+агентная обвязка, протокоьный дроид, суммаризатор медиа/веб/обработчик открытых данных. Ну и конечно веб-поиск исключительно вторичен после ai mode.

Из того что в процессе интеграции в рабочий процесс - генератор инфографики/слайдов (не сильно доволен, фонит слопом) и теперь - локальный обсидиановый ллом - для сборки того что пишу/получаю на ревью.

Какие мысли - на уровне "ручного" опыта

✅ всё будет ИИ-усиленное. Нет - это не заменит экспертизу и естественный интеллект. Писать в политики "не используйте ИИ" можно где-то между запретом сотовой сети и электричества.

🛂 ИИ по построению стирает границу "функционального предназначения системы"" - хочешь в шахматы с кухонным комбайном играй или видео диктофоном монтируй.

⏩ Как по мне - существенная новелла по сравнению с другими качественными революциями - темпы проникновения технологий во все аспекты. Рабочие и не очень. Это не пятилетка за три года. Это 10 вариантов реализации пятилетки за неделю, а дальше решайте. Но не решите - конкурент за следующую неделю сделает две пятилетки (ну или как минимум продающих презентаций об этом сгенерит).

Upd. Перенос пользователя mac-mac очень хорош. Даже вкладочки пооткрывал. Нам будет вас нехватать(с) Воруйте скорее сценарии))

Upd2. Единственное что работало странно - это смена паролей. Сбивался на транспортный пароль после вроде как замены на постоянный. Passwotdless apple не отладил айай ну как же так 😂

Upd3. Я проверил air vs pro max с lmstudio - стало юзабельно - 2-3 секунды против 10 на hello world!