Есть организация OneTrust, которая помогает другим компаниям делать их ИИ более безопасным и надежным:
- Получать согласие пользователей на сбор данных и давать пользователям возможность выбирать, что именно они передают;
- Защищать данные пользователей;
- Соответствовать законам, принятым в странах присутствия компании;
- Автоматизировать защиту данных и мониторинг рисков;
- Автоматизировать анализ данных и получать важную информацию о пользователях, не повышая риски для этих пользователей.

У них есть платформа с несколькими продуктами для разных целей (для оценки рисков, для защиты данных и так далее). Протестировать ее просто так нельзя, и цену сообщают только по запросу, поэтому я не предлагаю эту платформу как инструмент.

Скорее, знакомлю вас с хорошим примером того, что можно – и актуально – делать в области ИИ. Не только модели, метрики и агенты, но и ответственность, надежность и безопасность.

Еще они опубликовали исследование про генеративный ИИ, выполненное совместно с компаниями-партнерами. Прикрепляю ниже для ознакомления.

Иногда я общаюсь с людьми (увлекательный опыт, всем советую).

И люди задают интересные вопросы, которые заставляют задуматься над чем-то, что казалось незыблемой аксиомой, пока кто-то не сказал: «Извини за тупой вопрос, но почему так?»

Вот за это очень люблю так называемые «тупые вопросы»: они не тупые, они фундаментальные. Они провоцируют сомневаться и переосмыслять, а это ли не основа научного познания мира.

Так вот, общалась я с любимыми мною людьми, и речь зашла про ИИ-агентов. Если память меня не подводит, вопрос был о том, обучается ли ИИ-агент в процессе работы. Меня понесло на лекцию про то, кто там чему обучается, и в конце я сказала, что в некотором роде «калькулятор сложнее Интернета» – если мы говорим про большие языковые модели.

«А вот отсюда поподробнее,» – сказали люди мне.

И я решила черкнуть маленький постик на эту тему: я в последнее время ударилась в большие исследования, которые отнимают кучу времени, надо бы сделать перерыв и отвлечься на что-то простое и маленькое.

Ха-ха три раза.
Опять откуда-то образовалась пачка статей и материал на диссертацию (знак свыше, что ли?)

Ну, давайте разбираться

Презентую вам большой пост про правовое регулирование ИИ. Год назад был такой покороче, а в этот раз пустимся во все тяжкие

Продолжаем разговор о том, как люди используют ИИ. Первая часть вышла у меня на vc. Там некоторая базовая статистика: для чего используют, какие различия есть между разными странами, как относятся к ИИ.
Сегодня обсудим стили взаимодействия, отношение к безопасности и все в этом роде.

В общем, кажется, люди относятся к ИИ разумно и понимают его риски. Не полагаются на него в серьезных вопросах, но готовы использовать, если это повышает их эффективность. Здесь важно отметить (и в прошлый раз мы об этом говорили), что ИИ не всегда используют осознанно. То есть, не всегда компании достаточно открыто сообщают, что он присутствует в их продукте. Кроме того, сама область остается малодоступной для людей без специального образования или навыков, из-за чего ИИ окружен плотным облаком мифов.

Распространение удобоваримой и достоверной информации, равно как и ответственное и человекоцентричное регулирование запаздывают, порождая недоверие и тревогу.

Разумеется, встречаются и исследования, которые показывают чрезмерное доверие к ИИ, даже когда ставки высоки. Здесь мне сложно судить, насколько надежны исследования в которых люди, например, принимают решение «убить или не убить», опираясь на подсказки ИИ.

Ощущают ли в таких экспериментах люди, что взаимодействуют с реальной ситуацией или играют в игру? А если в реальной жизни один солдат смотрит на другого через камеру дрона, он ощущает реальность или теряет яркое представление о том, что перед ним живой человек? Имеет ли место недооценка бездействия: «Это решение принимаю не я, а ИИ, следовательно, я не ответственен»?

Все эти вопросы выходят далеко за рамки моих компетенций, потому что я не психолог, не социолог и даже не философ. Но мне кажется, они все очень важные даже для непсихологов, несоциологов и нефилософов, потому что не только психологам, социологам и философам жить в новом мире

Сегодня пост в более традиционном для моего канала формате – обзор конкретной статьи. Она вышла в марте 2025 года и описывает обучение языковых моделей на скрытых мыслях, которые стоят за созданием текста. Звучит интригующе, так что поехали разбираться

Воображение – то, что отличает человека от машины, потому что это особая форма абстрактного мышления. Настолько абстрактного, что способна породить вещи, не существующие в реальности. Мы никогда не сможем наделить им ИИ.
Или сможем?
Что вообще представляет собой воображение, в какой части мозга оно происходит и можно ли его воспроизвести, скажем, в языковой модели? Сегодня попробуем с вами в этом разобраться: понять, что знает о воображении современная наука и можно ли его перенести на ИИ хотя бы в какой-то части

Я тут одному прекрасному человеку пожаловалась на то, что не успеваю посты писать из-за высокой загрузки. Набрала, понимаете ли, на себя работы, теперь никак не разгребу.
«А ты напиши, – говорит он мне, – пост-мнение. Это и быстро, и интересно. Вот что ты про это думаешь?» – и кидает мне две ссылки на сайт GDPR. А там такое…

GDPR (General Data Protection Regulation) – это регламент Евросоюза по защите персональных данных. Он глобально про то, чтобы данные пользователей не собирали без их ведома, не хранили без согласия и защищали всеми силами. Вот чего может быть на таком сайте неожиданного?

Например, рейтинг приложений для создания нецензурируемого контента, в том числе потенциально небезопасного. Вторую ссылку я прикреплять не буду, потому что там есть приложения, которые позволяют «снять одежду» с реального фото реального человека. На мой взгляд, это уже перебор.
И там еще приписочка такая: «Они предназначены только для использования этичным способом и с согласия людей, чьи фото используются.»
Ага. Конечно.

Вопрос: этично ли такое публиковать на сайте организации, которая регулирует использование ИИ с [декларируемой] целью сделать его более безопасным?
На мой взгляд, нет.

Расширим вопрос до: «Этично ли публиковать в открытом доступе способы обойти законодательное регулирование или нарушить этические нормы?»
Вот здесь у меня пока нет четкой позиции, если честно.

С одной стороны, если прятать незаконное и делать вид, что нет способа обойти регулирование, законопослушные граждане не будут обходить (но они бы и так не обходили), а незаконопослушные будут (они бы и так обходили). И при этом законопослушные граждане не будут знать, что такие методы обхода есть и не будут знать, как защищаться.

С другой стороны, есть люди, которые обошли бы регулирование, но не знают как, им лень разбираться, они и не обходят. А теперь методы обхода раскрыли, и они смогут пойти и попробовать. А защититься всё равно все не смогут, потому что нужен определенный навык и время на его изучение.
Взять употребление всяких запрещенных веществ: запрет даже на обсуждение проблемы приводит к тому, что люди с зависимостью боятся идти за помощью и страдают больше и чаще, чем могли бы.
Но открытое распространение приводит к тому, что те, кто бы не попробовал, попробуют, и получат вред здоровью. И вот как тут выбирать? Не наказывать за употребление, а наказывать за распространение? А как это отслеживать применительно к ИИ?

Я бы, наверное, говорила не: "Вот так можно обойти закон," – а: "Вот такие есть риски, и так вам могут навредить," – не про способы, а про последствия.
Но это явно не черно-белый вопрос.

В марте этого года компания Anthropic выпустила публикацию «On the Biology of a Large Language Model». Разбираемся, что там интересного

Сейчас много говорят про вайб-кодинг — написание кода с помощью запросов к нейросетям. Кто ругает, кто в восторге, вот и я решила высказаться. Получилось как обычно: не черное, не белое, надо учиться

Сегодня у меня для вас ✨видос✨
Он про клиповое мышление (или то, что им называют)
Видос велик, в телеграм не влез, поэтому я его загрузила на дзен, так что добро пожаловать

Источники:

1. Features of clip thinking and attention among representatives of generations X and generations Z
2. Are we no better than goldfish
3. You Now Have a Shorter Attention Span Than a Goldfish
4. Is Your Attention Span Shorter Than a Goldfish’s?
5. Why we need to stop using that statistic about goldfish, brains and attention span
6. Science Shows: Humans Have Massive Capacity For Sustained Attention, And Storytelling Unlocks It
7. Mobile phone short video use negatively impacts attention functions: an EEG study
8. Attention Network Test (ANT)
9. Attention networks and the intrinsic network structure of the human brain
10. Attention Network Test (Documentation)
11. Trithemius Favors Vellum over Paper for Long Term Information Storage
12. Ann Blair: Information Overload, the Early Years
13. People Have Been Panicking About New Media Since Before the Printing Press

P.S.: я пытаюсь влезть в ютуб, но там технические сложности. Как только с ними разберусь, туда тоже выложу

Ютуб мне сделал больную голову, но я-таки упрямее. Так что там теперь тоже есть

Всех достану своим ИИ, никто не укроется

Наткнулась на интересную статью про использование языковых моделей для модерирования контента – «Adapting Large Language Models for Content Moderation: Pitfalls in Data Engineering and Supervised Fine-tuning».

Подумала: «Языковые модели сами бы еще отмодерировать,» – но всё равно интересно.

Давайте посмотрим, что там.

Нашла статью про обучение маленькой языковой модели для повышения ее доброжелательности и безопасности. Делюсь

Я снова нашла себе работу.

Точнее, обучение: я поступила на программу Moonshot Alignment Program, которую делает команда AI Plans. Программа продлится пять недель, и уже по ее началу я понимаю, насколько это крутой и ценный опыт. Там куча прекрасного материала, и по завершении будет командный проект. Моя команда работает с прямой оптимизацией пользовательских предпочтений — обязательно позже расскажу, что это такое и почему это круто.
Вообще, как закончу обучение, обязательно сделаю по итогам пост (и не один: я уже хорошо так пополнила свой список чтения).

Попала я туда эпично.
Сначала ссылкой на программу поделился один из коллег в рабочем чате. Я подумала: «О, звучит интересно». И зарегистрировалась. На финальный день, где команды должны представлять свои проекты, а не на саму программу. Как я проглядела нужную кнопку, ума не приложу. Скорее всего, как обычно пыталась делать несколько дел сразу.
Когда поняла свой промах, было уже поздно: прием заявок закончился. Расстроилась, конечно, но, думаю, ладно: всё равно у меня нет времени уже ни на что.
И тут коллега, который ссылкой поделился, говорит: «А давай я организаторам про тебя напишу, вдруг пустят». «Пиши,» – отвечаю. А сама думаю, что не пустят, конечно же. Там для регистрации надо было приложить что-то вроде резюме с описанием своего опыта и пройти тест на знание области. Я ничего этого не делала, потому что зарегистрировалась не туда.
И организаторы вдруг такие: «А, помним её по одному из хакатонов. Ладно, сделаем исключение». И вот.

Мне теперь надо в два раза усерднее работать, потому что меня взяли вот так на честном слове мимо конкурса, так что надо показать, что это было не напрасно. Поэтому в ближайшее время посты будут коротенькие, скорее всего, потому что я буду много времени посвящать учебе. Но потом обязательно всем-всем с вами поделюсь.
Вы ведь тоже мне показываете свое доверие тем, что подписались и читаете, и я буду изо все сил стараться и вас тоже не подвести.

А пока посмотрите, в каком крутом приложении у нас проходят учебные созвоны: https://app.gather.town. Я даже не думала, что есть такое – очень интересно

Сегодня хочу с вами поделиться несколькими интересными источниками информации про ИИ, которые мне самой нравятся.

Во-первых, сайт AI Plans. Я их неоднократно упоминала, и по веской причине: они делают огромную работу по объединению специалистов в области ИИ, чтобы работать над его надежностью, этичностью и безопасностью. На своем сайте они собирают разные публикации на эту тему и приглашают людей к дискуссии. Туда можно зайти, почитать разные исследования и комментарии к ним. И свое мнение оставить, конечно же.
У AI Plans есть активное сообщество в Discord, где люди делятся статьями и мнениями, они постоянно устраивают то хакатоны, то совместные программы для исследователей – в общем, правда много делают.

Во-вторых, блог Apollo Research. Они регулярно проводят и публикуют исследования рисков ИИ. Им, например, принадлежит нашумевшая статья про модели, которые плетут интриги (разбирала здесь). А совсем недавно, месяц назад вышла еще одна, о том, что более способные модели более способны и на всякое вредительство (что не удивительно, но полезно иногда доказывать то, что не удивительно). Эту работу я пока не знаю, когда и где разберу и буду ли разбирать вообще, но вы ее посмотрите, она отлично написана (машинный перевод на русский язык кривоватый получается, но вменяемый).

Наконец, сообщество Less Wrong. Оно про рациональность, принятие решений и непопадание в ловушки когнитивных искажений. Меня с ним познакомил коллега (спасибо), теперь сама знакомлю вас. Работы про ИИ там тоже есть. Здесь материал бывает несколько более хардкорный и несколько менее популярный (в смысле изложения), чем в предыдущих источниках, но очень полезный и интересный.
Сейчас вокруг ИИ очень много белого (и желтого 🦆) шума. Постоянно выходят модели, публикации, обзоры моделей и публикаций, обзоры обзоров и так далее. В этом всём легко утонуть, поэтому полезно под рукой иметь некоторое количество ресурсов, которые позволят выстроить качественную базу, исходя из которой вы уже сможете уверенно плыть сквозь поток информации и понимать, что есть желтушный заголовок, а на что стоит обратить внимание.

Я: "Сначала закончу курс, а потом буду делать посты по его материалам".
Также я через пять минут: "Мне срочно надо написать огромный пост, полный формул, потому что это нельзя скрывать от мира!"

В общем, вот пост. Я надеюсь, он получился не слишком зубодробительным и достаточно интересным. Но если вдруг что непонятно, то не стесняйтесь писать в комментарии и задавать вопросы или предлагать, что я могла бы улучшить, чтобы вам было интереснее

Давайте сегодня поболтаем про персонализацию ответов языковых моделей, и не абы какую, а через формирование профиля пользователя в виде плотной матрицы. Постараюсь не грузить вас математикой.

Пока читала, вспомнила помимо прямой оптимизации предпочтений статью про симуляцию человеческого поведения с использованием генеративных моделей. Там интересная была работа с памятью: весовые коэффициенты меняются с течением времени, какая-то информация уточняется, какая-то «забывается». Мне кажется, в работе с предпочтениями это было бы полезно, чтобы учитывать меняющиеся вкусы пользователя – и этические нормы тоже

Если вовремя попросить о помощи, можно избежать серьезных проблем. Мы потихоньку принимаем это как люди, а авторы сегодняшней статьи доказали, что утверждение верно и для ИИ-агентов. Обсудим.

К слову, я там слегка касаюсь вопроса уверенности ИИ в безопасности действия. Прямо сейчас в команде разных замечательных людей я работаю над близкой темой. У нас есть подход, который выглядит убедительно, и уже сегодня или на этих выходных я сгенерирую первые результаты на одной из самых маленьких моделей семьи Qwen. Очень волнительно и не терпится, если честно.
Я уже проверила свой код раз тридцать, написала дополнительные тесты, потом еще тесты тестов, чтоб наверняка... Возможно, ничего и не получится. Но сам процесс невероятно захватывающий!
Понимаю, что это сообщение звучит крайне расплывчато, и обещаю всё рассказать потом, как мы закончим. Пока просто эмоциями захотелось поделиться 💓