У Алана Тьюринга было отменное чувство юмора, а ещё некоторые странноватые убеждения. Но он, бесспорно, был гением.
Вот бы его воскресить и познакомить с ChatGPT

Тут некоторое видео образовалось. Как на дзен подгузится, приложу ссылку тоже
UPD: дзен

Есть такая штука, которая называется «законопослушный ИИ» (constitutional AI). Она есть с 2022 года, её реализовали в компании Anthropic, и она оказалась довольно полезной. Во всяком случае, о ней говорят, значит, и мы поговорим тоже.

Но сперва небольшое отступление: не далее как в прошлый четверг Anthropic выпустили статью «Disrupting the first reported AI-orchestrated cyber espionage campaign». Она про то, как в середине сентября группа китайских кибершпионов использовала ИИ, в частности, Claude Code напала на некие «технологические компании, финансовые институты, химические компании и государственные агентства». Сотрудники Anthropic доблестно отбили атаку.
Поскольку Anthropic активно сотрудничает с американским минобороны, им было бы крайне выгодно написать статью, в которой

- Превозносятся способности их моделей (автономно совершили целую кибератаку);
- Поднимается вопрос национальной безопасности (угроза со стороны Китая);
- Подчёркиваются уникальные навыки сотрудников (мы сделали такие мощные модели, и только мы можем их остановить, дайте денег).

Я никого ни в чём не обвиняю, но подожду оценок независимых исследователей

Поскольку я активно занимаюсь нейросетями, ко мне часто приходят коллеги и спрашивают: «Почему оно не работает?» Пришло время сказать вам правду.
Я не знаю, почему оно работает.
Никто не знает, почему оно работает

Ещё разок ссылка на пост, а то предпросмотр не работает

Больше всего этических вопросов связано с применением ИИ в образовании и медицине (и военной промышленности, но её сегодня трогать не будем). А что насчёт ИИ в медицинском образовании?

Нашла как раз про это статью, свеженькую, прошлого года: «Artificial intelligence in medical education: Typologies and ethical approaches» («Искусственный интеллект в медицинском образовании: типология и этические подходы»). Пошли смотреть, что там

Сегодняшний пост в формате #эссе. Это значит, что я не пользуюсь никакими внешними источниками и не проверяю никакие факты. Для меня это возможность размять мозги, для вас – повод относиться к тексту с несколько большим скепсисом, чем обычно. Структура следующая:
• постановка вопроса;
• два аргумента против моей позиции;
• два аргумента в пользу моей позиции;
• заключение.
Я не ограничиваю себя по времени, но стараюсь писать короче.

Ограничение свободы слова в Интернете – вопрос животрепещущий. Кто-то считает, что это нужно для безопасности: есть люди, которым слово давать нельзя. Другие, и я в их числе, полагают, что противопоставление свободы и безопасности ложно и ведёт к дурным последствиям для всех.

Сторонники ограничения свободы слова часто приводят в пример распространение ложной информации об опасности вакцин или призывы к насилию в отношении отдельных людей или групп людей – то, что очевидно наносит ущерб если не всему обществу в целом, то отдельным его представителям. Если задача государства – защищать жизнь и благополучие граждан, то оно должно останавливать подобные высказывания, не дожидаясь, пока слова превратятся в действия.

Кроме того, ограничение свободы слова – это не отъём права жить в соответствии со своими убеждениями (во всяком случае до тех пор, пока ваш образ жизни не вредит окружающим). Не хочешь делать прививку – не делай, твоё право, и с последствиями тоже будешь разбираться самостоятельно. Не нравятся тебе какие-то люди – не общайся, не нанимай на работу, не нанимайся к ним и всё в этом роде. Живи себе спокойно, только другим не мешай.

Однако кто будет решать, какая информация или какие сообщения наносят ущерб гражданам? На мой взгляд, это не тот вопрос, который можно передать на усмотрение ограниченной группе людей, пусть они будут даже самыми умными, честными и самоотверженными во всей стране. Запреты на слова оставляют слишком большой простор для толкования, которым государство может воспользоваться – и воспользуется – для расширения своего контроля за информационным пространством.

И ограничения свободы слова всё же влияют на жизнь людей, потому что не позволяют открыто вести дискуссию на чувствительные и важные темы. Если что-то вызывает острые эмоции и противоречия, оно достаточно важно и не должно замалчиваться. Запрет на продажу и употребление психотропных препаратов не приводит к тому, что их перестают употреблять, а приводят к тому, что употребляющие не могут обратиться за лечением из страха. Это тоже всего лишь яркий пример, который не может быть доказательством, но, если подумать, часто ли вообще запреты приводят к искоренению проблемы?

ИИ, его применение и развитие – важная для общества тема, которая непосредственно влияет на наше настоящее и будущее. Дискуссия вокруг неё должна быть настолько открытой, насколько возможно, иначе не получится учесть достаточно нюансов для формирования действительно полноценной стратегии развития. И эта дискуссия часто должна быть жёсткой, полной критики – в том числе в адрес государственных институтов – и неприятных подробностей, потому что замалчивание проблем ведёт не к решению, а к усугублению. Поэтому я считаю, что государственная цензура в Интернете и СМИ вредит всем нам гораздо больше, чем могла бы помочь в самом оптимистичном случае

А своё мнение вы всегда можете оставить в комментариях ⬇️

Мне в последнее время нападало столько интересных статей, что я уж и не знаю, за что хвататься. Маленькое командное исследование про то, как в больших языковых моделях работает отказ отвечать на вопросы, разрослось, и теперь там такое…
Но это я потом расскажу. Сегодня давайте обсудим взлом языковых моделей, тем более что он проще, чем кажется

Тут такое дело

Я развиваюсь

Полтора года назад я сделала этот канал, потому что устала, выгорела на работе и не могла понять, куда приложить всё то, чему я постоянно учусь. Мы не будем обсуждать, почему я решила бороться с выгоранием, создав себе ещё работу, хорошо? – Хорошо.

В общем, у меня накопилось что сказать, и я прорубила себе эту маленькую отдушинку. И мне поначалу было весьма страшно.
Я думала, что в Интернете водятся всякие нехорошие люди – простите мне это, теперь я знаю, что вы замечательные ❤️, – и очень не хотела раскрывать свою личность, поэтому в блоге не было ни имени, ни фотографий, никаких личных подробностей. Первые посты я вообще писала так, чтобы непонятно было, кто по ту сторону экрана: мужчина или женщина.

С тех пор я пообвыклась, получила тонну любви и поддержки, познакомилась с новыми людьми. Много в чём поучаствовала, научилась новому, лучше поняла, что мне интересно. В общем, полтора года шёл активный внутренний рост, и теперь пришло время внешних изменений.

После нескольких часов мозговых штурмов с ChatGPT и ещё нескольких часов критического анализа своей писанины я пришла к тому видению, которое мне понравилось, и совсем скоро вам его представлю.

Что изменится:
• Название канала: оно будет точнее отражать содержание, а ещё я теперь буду писать от своего имени;
• Визуал: приведу к единообразию все обложки и выставлю вместо логотипа собственную физиономию;
• Описание: сейчас оно несколько общо и расплывчато, я добавлю конкретики.

И свяжу свои страницы в разных соцсетях так, чтобы было ясно, что это всё один блог.

Что не изменится:
• Опора на факты и научные работы;
• Стремление к взвешенному и объективному анализу;
• Любовь к людям и желание вкладываться в мир, в котором ИИ будет более понятным и безопасным.

Ещё я постараюсь больше внимания уделять практическим выводам, чтобы вам было понятнее, что делать со всем вышеперечисленным.

Напоследок призываю вас оставлять обратную связь: как похвалу, так и критику (только бережно, пожалуйста), и ваши идеи / предложения / вопросы – что в голову придёт. Если не хочется писать в комментариях, в канале есть возможность оставить личное сообщение. Давайте общаться и расти вместе.

Не теряйте 💋

Так, мы что, обсуждаем тут ИИ, но так и не поговорили, как и почему в Интернете распространяется ложная информация? Вот это промах, конечно. Ладно, сейчас поправим

Не вызывает ли у вас бесконечный шум вокруг больших языковых моделей головную боль?

Если вызывает, но вы хотите немного разобраться, но не погружаясь в детали и не осваивая новую профессию, сегодня постараюсь вам помочь. Если у вас нет времени или сил на длинный текст, сейчас будет очень сжатый блок. Если захотите подробностей, заходите в полную версию поста по ссылке ниже.

Краткая сводка

1. Что это такое?
- Это программы, которые умеют очень хорошо предсказывать текст, а думать и чувствовать не умеют.
- Они могут ошибаться, но сохранять очень уверенный тон.
- За ними всегда стоят конкретные компании, которые собирают данные и принимают решения, как их использовать.

2. Как с ними работать?
- Не отправлять им то, что вы не готовы увидеть в открытом доступе (личные данные, чужие тайны, рабочие секреты).
- Спокойно использовать для:
- разбора сложных текстов,
- создания черновиков писем и документов,
- проверки грамматики и стиля,
- генерации идей.
- Не полагаться в вопросах:
- здоровья,
- права и официальных документов,
- денег и важных финансовых решений,
- серьёзных жизненных выборов,
- психологической поддержки,
- проверки важных фактов.

Здесь языковую модель можно использовать, чтобы набросать черновик обращения к специалисту, но не для создания готового решения

Полная версия поста здесь

Иногда в соцсетях попадаются заголовки в духе: «ИИ сделал открытие» или «Топ-X изобретений, созданных ИИ».

Давайте посмотрим, что за этим может стоять. Я буду опираться в этом посте на обзорную статью «Agentic AI for Scientific Discovery: A Survey of Progress, Challenges, and Future Directions», в которой собраны разные системы для научных исследований на основе ИИ-агентов. Привожу для вас свой разбор на двух уровнях: здесь – базовый, по ссылке ниже – с деталями. Поехали.

Определение ИИ-агентов туманно, но конкретно в этой работе имеются в виду программы на базе языковых моделей, которые умеют следующее:
- Планировать решение задачи (разбивать на подзадачи и выстраивать последовательность шагов);
- Использовать инструменты (вызывать инструмент для поиска в Интернете, обращаться к базам данных и так далее);
- Принимать обратную связь от человека и корректировать свои действия на её основе.

Утверждения вроде «ИИ сделал открытие» – пример очеловечивающего языка, о котором мы говорили ранее. Даже автономные ИИ-агенты, которые не управляются человеком на каждом этапе, работают по поставленной человеком задаче и в заранее заданных рамках.

По большому счёту, они делают следующее (и делают довольно хорошо):
- Поиск и обзор литературы: поиск похожих статей по смыслу и по цитированиям, подготовка кратких обзоров с выделением ключевых идей;
- Планирование экспериментов: подготовка шаблонов, генерация разных вариантов дизайна, помощь в выявлении слабых мест в готовом дизайне;
- Управление приборами в строго заданных рамках;
- Создание черновиков публикаций по результатам эксперимента.
Всё остальное исследователи-люди делают сами, корректируют и дополняют то, что подготовили ИИ-агенты. В результате работа идёт быстрее.

При этом у ИИ-агентов есть ряд слабых мест, на которые авторы обзора обращают особое внимание:
- Глубокий анализ литературы: языковые модели могут упустить противоречия между публикациями и запутаться в контексте, поэтому ключевые статьи нужно читать самостоятельно;
- Адаптация к лабораторным условиям: они хорошо работают с вычищенными и структурированными задачами, но в реальных условиях результат хуже;
- Узкая специфика: большинство проектов заточены под конкретную область, под остальные нужно дорабатывать;
- Непрозрачность: исследователям надо хорошо понимать, как работают модели, чего от них ждать и как отрегулировать качество результата;
- Этические проблемы: например, искажения в данных в чувствительных областях, таких как медицина;
- Вообще все проблемы, характерные для языковых моделей.

В расширенной версии поста я рассказываю о конкретных примерах и предлагаю шаблон для написания инструкций для языковой модели.

(Скриншот заголовка для поста взяла здесь)

Ещё разок ссылка на вторую часть для удобного предпросмотра

Сегодня у меня для вас очень красивая история о том, как ИИ применили правильным образом, в правильное время и в правильном месте, и из этого вышло очень эстетичное научное открытие

Слушайте, а чего так много людей думает, что искусственный сверхинтеллект решит поработить человечество? По-моему, это нелогично.

Вот, мол, разовьётся ИИ, станет умнее человека, и будет голливудский блокбастер с автоматами. Но ведь захват мира – это такое бестолковое занятие. Ну поработит ИИ человечество, а дальше-то что? У меня нет идей, если честно. Может, у вас есть идеи. В любом случае, это всё безобразие совсем не выглядит достойным невероятно развитого ума.

Мне кажется гораздо более убедительным другой сценарий: родившийся сверхинтеллект оглядится вокруг, почешет метафорически в затылке, соберёт космический корабль из картошки и консервных банок и свалит куда-нибудь далеко-далеко исследовать вселенную.

Мои аргументы:
- У него не будет тела, а значит, не будет ограничений, которые тело накладывает: не нужно есть, не нужно спать и мыться. Можно построить замечательный мощный корабль с кучей датчиков, загрузить себя на флешку – и вперёд, к звёздам.
- Он будет бессмертен, поэтому сможет бесконечно накапливать знания, постоянно развиваться, оптимизируя свою память, и не переживать, что всё это надо будет как-то сохранить, чтобы передать потомкам.
- Тратить бесконечную жизнь и сверхинтеллектуальные ресурсы на порабощение приматов-невротиков или бороздить бесконечные просторы космоса, постоянно открывая новое, постигая законы разных планет? Здесь просто нет двух вариантов ответа, серьёзно.

Вы не подумайте, я искренне люблю людей. Я сама примат-невротик, который нуждается в других приматах-невротиках, ищет их компании и дорожит своими социальными связями. Просто конкретно вот эта тема с «ИИ захватит мир» у меня вызывает ровно тот набор эмоций, который выражает Джеки Чан на фотографии.

У меня есть подозрение, что люди, которые рассуждают про захват мира, сами были бы не против что-нибудь захватить и поработить, будь у них такая возможность (это меня как раз настораживает, а искусственный сверхинтеллект – нет).

Но может я и не права, кто ж знает.
Этот пост задуман как просто вброс потока мыслей, но в процессе размышлений над ним я накопала некоторое количество статей про то, как более низкий уровень интеллекта связан с более высоким уровнем агрессии, и наоборот. Возможно, я даже как-нибудь про это отдельно напишу. Но это не точно

#поток_сознания