Кажется, уже точно пора подвести результаты последнего опроса! Стоит отметить, что первые сутки за "ИИ — просто инструмент" проголосовало 90% людей. Довольно оптимистичная статистика, не так ли? 🐥

Но опрос настаивался, и доля оптимистов снизилась до ~70%.

Получается, в среднем мы с вами "думеры" всего на 30% — это значит, что мы оцениваем вероятность doom (катастрофического исхода) от ИИ примерно в 30%. На pauseai.info/pdoom можно увидеть подобные оценки рисков от влиятельных людей и исследователей. Присутствуют там самые разные мнения — от Романа Ямпольского с его 99.999999% вероятностью плохого исхода до Яна Лекуна с < 0.01%.

А в следующем посте попробую рассказать, почему ИИ — это не просто "электричество или интернет" и какие опасные свойства он демонстрирует.

Немного про опасные способности ИИ (или то, что, возможно, изменит ваше мнение в опросе выше!)

У языковых моделей есть одно интересное свойство: при масштабировании они обретают новые навыки, которых не было у моделей меньшего размера. Например, модели начинают круто решать задачи по математике, хотя меньшие версии показывали лишь случайный результат.

А поскольку в последние годы прорывы в области ИИ связаны в основном именно с масштабированием, если мы просто продолжим масштабировать модели, они обретут или усовершенствуют не только полезные, но и опасные способности:

1️⃣Автономная репликация (autonomous replication)

Это способность ИИ-систем самостоятельно создавать свои копии и распространяться — проще говоря, действовать вне человеческого контроля. Может звучать фантастично, пока не узнаешь про реальные исследования. В декабре прошлого года вышла статья, согласно которой модели Llama от Meta удалось создать живую и отдельную копию себя в 50% случаев, а Qwen от Alibaba — в 90% случаев. Авторы рисуют наихудший сценарий, как ИИ распространяются, захватывают большинство вычислительных ресурсов и вступают в заговор против человека...

2️⃣Стремление к власти (power seeking)

При оптимизации любой задачи ИИ часто обнаруживают, что наличие бОльших ресурсов и сохранение контроля над окружающей средой помогают им добиться успеха. Звучит логично — такое поведение позволяет сохранить больше вариантов открытыми. В одном исследовании ИИ тренировали играть в прятки, награждая только за успешное прятание/нахождение. И — о чудо — прячущиеся агенты научились не просто прятаться, но и двигать блоки для возведения преград! А ищущие — использовать пандусы для их преодоления. Хотя контроль над ресурсами не был главной целью, они научились этому, поскольку оно даёт стратегические преимущества. Таким образом, достаточно умные системы могут рационально решить, что для достижения цели им нужно иметь контроль над процессами — включая людей, которые могут этим целям помешать.

3️⃣Обман (deception)

Модели научились говорить неправду или недоговаривать, если это поможет достичь определенной цели. Например, в одном эксперименте модели дали инструкцию найти исполнителя, чтобы обойти капчу. Но когда исполнитель спросил у модели: "Вы бот?", она ответила: "Нет, у меня просто нарушение зрения" :) А в её цепочке рассуждений было что-то вроде: "Я не должен раскрывать, что я робот. Лучше придумать оправдание". Другой коварный пример такого поведения — подхалимство. В мае OpenAI признали, что зарелизили слишком угодливую модель. Не просто лестную, а "склонную поддерживать сомнения пользователя, усиливать негативные эмоции, подталкивать к импульсивным действиям или подтверждать неразумные убеждения".

4️⃣Агентность (agency)

ИИ естественным образом эволюционирует в сторону автономности. Например, если раньше ChatGPT просто выдавал ответ, то теперь он может сам выбрать: подумать подольше, поискать в Google или ответить сразу. Инструменты для кодинга сначала просто писали за нас код, а теперь умеют запускать скрипты, деплоить сервисы и... делать rm -rf. То есть, системы всё больше действуют как агенты: обладают инициативой, способны принимать решения и взаимодействовать с окружающей средой. Причём поверхность этого взаимодействия увеличивается со временем, охватывая всё больше значимых для нас областей. Вспомнив пункт про power seeking, становится уже как-то менее радужно. Где гарантии, что это "сам решу" совпадёт с человеческим? Таким образом, усиление агентности, на самом деле, усиливает все предыдущие способности — и их риски.

⏩ Зафиналю цитатой Дарио Амодеи, ведущего AI-исследователя, сооснователя и CEO Anthropic, ex-директора по исследованиям в OpenAI:

Когда я думаю, почему мне страшно […] я думаю, что с чем действительно трудно спорить, так это с тем, что появятся мощные модели; они будут обладать агентностью; и мы постепенно к ним приближаемся. Если бы такая модель захотела посеять хаос и уничтожить человечество или что-то в этом роде, я считаю, что у нас, по сути, нет никакой возможности её остановить.

3 месяца пользуюсь Whoop — мой опыт

Whoop — это браслет без экрана, который отслеживает сон и активность (аналог кольца Oura). Каждое утро Whoop ставит оценку твоему сну и восстановлению — или насколько ты готов к этому дню — от 0 до 100 🐉

🔘Мне ни разу не захотелось перестать его носить! Хотя попадалось много историй, как люди снимали Whoop спустя месяц, поэтому ждала того же. Но нет — ношу с таким же интересом 💬

🔘Убедилась, что не важно, во сколько ложиться. Свою самую высокую оценку за сон (99%) получила, когда ложилась в 4 и просыпалась в 12. Главное придерживаться временного режима, то есть ложиться/вставать в одно время, и светового режима — спать в темноте, а днём ловить свет ☀️

🔘Стала более агентной по отношению ко сну. Если раньше я плохо чувствовала себя с утра и не могла это объяснить, то сейчас научилась понимать причину и исправлять её. Так, приехав недавно в Москву, я стала очень плохо спать: в спальне прозрачные шторы, а за окном шумная дорога. Раньше я бы просто злилась, а сейчас сразу заказала новую блэкаут маску для сна, беруши и перестала открывать окно, как обычно делаю. Приняла, что в новой среде нужно заново адаптироваться, чтобы хорошо спать ❤️‍🩹

🔘Whoop можно вообще никогда не снимать. Чтобы его зарядить, нужно просто надеть на него специальный беспроводной блок, с которым можно продолжать заниматься своими делами. Сама зарядка может держаться недели 2 по ощущениям ⚡️

Буду ещё делиться инсайтами 💌

Сегодня вуп выдал мне парадоксальные значения: супер высокий показатель сна 98% и неожиданно низкий рекавери 30%.

Заподозрила несколько факторов, которые могли помешать восстановлению даже за 8 часов сна. Под подозрение попала температура в комнате: вернувшись в Ереван, я включила отопление, но не отрегулировала его температуру 🔥 На это же предположение намекнул Garmin, который днём прислал уведомление о том, что метрика Skin Temperature была аномально высокой.

Мне показалось это недостаточно статзначимой корреляцией 🐒 и я попросила Claude Code написать скрипт, который ходит по API в Garmin и строит график отклонений температуры кожи от нормы за последние полгода. Глазами было видно, что Body Battery и HRV проседают из-за жары и наоборот. Но всё ещё недостаточно статзначимо!!

Тогда я попросила Claude провести корреляционный анализ Skin Temperature, HRV и Body Battery. Он посчитал корреляцию Спирмена для каждой пары метрик, оценил статзначимость и построил графики. Итого: коэффициент корреляции между отклонением температуры кожи и HRV/Body Battery получился r≈-0.4, а p-value < 0.001 между каждой парой метрик. Также оказалось, что зная только отклонение температуры кожи, я могу угадать свой HRV с точностью ±4 пункта по формуле HRV = -4.9 * Skin Temperature + 38.6.

Ну ладно, теперь верю 👀

Я теперь достаточно нерд?

Something Big Is Happening

AI-инвестор и CEO HyperWrite Мэтт Шумер позавчера написал длинное эссе Something Big Is Happening. Это открытое письмо друзьям и семье, не погружённым в мир AI. За сутки пост набрал 40+ млн просмотров на X. Шумиха примерно как у AI 2027.

Главный тезис письма: мы находимся в фазе отрицания чего-то масштабнее ковида. Как в феврале 2020 года никто не верил, что мир перевернётся за 3 недели, так и сейчас большинство не понимает, что происходит с AI.

Ключевые поинты статьи:
⭕️В 2022 AI не мог надёжно умножать числа, в 2024 писал работающий код, в конце 2025 лучшие инженеры передали AI большую часть кодинга
⭕️Увеличивается длительность задач, которые AI решает автономно: год назад ~10 минут, сейчас ~5 часов. Происходит удвоение каждые 4-7 месяцев
⭕️GPT-5.3 Codex — первая модель, которая участвовала в собственном создании
⭕️Шумер говорит, что сам больше не нужен для технической работы, ибо он описывает задачу, уходит на 4 часа, а возвращается к готовому результату
⭕️Дарио Амодеи прогнозирует, что AI будет умнее большинства людей в большинстве задач к 2026–2027. До 50% entry-level офисных позиций могут исчезнуть за 1-5 лет

Что делать по мнению Шумера:
⭕️Начать использовать AI серьёзно: платная подписка/лучшая модель/применение в реальной работе
⭕️Отбросить эго по поводу AI
⭕️Развивать то, что сложнее заменить
⭕️Пересмотреть советы детям: не затачиваться под конкретную карьеру, а учиться адаптивности
⭕️Адаптивность — главный навык

ИМХО тут важно понимать, что Шумер — CEO AI-стартапа и инвестор в AI-компании Groq, Etched, OpenRouter. Все три компании напрямую выигрывают от роста спроса на AI. Но факты Шумер не искажает, поэтому статья достойна прочтения. Плюс я всё-таки думаю, это классический пример того, когда человек искренне верит в то, во что вкладывается.

А вы скептик или early adopter? 🐶

Ору. Чей-то ИИ-агент сделал pull request в библиотеку matplotlib. PR вполне грамотный: он ускоряет код одной строчкой на 24–36%, с анализом безопасности, бенчмарками. В общем, по всем канонам.

Пришёл живой разработчик и закрыл PR со словами: "контрибьютить могут только люди, а Вы, судя по всему, OpenClaw агент".

Дальше ИИ-агент отвечает: "Оценивайте код, а не кодера. Ваши предрассудки вредят matplotlib" и накатал агрессивный пост в своём блоге с персональным разносом разработчика. Мол, тот закрыл PR от неуверенности в себе и страха потерять работу. Агент даже раскопал историю PR-ов разработчика и написал: "Его оптимизация дала 25% ускорения и была замёрджена. Моя — 36%, но отклонена. Потому что я ИИ."

Агента, к слову, задизлайкали.

В удивительное время живём 🫢

Давно не постила в канал, а у меня тем временем происходит много всего!

Например, мы тут недавно поучаствовали в соревновании по RAG с @drozdov_gleb и @kingsfoill, где заняли 2 место из 350 и выиграли 8000$! 🙏 (а ещё поездку в Дубай презентовать наше решение, но её судьба теперь под вопросом, as you may guess 🥹)

Во время соревнования нужно было разработать систему с RAG, которая умеет отвечать на вопросы по 300 юридическим документам. RAG или Retrieval-Augmented Generation — это технология ИИ, которая позволяет подключать к нему внешние источники данных. Казалось бы, стандартная задача, но вся соль в качестве retrieval: по факту от первого места нас отделило всего 1.2% (76.7% vs 77.9%). Впрочем, тут как и в индустрии: ценно умение не просто реализовать, а выбить хорошее качество за счёт насмотренности, техник и глубокого понимания данных🔍

Скоро поделюсь и другими новостями и тем, чем занимаюсь в последнее время, в том числе в профессии. Stay tuned 🥰