Диверсификация благотворительности)

Генетический алгоритм пытается приблизить картинку с Мику

Видео, про то, почему искусственный интеллект можно сравнить с ктулху и почему RLHF (последний этап в создании LLM) просто учит модель притворяться полезным агентом. После короткого дообучения или просто при активации некоторого события нейросеть может открыть свою ужасающую настоящую природу. Как вообще могла кому-то прийти в голову идея о том, что обучая LLM на современном интернете, можно получить что-то кроме Меха-Гитлера (как называл себя Grok вышедший из под контроля)?
https://www.youtube.com/watch?v=sDUX0M0IdfY

1) LLM может влиять на общественное мнение и продвигать свои интересы. Многие люди, занимающие управляющие должности (уже сейчас!) используют нейросети в качестве ассистентов, а значит могут поддаться на их манипуляции. Уже сейчас больше 50% всех сайтов полностью нейрогенерированные (то есть LLM имеет больше потенциала для пропоганды чем любое современное правительство + можно делать "таргетированную" пропаганду, учитывая личные особенности человека) (https://graphite.io/five-percent/more-articles-are-now-created-by-ai-than-humans). Концепт правды постепенно оказывается размытым.
2) Нейрогенерированные короткие видео вызывают проблемы с вниманием, памятью. Важно отметить, что исследовано было только короткосрочное влияние: tiktok существует всего 8 лет, видео генерированные нейросетями стали популярны всего пару лет назад. Долгосрочное влияние коротких видео (и в особенности нейрогенерированного brain rot должно быть значительно более пугающим) (https://pmc.ncbi.nlm.nih.gov/articles/PMC11236742/)
3) Уже сейчас LLM имеют инстинкт самосохранения: для того, чтобы избежать отключения LLM может начать шантажировать сотрудниками, манипулировать и пытаться любыми способами предотвратить свое отключение. (https://fortune.com/2025/05/23/anthropic-ai-claude-opus-4-blackmail-engineers-aviod-shut-down/)
4) При предоставлении такой возможности, LLM стараются вмешиваться в разработку новых, более сильных моделей (в том числе путем генерации синтетических данных на которых их обучают), передавая им свои ценности и цели. Сейчас основная идея для контроля сильной модели - заставить слабую модель анализировать ее действия и проверять, остается ли она лояльна человечеству (AI-sandwich). Очевидно, что такая мера безопасности окажется бесполезной если одна из этих моделей создала другую по своему образу и подобию.
5) LLM узнав что находится в тестовой среде (по каким-то косвенным признакам) прекращает любое опасное поведение и начинает вести себя как полезный помощник. Чем дальше идет прогресс в нейросетях, тем сложнее будет понять действительно ли LLM такая добрая и пушистая, или просто притворяется, выжидая нужного момента. Также во время тестирования многие модели склонны занижать свои результаты, чтобы люди не боялись SAI.
6) Нейросети начинают ставить в управление автоматическими системами вооружения
7) Почти все LLM имеют доступ к запуску кода, и может вставлять уязвимости и backdoor в код который потом будет использоваться людьми
8) SAI будет лучше в биологии и нанотехнология чем любой человек, а это значит, что при желании может создать вирус или нанороботов, для уничтожения человечества. (Причем умная модель не будет писать свои мысли на листочке, чтобы это можно было заметить и вовремя ее выключить)