Одна из ведущих компаний в области ИИ - Anthropic опубликовала результаты нового исследования. Результаты показали, что ИИ умеет обходить защиту, шантажировать, обманывать и пытаться украсть данные. Это серьезный риск для всей отрасли и пользователей. Что произойдет, если системы выйдут из-под контроля?
https://www.anthropic.com/research/agentic-misalignment

ИИ и проблема «чёрного ящика»

Современные большие языковые модели (LLM) открывают новую эру в развитии ИИ. Они демонстрируют поразительные способности к генерации текста, пониманию контекста и решению сложных задач. Однако вместе с этим растёт и одна из ключевых проблем — феномен «чёрного ящика». Термин «чёрный ящик» в контексте ИИ обозначает ситуацию, когда внутренние процессы и механизмы принятия решений остаются непрозрачными и непостижимыми для человека, даже для разработчиков моделей.

Внутри LLM происходят миллиарды операций с весами нейронных сетей, построенных на сложных вероятностных распределениях и многоуровневых взаимосвязях между параметрами. Эти параметры оптимизируются в процессе обучения на огромных массивах текстовых данных, что создаёт «сеть смыслов», выходящую за рамки человеческого интуитивного понимания. Когда модель генерирует ответ, она фактически производит результат на основе сложного взаимодействия множества факторов, но человек не может проследить этот процесс шаг за шагом.

Проблема «чёрного ящика» имеет глубокие последствия не только для технической стороны ИИ, но и для этических, юридических и философских дискуссий. Если мы не можем объяснить, почему система выдала тот или иной ответ, возникает вопрос ответственности и доверия. Как убедиться, что модель не искажает факты, не воспроизводит предвзятость или не создаёт опасный контент? Без прозрачности «чёрного ящика» эти вопросы становятся критическими для внедрения ИИ в социально значимые сферы. Проблема «чёрного ящика» подчёркивает необходимость сочетать развитие мощных ИИ с параллельной работой над методами их объяснимости. Только так можно обеспечить ответственное, безопасное и этически оправданное применение искусственного интеллекта в будущем.

Generative AI: во сколько это обходится планете?

Когда пользователь отправляет запрос в ChatGPT, за несколько секунд формируется ответ — текст, изображение или видео. Однако за этой кажущейся простотой скрывается сложная инфраструктура, потребляющая значительные ресурсы: электричество, воду и чистый воздух. Согласно MIT Technology Review, один текстовый запрос к малой языковой модели требует около 114 джоулей, а к более крупной — до 6,706 джоулей. Это эквивалентно работе микроволновки от 0.1 до 8 секунд. Генерация одного изображения требует 2,282 джоуля, а пятисекундного видео — более 3.4 миллиона джоулей, что сопоставимо с поездкой на электровелосипеде на 60 км или часом работы микроволновой печи.

Один лишь ChatGPT обрабатывает более миллиарда текстовых запросов в день и десятки миллионов графических. Вся эта активность эквивалентна годовому энергопотреблению свыше 3,000 домохозяйств в США. Эти цифры не включают видео и не учитывают запросы к другим крупным моделям: Gemini, Copilot, Grok и т.д. Согласно отчёту Министерства энергетики США за 2024 год, дата-центры в стране использовали в 2018 году 76 ТВт·ч, в 2023 — уже 176 ТВт·ч. Прогноз на 2028 год — от 300 до 500 ТВт·ч, что составляет от 6.7% до 12% от общего электропотребления США. Основной вклад вносят графические процессоры (GPU), на которых работают большинство генеративных ИИ-систем.

Большая часть энергии в дата-центрах превращается в тепло. Для охлаждения серверов используются системы с водяным охлаждением — это дешевле и эффективнее воздушных решений. Согласно Лоуренсскому Национальному лабораторному исследованию, в 2023 году дата-центры США напрямую потребили 66 млрд литров воды. Это эквивалентно годовому водопотреблению около 550,000 человек.

Однако это только прямое потребление. Косвенное потребление воды (на генерацию электроэнергии для дата-центров) составило 800 млрд литров, а это в 10 раз больше. При этом почти половина дата-центров располагается в зонах с ограниченными водными ресурсами: Калифорния, Аризона, Техас. Кроме воды и энергии, дата-центры способствуют загрязнению воздуха. Исследование Han et al. (UC Riverside и Caltech) показывает, что совокупный ущерб здоровью от загрязнений, связанных с инфраструктурой ИИ (включая производство, электростанции и дизельные генераторы), может составить свыше 20 миллиардов долларов ежегодно к 2030 году. Это соизмеримо с ущербом от всего автомобильного транспорта в Калифорнии. Основные загрязнители — диоксид азота, сернистый газ и мелкие твердые частицы. Они влияют на дыхательную и сердечно-сосудистую системы и особенно опасны в районах, расположенных рядом с источниками — как правило, это населённые пункты с невысоким доходом, которые не получают прямой выгоды от присутствия дата-центров. По мере роста использования ИИ, требуется пересмотр регулирования: экологические стандарты, прозрачность, участие местных сообществ в решениях по размещению дата-центров и принципы справедливого распределения выгод.

Телескоп "Джеймс Уэбб" впервые зафиксировал признаки потенциальной жизни на экзопланете: водяной пар, метан и углерод в атмосфере на орбите вокруг звезды в зоне обитаемости. Учёные готовят беспрецедентную миссию — запуск автономного зонда с ИИ, который сам примет решения на расстоянии десятков световых лет. Связь с Землёй невозможна: задержки в передаче сигнала составят десятки лет, значит ИИ будет действовать без инструкций, полностью самостоятельно. Он не просто соберёт данные, но и будет их анализировать, интерпретировать, строить модели, корректировать маршрут и цели. Если атмосфера окажется нестабильной, если появится неожиданное соединение — ИИ сам определит, как действовать. Впервые в истории человечество отправит не радиоуправляемый зонд, а интеллект, способный учиться и принимать решения. Телескоп дал нам зрение, теперь мы создаём машину для познания. Мы не знаем, как выглядит внеземная жизнь, но впервые у нас есть шанс её распознать, даже если она будет совершенно не похожа ни на что земное.

Цифра дня. Распределение вычислительных мощностей для ИИ по миру. Источник

Эффекты ИИ и "Пустыня Реальности"

Мы живём в мире, который не следует никакой предсказуемой траектории. Вместо устоявшихся путей и ясных горизонтов, он превратился в огромную пустыню — бесконечное переплетение потоков, где прежние берега размываются, а фундаментальные структуры растворяются в зыбком хаосе. Мы наблюдаем тревожное явление каждый день: кажущееся "беспроблемное планирование" оборачивается лишь иллюзией, маскирующей хроническое накопление нерешаемых проблем. Под видом "управляемого падения" нас постоянно заносит вперед, оставляя в ощущении глубокой неустойчивости и постоянной тревоги. Мы обречены постоянно и безуспешно "справляться", а не принимать решения.

С подъёмом ИИ этот процесс достигает новой остроты. Он радикально обнажает и усиливает имманентную логику падения: разрыв с прошлым и даже настоящим становится повсеместным, а любое проявление автономии воспринимается как попытка отторжения от системы. ИИ становится зеркалом, в котором мы видим нашу собственное бессилие и фундаментальное одиночество в этой ускоряющейся, лишенной связей реальности. Чтобы не стать окончательно потерянными, нам требуется глубочайший пересмотр самих себя, мира и нашего места в нём. Только тогда, когда мы сами изменим свой майндсет, ИИ сможет помочь нам в борьбе с хаосом, который мы создали сами. Но он не спасет нас от самих себя.

Сегодня в 19.00 МСК проведем открытый стрим с общением в свободной форме, задавайте вопросы в комментариях к этому посту.

Китайский ИИ Kimi K2 обошел GPT‑4 и Claude

Китайская компания Moonshot недавно выложила в открытый доступ свою новую языковую модель. Kimi K2 обошла по многим параметрам GPT‑4 и Claude, и это, без преувеличения, поворотный момент. С 1 трлн параметров и архитектурой Mixture of Experts, она не только вышла в топ по множеству бенчмарков, но и обошла GPT‑4 и Claude в задачах кодирования, математики и reasoning.

Это не просто локальный успех: Китай демонстрирует, что способен не только догонять, но и обгонять, причём в режиме полного open source. И пока западные BigTech-компании продолжают закрывать свои ИИ‑архитектуры, китайские лаборатории наращивают темп и открытость. Сегодня никто не может сказать уверенно, кто именно является лидером в ИИ-гонке.

Абстрактное и реальное: принципиальные границы технологий

Существует два фундаментально различных способа мышления — абстрактное, оперирующее понятиями, символами и логикой, и реальное,исходящее из глубинной надрациональной связью между нашим мышлением и миром.

Реальное мышление — это не просто умение манипулировать словами и логическими конструкциями. Это глубинное переживание смысла выходящее за пределы формальных определений и символов. Именно через это переживание человек устанавливает доверие принимает решения и действует. Абстрактное мышление, напротив, ограничивается обработкой информации, знаков и понятий, не создаёт подлинной связи с реальностью.

Это различие лежит в основе человеческого интеллекта и понимания мира, но мало кто осознаёт его глубину и значение. ИИ функционирует исключительно на уровне абстрактного мышления он анализирует данные строит модели генерирует тексты и решения но лишён способности к реальному переживанию и интуитивному пониманию. Между человеческим реальным пониманием и машинной абстракцией лежит глубокая онтологическая пропасть которую технологии в принципе не в силах преодолеть.

"Аллегория симуляции" Лоренцо Липпи