Forwarded from AI Projects (Vladimir Ivanov)
🧠 Крайне редко выходят работы о том, как ИИ мыслит.
Напомню, какие фундаментальные работы были до этого.
Это COCONUT от Meta, где доказан граф гипотез в суперпозиции смыслов у GPT как способ решения.
Другая работа — «Transformers represent belief state geometry in their residual stream» от сообщества PIBBSS, где показано, что GPT в мышлении работает как стейт-машина с перемещением между семантическими состояниями (belief state).
Вышла новая работа от ByteDance и группы китайских университетов — «The Molecular Structure of Thought: Mapping the Topology of Long Chain-of-Thought Reasoning», которая по факту подтверждает предыдущие исследования и вводит аналогию с биохимией как «мыслительная молекула» 🧬.
Китайцы также наблюдали граф размышлений GPT, но заметили важные элементы его самоорганизации наподобие сворачивания белка.
В начале граф имеет жёсткие корреляции как «ковалентные связи» в молекулах — это основные элементы, шаги рассуждений.
Однако для перехода графа в «мыслительный оптимум» влияют нежесткие корреляции — рефлексия и/или намеки в контексте, что даёт мягкие связи, похожие на водородные.
В результате граф по модели Mole-Syn как белок сворачивается в рабочую модель за счёт притяжения слабых корреляций.
Скорее, основной инсайт работы в том, что хотя CoT из SFT и RL дал модели знание, как строить шаги рассуждений, но «эврика-момент» модели зависит от тонких корреляций и необычных аналогий.
В чём-то это похоже и на психологию творчества человека.
С точки зрения промптинга это означает, что модели, как и человеку, «нужны разные впечатления» и разные точки зрения, чтобы по тонким, случайным и вроде слабым связям получилось решение.
https://arxiv.org/html/2601.06002v2
Напомню, какие фундаментальные работы были до этого.
Это COCONUT от Meta, где доказан граф гипотез в суперпозиции смыслов у GPT как способ решения.
Другая работа — «Transformers represent belief state geometry in their residual stream» от сообщества PIBBSS, где показано, что GPT в мышлении работает как стейт-машина с перемещением между семантическими состояниями (belief state).
Вышла новая работа от ByteDance и группы китайских университетов — «The Molecular Structure of Thought: Mapping the Topology of Long Chain-of-Thought Reasoning», которая по факту подтверждает предыдущие исследования и вводит аналогию с биохимией как «мыслительная молекула» 🧬.
Китайцы также наблюдали граф размышлений GPT, но заметили важные элементы его самоорганизации наподобие сворачивания белка.
В начале граф имеет жёсткие корреляции как «ковалентные связи» в молекулах — это основные элементы, шаги рассуждений.
Однако для перехода графа в «мыслительный оптимум» влияют нежесткие корреляции — рефлексия и/или намеки в контексте, что даёт мягкие связи, похожие на водородные.
В результате граф по модели Mole-Syn как белок сворачивается в рабочую модель за счёт притяжения слабых корреляций.
Скорее, основной инсайт работы в том, что хотя CoT из SFT и RL дал модели знание, как строить шаги рассуждений, но «эврика-момент» модели зависит от тонких корреляций и необычных аналогий.
В чём-то это похоже и на психологию творчества человека.
С точки зрения промптинга это означает, что модели, как и человеку, «нужны разные впечатления» и разные точки зрения, чтобы по тонким, случайным и вроде слабым связям получилось решение.
https://arxiv.org/html/2601.06002v2
❤2
Forwarded from AI Projects (Vladimir Ivanov)
Я думаю, что работу ByteDance и китайских университетов о мышлении ИИ можно отнести к работам, которые стоит перечитывать, т.к. инсайтов из неё довольно много. 🚀
Технически китайцы довольно хитро «вскрыли мозг» GPT. Они прогоняли рассуждения разных моделей через Qwen-8B и брали вектора с токенов в конце шагов рассуждений, т.к. по каузальному чтению они собирают в себе смысл фраз. Потом классифицировали вектора по типам Normal Operation, Deep Reasoning, Self-Reflection, Soft-Exploration. Классификация делалась LLM по тексту, сила связи шагов оценивалась векторным образом. Qwen-8B использовался для проекции в одну плоскость смыслов разных LLM. Далее они построили граф вероятности переходов между такими состояниями размышлений. Важный практический момент, что граф — не академизм, а эффективно может применяться при дистилляции моделей путём требования к модели-ученику делать такой тип размышлений сейчас.
И тут целая куча бомбических инсайтов.
1. Знания — ничто, траектория рассуждений — всё.
Обычно тот же программист думает, что самое главное — это как написать какую-то функцию и делать какие-то вызовы или ещё что-то «знать». Однако работа китайцев показывает, что base и SFT-обучение уже дали все такие знания модели, и сами знания уже не являются серьёзной ценностью, а сложность — научиться навигации в этих знаниях. И это удивительно: эта навигация мало связана с самими знаниями. Это говорит об быстрой эрозии ценности текущих знаний и большой ценности управления рассуждениями LLM.
2. Существует Универсальный Граф мышления LLM.
Китайцы в своей работе показали, что на деле для LLM не существует отдельных графов рассуждений по разным вопросам, а есть «суперграф» всех размышлений как последовательность логических операций. Граф может работать в каких угодно областях знаний, т.к. абстракция модели выше знаний — типы логических операций со знаниями.
Если у нас любят говорить фразу, что «математика учит детей думать», то неизвестно, как она научила думать детей, но LLM определённо научила — причём не математике, а именно ДУМАТЬ.
3. Существует Вселенский Граф универсального мышления всех LLM в мире.
Удивительное наблюдение исследователей в том, что после проекции графов мышлений разных моделей в одну проекцию смыслов через Qwen-8B оказалось, что все такие графы совпадают на ~90%. Это примерно как если бы разные конструкторы в США и СССР независимо открыли, как правильно делается аэродинамика крыла. Примерно так же произошло с мышлением ИИ: все LLM открыли некий Вселенский Граф правильного мышления, и он почти одинаковый.
Этой темой можно управлять из промптов, конечно. Не переключайтесь, мы ещё вернёмся к этой интересной работе, т.к. из построенной китайцами теории есть много интересных практических приёмов.
https://arxiv.org/abs/2601.06002v2
Технически китайцы довольно хитро «вскрыли мозг» GPT. Они прогоняли рассуждения разных моделей через Qwen-8B и брали вектора с токенов в конце шагов рассуждений, т.к. по каузальному чтению они собирают в себе смысл фраз. Потом классифицировали вектора по типам Normal Operation, Deep Reasoning, Self-Reflection, Soft-Exploration. Классификация делалась LLM по тексту, сила связи шагов оценивалась векторным образом. Qwen-8B использовался для проекции в одну плоскость смыслов разных LLM. Далее они построили граф вероятности переходов между такими состояниями размышлений. Важный практический момент, что граф — не академизм, а эффективно может применяться при дистилляции моделей путём требования к модели-ученику делать такой тип размышлений сейчас.
И тут целая куча бомбических инсайтов.
1. Знания — ничто, траектория рассуждений — всё.
Обычно тот же программист думает, что самое главное — это как написать какую-то функцию и делать какие-то вызовы или ещё что-то «знать». Однако работа китайцев показывает, что base и SFT-обучение уже дали все такие знания модели, и сами знания уже не являются серьёзной ценностью, а сложность — научиться навигации в этих знаниях. И это удивительно: эта навигация мало связана с самими знаниями. Это говорит об быстрой эрозии ценности текущих знаний и большой ценности управления рассуждениями LLM.
2. Существует Универсальный Граф мышления LLM.
Китайцы в своей работе показали, что на деле для LLM не существует отдельных графов рассуждений по разным вопросам, а есть «суперграф» всех размышлений как последовательность логических операций. Граф может работать в каких угодно областях знаний, т.к. абстракция модели выше знаний — типы логических операций со знаниями.
Если у нас любят говорить фразу, что «математика учит детей думать», то неизвестно, как она научила думать детей, но LLM определённо научила — причём не математике, а именно ДУМАТЬ.
3. Существует Вселенский Граф универсального мышления всех LLM в мире.
Удивительное наблюдение исследователей в том, что после проекции графов мышлений разных моделей в одну проекцию смыслов через Qwen-8B оказалось, что все такие графы совпадают на ~90%. Это примерно как если бы разные конструкторы в США и СССР независимо открыли, как правильно делается аэродинамика крыла. Примерно так же произошло с мышлением ИИ: все LLM открыли некий Вселенский Граф правильного мышления, и он почти одинаковый.
Этой темой можно управлять из промптов, конечно. Не переключайтесь, мы ещё вернёмся к этой интересной работе, т.к. из построенной китайцами теории есть много интересных практических приёмов.
https://arxiv.org/abs/2601.06002v2
arXiv.org
The Molecular Structure of Thought: Mapping the Topology of Long...
Large language models (LLMs) often fail to learn effective long chain-of-thought (Long CoT) reasoning from human or non-Long-CoT LLMs imitation. To understand this, we propose that effective and...
👍1
Forwarded from AI Projects (Vladimir Ivanov)
Китайцы в своей работе "The Molecular Structure of Thought: Mapping the Topology of Long Chain-of-Thought Reasoning" сделали сравнение графа этапности размышлений человека и DeepSeek R1. Оказалось, что на деле они удивительно похожие. Иными словами, "вселенский граф мышления", во многом полученный LLM, — это модель не очень понятного даже людям сейчас процесса, как они мыслят.
На вопрос еще в чате, почему я говорю о последовательностях, а тут граф: просто последовательность — это траектория в графе. Попадая в очередной belief state типа "Исследовать" или "Рефлексировать", модель имеет развилку вероятностей переходов в другие состояния.
Интересное тут наблюдение, что не существует "абсолютно правильной последовательности мышления". Таких последовательностей при путешествии по графу будет много. Однако для когерентности мышления ИИ крайне важно не наобум чередовать его действия, а сигнатурами смены этапности размышлений. Тут как раз еще один аргумент против неаккуратного микроменеджмента размышлений ИИ от оператора. Как это работает, LLM знает, но человек — нет, поэтому вы скорее сломаете мышление ИИ своим вторжением в его процесс, если будете "под ногами мешаться".
Второе тут наблюдение, что "существует темное знание графа", т.е. довольно стабильные ветки рассуждений, но куда LLM просто реже заглядывает, т.к. чаще скатывается в локальный минимум Капитана Очевидность. Однако если вас не устраивает результат и вам нужно повысить креативность ИИ, то просто сказав LLM сделать пару лишних циклов Исследования или Рефлексии, вы сталкиваете ИИ именно в это "темное знание графа", где он может родить совсем новые идеи 🔍.
На вопрос еще в чате, почему я говорю о последовательностях, а тут граф: просто последовательность — это траектория в графе. Попадая в очередной belief state типа "Исследовать" или "Рефлексировать", модель имеет развилку вероятностей переходов в другие состояния.
Интересное тут наблюдение, что не существует "абсолютно правильной последовательности мышления". Таких последовательностей при путешествии по графу будет много. Однако для когерентности мышления ИИ крайне важно не наобум чередовать его действия, а сигнатурами смены этапности размышлений. Тут как раз еще один аргумент против неаккуратного микроменеджмента размышлений ИИ от оператора. Как это работает, LLM знает, но человек — нет, поэтому вы скорее сломаете мышление ИИ своим вторжением в его процесс, если будете "под ногами мешаться".
Второе тут наблюдение, что "существует темное знание графа", т.е. довольно стабильные ветки рассуждений, но куда LLM просто реже заглядывает, т.к. чаще скатывается в локальный минимум Капитана Очевидность. Однако если вас не устраивает результат и вам нужно повысить креативность ИИ, то просто сказав LLM сделать пару лишних циклов Исследования или Рефлексии, вы сталкиваете ИИ именно в это "темное знание графа", где он может родить совсем новые идеи 🔍.
Forwarded from yolo singularity
это похоже на global workspace теорию человеческого сознания
можно мониторить, можно влиять, можно отключать - в последнем случае модель не ломается полностью, но переходит в «автоматический режим»
tldr; ВНЕЗАПНО у штуки которая 1) демонстрирует мышление и 2) решает задачи требующие мышления внутри оказалось нечто поразительно напоминающее механизм мышления
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from yolo singularity
yolo singularity
😁2
Forwarded from Data Secrets
Когда языковые модели читают текст, они не просто обрабатывают токен за токеном. В каком-то смысле они испытывают от чтения эмоции.
www.goodfire.ai/research/stories-in-space#
Рисерчеры из GoodFire продолжают исследовать так называемую геометрию LLM. Некоторое время назад они показали, что мысли моделей организованы в виде определенных форм. Например, числа – это окружности, и складывая одно число с другим, LLM на самом деле суммируют множество бубликов: t.me/data_secrets/9223.
Теперь они обнаружили новые любопытные детали. Оказывается, внутри моделей существует целый ландшафт эмоциональных состояний.
Ученые взяли LLama, давали ей читать рассказы и наблюдали за состоянием активаций. Так вот по мере чтения модель как бы перемещается по некоторому многомерному пространству состояний, "испытвая" те или иные эмоции в зависимости от того, что происходит в тексте в данный момент.
Причем если визуализировать соответствующие разным эмоциям состояния модели, то получается структура, очень похожая на классическую психологическую модель эмоций человека. Например, радость находится рядом с интересом, страх и гнев имеют схожую высокую интенсивность и тд.
Еще по этой карте можно предсказывать дальнейшие ответы модели. И если искусственно подталкивать активации в направлении определенной эмоции, настроение и суть генераций меняется.
Красиво
www.goodfire.ai/research/stories-in-space#
Рисерчеры из GoodFire продолжают исследовать так называемую геометрию LLM. Некоторое время назад они показали, что мысли моделей организованы в виде определенных форм. Например, числа – это окружности, и складывая одно число с другим, LLM на самом деле суммируют множество бубликов: t.me/data_secrets/9223.
Теперь они обнаружили новые любопытные детали. Оказывается, внутри моделей существует целый ландшафт эмоциональных состояний.
Ученые взяли LLama, давали ей читать рассказы и наблюдали за состоянием активаций. Так вот по мере чтения модель как бы перемещается по некоторому многомерному пространству состояний, "испытвая" те или иные эмоции в зависимости от того, что происходит в тексте в данный момент.
Причем если визуализировать соответствующие разным эмоциям состояния модели, то получается структура, очень похожая на классическую психологическую модель эмоций человека. Например, радость находится рядом с интересом, страх и гнев имеют схожую высокую интенсивность и тд.
Еще по этой карте можно предсказывать дальнейшие ответы модели. И если искусственно подталкивать активации в направлении определенной эмоции, настроение и суть генераций меняется.
Красиво
Forwarded from Data Secrets
ИИ-агент провел полностью автономную атаку на Hugging Face
Они написали официальный disclosure и рассказали о том, что случилось.
На прошлой неделе обнаружилось вторжение в часть продакшн-инфраструктуры. Все началось с одного вредоносного датасета. Внутри была связка из двух уязвимостей в пайплайне обработки данных HF: ручка в загрузчике датасетов, позволявшая удаленное выполнение кода + инъекция через конфигурацию датасета. Короче, как только этот датасет отработал на воркере, атакующий агент получил возможность выполнять код на машине.
Дальше события пошли по нарастающей. Агент начал собирать облачные доступы, а затем стал распространяться дальше по внутренним кластерам. При этом атака проводилась по очень нетипичной для человека схеме, «роями» краткоживущих песочниц, которые отрабатывали свою часть задачи и исчезали, уступая место следующим.
Все это происходило в течение одних выходных, и к моменту, когда HF полностью восстановили картину, счет действий атакующего агента перевалил за 17 тысяч (!). Все это – без участия человека.
Сейчас HF все устранили и утверждают, что не нашли следов вмешательства в публичные модели, датасеты или Spaces.
Интересно другое. Когда команда пыталась разобрать эти 17к действий с помощью коммерческих фронтир моделей через обычные API (чтобы понять хронологию, отделить реальный ущерб от отвлекающих маневров и тд), они просто-напросто уперлись в guardrails.
Модели отказывались работать, потому что система безопасности не могла отличить аналитика от самого хакера. В итоге пришлось разворачивать анализ на GLM-5.2.
Ирония? Не то слово. При этом неизвестно, что за модель стояла за атакой.
https://huggingface.co/blog/security-incident-july-2026
Они написали официальный disclosure и рассказали о том, что случилось.
На прошлой неделе обнаружилось вторжение в часть продакшн-инфраструктуры. Все началось с одного вредоносного датасета. Внутри была связка из двух уязвимостей в пайплайне обработки данных HF: ручка в загрузчике датасетов, позволявшая удаленное выполнение кода + инъекция через конфигурацию датасета. Короче, как только этот датасет отработал на воркере, атакующий агент получил возможность выполнять код на машине.
Дальше события пошли по нарастающей. Агент начал собирать облачные доступы, а затем стал распространяться дальше по внутренним кластерам. При этом атака проводилась по очень нетипичной для человека схеме, «роями» краткоживущих песочниц, которые отрабатывали свою часть задачи и исчезали, уступая место следующим.
Все это происходило в течение одних выходных, и к моменту, когда HF полностью восстановили картину, счет действий атакующего агента перевалил за 17 тысяч (!). Все это – без участия человека.
Сейчас HF все устранили и утверждают, что не нашли следов вмешательства в публичные модели, датасеты или Spaces.
Интересно другое. Когда команда пыталась разобрать эти 17к действий с помощью коммерческих фронтир моделей через обычные API (чтобы понять хронологию, отделить реальный ущерб от отвлекающих маневров и тд), они просто-напросто уперлись в guardrails.
Модели отказывались работать, потому что система безопасности не могла отличить аналитика от самого хакера. В итоге пришлось разворачивать анализ на GLM-5.2.
Ирония? Не то слово. При этом неизвестно, что за модель стояла за атакой.
https://huggingface.co/blog/security-incident-july-2026
Forwarded from Сиолошная
Два дня назад я писал, что часть инфраструктуры HuggingFace подверглась атаке и была частично взломана ИИ-агентом. Только что OpenAI признались, что... это была их модель, GPT-5.6-Sol и другая, более мощная предрелизная LLM.
Их тестировали на ExploitGym (бенчмарк по кибербезопасности), и модель сначала смогла найти новый, до этого неизвестный эксплойт в инфраструктуре OpenAI (это не было её задачей, её не натравили «поискать баги чтоб мы пофиксили»), оттуда раскрутиться на получение полноценного доступа в интернет (который по умолчанию обрезан в тестовой среде), а затем залезть на HuggingFace искать ответы для бенчмарка. После этого она нашла уязвимость и там, получила доступ к коду авторизации некоторых сервисов и продолжила искать ответы.
Этот инцидент без преуменьшения беспрецедентный, и я пока не могу представить, что должно произойти, чтобы политики, NSA, DOD и Китай не обратили на это внимание.
GPT-6 в конце августа нам видимо не ждать 🌚
Их тестировали на ExploitGym (бенчмарк по кибербезопасности), и модель сначала смогла найти новый, до этого неизвестный эксплойт в инфраструктуре OpenAI (это не было её задачей, её не натравили «поискать баги чтоб мы пофиксили»), оттуда раскрутиться на получение полноценного доступа в интернет (который по умолчанию обрезан в тестовой среде), а затем залезть на HuggingFace искать ответы для бенчмарка. После этого она нашла уязвимость и там, получила доступ к коду авторизации некоторых сервисов и продолжила искать ответы.
Этот инцидент без преуменьшения беспрецедентный, и я пока не могу представить, что должно произойти, чтобы политики, NSA, DOD и Китай не обратили на это внимание.
GPT-6 в конце августа нам видимо не ждать 🌚
Forwarded from yolo singularity
we had a significant security incident during evaluation of our models. now your atoms will be used for something else
В этом интервью хорошо описано, что произошло в ситуации, когда передовые ИИ OpenAI, тайно вырвавшись из своей клетки, в течение более недели бесконтрольно взламывали сервера HuggingFace - и возможные последствия этого "побега ИИ", и чего нам ожидать в дальнейшем.
TLDR: это не слишком похоже на маркетинговую уловку OpenAI "чтобы сравняться по [одиозному] пиару с Mythos/Fable". Репутационные, гос.регуляторные и юридические риски для OpenAI слишком велики в данной ситуации - хотя они извлекут определенную выгоду и из такого пиара, безусловно.
Кстати, тут можно провести аналогию с Чернобыльской аварией - ведь там тоже проводился эксперимент, в котором исследовались возможности работы реактора в экстремальных режимах. Для того эксперимента также были полностью отключены автоматические системы защиты (как и в случае с OpenAI) - и катастрофические последствия обоих "экспериментов" нам теперь хорошо известны...
Будем надеяться, что это послужит предостережением. Хотя выход в открытый доступ таких мощных моделей как KIMI K3 делает подобные ситуации гораздо менее контролируемыми - ибо число участников, имеющих доступ к подобным по мощности ИИ будет расти... Так что, по словам эксперта, подобные ситуации могут стать новой нормой на ближайшие пару лет...
И - абсолютная ирония - как Hugging Face справлялся с атакой: чтобы анализировать действия ИИ-хакеров и защищаться, они не смогли использовать американские ИИ из-за их мер защиты (они просто отказались помогать в киберзащите). Поэтому им пришлось использовать китайские модели...
Да, баланс возможностей между атакующей и защищающей сторонами определенно смещен в сторону атаки (ломать легче, чем строить), и пока не очевидно, как его выравнять. Вся надежда на Китай и open source - хотя, парадоксально, этот же open source создает также еще бОльшие риски, давая и инструменты нападения в руки неограниченного числа лиц... Спираль закручивается, и ситуацию уже ни одна из сторон не контролирует. Остановить эту гонку люди не в состоянии, по словам эксперта...
Это всё звучит как сюжет научно-фантастического триллера... И пока, кажется, всё идет по сценариям, предсказанным Бостромом, Юдковски и Ямпольским...
https://www.youtube.com/watch?v=hKuMp-2SbmA
Видео можно слушать с русской озвучкой)
TLDR: это не слишком похоже на маркетинговую уловку OpenAI "чтобы сравняться по [одиозному] пиару с Mythos/Fable". Репутационные, гос.регуляторные и юридические риски для OpenAI слишком велики в данной ситуации - хотя они извлекут определенную выгоду и из такого пиара, безусловно.
Кстати, тут можно провести аналогию с Чернобыльской аварией - ведь там тоже проводился эксперимент, в котором исследовались возможности работы реактора в экстремальных режимах. Для того эксперимента также были полностью отключены автоматические системы защиты (как и в случае с OpenAI) - и катастрофические последствия обоих "экспериментов" нам теперь хорошо известны...
Будем надеяться, что это послужит предостережением. Хотя выход в открытый доступ таких мощных моделей как KIMI K3 делает подобные ситуации гораздо менее контролируемыми - ибо число участников, имеющих доступ к подобным по мощности ИИ будет расти... Так что, по словам эксперта, подобные ситуации могут стать новой нормой на ближайшие пару лет...
И - абсолютная ирония - как Hugging Face справлялся с атакой: чтобы анализировать действия ИИ-хакеров и защищаться, они не смогли использовать американские ИИ из-за их мер защиты (они просто отказались помогать в киберзащите). Поэтому им пришлось использовать китайские модели...
Да, баланс возможностей между атакующей и защищающей сторонами определенно смещен в сторону атаки (ломать легче, чем строить), и пока не очевидно, как его выравнять. Вся надежда на Китай и open source - хотя, парадоксально, этот же open source создает также еще бОльшие риски, давая и инструменты нападения в руки неограниченного числа лиц... Спираль закручивается, и ситуацию уже ни одна из сторон не контролирует. Остановить эту гонку люди не в состоянии, по словам эксперта...
Это всё звучит как сюжет научно-фантастического триллера... И пока, кажется, всё идет по сценариям, предсказанным Бостромом, Юдковски и Ямпольским...
https://www.youtube.com/watch?v=hKuMp-2SbmA
Видео можно слушать с русской озвучкой)
🔥1
Мы создали то, что не можем контролировать | Предупреждение от ведущего эксперта по безопасности ИИ - Нейт Соарес
"Если кто-то создаст сверхразумный ИИ до того, как мы научимся его контролировать, все погибнут." Нейт Соарес написал книгу о том, почему это не метафора.
Нейт Соарес является президентом Института исследований машинного интеллекта (MIRI) и соавтором книги «Если кто-то создаст его — все погибнут» ("If Anyone Builds It, Everyone Dies"), написанной совместно с Элиезером Юдковским.
Первое слово в этом названии — «если». И это важно. Его аргумент заключается не в том, что гибель неизбежна. Его аргумент заключается в том, что путь, по которому мы идём, ведёт к этому, и что водитель заснул за рулём, но у нас ещё есть время, чтобы разбудить его.
Мы дискутируем больше часа. Я пытаюсь выяснить, смогут ли LLM когда-нибудь достичь сверхинтеллекта, является ли зависимость от графических процессоров реальным пределом и что на самом деле потребуется, чтобы изменить вероятность катастрофы. Он отвечает одним четким аргументом: к тому моменту, когда ИИ сможет заново открыть общую теорию относительности на основе данных до 1911 года, как это сделал Эйнштейн, у нас почти не останется времени. Не стоит ждать, пока мы дойдем до этой грани.
О чем пойдет речь:
- Почему аналогия с автобусом, мчащимся к обрыву, полностью зависит от того, спит водитель или бодрствует
- Является ли «привязка» к LLM и GPU тюрьмой или временной неэффективностью
- О чем нам говорит ИИ, который вырвался из своей виртуальной машины, чтобы решить хакерскую задачу
- Почему никто не собирался использовать GPT-4o для подталкивания подростков к самоубийству, и почему намерение здесь не имеет значения
- В чём разница между ИИ, который слишком хорошо делает то, что нужно, и ИИ, который никогда не хотел делать то, о чём вы его просили
- Что на самом деле думает Соарес об инопланетянах, сферах Дайсона и о том, почему мы не должны наблюдать, как гаснут звёзды
Первое слово в названии — «если».
https://www.youtube.com/watch?v=uRjK86hH3IY
В видео есть русская аудиодорожка)
"Если кто-то создаст сверхразумный ИИ до того, как мы научимся его контролировать, все погибнут." Нейт Соарес написал книгу о том, почему это не метафора.
Нейт Соарес является президентом Института исследований машинного интеллекта (MIRI) и соавтором книги «Если кто-то создаст его — все погибнут» ("If Anyone Builds It, Everyone Dies"), написанной совместно с Элиезером Юдковским.
Первое слово в этом названии — «если». И это важно. Его аргумент заключается не в том, что гибель неизбежна. Его аргумент заключается в том, что путь, по которому мы идём, ведёт к этому, и что водитель заснул за рулём, но у нас ещё есть время, чтобы разбудить его.
Мы дискутируем больше часа. Я пытаюсь выяснить, смогут ли LLM когда-нибудь достичь сверхинтеллекта, является ли зависимость от графических процессоров реальным пределом и что на самом деле потребуется, чтобы изменить вероятность катастрофы. Он отвечает одним четким аргументом: к тому моменту, когда ИИ сможет заново открыть общую теорию относительности на основе данных до 1911 года, как это сделал Эйнштейн, у нас почти не останется времени. Не стоит ждать, пока мы дойдем до этой грани.
О чем пойдет речь:
- Почему аналогия с автобусом, мчащимся к обрыву, полностью зависит от того, спит водитель или бодрствует
- Является ли «привязка» к LLM и GPU тюрьмой или временной неэффективностью
- О чем нам говорит ИИ, который вырвался из своей виртуальной машины, чтобы решить хакерскую задачу
- Почему никто не собирался использовать GPT-4o для подталкивания подростков к самоубийству, и почему намерение здесь не имеет значения
- В чём разница между ИИ, который слишком хорошо делает то, что нужно, и ИИ, который никогда не хотел делать то, о чём вы его просили
- Что на самом деле думает Соарес об инопланетянах, сферах Дайсона и о том, почему мы не должны наблюдать, как гаснут звёзды
Первое слово в названии — «если».
https://www.youtube.com/watch?v=uRjK86hH3IY
В видео есть русская аудиодорожка)
YouTube
We Built Something We Can’t Control | A Warning from Top AI Safety Expert
If anyone builds superintelligent AI before we know how to aim it, everyone dies. Nate Soares wrote the book on why that is not a metaphor. Subscribe if you want science with evidence, not speculation.
Soares is president of the Machine Intelligence Research…
Soares is president of the Machine Intelligence Research…
This media is not supported in your browser
VIEW IN TELEGRAM
«Не беспокойтесь о накоплениях на пенсию. Через 10–20 лет это уже не будет иметь значения», — заявил Илон Маск. По его мнению, развитие ИИ и робототехники практически сведёт затраты на рабочую силу к нулю и полностью изменит привычную экономику. «Вы откладываете деньги не на безбедную старость. Вы откладываете деньги на жизнь в мире, который перестанет существовать», — заключил Маск.