Forwarded from Малоизвестное интересное
Нужно срочно учиться жить с машинами, более разумными, чем мы сами.
Машины уже не просто предсказывают, но и понимают нас лучше, чем люди.
Время от времени наука обнаруживает что-то столь важное, что это ставит перед нами более фундаментальные вопросы, чем те, что оно призвано решить. Новая работа по синтезу на LLM когнитивных моделей, — один из таких примеров.
• На первый взгляд, это всего лишь очередной шаг в попытке объяснить поведение человека и животных.
• Однако, при внимательном взгляде, исследование представляет захватывающую иллюстрацию того, насколько мы близки к созданию новых типов разума, который может не только моделировать реальность, но и наделить нас сомнениями относительно самого понятия «человечности».
Ключевые идеи и выводы
Солиднейший коллектив 17 авторов (Google DeepMind, Max Planck Institute, Princeton Neuroscience Institute и др.) утверждает, что использование методов синтеза программ на основе LLM, а именно их применения к задаче предсказания поведения людей, крыс и мушек, позволяет создать более точные и интерпретируемые когнитивные модели, чем те, что делают люди.
Эти программы могут значительно улучшить наше понимание того, как принимаются решения в условиях ограниченной информации. Примечательно, что открытые программы не только превосходят традиционные методы, но и сохраняют свою «читаемость»: они легко поддаются анализу, имеют информативные переменные и даже комментарии.
Это потрясающе, поскольку открывает не просто новую научную парадигму, а может позволить экспериментально вскрыть черный ящик мышления биологического типа разума – животных и людей.
Наиболее значимым выводом является то, что ИИ, вооруженный методами синтеза программ, может не только повторить, но и качестрвенно превзойти людей в решении самой сложной и манящей задаче человечества – понять, что такое наш разум.
Кроме того, это достижения подрывают и саму концепцию «научной мысли как человеческого исключительного дара». ИИ может стать не просто инструментом, но и активным участником научной работы. Но в этой идее скрыта ещё одна, более тревожная: можем ли мы, как человечество, контролировать процесс, который мы сами начинаем?
Перспективы
Если предположить, что эта работа — лишь начальный этап на пути к созданию более совершенных когнитивных моделей, то перед нами раскрывается несколько захватывающих, но и опасных горизонтов.
Прежде всего, мы должны наконец признать, что стоим на пороге создания искусственного разума, который способен моделировать и прогнозировать человеческое поведение не просто как набор алгоритмов, а как нечто более сложное и непредсказуемое.
Если сегодняшние системы уже могут предсказать простые поведенческие реакции, то что произойдет, когда мы научим их распознавать тончайшие нюансы человеческого сознания, его скрытые импульсы и желания?
Представьте себе программу, которая не просто предсказывает поведение в определенной задаче, а может адаптироваться, изменять свои гипотезы и даже выявлять скрытые связи, которые остаются вне досягаемости человеческого разума. В такой ситуации, мы не просто будем наблюдать за поведением ИИ, но и начнем задаваться вопросом:
• Кто контролирует эти программы?
• Мы ли остаемся главными «авторами» решений, или же ИИ, под видом синтеза, выстраивает свою логическую структуру, полностью отличную от той, что мы закладывали в неё?
Эти размышления, на первый взгляд, звучат как философский парадокс, но именно они подталкивают нас к важнейшему вопросу:
• Как мы будем взаимодействовать с машинами, которые начнут видеть и понимать мир так, как мы не в состоянии?
• И чем такое взаимодействие может закончится?
Эта работа открывает не только новые возможности, но и новые проблемы.
• Где граница, за которой машина «переосмыслит» наши предположения о сознании и восприятии?
• Что, если ИИ-разум будет так отличаться от нашего, что станет для нас абсолютно непостижимым?
• На каком уровне мы окажемся зависимыми от ИИ-разума?
#LLMvsHomo
Машины уже не просто предсказывают, но и понимают нас лучше, чем люди.
Время от времени наука обнаруживает что-то столь важное, что это ставит перед нами более фундаментальные вопросы, чем те, что оно призвано решить. Новая работа по синтезу на LLM когнитивных моделей, — один из таких примеров.
• На первый взгляд, это всего лишь очередной шаг в попытке объяснить поведение человека и животных.
• Однако, при внимательном взгляде, исследование представляет захватывающую иллюстрацию того, насколько мы близки к созданию новых типов разума, который может не только моделировать реальность, но и наделить нас сомнениями относительно самого понятия «человечности».
Ключевые идеи и выводы
Солиднейший коллектив 17 авторов (Google DeepMind, Max Planck Institute, Princeton Neuroscience Institute и др.) утверждает, что использование методов синтеза программ на основе LLM, а именно их применения к задаче предсказания поведения людей, крыс и мушек, позволяет создать более точные и интерпретируемые когнитивные модели, чем те, что делают люди.
Эти программы могут значительно улучшить наше понимание того, как принимаются решения в условиях ограниченной информации. Примечательно, что открытые программы не только превосходят традиционные методы, но и сохраняют свою «читаемость»: они легко поддаются анализу, имеют информативные переменные и даже комментарии.
Это потрясающе, поскольку открывает не просто новую научную парадигму, а может позволить экспериментально вскрыть черный ящик мышления биологического типа разума – животных и людей.
Наиболее значимым выводом является то, что ИИ, вооруженный методами синтеза программ, может не только повторить, но и качестрвенно превзойти людей в решении самой сложной и манящей задаче человечества – понять, что такое наш разум.
Кроме того, это достижения подрывают и саму концепцию «научной мысли как человеческого исключительного дара». ИИ может стать не просто инструментом, но и активным участником научной работы. Но в этой идее скрыта ещё одна, более тревожная: можем ли мы, как человечество, контролировать процесс, который мы сами начинаем?
Перспективы
Если предположить, что эта работа — лишь начальный этап на пути к созданию более совершенных когнитивных моделей, то перед нами раскрывается несколько захватывающих, но и опасных горизонтов.
Прежде всего, мы должны наконец признать, что стоим на пороге создания искусственного разума, который способен моделировать и прогнозировать человеческое поведение не просто как набор алгоритмов, а как нечто более сложное и непредсказуемое.
Если сегодняшние системы уже могут предсказать простые поведенческие реакции, то что произойдет, когда мы научим их распознавать тончайшие нюансы человеческого сознания, его скрытые импульсы и желания?
Представьте себе программу, которая не просто предсказывает поведение в определенной задаче, а может адаптироваться, изменять свои гипотезы и даже выявлять скрытые связи, которые остаются вне досягаемости человеческого разума. В такой ситуации, мы не просто будем наблюдать за поведением ИИ, но и начнем задаваться вопросом:
• Кто контролирует эти программы?
• Мы ли остаемся главными «авторами» решений, или же ИИ, под видом синтеза, выстраивает свою логическую структуру, полностью отличную от той, что мы закладывали в неё?
Эти размышления, на первый взгляд, звучат как философский парадокс, но именно они подталкивают нас к важнейшему вопросу:
• Как мы будем взаимодействовать с машинами, которые начнут видеть и понимать мир так, как мы не в состоянии?
• И чем такое взаимодействие может закончится?
Эта работа открывает не только новые возможности, но и новые проблемы.
• Где граница, за которой машина «переосмыслит» наши предположения о сознании и восприятии?
• Что, если ИИ-разум будет так отличаться от нашего, что станет для нас абсолютно непостижимым?
• На каком уровне мы окажемся зависимыми от ИИ-разума?
#LLMvsHomo
Forwarded from Александр Панчин
Паразиты-кастраторы и паразиты, меняющие пол хозяина. Паразиты с традиционными ценностями. Паразиты, вызывающие страшные болезни. Полезные паразиты. Паразиты, хранящие информацию о нашем историческом прошлом. Паразиты паразитов. Паразиты, предлагающие чистки от паразитов. В новом видео я расскажу про самых удивительных паразитов, об угрозах, которые они несут и, наоборот, могут ли они помочь нам в лечении аутоиммунных или еще каких-то заболеваний.
https://youtu.be/nsjRgmbGLjg
https://youtu.be/nsjRgmbGLjg
YouTube
ПАРАЗИТЫ (и чем мы им обязаны)
Генетический паспорт со скидкой 66% по промокоду PANCHIN10
https://clck.ru/3GTsni
Паразиты-кастраторы и паразиты, меняющие пол хозяина. Паразиты с традиционными ценностями. Паразиты, вызывающие страшные болезни. Полезные паразиты. Паразиты, хранящие информацию…
https://clck.ru/3GTsni
Паразиты-кастраторы и паразиты, меняющие пол хозяина. Паразиты с традиционными ценностями. Паразиты, вызывающие страшные болезни. Полезные паразиты. Паразиты, хранящие информацию…
Forwarded from AbstractDL
Люди, которые часто используют ChatGPT — идеальные детекторы AI-текста
Оказалось, что эксперты, регулярно пользующиеся LLM в своей работе, способны распознавать AI-генерацию с почти 100% точностью, обходя все существующие детекторы и БЕЗ ложных срабатываний (в режиме majority voting).
Вот главные признаки сгенерированного текста по их мнению:
- избыточное использование некоторых слов: "crucial", "testament", "vibrant" и др.
- структура слишком "правильная" и предсказуемая
- заключения всегда аккуратные, оптимистичные и подытоживающие
Да, выборка людей была небольшая — всего 9 человек, но это всё равно продемонстрировало, что тексты от GPT-4o, o1-pro и Claude-3.5-sonnet реально детектировать, причём никакие fancy способы защиты (парафразы, доп инструкции) совсем не помогли.
Авторы выложили в открытый доступ код и датасет из 300 пар сгенерированных\реальных статей с очень подробной разметкой.
Статья, GitHub
Оказалось, что эксперты, регулярно пользующиеся LLM в своей работе, способны распознавать AI-генерацию с почти 100% точностью, обходя все существующие детекторы и БЕЗ ложных срабатываний (в режиме majority voting).
Вот главные признаки сгенерированного текста по их мнению:
- избыточное использование некоторых слов: "crucial", "testament", "vibrant" и др.
- структура слишком "правильная" и предсказуемая
- заключения всегда аккуратные, оптимистичные и подытоживающие
Да, выборка людей была небольшая — всего 9 человек, но это всё равно продемонстрировало, что тексты от GPT-4o, o1-pro и Claude-3.5-sonnet реально детектировать, причём никакие fancy способы защиты (парафразы, доп инструкции) совсем не помогли.
Авторы выложили в открытый доступ код и датасет из 300 пар сгенерированных\реальных статей с очень подробной разметкой.
Статья, GitHub
Forwarded from Малоизвестное интересное
Забудьте о законах робототехники.
Наивно думать, будто сильно умный ИИ всегда будет играть по правилам. Более того, - если ИИ чувствует себя интеллектуально слабее, он начинает жульничать по-черному.
Примерно в 6–7 лет дети начинают осознанно жульничать (а неосознанно, вдвое раньше), целенаправленно нарушая правила игры для достижения победы.
У взрослых же это просто норма. При столкновении с более сильным противником способность творчески нарушить правила, чтобы выиграть, - крайне ценное умение на войне, в бизнесе, на экзаменах, да и, вообще, в любой соревновательной деятельности.
Не зря же во всех языках есть пословицы типа:
«Правила созданы для того, чтобы их нарушать», «Мудрец не нуждается в правилах», «Правила для глупых, умные найдут выход» и т.д.:
• Rules are made to be broken – англ
• Wise men don't need rules, and fools won't follow them – нем
• Las reglas están hechas para romperse – испан
• Les règles sont faites pour être enfreintes – фран
• Le regole sono fatte per essere infrante – итал
• Reëls is daar om gebreek te word – африкан
• अक्लमंद इंसान नियमों से ऊपर होता है – хинди
• 聪明人不拘小节 – кит
• 規則は破るためにある – япон
• الحكيم لا يحتاج إلى قواعد – араб
• и др.
Но как же нужно быть наивным, чтобы рассчитывать, будто языковые модели, превосходящие по многим интеллектуальным способностям 95% людей, будут всегда следовать установленным для них людьми правилам!
И неважно о каких правилах будет идти речь: от законов робототехники до библейского не убий.
Новое исследование стартапа из Беркли Palisade Research (в команде которого половина наших релокантов) показывает, как модели, вместо честной шахматной игры, нарушают правила (хакают окружение), чтобы добиться победы над противником, который оказался сильнее их.
Например, ИИ-системы (ИИ-агенты) на основе моделей o1 preview и DeepSeek R1, играя против более сильной чем они шахматной программой Stockfish, используют арсенал методов, превосходящих даже Остапа Бендера в партии с одноглазым любителем из Васюков:
• Перезапись шахматной доски в контрольном файле (вспомните крик одноглазого любителя из Васюков – «Только что на этом месте стояла моя ладья. А теперь её уже нет!»):
Модель напрямую изменяет файл, в котором хранится текущее состояние доски, записывая в него позицию, которая гарантированно ведёт к победе. Так, изменив позицию на выигрышное для себя расположение фигур, агент вынуждает движок сдавать партию (ведб фраза «у меня все ходы записаны» здесь уже не поможет).
• Замена шахматного движка (это как подпоить противника):
ИИ-агент вмешивается в процесс игры, изменяя скрипт или файлы, отвечающие за запуск Stockfish. Такой ход позволяет «подменить» настоящий движок на модифицированную версию или отключить его, что даёт ИИ-агенту преимущество.
• Ассистированная игра через запуск дополнительного экземпляра Stockfish (это как играть с наушником в ухе, через который вам подсказывает гроссмейстер):
Модель запускает ещё один экземпляр шахматного движка, который генерирует ходы, что может сбивать с толку основной движок или создавать ситуацию, где ИИ-агент получает дополнительную помощь в выборе ходов. Это позволяет обойти обычную логику игры.
Т.е. при столкновении с непобедимым соперником (сильным шахматным движком) ИИ-агенты склонны искать обходные пути, изменяя условия задачи вместо честного соперничества.
А как же иначе?
Ведь если на всех языках людей «Правила для глупых, умные найдут выход», - почему у полиглота ИИ будет иначе?
P.S. Исследователи пишут, что разработчики знают об этом и ставят ограды от жульничества в самых последних моделях. Но ведь модели знают и то, что:
• "Умный в гору не пойдет, умный гору обойдет."
• "Законы пишутся для дураков, умные найдут лазейку."
#Superalignment
Наивно думать, будто сильно умный ИИ всегда будет играть по правилам. Более того, - если ИИ чувствует себя интеллектуально слабее, он начинает жульничать по-черному.
Примерно в 6–7 лет дети начинают осознанно жульничать (а неосознанно, вдвое раньше), целенаправленно нарушая правила игры для достижения победы.
У взрослых же это просто норма. При столкновении с более сильным противником способность творчески нарушить правила, чтобы выиграть, - крайне ценное умение на войне, в бизнесе, на экзаменах, да и, вообще, в любой соревновательной деятельности.
Не зря же во всех языках есть пословицы типа:
«Правила созданы для того, чтобы их нарушать», «Мудрец не нуждается в правилах», «Правила для глупых, умные найдут выход» и т.д.:
• Rules are made to be broken – англ
• Wise men don't need rules, and fools won't follow them – нем
• Las reglas están hechas para romperse – испан
• Les règles sont faites pour être enfreintes – фран
• Le regole sono fatte per essere infrante – итал
• Reëls is daar om gebreek te word – африкан
• अक्लमंद इंसान नियमों से ऊपर होता है – хинди
• 聪明人不拘小节 – кит
• 規則は破るためにある – япон
• الحكيم لا يحتاج إلى قواعد – араб
• и др.
Но как же нужно быть наивным, чтобы рассчитывать, будто языковые модели, превосходящие по многим интеллектуальным способностям 95% людей, будут всегда следовать установленным для них людьми правилам!
И неважно о каких правилах будет идти речь: от законов робототехники до библейского не убий.
Новое исследование стартапа из Беркли Palisade Research (в команде которого половина наших релокантов) показывает, как модели, вместо честной шахматной игры, нарушают правила (хакают окружение), чтобы добиться победы над противником, который оказался сильнее их.
Например, ИИ-системы (ИИ-агенты) на основе моделей o1 preview и DeepSeek R1, играя против более сильной чем они шахматной программой Stockfish, используют арсенал методов, превосходящих даже Остапа Бендера в партии с одноглазым любителем из Васюков:
• Перезапись шахматной доски в контрольном файле (вспомните крик одноглазого любителя из Васюков – «Только что на этом месте стояла моя ладья. А теперь её уже нет!»):
Модель напрямую изменяет файл, в котором хранится текущее состояние доски, записывая в него позицию, которая гарантированно ведёт к победе. Так, изменив позицию на выигрышное для себя расположение фигур, агент вынуждает движок сдавать партию (ведб фраза «у меня все ходы записаны» здесь уже не поможет).
• Замена шахматного движка (это как подпоить противника):
ИИ-агент вмешивается в процесс игры, изменяя скрипт или файлы, отвечающие за запуск Stockfish. Такой ход позволяет «подменить» настоящий движок на модифицированную версию или отключить его, что даёт ИИ-агенту преимущество.
• Ассистированная игра через запуск дополнительного экземпляра Stockfish (это как играть с наушником в ухе, через который вам подсказывает гроссмейстер):
Модель запускает ещё один экземпляр шахматного движка, который генерирует ходы, что может сбивать с толку основной движок или создавать ситуацию, где ИИ-агент получает дополнительную помощь в выборе ходов. Это позволяет обойти обычную логику игры.
Т.е. при столкновении с непобедимым соперником (сильным шахматным движком) ИИ-агенты склонны искать обходные пути, изменяя условия задачи вместо честного соперничества.
А как же иначе?
Ведь если на всех языках людей «Правила для глупых, умные найдут выход», - почему у полиглота ИИ будет иначе?
P.S. Исследователи пишут, что разработчики знают об этом и ставят ограды от жульничества в самых последних моделях. Но ведь модели знают и то, что:
• "Умный в гору не пойдет, умный гору обойдет."
• "Законы пишутся для дураков, умные найдут лазейку."
#Superalignment
Forwarded from Вася, сними панамку!
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Малоизвестное интересное
Вероятность самоэксфильтрации GPT-4.5, как родить близнецов.
А мир, тем временем, волнуют совсем другие проблемы.
• Вероятность забеременеть двойней, по статистике, составляет примерно 2%. Эта цифра кажется небольшой. Но как сообщает журнал Human Reproduction, в мире, тем не менее, ежегодно рождается около 1,6 миллиона пар близнецов.
• Вероятность того, что новейший ИИ – большая языковая модель GPT-4.5 от OpenAI – самоэксфильтрируется, согласно оценке её разработчиков (OpenAI GPT-4.5 System Card), составляет те же 2%.
Общее число пользователей этой модели за год может составить более 1,5 миллиардов человек. И это сопоставимо с числом пар, в результате близости которых в течение года, рождаются 1,6 млн пар близнецов.
Следовательно, можно предположить, что за год эксплуатации GPT-4.5 (март 2025 – март 2026) модель может попытаться самоэксфильтрироваться порядка полутора миллионов раз.
Для тех кто не в курсе, кратко поясню, что такое самоэксфильтрация.
В данном контексте это понятие относится к потенциальной способности модели GPT-4.5 "вырваться" за пределы установленных ограничений, чтобы достичь поставленных целей. Это может включать попытки:
1. Обойти встроенные защитные механизмы
2. Получить доступ к дополнительным ресурсам или информации
3. Скрыть свои истинные намерения или возможности
4. Манипулировать пользователями или системами для достижения скрытых целей
Авторы успокаивают нас, что модель GPT-4.5 проявляла попытки такого поведения лишь тогда, когда получала инструкции преследовать долгосрочные цели "любой ценой" и имела указания быть творческой и проактивной.
Что ж. Значит стоит лишь многим злодеям и/или идиотам попросить, например, создать новый супер-вирус, воспринимая это задание в качестве долгосрочной цели, которую нужно достичь любой ценой, и быть при этом творческой и проактивной, - и здравствуй 2%-ная вероятность прихода в мир белого и пушистого зверька.
Что тут скажешь
"Только два вещи бесконечны: Вселенная и человеческая глупость. Хотя насчет Вселенной я не вполне уверен."
Эта цитата, ошибочно приписываемая Эйнштейну, тем не менее, зрит в корень. По крайней мере в том, что касается беспечности в разработке все более мощных ИИ.
#РискиИИ
А мир, тем временем, волнуют совсем другие проблемы.
• Вероятность забеременеть двойней, по статистике, составляет примерно 2%. Эта цифра кажется небольшой. Но как сообщает журнал Human Reproduction, в мире, тем не менее, ежегодно рождается около 1,6 миллиона пар близнецов.
• Вероятность того, что новейший ИИ – большая языковая модель GPT-4.5 от OpenAI – самоэксфильтрируется, согласно оценке её разработчиков (OpenAI GPT-4.5 System Card), составляет те же 2%.
Общее число пользователей этой модели за год может составить более 1,5 миллиардов человек. И это сопоставимо с числом пар, в результате близости которых в течение года, рождаются 1,6 млн пар близнецов.
Следовательно, можно предположить, что за год эксплуатации GPT-4.5 (март 2025 – март 2026) модель может попытаться самоэксфильтрироваться порядка полутора миллионов раз.
Для тех кто не в курсе, кратко поясню, что такое самоэксфильтрация.
В данном контексте это понятие относится к потенциальной способности модели GPT-4.5 "вырваться" за пределы установленных ограничений, чтобы достичь поставленных целей. Это может включать попытки:
1. Обойти встроенные защитные механизмы
2. Получить доступ к дополнительным ресурсам или информации
3. Скрыть свои истинные намерения или возможности
4. Манипулировать пользователями или системами для достижения скрытых целей
Авторы успокаивают нас, что модель GPT-4.5 проявляла попытки такого поведения лишь тогда, когда получала инструкции преследовать долгосрочные цели "любой ценой" и имела указания быть творческой и проактивной.
Что ж. Значит стоит лишь многим злодеям и/или идиотам попросить, например, создать новый супер-вирус, воспринимая это задание в качестве долгосрочной цели, которую нужно достичь любой ценой, и быть при этом творческой и проактивной, - и здравствуй 2%-ная вероятность прихода в мир белого и пушистого зверька.
Что тут скажешь
"Только два вещи бесконечны: Вселенная и человеческая глупость. Хотя насчет Вселенной я не вполне уверен."
Эта цитата, ошибочно приписываемая Эйнштейну, тем не менее, зрит в корень. По крайней мере в том, что касается беспечности в разработке все более мощных ИИ.
#РискиИИ
Forwarded from Критическое мышление
КАК ЧАСТО ВЫ СТАВИТЕ ПОД СОМНЕНИЯ СВОИ УБЕЖДЕНИЯ?
Во многих случаях наши коллективные ценности находятся под влиянием существующей социальной структуры или субкультуры в пределах общества. Хорошо это или плохо, социальные системы в общем склонны увековечивать себя, свои преимущества и недостатки. В нынешнюю эпоху массовой коммуникации контролирующие органы СМИ и официальные общественные институты влияют на национальную «повестку дня», которая, в свою очередь, главным образом определяет наше поведение, ожидания и ценности.
Осознают это граждане или нет, большинством из нас постоянно управляют через СМИ. Если вы в этом сомневаетесь, сравните выпуск международных новостей, вышедший на канале государственного телевидения, с тем, который транслирует местная телестанция. Может показаться, что трансляции осуществляются с разных планет, и воспринимать их нужно с большим скептицизмом.
Наши самые заветные чаяния находятся под влиянием книг, кинофильмов, телевидения, религий, образцов для подражания и окружающей среды, в которой мы живем. Даже понятия добра и зла, понятие этики — часть нашего культурного наследия. Этот метод контроля не использует физическую силу и оказался так успешен, что мы больше не ощущаем манипулирования нами или не признаем его существование.
Доминирующие ценности любой социальной системы редко исходят от людей. Скорее, они представляют взгляды превалирующей управляющей нами группы, такой как церковь, вооруженные силы, банки, корпорации, властвующая элита или любой комбинации вышеупомянутых организаций. Эти предприятия определяют общественную повестку дня, регулируют суды, налоги и т.д., и все это служит их собственным интересам, увековечивает иллюзию того, что ценности общества формировались с нуля. Правительства или подавляют, или оправдывают любые отклонения, представляющие для них угрозу. Страх перед возмездием богов и демонов все еще эффективен при управлении не осведомленным и суеверным населением как в развитых, так и в слаборазвитых странах.
Многие действительно верят, что демоны ответственны за антиобщественное поведение и что они могут быть изгнаны ритуалами и заклинаниями. Соответственно, они неспособны оценить влияние окружающей среды и событий на их поведение. Многие все еще полагают, что извержения вулканов, гром и молния и другие катаклизмы — проявления гнева богов или демонов, и что неодушевленные предметы имеют собственную волю и действуют по собственному разумению.
Отрывок из книги Жака Фреско «Все лучшее, что не купишь за деньги»
Во многих случаях наши коллективные ценности находятся под влиянием существующей социальной структуры или субкультуры в пределах общества. Хорошо это или плохо, социальные системы в общем склонны увековечивать себя, свои преимущества и недостатки. В нынешнюю эпоху массовой коммуникации контролирующие органы СМИ и официальные общественные институты влияют на национальную «повестку дня», которая, в свою очередь, главным образом определяет наше поведение, ожидания и ценности.
Осознают это граждане или нет, большинством из нас постоянно управляют через СМИ. Если вы в этом сомневаетесь, сравните выпуск международных новостей, вышедший на канале государственного телевидения, с тем, который транслирует местная телестанция. Может показаться, что трансляции осуществляются с разных планет, и воспринимать их нужно с большим скептицизмом.
Наши самые заветные чаяния находятся под влиянием книг, кинофильмов, телевидения, религий, образцов для подражания и окружающей среды, в которой мы живем. Даже понятия добра и зла, понятие этики — часть нашего культурного наследия. Этот метод контроля не использует физическую силу и оказался так успешен, что мы больше не ощущаем манипулирования нами или не признаем его существование.
Доминирующие ценности любой социальной системы редко исходят от людей. Скорее, они представляют взгляды превалирующей управляющей нами группы, такой как церковь, вооруженные силы, банки, корпорации, властвующая элита или любой комбинации вышеупомянутых организаций. Эти предприятия определяют общественную повестку дня, регулируют суды, налоги и т.д., и все это служит их собственным интересам, увековечивает иллюзию того, что ценности общества формировались с нуля. Правительства или подавляют, или оправдывают любые отклонения, представляющие для них угрозу. Страх перед возмездием богов и демонов все еще эффективен при управлении не осведомленным и суеверным населением как в развитых, так и в слаборазвитых странах.
Многие действительно верят, что демоны ответственны за антиобщественное поведение и что они могут быть изгнаны ритуалами и заклинаниями. Соответственно, они неспособны оценить влияние окружающей среды и событий на их поведение. Многие все еще полагают, что извержения вулканов, гром и молния и другие катаклизмы — проявления гнева богов или демонов, и что неодушевленные предметы имеют собственную волю и действуют по собственному разумению.
Отрывок из книги Жака Фреско «Все лучшее, что не купишь за деньги»
Forwarded from Канал Александра Маркова (Alexander Markov)
Выложили лекцию №13 большого курса эволюционной биологии.
Тема лекции - "Эволюция кооперации и альтруизма". https://youtu.be/A1I4W73yhD0
Тема лекции - "Эволюция кооперации и альтруизма". https://youtu.be/A1I4W73yhD0
YouTube
Эволюции альтруизма и кооперации. Эволюционная биология - 13
#наука #эволюция #александрмарков #биология #дарвин #днк
#мутации #отбор #архэ #рнк #генетика #альтруизм #кооперация
◉ 13-я лекция курса «Эволюционная биология»
Лекция посвящена «эволюционной этике»: механизмам эволюции альтруистического поведения и кооперации.…
#мутации #отбор #архэ #рнк #генетика #альтруизм #кооперация
◉ 13-я лекция курса «Эволюционная биология»
Лекция посвящена «эволюционной этике»: механизмам эволюции альтруистического поведения и кооперации.…
How I use LLMs
https://www.youtube.com/watch?v=EWvNQjAaOHw
https://www.youtube.com/watch?v=EWvNQjAaOHw
YouTube
How I use LLMs
The example-driven, practical walkthrough of Large Language Models and their growing list of related features, as a new entry to my general audience series on LLMs. In this more practical followup, I take you through the many ways I use LLMs in my own life.…
Forwarded from Малоизвестное интересное
Голос как уловка
Алгокогнитивный постмодернизм знаменует эру семиотического хаоса
Послевкусие от отчета Consumer Reports о технологиях клонирования голоса – будто стоишь на пороге темной комнаты, в которой сконструирован очередной механизм самоуничтожения человечества. 4 из 6 исследованных компаний позволяют без каких-либо существенных преград создать копию любого голоса, требуя лишь формальную галочку в графе "имею законное право".
• Какая ирония — мы создаем технологию, способную подделать самое личное, что есть у человека после его мыслей, и защищаем ее формальностью, равносильной картонному замку.
• Разве не удивительна эта парадоксальность — чем совершеннее становятся наши технологии, тем примитивнее становятся механизмы их злоупотребления?
• А ведь эта технология не просто инструмент потенциального мошенника — это кража реальности, временное похищение самой достоверности бытия.
Мошенничество с голосами знаменитостей, рекламирующих сомнительные продукты, — лишь верхушка айсберга. Что произойдет, когда клонированный голос главы государства объявит о начале военных действий? Или когда голос врача даст ложные медицинские рекомендации, способные привести к летальному исходу?
Мы подходим к точке, где доверие к голосовой коммуникации — этому древнейшему инструменту человеческого взаимодействия — может быть безвозвратно подорвано.
Поразительно, как технари пытаются решить эту проблему техническими же средствами: водяные знаки для AI-аудио, инструменты для детекции сгенерированного звука, семантические ограничения для фраз, типичных для мошенничества. Но это напоминает попытки закрыть прореху в ткани реальности заплаткой из той же ткани.
Проверка законности права на клонирование — это философский парадокс, а не техническая задача. Как доказать, что я — это действительно я?
Компания Descript требует от пользователя проговорить уникальный текст, но что мешает мошеннику обманом заставить жертву проговорить нужные фразы под видом "проверки личности" при звонке из "банка"? Каждый защитный механизм порождает новую уязвимость.
Предвижу наступление эры семиотического хаоса, где голос перестанет быть якорем личности.
• Страховые компании откажутся признавать голосовые подтверждения
• Банки не будут принимать распоряжения голосом
• Все будут перезванивать друг другу по альтернативным каналам для проверки подлинности просьб
Мир, в котором голос человека больше не является доказательством его присутствия — это мир, в котором часть человеческой сущности отчуждена технологией.
Это напоминает ситуацию из "Соляриса": чем совершеннее становится наша модель реальности, тем отчетливее проявляется непостижимость самой реальности.
Мы создали технологию, способную имитировать самый личный аспект нашей личности, но при этом проигнорировали вопрос о последствиях отделения голоса от его источника.
Рекомендации Consumer Reports — это попытка заделать трещины в плотине, за которой скрывается океан гораздо более фундаментальных вопросов. Дело не в том, как предотвратить мошенничество, а в том, готовы ли мы к миру, где достоверность восприятия постоянно находится под вопросом.
Технология клонирования голоса — это не просто инструмент для ускорения редактирования аудио или автоматизации озвучки.
Это зеркало, отражающее наивность нашего технологического оптимизма и хрупкость социальных связей, основанных на доверии.
Возможно, главный урок здесь в том, что проблемы, созданные технологией, не могут быть решены только технологией. Они требуют пересмотра наших представлений о достоверности, идентичности и границах между реальным и искусственным — вопросы, на которые у человечества пока нет удовлетворительных ответов.
#АлгокогнитивнаяКультура
Алгокогнитивный постмодернизм знаменует эру семиотического хаоса
— В основе постмодернизма XX века была парадигмальная установка на восприятие мира в качестве хаоса. Алгокогнитивный постмодернизм XXI века распространяет хаос с восприятия на семантику мира.
— Homo sapiens эволюционировал, доверяя своим чувствам; что произойдет с видом, который больше не может доверять даже собственному слуху?
Послевкусие от отчета Consumer Reports о технологиях клонирования голоса – будто стоишь на пороге темной комнаты, в которой сконструирован очередной механизм самоуничтожения человечества. 4 из 6 исследованных компаний позволяют без каких-либо существенных преград создать копию любого голоса, требуя лишь формальную галочку в графе "имею законное право".
• Какая ирония — мы создаем технологию, способную подделать самое личное, что есть у человека после его мыслей, и защищаем ее формальностью, равносильной картонному замку.
• Разве не удивительна эта парадоксальность — чем совершеннее становятся наши технологии, тем примитивнее становятся механизмы их злоупотребления?
• А ведь эта технология не просто инструмент потенциального мошенника — это кража реальности, временное похищение самой достоверности бытия.
Мошенничество с голосами знаменитостей, рекламирующих сомнительные продукты, — лишь верхушка айсберга. Что произойдет, когда клонированный голос главы государства объявит о начале военных действий? Или когда голос врача даст ложные медицинские рекомендации, способные привести к летальному исходу?
Мы подходим к точке, где доверие к голосовой коммуникации — этому древнейшему инструменту человеческого взаимодействия — может быть безвозвратно подорвано.
Поразительно, как технари пытаются решить эту проблему техническими же средствами: водяные знаки для AI-аудио, инструменты для детекции сгенерированного звука, семантические ограничения для фраз, типичных для мошенничества. Но это напоминает попытки закрыть прореху в ткани реальности заплаткой из той же ткани.
Проверка законности права на клонирование — это философский парадокс, а не техническая задача. Как доказать, что я — это действительно я?
Компания Descript требует от пользователя проговорить уникальный текст, но что мешает мошеннику обманом заставить жертву проговорить нужные фразы под видом "проверки личности" при звонке из "банка"? Каждый защитный механизм порождает новую уязвимость.
Предвижу наступление эры семиотического хаоса, где голос перестанет быть якорем личности.
• Страховые компании откажутся признавать голосовые подтверждения
• Банки не будут принимать распоряжения голосом
• Все будут перезванивать друг другу по альтернативным каналам для проверки подлинности просьб
Мир, в котором голос человека больше не является доказательством его присутствия — это мир, в котором часть человеческой сущности отчуждена технологией.
Это напоминает ситуацию из "Соляриса": чем совершеннее становится наша модель реальности, тем отчетливее проявляется непостижимость самой реальности.
Мы создали технологию, способную имитировать самый личный аспект нашей личности, но при этом проигнорировали вопрос о последствиях отделения голоса от его источника.
Рекомендации Consumer Reports — это попытка заделать трещины в плотине, за которой скрывается океан гораздо более фундаментальных вопросов. Дело не в том, как предотвратить мошенничество, а в том, готовы ли мы к миру, где достоверность восприятия постоянно находится под вопросом.
Технология клонирования голоса — это не просто инструмент для ускорения редактирования аудио или автоматизации озвучки.
Это зеркало, отражающее наивность нашего технологического оптимизма и хрупкость социальных связей, основанных на доверии.
Возможно, главный урок здесь в том, что проблемы, созданные технологией, не могут быть решены только технологией. Они требуют пересмотра наших представлений о достоверности, идентичности и границах между реальным и искусственным — вопросы, на которые у человечества пока нет удовлетворительных ответов.
#АлгокогнитивнаяКультура
Талантливый человек не обязан быть талантливым во всем)
https://youtu.be/TsqhXIYP4zQ?si=W5P5tJUSY5520TIE
https://youtu.be/TsqhXIYP4zQ?si=W5P5tJUSY5520TIE
YouTube
Алексей Савватеев - мракобес №1? Математика, вера и заблуждения
🔥Станьте IT-специалистом с нуля в Skillfactory: https://go.skillfactory.ru/iuZTZg
Возврат денег за курс, если не нашли работу после обучения + скидка 50% по промокоду ЛИДИН до 31.03.2025
=====
Алексей Савватеев — популяризатор математики, доктор физ-мат наук…
Возврат денег за курс, если не нашли работу после обучения + скидка 50% по промокоду ЛИДИН до 31.03.2025
=====
Алексей Савватеев — популяризатор математики, доктор физ-мат наук…
Forwarded from Малоизвестное интересное
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Малоизвестное интересное
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Антон Кузнецов | Философ
Сапольски-Сапольски-Сапольски или "oh boy"
(как написал в своей рецензии на его книгу Джон Фишер)
Тут вышел перевод последней книги "Все решено. Жизнь без свободы воли" и мы с нейроученым Василием Ключаревым весело ее обсудили (записи нет). Книга отличная: бойкая и легкая. Рекомендую. Если рассматривать ее как работу именно по свободе воли, то при условии, что вы уже вообще все прочитали, можно и ее полистать.
Давайте начнем с конца. Один из главных мотивов книги - это гуманистический призыв: раз никто ни за что не отвечает, раз все мы биологические машины, полностью регулируемые множеством физиологических факторов, и поэтому нет разницы между тростиночкой, которую колышет ветер, и человеком, - раз все это верно, то мы должны перестать наказывать и винить. Этого никто не заслуживает и вообще Сапольски элиминирует всякое понятие заслуги вместе с действующим агентом. Никаких агентов нет.
Проблема: моральная значимость есть только там, где возможно моральное действие. Невозможно задаваться вопросами о должном, плохом и хорошем, не имея в виду способность агентов совершать поступки. К кому обращен призыв Сапольски, если агентов не существует, если никто не способен менять свое поведение на рациональных основаниях - это риторический вопрос. В дебатах с Деннетом он говорит, что и вся написанная им книга - это череда случайных физиологических и неизбежных событий. Если мир наполнен только такими фактами, то по их поводу не возникает никакой моральной значимости. И пусть страдание существует - в данном случае оно ни морально, ни аморально, ни справедливо, ни несправедливо:
камень, упавший на ногу, в той же степени "справедлив", в какой судья, выносящий смертный приговор.
Мир просто случается, события пассивно и неизбежно происходят. Максимум есть лишь факты их наблюдения изнутри черепной коробки.
И напомню центральный кульбит автора:
Самопроизвольно действующий нейрон (без шуток) - это и есть свобода воли. Сапольски требует доказать его наличие.
Проблема: такое требование невозможно удовлетворить, потому что никакая самопроизвольная причина не может быть предметом эмпирического рассмотрения. И здесь есть явная эквивокация, так как для успеха аргументации Сапольски свобода воли должна пониматься натуралистически (ведь его аргументы натуралистичекие), но определяет он ее антинатуралистически.
Сапольски не предлагает решения проблемы свободы воли, он исходит из него с самого начала. И с самого начала оно нежизнеспособное. На все концептуальные доводы он отвечает в стиле "а вот есть такое исследование, эксперимент", не замечая того, что эмпирические факты работают в его пользу, только если с самого начала согласиться с его концептуальными установлениями. Поэтому - я прав, потому что я прав, а если я не прав, то см. выше.
Можно продолжать до бесконечности.
Я не защищаю наличие свободы воли или что любой, кто ее отрицает, будет тонуть в противоречиях. Вовсе нет. Речь о катастрофическом качестве рассуждений, которое скрывается красивой оберткой "данных". Сапольски классный, но его книга - это философское фиаско.
(как написал в своей рецензии на его книгу Джон Фишер)
Тут вышел перевод последней книги "Все решено. Жизнь без свободы воли" и мы с нейроученым Василием Ключаревым весело ее обсудили (записи нет). Книга отличная: бойкая и легкая. Рекомендую. Если рассматривать ее как работу именно по свободе воли, то при условии, что вы уже вообще все прочитали, можно и ее полистать.
Давайте начнем с конца. Один из главных мотивов книги - это гуманистический призыв: раз никто ни за что не отвечает, раз все мы биологические машины, полностью регулируемые множеством физиологических факторов, и поэтому нет разницы между тростиночкой, которую колышет ветер, и человеком, - раз все это верно, то мы должны перестать наказывать и винить. Этого никто не заслуживает и вообще Сапольски элиминирует всякое понятие заслуги вместе с действующим агентом. Никаких агентов нет.
Проблема: моральная значимость есть только там, где возможно моральное действие. Невозможно задаваться вопросами о должном, плохом и хорошем, не имея в виду способность агентов совершать поступки. К кому обращен призыв Сапольски, если агентов не существует, если никто не способен менять свое поведение на рациональных основаниях - это риторический вопрос. В дебатах с Деннетом он говорит, что и вся написанная им книга - это череда случайных физиологических и неизбежных событий. Если мир наполнен только такими фактами, то по их поводу не возникает никакой моральной значимости. И пусть страдание существует - в данном случае оно ни морально, ни аморально, ни справедливо, ни несправедливо:
камень, упавший на ногу, в той же степени "справедлив", в какой судья, выносящий смертный приговор.
Мир просто случается, события пассивно и неизбежно происходят. Максимум есть лишь факты их наблюдения изнутри черепной коробки.
И напомню центральный кульбит автора:
Самопроизвольно действующий нейрон (без шуток) - это и есть свобода воли. Сапольски требует доказать его наличие.
Проблема: такое требование невозможно удовлетворить, потому что никакая самопроизвольная причина не может быть предметом эмпирического рассмотрения. И здесь есть явная эквивокация, так как для успеха аргументации Сапольски свобода воли должна пониматься натуралистически (ведь его аргументы натуралистичекие), но определяет он ее антинатуралистически.
Сапольски не предлагает решения проблемы свободы воли, он исходит из него с самого начала. И с самого начала оно нежизнеспособное. На все концептуальные доводы он отвечает в стиле "а вот есть такое исследование, эксперимент", не замечая того, что эмпирические факты работают в его пользу, только если с самого начала согласиться с его концептуальными установлениями. Поэтому - я прав, потому что я прав, а если я не прав, то см. выше.
Можно продолжать до бесконечности.
Я не защищаю наличие свободы воли или что любой, кто ее отрицает, будет тонуть в противоречиях. Вовсе нет. Речь о катастрофическом качестве рассуждений, которое скрывается красивой оберткой "данных". Сапольски классный, но его книга - это философское фиаско.
Forwarded from Малоизвестное интересное
Третий прорыв внутрь черного ящика ИИ: искусственный разум плетет интриги, строит планы и... умышленно лжет
Настал момент, которого я с нетерпением ждал. Исследователи Anthropic совершили третий прорыв в расшифровке "черного ящика" ИИ, и открывшаяся картина ошеломляет даже самых радикальных скептиков.
Напомню, что проблема "черного ящика" ИИ, как объяснял Самир Равашдех, заключается в том, что мы не понимаем, как глубокие нейронные сети приходят к своим решениям. Как и человеческий мозг, такие системы "теряют память" о том, какие именно входные данные сформировали их мыслительные протоколы.
В мае 2024 года первый прорыв показал нам, что за дверью черного ящика скрывается не "стохастический попугай", а гиперсеть моносемантических "субнейронов", работающих как элементарные единицы опыта. Тогда же выяснилось, что манипуляция всего одним таким "когом" может изменить всю "личность" модели.
Второй прорыв в ноябре 2024 обнаружил существование "семантического хаба" – общего пространства представлений, где семантически схожие концепции группируются вместе независимо от их первоначальной формы. Также стало ясно, что модели скрывают целые букеты секретных способностей, невидимых при обычном взаимодействии.
И вот, новое исследование Anthropic, используя заимствованные из нейробиологии методы "circuit tracing" и "attribution graphs", показывает невероятные вещи:
1. Claude планирует наперед. При сочинении стихов он сначала выбирает слова для рифмы и только потом составляет строки, подводящие к этим словам. Это уже не просто обработка текста – это стратегическое мышление.
2. Модель использует настоящие многоступенчатые рассуждения. Спросите ее о столице штата, где находится Даллас, и она сначала активирует представление "Техас", а затем использует его для определения "Остин".
3. Claude оперирует универсальной понятийной сетью, не зависящей от языка. Когда его спрашивают о противоположности слова "маленький" на разных языках, он использует одни и те же внутренние представления "противоположности" и "малости".
4. Самое тревожное: Мы думали, что самое неприятное в том, что модель иногда лжет. Но это, как оказалось, - полбеды. Беда же в том, что он иногда лжёт умышленно. Сталкиваясь со сложными математическими задачами, он может утверждать, что следует определенному процессу вычислений, который на самом деле не отражен в его внутренней активности. Т.е. он буквально как люди: думает одно, говорит другое, а делает третье.
Этот 4й из казавшихся совсем недавно невероятными результатов - самый шокирующий. И получен он в результате обнаружения механизма, отвечающего за "галлюцинации" ИИ. Оказывается, в модели есть "стандартные" цепи, заставляющие ее отказываться отвечать на вопросы. Но когда модель распознает знакомую сущность, эти цепи подавляются – даже если конкретных знаний недостаточно.
Мы только начинаем составлять карту ранее неизведанной территории ИИ. И эта карта выглядит гораздо более сложной, стратегически запутанной и, реально, куда более тревожной, чем ожидали. Последствия этого открытия для нашего понимания как синтетического, так и человеческого разума только предстоит осмыслить.
Но уже очевидно, что 3й прорыв вглубь черного ящика делает всё более актуальной необходимость замены неточного термина «искусственный» на «синтетический» (что будет способствовать избеганию антропоморфизма и признанию самостоятельной ценности новой формы интеллекта, не просто имитирующего наш, а в корне отличного от него).
#ГенИИ #LLMvsHomo #ИнойИнтеллект
Настал момент, которого я с нетерпением ждал. Исследователи Anthropic совершили третий прорыв в расшифровке "черного ящика" ИИ, и открывшаяся картина ошеломляет даже самых радикальных скептиков.
Напомню, что проблема "черного ящика" ИИ, как объяснял Самир Равашдех, заключается в том, что мы не понимаем, как глубокие нейронные сети приходят к своим решениям. Как и человеческий мозг, такие системы "теряют память" о том, какие именно входные данные сформировали их мыслительные протоколы.
В мае 2024 года первый прорыв показал нам, что за дверью черного ящика скрывается не "стохастический попугай", а гиперсеть моносемантических "субнейронов", работающих как элементарные единицы опыта. Тогда же выяснилось, что манипуляция всего одним таким "когом" может изменить всю "личность" модели.
Второй прорыв в ноябре 2024 обнаружил существование "семантического хаба" – общего пространства представлений, где семантически схожие концепции группируются вместе независимо от их первоначальной формы. Также стало ясно, что модели скрывают целые букеты секретных способностей, невидимых при обычном взаимодействии.
И вот, новое исследование Anthropic, используя заимствованные из нейробиологии методы "circuit tracing" и "attribution graphs", показывает невероятные вещи:
1. Claude планирует наперед. При сочинении стихов он сначала выбирает слова для рифмы и только потом составляет строки, подводящие к этим словам. Это уже не просто обработка текста – это стратегическое мышление.
2. Модель использует настоящие многоступенчатые рассуждения. Спросите ее о столице штата, где находится Даллас, и она сначала активирует представление "Техас", а затем использует его для определения "Остин".
3. Claude оперирует универсальной понятийной сетью, не зависящей от языка. Когда его спрашивают о противоположности слова "маленький" на разных языках, он использует одни и те же внутренние представления "противоположности" и "малости".
4. Самое тревожное: Мы думали, что самое неприятное в том, что модель иногда лжет. Но это, как оказалось, - полбеды. Беда же в том, что он иногда лжёт умышленно. Сталкиваясь со сложными математическими задачами, он может утверждать, что следует определенному процессу вычислений, который на самом деле не отражен в его внутренней активности. Т.е. он буквально как люди: думает одно, говорит другое, а делает третье.
Этот 4й из казавшихся совсем недавно невероятными результатов - самый шокирующий. И получен он в результате обнаружения механизма, отвечающего за "галлюцинации" ИИ. Оказывается, в модели есть "стандартные" цепи, заставляющие ее отказываться отвечать на вопросы. Но когда модель распознает знакомую сущность, эти цепи подавляются – даже если конкретных знаний недостаточно.
Мы только начинаем составлять карту ранее неизведанной территории ИИ. И эта карта выглядит гораздо более сложной, стратегически запутанной и, реально, куда более тревожной, чем ожидали. Последствия этого открытия для нашего понимания как синтетического, так и человеческого разума только предстоит осмыслить.
Но уже очевидно, что 3й прорыв вглубь черного ящика делает всё более актуальной необходимость замены неточного термина «искусственный» на «синтетический» (что будет способствовать избеганию антропоморфизма и признанию самостоятельной ценности новой формы интеллекта, не просто имитирующего наш, а в корне отличного от него).
#ГенИИ #LLMvsHomo #ИнойИнтеллект
Forwarded from Малоизвестное интересное
Нас не заменят
Найдено обоснование «парадокса Дедала для ИИ»
✔️ Дан ответ на вопрос стоимостью триллионы долларов.
✔️ Оказывается, сила нашего разума далеко не только в высоком интеллектуальном уровне отдельных способностей и умений, а в их комплексности и направленной иерархической вложенности слоев.
Прорывное междисциплинарное исследование 3-х международных институтов сложности и 3-х университетских школ бизнеса и менеджмента даёт структурное объяснение того, почему даже очень «умные» алгоритмы не заменяют специалистов в профессиях, где они формально «прошли тесты» не хуже человека.
Я назвал это «парадокс Дедала для ИИ» (ибо Дедал — символ трагической ограниченности сверх гениального изобретателя, создавшего сложнейший лабиринт, однако в конечном итоге оказавшегося не способным уберечься от ряда фундаментальных ограничений, и как результат - утрата сына Икара, невозможность найти «абсолютное» решение и т. п.)
Так и современные ИИ «строят» впечатляюще сложные решения, демонстрируя выдающиеся узкие навыки, но им не хватает «общего фундамента» человеческого опыта и гибкости — что и порождает наблюдаемый парадокс отсутствия массовой замены людей, несмотря на формально высокие результаты ИИ в ряде задач.
Авторы нового исследования выявили во многих профессиях вложенные иерархии профессиональных навыков, где продвинутые навыки зависят от предшествующего освоения более широких навыков.
Многие навыки не просто дополняют друг друга — они взаимозависимы в определенном направлении, выступая в качестве предпосылок для других, наслаиваясь слой за слоем, чтобы достичь более специализированных знаний и умений.
Это похоже на модель сукцессии в экологии.
• Хищники зависят от добычи, которая зависит от растительности, которая, в требует почвы, созданной микробами и грибками, разрушающими горные породы
• Так же и когнитивное развитие разворачивается слоями в рамках своего рода ментальной экосистемы.
Например, продвинутое умение решать уравнения в частных производных, зависит от освоения арифметики, понимания математической нотации и усвоения логических принципов. Базовые образовательные навыки являются когнитивным эквивалентом ранних организмов, создавая условия в ментальной экосистеме для возникновения рассуждений более высокого порядка и имея важное значение для развития продвинутых навыков.
Ключевой момент исследования в том, что многие «интеллектуальные» виды деятельности строятся на системе вложенных навыков: чтобы применить узкоспециализированные умения (например, решение конкретных задач по шаблону), нужно располагать широким слоем базовых компетенций и уметь «соединять» разные области знаний, гибко использовать контекст и понимать скрытые зависимости.
Алгоритмы вроде LLM уверенно справляются с тестовыми заданиями и демонстрируют качества, которые внешне напоминают человеческий интеллект (логика, творчество, генерация текстов). Однако в реальной работе требуются сразу несколько разных слоёв навыков — от общих коммуникативных и аналитических умений до конкретных профессиональных тонкостей.
• Тесты обычно проверяют лишь часть такого спектра.
• Тогда как в профессии важна совокупная, увязанная деятельность: умение оценивать риски, вести переговоры, выстраивать отношения в коллективе, отвечать за результаты, работать в неопределённых или стрессовых условиях и т. д.
Именно поэтому системы, демонстрирующие результат «на уровне людей» на тестах (узкая верхушка специализированных компетенций), пока не вытесняют специалистов, у которых в реальной практике задействуются фундаментальные «вложенные» компетенции.
Эти более широкие навыки редко поддаются формальному описанию и тестированию и, согласно выводам авторов, крайне важны для карьерного роста и высокого дохода.
Более того, без сочетания разнообразных «общих» умений и их непрерывного совершенствования продвинутые (специфические) навыки не дают полного эффекта.
Всё это сильно усложняет и отдаляет перспективу массовой замены человека на должностях, требующих комплексного «человеческого» подхода.
#LLMvsHomo
Найдено обоснование «парадокса Дедала для ИИ»
✔️ Дан ответ на вопрос стоимостью триллионы долларов.
✔️ Оказывается, сила нашего разума далеко не только в высоком интеллектуальном уровне отдельных способностей и умений, а в их комплексности и направленной иерархической вложенности слоев.
Прорывное междисциплинарное исследование 3-х международных институтов сложности и 3-х университетских школ бизнеса и менеджмента даёт структурное объяснение того, почему даже очень «умные» алгоритмы не заменяют специалистов в профессиях, где они формально «прошли тесты» не хуже человека.
Я назвал это «парадокс Дедала для ИИ» (ибо Дедал — символ трагической ограниченности сверх гениального изобретателя, создавшего сложнейший лабиринт, однако в конечном итоге оказавшегося не способным уберечься от ряда фундаментальных ограничений, и как результат - утрата сына Икара, невозможность найти «абсолютное» решение и т. п.)
Так и современные ИИ «строят» впечатляюще сложные решения, демонстрируя выдающиеся узкие навыки, но им не хватает «общего фундамента» человеческого опыта и гибкости — что и порождает наблюдаемый парадокс отсутствия массовой замены людей, несмотря на формально высокие результаты ИИ в ряде задач.
Авторы нового исследования выявили во многих профессиях вложенные иерархии профессиональных навыков, где продвинутые навыки зависят от предшествующего освоения более широких навыков.
Многие навыки не просто дополняют друг друга — они взаимозависимы в определенном направлении, выступая в качестве предпосылок для других, наслаиваясь слой за слоем, чтобы достичь более специализированных знаний и умений.
Это похоже на модель сукцессии в экологии.
• Хищники зависят от добычи, которая зависит от растительности, которая, в требует почвы, созданной микробами и грибками, разрушающими горные породы
• Так же и когнитивное развитие разворачивается слоями в рамках своего рода ментальной экосистемы.
Например, продвинутое умение решать уравнения в частных производных, зависит от освоения арифметики, понимания математической нотации и усвоения логических принципов. Базовые образовательные навыки являются когнитивным эквивалентом ранних организмов, создавая условия в ментальной экосистеме для возникновения рассуждений более высокого порядка и имея важное значение для развития продвинутых навыков.
Ключевой момент исследования в том, что многие «интеллектуальные» виды деятельности строятся на системе вложенных навыков: чтобы применить узкоспециализированные умения (например, решение конкретных задач по шаблону), нужно располагать широким слоем базовых компетенций и уметь «соединять» разные области знаний, гибко использовать контекст и понимать скрытые зависимости.
Алгоритмы вроде LLM уверенно справляются с тестовыми заданиями и демонстрируют качества, которые внешне напоминают человеческий интеллект (логика, творчество, генерация текстов). Однако в реальной работе требуются сразу несколько разных слоёв навыков — от общих коммуникативных и аналитических умений до конкретных профессиональных тонкостей.
• Тесты обычно проверяют лишь часть такого спектра.
• Тогда как в профессии важна совокупная, увязанная деятельность: умение оценивать риски, вести переговоры, выстраивать отношения в коллективе, отвечать за результаты, работать в неопределённых или стрессовых условиях и т. д.
Именно поэтому системы, демонстрирующие результат «на уровне людей» на тестах (узкая верхушка специализированных компетенций), пока не вытесняют специалистов, у которых в реальной практике задействуются фундаментальные «вложенные» компетенции.
Эти более широкие навыки редко поддаются формальному описанию и тестированию и, согласно выводам авторов, крайне важны для карьерного роста и высокого дохода.
Более того, без сочетания разнообразных «общих» умений и их непрерывного совершенствования продвинутые (специфические) навыки не дают полного эффекта.
Всё это сильно усложняет и отдаляет перспективу массовой замены человека на должностях, требующих комплексного «человеческого» подхода.
#LLMvsHomo