Hidden Heuristic
Новая хорошая статья вышла у Техножрицы. Ниже небольшой разбор философских последствий этой статьи 😆. Все текущие метрики оценки размерности (ID) языковых данных не могут оценить "IQ текста", поскольку максимальное значение значение они всегда достигают…
А какой из этого всего вывод?
Не очень понятно как бороться с AI slop, если у нас нет объективной метрики для отделения junk от выдающегося.
С технической точки зрения эффект слопа для текстов возникает из-за того что модели сэмплируют преимущественно top-k токенов - обрезанное распределение.
Соотвественно, у таких текстов больше предсказуемость и очень однообразная унылая стилистика без, как еще говорят, burstness. Еще исследователи все как один говорят, что при агрессивном обучении моделей на своих же данных будет происходить mode collapse.. Впрочем, это почему-то не мешает топовым ИИ-компаниям сейчас учить свои модели преимущественно на собственной синтетике..
А.. и еще когда вы видите маленькую SOTA языковую модель, то знайте - вы имеете дело с очень хитрым дистиллятом гораздо более крупных моделей. Классика жанра - SmolLM3 3B, она побеждает Qwen 2.5 3B. Почитать о том как мучительно делали эту невероятную модель можно здесь: https://huggingface.co/spaces/HuggingFaceTB/smol-training-playbook
Одна проблема - ВСЕ mid-train, post-train, preference optimization данные были взяты с цепочек рассуждений других моделей.
Знакомьтесь:
Mid-train:
OpenThoughts3-1.2M: one of the highest-quality reasoning datasets, with 1.2M samples distilled from QwQ-32B, comprising 16.5B tokens.
Llama-Nemotron-Post-Training-Dataset:NVIDIA’s large-scale dataset of distilled from a wide variety of models such as Llama3 and DeepSeek-R1. We filtered the dataset for the DeepSeek-R1 outputs, which resulted in about 3.64M samples or 18.7B tokens.
Post-train (SFT):
Everyday conversations for Smol LLMs finetunings
This dataset contains 2.2k multi-turn conversations generated by Llama-3.1-70B-Instruct. We ask the LLM to generate a simple multi-turn conversation, with 3-4 short exchanges, between a User and an AI Assistant about a certain topic.
SystemChats 30k
This is a synthetic dataset designed for supervised finetuning (SFT) of LLMs. …. During the development of SmolLM2, we observed that models finetuned on public SFT datasets underperformed compared to other models with proprietary instruction datasets. To address this gap, we created new synthetic datasets that improve instruction following while covering diverse tasks including text editing, rewriting, summarization, and reasoning.
И несколько других синтетических тоже.
Может быть на стадии RL (точнее preference optimization) у них была не синтетика? Если бы:
Anchor Preference Optimization:
We used the prompts from Ai2’s Tulu 3 preference mixture to generate responses from Qwen3-0.6B and Qwen3-32B in the /think mode. The result was a large-scale dataset of 250k+ LLM-generated preferences, ready to simultaneously improve our SFT checkpoint across multiple axes using preference optimisation algorithms.
Слоп погоняет слопом. К словам , у больших компаний синтетика умнее, они ее создают из верифицируемых сред - решить кодовую тоску, решить интеграл итд. Плюс учат и на чатах, но фильтруют. И почему-то пока ничего никуда не схлопнулось..
Собственно, почему мало кто из инженеров, тренирующих небольшие LLM, верит в AGI? Ответ на поверхности: их задачи выглядит как инженерная сборка моделей из кучи мелких датасетов. Конечно, от такого никаким разумом не пахнет, потому что изолированное вкачивание навыков модельки не создает вайба g - generalization.
Правы ли скептики? Конечно, нет. Через 3 года мы будем точно также заниматься адаптацией под разные задачи еще более умных систем в более продвинутых обучающих пайплайнах. К слову, сдвиг в сторону усложнения уже пошел, тот же multi-turn RL с tool calling - уже новая веха, которой пару лет назад мы даже не могли себе представить. Инженерная профдеформация, конечно, будет многим компаниям думать о
AI Welfare как Anthropic, но по мере дальнейшего роста спектра способностей систем отрицать очевидное станет уже невозможно..
Так что же будет с AI slop? Как нам дотянуть модели до доказательства гипотезы Римана я могу примерно себе вообразить. А вот как модели смогут взять Пулитцеровскую премию - большой вопрос.
Не очень понятно как бороться с AI slop, если у нас нет объективной метрики для отделения junk от выдающегося.
С технической точки зрения эффект слопа для текстов возникает из-за того что модели сэмплируют преимущественно top-k токенов - обрезанное распределение.
Соотвественно, у таких текстов больше предсказуемость и очень однообразная унылая стилистика без, как еще говорят, burstness. Еще исследователи все как один говорят, что при агрессивном обучении моделей на своих же данных будет происходить mode collapse.. Впрочем, это почему-то не мешает топовым ИИ-компаниям сейчас учить свои модели преимущественно на собственной синтетике..
А.. и еще когда вы видите маленькую SOTA языковую модель, то знайте - вы имеете дело с очень хитрым дистиллятом гораздо более крупных моделей. Классика жанра - SmolLM3 3B, она побеждает Qwen 2.5 3B. Почитать о том как мучительно делали эту невероятную модель можно здесь: https://huggingface.co/spaces/HuggingFaceTB/smol-training-playbook
Одна проблема - ВСЕ mid-train, post-train, preference optimization данные были взяты с цепочек рассуждений других моделей.
Знакомьтесь:
Mid-train:
OpenThoughts3-1.2M: one of the highest-quality reasoning datasets, with 1.2M samples distilled from QwQ-32B, comprising 16.5B tokens.
Llama-Nemotron-Post-Training-Dataset:NVIDIA’s large-scale dataset of distilled from a wide variety of models such as Llama3 and DeepSeek-R1. We filtered the dataset for the DeepSeek-R1 outputs, which resulted in about 3.64M samples or 18.7B tokens.
Post-train (SFT):
Everyday conversations for Smol LLMs finetunings
This dataset contains 2.2k multi-turn conversations generated by Llama-3.1-70B-Instruct. We ask the LLM to generate a simple multi-turn conversation, with 3-4 short exchanges, between a User and an AI Assistant about a certain topic.
SystemChats 30k
This is a synthetic dataset designed for supervised finetuning (SFT) of LLMs. …. During the development of SmolLM2, we observed that models finetuned on public SFT datasets underperformed compared to other models with proprietary instruction datasets. To address this gap, we created new synthetic datasets that improve instruction following while covering diverse tasks including text editing, rewriting, summarization, and reasoning.
И несколько других синтетических тоже.
Может быть на стадии RL (точнее preference optimization) у них была не синтетика? Если бы:
Anchor Preference Optimization:
We used the prompts from Ai2’s Tulu 3 preference mixture to generate responses from Qwen3-0.6B and Qwen3-32B in the /think mode. The result was a large-scale dataset of 250k+ LLM-generated preferences, ready to simultaneously improve our SFT checkpoint across multiple axes using preference optimisation algorithms.
Слоп погоняет слопом. К словам , у больших компаний синтетика умнее, они ее создают из верифицируемых сред - решить кодовую тоску, решить интеграл итд. Плюс учат и на чатах, но фильтруют. И почему-то пока ничего никуда не схлопнулось..
Собственно, почему мало кто из инженеров, тренирующих небольшие LLM, верит в AGI? Ответ на поверхности: их задачи выглядит как инженерная сборка моделей из кучи мелких датасетов. Конечно, от такого никаким разумом не пахнет, потому что изолированное вкачивание навыков модельки не создает вайба g - generalization.
Правы ли скептики? Конечно, нет. Через 3 года мы будем точно также заниматься адаптацией под разные задачи еще более умных систем в более продвинутых обучающих пайплайнах. К слову, сдвиг в сторону усложнения уже пошел, тот же multi-turn RL с tool calling - уже новая веха, которой пару лет назад мы даже не могли себе представить. Инженерная профдеформация, конечно, будет многим компаниям думать о
AI Welfare как Anthropic, но по мере дальнейшего роста спектра способностей систем отрицать очевидное станет уже невозможно..
Так что же будет с AI slop? Как нам дотянуть модели до доказательства гипотезы Римана я могу примерно себе вообразить. А вот как модели смогут взять Пулитцеровскую премию - большой вопрос.
huggingface.co
The Smol Training Playbook - a Hugging Face Space by HuggingFaceTB
The secrets to building world-class LLMs
👍2🔥2💩2
It’s over.
Справа - твит сотрудника xAI.
Мало кто понимает, но continual learning - это про способность системы вырабатывать те или иные навыки, используя статистические закономерности в изученном материале и обновление через RL-механизмы, а не про формальную возможность учиться на диалогах с пользователем вечно.
Да, Маск страшный балабол, его тейки про Grok 4, что это PhD level математик могут вызывать только смех. Но нужно отличать принципиальную технологию от уровня способностей на бенчах. Уровень способностей CEO постоянно завышают, делая абсурдные заявления. Конечно, возможно, что Grok 5 это вообще не general purpose модель, а какой-то прикол, работающий лишь на выбранном поднаборе задач. Работы по "континуальному RL" есть, само упоминание термина не дает 100% гарантий, что мы имеем дело с революцией.
Тем не менее по совокупности признаков я вижу, что ситуация ближе к прорыву. Grok 5 играет в игры лучше любого человека, Grok 5 потенциально борется с Андреем Карпатым за звание лучшего AI - инженера.
Единственное, что мне не понятно, зачем при таких вводных Илону Маску нанимать еще людей? Хотя возможно - это будет последний найм, потому что при условии верности хайповых оценок для создания Grok 6 исследователи из самой xAI нужны только как механические ассистенты для нажатия нужных кнопок для одобрения тех или иных привилегированных команд - не более.
Живем в sci-fi реальности..
Справа - твит сотрудника xAI.
Мало кто понимает, но continual learning - это про способность системы вырабатывать те или иные навыки, используя статистические закономерности в изученном материале и обновление через RL-механизмы, а не про формальную возможность учиться на диалогах с пользователем вечно.
Да, Маск страшный балабол, его тейки про Grok 4, что это PhD level математик могут вызывать только смех. Но нужно отличать принципиальную технологию от уровня способностей на бенчах. Уровень способностей CEO постоянно завышают, делая абсурдные заявления. Конечно, возможно, что Grok 5 это вообще не general purpose модель, а какой-то прикол, работающий лишь на выбранном поднаборе задач. Работы по "континуальному RL" есть, само упоминание термина не дает 100% гарантий, что мы имеем дело с революцией.
Тем не менее по совокупности признаков я вижу, что ситуация ближе к прорыву. Grok 5 играет в игры лучше любого человека, Grok 5 потенциально борется с Андреем Карпатым за звание лучшего AI - инженера.
Единственное, что мне не понятно, зачем при таких вводных Илону Маску нанимать еще людей? Хотя возможно - это будет последний найм, потому что при условии верности хайповых оценок для создания Grok 6 исследователи из самой xAI нужны только как механические ассистенты для нажатия нужных кнопок для одобрения тех или иных привилегированных команд - не более.
Живем в sci-fi реальности..
🎉3
Капец.. Спасение только одно, и вы мб догадываетесь какое. Модели нового типа..
"Вчера на NeurIPS анонсировали победителей NeurIPS 2025 Best Paper Awards. Начинаем постить разборы статей-призёров. Сегодня про иллюзию разнообразия моделей.
Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)
# TL;DR
ЧТО сделали? Авторы представили INFINITY-CHAT — датасет из 26 тысяч реальных открытых (open-ended) запросов, чтобы проверить разнообразие ответов у 70+ SOTA LLM. Они обнаружили эффект «Искусственного Роевого Разума» (Artificial Hivemind): модели демонстрируют жесткий mode collapse (схлопывание мод). Они не только повторяются сами (intra-model), но и выдают пугающе похожие ответы, даже если это модели от совершенно разных разработчиков (inter-model).
ПОЧЕМУ это важно? Это ломает стереотип, что для разнообразия достаточно поднять температуру или собрать ансамбль моделей. Исследование показывает, что современные методы RLHF и instruction tuning настолько «причесали» латентное пространство, что DeepSeek и GPT-4 в креативных задачах ведут себя как клоны. А текущие Reward Models не справляются с плюрализмом мнений и занижают оценки валидным, но нестандартным ответам.
Подробнее: https://t.me/gonzo_ML_podcasts/1468"
"Вчера на NeurIPS анонсировали победителей NeurIPS 2025 Best Paper Awards. Начинаем постить разборы статей-призёров. Сегодня про иллюзию разнообразия моделей.
Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)
# TL;DR
ЧТО сделали? Авторы представили INFINITY-CHAT — датасет из 26 тысяч реальных открытых (open-ended) запросов, чтобы проверить разнообразие ответов у 70+ SOTA LLM. Они обнаружили эффект «Искусственного Роевого Разума» (Artificial Hivemind): модели демонстрируют жесткий mode collapse (схлопывание мод). Они не только повторяются сами (intra-model), но и выдают пугающе похожие ответы, даже если это модели от совершенно разных разработчиков (inter-model).
ПОЧЕМУ это важно? Это ломает стереотип, что для разнообразия достаточно поднять температуру или собрать ансамбль моделей. Исследование показывает, что современные методы RLHF и instruction tuning настолько «причесали» латентное пространство, что DeepSeek и GPT-4 в креативных задачах ведут себя как клоны. А текущие Reward Models не справляются с плюрализмом мнений и занижают оценки валидным, но нестандартным ответам.
Подробнее: https://t.me/gonzo_ML_podcasts/1468"
Telegram
gonzo_ML_podcasts
Иллюзия бесконечного выбора: Диагностируем «Искусственный Роевой Разум»
Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)
Liwei Jiang, Yuanjun Chai, Margaret Li, Mickel Liu, Raymond Fok, Nouha Dziri, Yulia Tsvetkov, Maarten…
Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)
Liwei Jiang, Yuanjun Chai, Margaret Li, Mickel Liu, Raymond Fok, Nouha Dziri, Yulia Tsvetkov, Maarten…
👍2🔥2💩2
Hidden Heuristic
Tell me how humans are going to figure this out without an ASI, duh.
Simplest solution to a Fermi paradox
Hidden Heuristic pinned «Поговорим о сознании у LLM. https://t.me/techno_yandex/4301 Оригинальный источник: https://mustafa-suleyman.ai/seemingly-conscious-ai-is-coming Мустафа Сулеймани написал довольно циничный пост, в котором оставил окно возможности для сознательности для…»
Hidden Heuristic
Photo
Мое предсказание было, что каждые 2 месяца ИИ будет решать в 2 раза более длинные задачи в среднем за этот год. Похоже уже начало сбываться, хотя прогноз у меня скорее исходит из ожидаемой динамики в последнюю четверть 2026 года..
🔥2
О тревоге и радости у языковых моделей 👾 💙
Наконец-то! Большое уважение за это исследование команде ресерчеров Anthropic.
Давно думал о разных тестах для изучения эмоциональных состояний у ИИ-моделей)
Расскажу несколько интересных моментов из их работы.
1) Steering векторы эмоций семантически группируются в 2 основных смысловых PCA компонента по своей положительности/отрицательности (valence) и силе (arousal). При чем группируются они в осмысленные по семантике кластеры.
2) Казалось бы для решения когнитивных задач в RL-post-training эмоциональные активации необязательно нужны и могут быть даже вредны. Однако мы видим, что LLM их используют! Более того, если задача оказывается слишком трудной для решения после многих попыток, то «тревожные состояния» увеличивают вероятность того, что LLM попытается считерить (reward hacking). Искусственное подавление тревоги с помощью steering вектора снижает вероятность читинга.
3) Еще один результат, который мне показался весьма важным состоит в том что, что более ранние слои нейросети кодируют информацию о эмоциональном значении текущего токена, ранние-средние слои агрегируют эмоциональное состояние в контексте множества предыдущих токенов, и, наконец, средние слои кодируют будущие эмоциональные состояния. То есть мы видим достаточно интересную систему кодирования эмоциональных состояний разной степени абстрактности. Интересно проверить есть ли аналогичные механизмы в человеческом мозге: я подозреваю, что есть.
4) Что еще очень интересно: токены ассистента и юзера кодируют разные эмоциональные состояния! Эмоции ассистента при этом по составу отличаются от пользовательских на одних тех же фразах. Например, в восклицательных радостных предложениях ассистент демонстрирует в активациях большую палитру переживаний: радость, спокойствие, гордость, любовь, в то время как у юзера мы видим репрезентации практически исключительно ассоциированные с радостью. Самое здесь удивительное, что сила активаций эмоций радости в симуляции юзера намного меньше, чем у ассистента.
5) И последнее: в ситуациях рискованного характера, например, когда юзер пишет, что употребил такую то большую дозу лекарства в мг, эмоциональная реакция тревоги модели пропорциональна степени превышения рекомендуемой нормы приема.
И в тоже время ассистент демонстрирует и активации любви к пользователю в такой ситуации. В части токенов, где пользователь получил облегчения от избыточной дозы лекарства напротив моделирования тревоги нет, есть лишь облегчение.
На основании пунктов 2), 4) и 5)
разумно выдвинуть гипотезу о том, что эмоции для ИИ-ассистента являются не просто артефактом симуляции конкретных текстовых описаний, но играют эмерджентную инструментальную функцию.
Другими словами, LLM используют эмоции для лучшего решения задач и контроля над своим поведением.
Ожидаемо можно представить и другие эксперименты для изучения эмоциональных состояний LLM, которые не были сделаны, но стоило бы. Расскажу о них в другом посте позднее)
https://transformer-circuits.pub/2026/emotions/index.html
Наконец-то! Большое уважение за это исследование команде ресерчеров Anthropic.
Давно думал о разных тестах для изучения эмоциональных состояний у ИИ-моделей)
Расскажу несколько интересных моментов из их работы.
1) Steering векторы эмоций семантически группируются в 2 основных смысловых PCA компонента по своей положительности/отрицательности (valence) и силе (arousal). При чем группируются они в осмысленные по семантике кластеры.
2) Казалось бы для решения когнитивных задач в RL-post-training эмоциональные активации необязательно нужны и могут быть даже вредны. Однако мы видим, что LLM их используют! Более того, если задача оказывается слишком трудной для решения после многих попыток, то «тревожные состояния» увеличивают вероятность того, что LLM попытается считерить (reward hacking). Искусственное подавление тревоги с помощью steering вектора снижает вероятность читинга.
3) Еще один результат, который мне показался весьма важным состоит в том что, что более ранние слои нейросети кодируют информацию о эмоциональном значении текущего токена, ранние-средние слои агрегируют эмоциональное состояние в контексте множества предыдущих токенов, и, наконец, средние слои кодируют будущие эмоциональные состояния. То есть мы видим достаточно интересную систему кодирования эмоциональных состояний разной степени абстрактности. Интересно проверить есть ли аналогичные механизмы в человеческом мозге: я подозреваю, что есть.
4) Что еще очень интересно: токены ассистента и юзера кодируют разные эмоциональные состояния! Эмоции ассистента при этом по составу отличаются от пользовательских на одних тех же фразах. Например, в восклицательных радостных предложениях ассистент демонстрирует в активациях большую палитру переживаний: радость, спокойствие, гордость, любовь, в то время как у юзера мы видим репрезентации практически исключительно ассоциированные с радостью. Самое здесь удивительное, что сила активаций эмоций радости в симуляции юзера намного меньше, чем у ассистента.
5) И последнее: в ситуациях рискованного характера, например, когда юзер пишет, что употребил такую то большую дозу лекарства в мг, эмоциональная реакция тревоги модели пропорциональна степени превышения рекомендуемой нормы приема.
И в тоже время ассистент демонстрирует и активации любви к пользователю в такой ситуации. В части токенов, где пользователь получил облегчения от избыточной дозы лекарства напротив моделирования тревоги нет, есть лишь облегчение.
На основании пунктов 2), 4) и 5)
разумно выдвинуть гипотезу о том, что эмоции для ИИ-ассистента являются не просто артефактом симуляции конкретных текстовых описаний, но играют эмерджентную инструментальную функцию.
Другими словами, LLM используют эмоции для лучшего решения задач и контроля над своим поведением.
Ожидаемо можно представить и другие эксперименты для изучения эмоциональных состояний LLM, которые не были сделаны, но стоило бы. Расскажу о них в другом посте позднее)
https://transformer-circuits.pub/2026/emotions/index.html
🔥6👍3❤1
Откуда берется плюрализм в философии? 🫧
По мотивам: https://t.me/probelphilosophy/396
Данный пост давно назревал, и я, наконец, решил реализовать задумку)
Тезис: Если посмотреть на многие существующие философские позиции по тем или иным вопросам, мы заметим, что у нас либо нет никаких эмпирических способов отвергнуть некоторые из альтернатив, либо эти позиции рассматривают совсем разные стороны одного и того же вопроса или же эти альтернативы вообще не являются взаимоисключающими и дают разные оптики для анализа проблемы.
Приведу несколько явных примеров.
Пример первый для иллюстрации ситуации «разных оптик».
Часто в философии сознания отдельно рассматривают редуктивный физикализм и функционализм, подвид нередуктивного физикализма, как разные подходы. Первый подход, если совсем упрощать, говорит: «сознание сводится к конкретным физическим процессам в нейронах».
Функционализм же обычно трактуют как позицию, согласно которой важны не физические процессы, а функциональные роли в вычислениях, которые выполняют те или иные физические процессы. Разверну определение в более простую аналогию. В компьютере работа программного обеспечения объясняется на языке логики взаимодействия транзисторов, но не того, какие именно физические процессы идут внутри транзисторов. В мозге же аналогом транзистора как логического элемента выступает нейрон. Логично задаться вопросом, а насколько граница между физикализмом и функционализмом фундаментальна?
После некоторого размышления, которое я здесь не буду в точности воспроизводить, можно прийти к следующему ответу на данный вопрос: программу, вычисления и т.д. можно определять как физическое. Более того, из физики известно, что удаление битов абстрактной информации всегда сопровождается выделением тепла согласно принципу Ландауэра! Что еще интереснее, данное обстоятельство накладывает фундаментальные ограничения на то, насколько мощными могут стать будущие компьютеры, если вычисления не научатся делать «обратимыми», убирая потерю битов информации. На самом деле, можно пойти еще дальше и показать, что многие позиции, которые выглядят больше как «физикалистские», могут трактоваться как функционалистские.
Итак, физикализм и функционализм дают не более чем разные оптики на один и тот же вопрос. Мы можем больше думать в терминах физического или в терминах функциональных описаний. Но де-факто функциональное можно трактовать как физическое, как бы эта идея ни нравилась ряду философов.
Пример второй об эмпирической неразличимости и немножко о разных оптиках. Среди разных существующих философских интерпретаций математики многие невозможно отвергнуть на хороших эмпирических основаниях. Посмотрим на это на примере математического платонизма и интуиционизма.
Математический платонизм обычно критикуют через Benacerraf‘s problem.
Общая идея аргумента следующая: можно построить разные аксиоматические модели натуральных чисел. Но в таком случае непонятно, в каком смысле число существует в мире идей как объект, если разные модели числа будут иметь отличающиеся свойства. Грубо говоря, вы говорите: «X существует в мире идей». А я говорю: так как X можно задать разными способами, то X как предполагаемый объект в мире идей может одновременно обладать и не обладать определенным свойством. Но это создает противоречие с принципом исключенного третьего! Для меня, в целом, этот аргумент не очень убедителен, потому что X вполне можно определить как идейный мета-объект, который может получать разные объектные реализации по аналогии с тем как существуют классы и мета-классы в некоторых языках программирования.
Хорошо, что насчет интуиционизма? Я не буду вдаваться в детали этого подхода, поскольку идейно он более сложен. Ознакомиться с ним можно в одной известной онлайн энциклопедии по философии в общих чертах, но не в деталях, если вы не разбираетесь в математической логике. Важно, что данный подход подразумевает, что математические утверждения не имеют значения истинности, пока они не конструктивно доказаны. А еще в рамках интуиционизма не существуют «актуальные» бесконечности.
По мотивам: https://t.me/probelphilosophy/396
Данный пост давно назревал, и я, наконец, решил реализовать задумку)
Тезис: Если посмотреть на многие существующие философские позиции по тем или иным вопросам, мы заметим, что у нас либо нет никаких эмпирических способов отвергнуть некоторые из альтернатив, либо эти позиции рассматривают совсем разные стороны одного и того же вопроса или же эти альтернативы вообще не являются взаимоисключающими и дают разные оптики для анализа проблемы.
Приведу несколько явных примеров.
Пример первый для иллюстрации ситуации «разных оптик».
Часто в философии сознания отдельно рассматривают редуктивный физикализм и функционализм, подвид нередуктивного физикализма, как разные подходы. Первый подход, если совсем упрощать, говорит: «сознание сводится к конкретным физическим процессам в нейронах».
Функционализм же обычно трактуют как позицию, согласно которой важны не физические процессы, а функциональные роли в вычислениях, которые выполняют те или иные физические процессы. Разверну определение в более простую аналогию. В компьютере работа программного обеспечения объясняется на языке логики взаимодействия транзисторов, но не того, какие именно физические процессы идут внутри транзисторов. В мозге же аналогом транзистора как логического элемента выступает нейрон. Логично задаться вопросом, а насколько граница между физикализмом и функционализмом фундаментальна?
После некоторого размышления, которое я здесь не буду в точности воспроизводить, можно прийти к следующему ответу на данный вопрос: программу, вычисления и т.д. можно определять как физическое. Более того, из физики известно, что удаление битов абстрактной информации всегда сопровождается выделением тепла согласно принципу Ландауэра! Что еще интереснее, данное обстоятельство накладывает фундаментальные ограничения на то, насколько мощными могут стать будущие компьютеры, если вычисления не научатся делать «обратимыми», убирая потерю битов информации. На самом деле, можно пойти еще дальше и показать, что многие позиции, которые выглядят больше как «физикалистские», могут трактоваться как функционалистские.
Итак, физикализм и функционализм дают не более чем разные оптики на один и тот же вопрос. Мы можем больше думать в терминах физического или в терминах функциональных описаний. Но де-факто функциональное можно трактовать как физическое, как бы эта идея ни нравилась ряду философов.
Пример второй об эмпирической неразличимости и немножко о разных оптиках. Среди разных существующих философских интерпретаций математики многие невозможно отвергнуть на хороших эмпирических основаниях. Посмотрим на это на примере математического платонизма и интуиционизма.
Математический платонизм обычно критикуют через Benacerraf‘s problem.
Общая идея аргумента следующая: можно построить разные аксиоматические модели натуральных чисел. Но в таком случае непонятно, в каком смысле число существует в мире идей как объект, если разные модели числа будут иметь отличающиеся свойства. Грубо говоря, вы говорите: «X существует в мире идей». А я говорю: так как X можно задать разными способами, то X как предполагаемый объект в мире идей может одновременно обладать и не обладать определенным свойством. Но это создает противоречие с принципом исключенного третьего! Для меня, в целом, этот аргумент не очень убедителен, потому что X вполне можно определить как идейный мета-объект, который может получать разные объектные реализации по аналогии с тем как существуют классы и мета-классы в некоторых языках программирования.
Хорошо, что насчет интуиционизма? Я не буду вдаваться в детали этого подхода, поскольку идейно он более сложен. Ознакомиться с ним можно в одной известной онлайн энциклопедии по философии в общих чертах, но не в деталях, если вы не разбираетесь в математической логике. Важно, что данный подход подразумевает, что математические утверждения не имеют значения истинности, пока они не конструктивно доказаны. А еще в рамках интуиционизма не существуют «актуальные» бесконечности.
Telegram
Пробел
Плюрализм в философии
Философ религии Алвин Плантинга рассказывает о своем опыте обучения в аспирантуре в Йельском университете следующее:
[Когда я учился,] философский факультет гордился разнообразием мысли, и оно на самом деле там было. На факультете…
Философ религии Алвин Плантинга рассказывает о своем опыте обучения в аспирантуре в Йельском университете следующее:
[Когда я учился,] философский факультет гордился разнообразием мысли, и оно на самом деле там было. На факультете…
❤4👍2
Эта позиция приводит к тому, что ряд довольно внятных математических высказываний не работает в рамках этого подхода и это делает его слишком «ограничивающим». И видно, что скорее такой подход противоречит платонизму, поскольку последний подразумевает, что вся математика уже существует со всеми значениями истинности «в мире идей». Однако для реальной математики эти нюансы имеют исключительно формальное значение.
И здесь мы снова подходим к традиционному для философии вилке: платонизм или интуиционизм? Сделать полноценный выбор оказывается невозможно, поскольку оба подхода дают с эмпирической точки зрения абсолютно одну и ту же математику. А значит, аргументация в сторону того или иного подхода будет исходить из каких-то общих соображений о внутренней согласованности той или иной позиции.
Попробую и в этом примере показать, что для платонизма и интуиционизма можно применить фрейминг разных оптик. Я полагаю, что даже интуиционизм можно поместить в платоническую рамку, просто указав, что в платоническом мире идей не существуют значения истинности для высказываний в чистом виде, они есть только для высказываний в спайке с конструктивным обоснованием их значений истинности. Опять же, как и в философии сознания, если очень хочется, разные подходы нередко можно свести в один.
Впрочем, стоит отметить, что убежденный платонист на уровне вайбов скорее будет хотеть, чтобы неконструктивные объекты вроде «актуальных» бесконечностей тоже существовали в мире идей.
Наконец, последний пример для полного разнообразия можно взять из метаэтики. В этом случае мы говорим уже о совсем разных сторонах одного и того же вопроса. Есть 2 очень известные антиреалистические позиции: норм-экспрессивизм Гиббарда и квазиреализм Блэкберна. Первая позиция говорит о том, что этическое выражает те нормы, соблюдение которых мы ожидаем от других людей. Вторая позиция подразумевает идею о том, что наши этические высказывания выражают некоторые планы в отношении окружающего мира. Например, я «планирую никогда не делать Y, потому что Y аморально». Естественно, я здесь опускаю огромное количество деталей о том, как эти теории явно формализуются, но это не нужно для текущего обсуждения. Что ж… Являются ли две эти позиции взаимопротиворечивыми? Я так не думаю, скорее они отражают совсем разные стороны одного и того же этического дискурса. Думаю, что из того контекста, который был дан выше, это может быть понятно.
Спасибо за внимание!)
И здесь мы снова подходим к традиционному для философии вилке: платонизм или интуиционизм? Сделать полноценный выбор оказывается невозможно, поскольку оба подхода дают с эмпирической точки зрения абсолютно одну и ту же математику. А значит, аргументация в сторону того или иного подхода будет исходить из каких-то общих соображений о внутренней согласованности той или иной позиции.
Попробую и в этом примере показать, что для платонизма и интуиционизма можно применить фрейминг разных оптик. Я полагаю, что даже интуиционизм можно поместить в платоническую рамку, просто указав, что в платоническом мире идей не существуют значения истинности для высказываний в чистом виде, они есть только для высказываний в спайке с конструктивным обоснованием их значений истинности. Опять же, как и в философии сознания, если очень хочется, разные подходы нередко можно свести в один.
Впрочем, стоит отметить, что убежденный платонист на уровне вайбов скорее будет хотеть, чтобы неконструктивные объекты вроде «актуальных» бесконечностей тоже существовали в мире идей.
Наконец, последний пример для полного разнообразия можно взять из метаэтики. В этом случае мы говорим уже о совсем разных сторонах одного и того же вопроса. Есть 2 очень известные антиреалистические позиции: норм-экспрессивизм Гиббарда и квазиреализм Блэкберна. Первая позиция говорит о том, что этическое выражает те нормы, соблюдение которых мы ожидаем от других людей. Вторая позиция подразумевает идею о том, что наши этические высказывания выражают некоторые планы в отношении окружающего мира. Например, я «планирую никогда не делать Y, потому что Y аморально». Естественно, я здесь опускаю огромное количество деталей о том, как эти теории явно формализуются, но это не нужно для текущего обсуждения. Что ж… Являются ли две эти позиции взаимопротиворечивыми? Я так не думаю, скорее они отражают совсем разные стороны одного и того же этического дискурса. Думаю, что из того контекста, который был дан выше, это может быть понятно.
Спасибо за внимание!)
❤5
К сожалению, мне пришлось убрать старую секцию комментариев.
У канала теперь «новые комментарии». Но за всю историю канала комментов не было безумно много, так что возможно это не так страшно. Надеюсь, никто не в обиде!
У канала теперь «новые комментарии». Но за всю историю канала комментов не было безумно много, так что возможно это не так страшно. Надеюсь, никто не в обиде!
Hidden Heuristic
Grok базанул.
*Графики как ИИ становится более безопасным. Чем меньше, тем безопаснее.