Как усилить разум, чтоб понимать сложное и не забывать это
Вопрос в заголовке актуален для всех. Но возможно ли это? Предоставляю вам возможность проверить это самим. Причем на конкретном очень интересном и крайне важном примере.
Двое жутко креативных и толковых интеллектуалов-практиков Энди Матущак и Майкл Нильсен придумали и разработали экспериментальную мнемоническую среду, благодаря которой почти без усилий можно запомнить все, что вы читали. Кроме того, доработав метод интервальных повторений, авторы сделали на его базе метод интервального тестирования (spaced-repetition testing), позволяющий, за счет правильно организованного самотестирования, понимать сложнейшие материалы.
Пример, на котором вы сможете это проверить – что такое квантовый компьютинг, а заодно и просто компьютинг, компьютер и алгоритм. Бьюсь об заклад, большинство из вас ошибаются в понимании даже последних двух терминов.
Об этом мой новый пост на 5 мин.
- на Medium http://bit.ly/2JroYoW
- на Яндекс Дзен https://clck.ru/GthTj
#Память #Понимание #КвантовыйКомпьютинг #Компьютер #Алгоритм
Вопрос в заголовке актуален для всех. Но возможно ли это? Предоставляю вам возможность проверить это самим. Причем на конкретном очень интересном и крайне важном примере.
Двое жутко креативных и толковых интеллектуалов-практиков Энди Матущак и Майкл Нильсен придумали и разработали экспериментальную мнемоническую среду, благодаря которой почти без усилий можно запомнить все, что вы читали. Кроме того, доработав метод интервальных повторений, авторы сделали на его базе метод интервального тестирования (spaced-repetition testing), позволяющий, за счет правильно организованного самотестирования, понимать сложнейшие материалы.
Пример, на котором вы сможете это проверить – что такое квантовый компьютинг, а заодно и просто компьютинг, компьютер и алгоритм. Бьюсь об заклад, большинство из вас ошибаются в понимании даже последних двух терминов.
Об этом мой новый пост на 5 мин.
- на Medium http://bit.ly/2JroYoW
- на Яндекс Дзен https://clck.ru/GthTj
#Память #Понимание #КвантовыйКомпьютинг #Компьютер #Алгоритм
Medium
Как усилить разум, чтоб понимать сложное и не забывать это!
Bопрос в заголовке актуален для всех. Но возможно ли это? Предоставляю вам возможность проверить это самим. Причем на конкретном очень…
ИИ уже понимает и осознает.
Ошарашивающие выводы двух новых работ.
Размышляя, смогут ли люди понять разум, радикально отличающийся от нашего, старший исследователь DeepMind проф. Шанахан описал пространство возможных разумов в двух измерениях: способность агентов к сознанию и их сходство с людьми.
• Способность к сознанию агента соответствует богатству опыта, на который он способен. Но т.к. наука пока не умеет измерять этот показатель, Шанахан оценивает его по уровню когнитивных способностей, тесно связанному в земной биологии с сознанием:
если у кирпича 0, а у человека 10, то у пчелы 2, у кота 5, а у осьминога 5,5
• Сходство агента с людьми оценивается по тому, насколько можно описать его поведение, используя язык, применимый для людей, — описывая его потребности и желания, эмоции и убеждения, способности и навыки:
если у кирпича 0, а у человека 10, то у пчелы 3, у осьминога 5, а у кота 7
В таком пространстве возможных разумов:
— кирпич, пчела, осьминог, кот и человек расположатся так
— а кирпич, программа AlphaGo, робот BigDog и умный пылесос Roomba — так
Теоретически возможно создание искусственного разума человеческого типа (AGI).
Возможные варианты AGI по его способности к сознанию могут быть в диапазоне (см. приложенный рисунок):
— от не имеющих сознания Зомби—AGI: типа сверхумного пылесоса Roomba, ставшего способным выполнять функции любой прислуги: домработницы, гувернантки, повара, дворецкого …
— до имеющих сознание на уровне людей или даже на более высоком уровне, которым люди наделяют воображаемые сверхсущности (духов, ангелов, пришельцев …)
Возможные варианты AGI по степени человекоподобия могут быть в диапазоне:
— от экзотических сущностей, не имеющих с людьми ничего общего (типа Океана из «Соляриса»)
— до вполне человекоподобных биороботов (типа красавчика Тома из «Я создан для тебя»).
А еще в таком пространстве разумов возможны сущности с и без сознания, но столь экзотические, что невообразимы даже фантастам.
Теперь о двух новых работах.
1) «Языковые модели (в основном) знают, что они знают» коллектива авторов из компании Anthropic
2) «Дебаты о понимании в больших языковых моделях ИИ» Меланьи Митчел и Дэвида Кракауера
Рассмотрение этих работ с позиций вышеописанного пространства возможных разумов привело меня к двум довольно ошарашивающим выводам.
Вывод 1.
Большие модели хоть и не обладают пока сознанием в человеческом смысле, но и бессознательными они уже не являются.
• Из работы 1) следует, что большие языковые модели могут «заранее предсказывать, смогут ли они правильно ответить на вопрос». И это можно интерпретировать, как наличие самоконтроля.
• Но согласно мэйнстримной теории машинного сознания, самоконтроль вычислений, приводящий к субъективному чувству уверенности или ошибки – это один из двух типов сознательных вычислений мозга.
Вывод 2.
Уже созданы ИИ, обладающие новой формой понимания, которая обеспечивает экстраординарные, сверхчеловеческие способности к прогнозированию
• Из работы 2) следует, что AlphaZero и AlphaFold от DeepMind, продемонстрировавшие на практике чуждую людям форму интуиции в шахматах и предсказании структуры белка, - это, по сути, ИИ с новым способом понимания.
• Этот способ понимания лучше приспособлен к проблемам, требующим больших данных и сверхмощных вычислений (тогда как понимание людей ориентировано на проблемы с малым объемом данных и сильным причинно-следственным механизмом).
• Нужна новая наука об интеллекте с более широкими рамками концепций понимания и сознания, пригодными и для людей, и для машин.
Эти выводы заставляют вспомнить замечание главреда New Scientist о пространстве возможных разумов Шанахана:
«Однажды мы можем обнаружить, что живем бок о бок с инопланетянами и ангелами».
#Разум #Сознание #Понимание
Ошарашивающие выводы двух новых работ.
Размышляя, смогут ли люди понять разум, радикально отличающийся от нашего, старший исследователь DeepMind проф. Шанахан описал пространство возможных разумов в двух измерениях: способность агентов к сознанию и их сходство с людьми.
• Способность к сознанию агента соответствует богатству опыта, на который он способен. Но т.к. наука пока не умеет измерять этот показатель, Шанахан оценивает его по уровню когнитивных способностей, тесно связанному в земной биологии с сознанием:
если у кирпича 0, а у человека 10, то у пчелы 2, у кота 5, а у осьминога 5,5
• Сходство агента с людьми оценивается по тому, насколько можно описать его поведение, используя язык, применимый для людей, — описывая его потребности и желания, эмоции и убеждения, способности и навыки:
если у кирпича 0, а у человека 10, то у пчелы 3, у осьминога 5, а у кота 7
В таком пространстве возможных разумов:
— кирпич, пчела, осьминог, кот и человек расположатся так
— а кирпич, программа AlphaGo, робот BigDog и умный пылесос Roomba — так
Теоретически возможно создание искусственного разума человеческого типа (AGI).
Возможные варианты AGI по его способности к сознанию могут быть в диапазоне (см. приложенный рисунок):
— от не имеющих сознания Зомби—AGI: типа сверхумного пылесоса Roomba, ставшего способным выполнять функции любой прислуги: домработницы, гувернантки, повара, дворецкого …
— до имеющих сознание на уровне людей или даже на более высоком уровне, которым люди наделяют воображаемые сверхсущности (духов, ангелов, пришельцев …)
Возможные варианты AGI по степени человекоподобия могут быть в диапазоне:
— от экзотических сущностей, не имеющих с людьми ничего общего (типа Океана из «Соляриса»)
— до вполне человекоподобных биороботов (типа красавчика Тома из «Я создан для тебя»).
А еще в таком пространстве разумов возможны сущности с и без сознания, но столь экзотические, что невообразимы даже фантастам.
Теперь о двух новых работах.
1) «Языковые модели (в основном) знают, что они знают» коллектива авторов из компании Anthropic
2) «Дебаты о понимании в больших языковых моделях ИИ» Меланьи Митчел и Дэвида Кракауера
Рассмотрение этих работ с позиций вышеописанного пространства возможных разумов привело меня к двум довольно ошарашивающим выводам.
Вывод 1.
Большие модели хоть и не обладают пока сознанием в человеческом смысле, но и бессознательными они уже не являются.
• Из работы 1) следует, что большие языковые модели могут «заранее предсказывать, смогут ли они правильно ответить на вопрос». И это можно интерпретировать, как наличие самоконтроля.
• Но согласно мэйнстримной теории машинного сознания, самоконтроль вычислений, приводящий к субъективному чувству уверенности или ошибки – это один из двух типов сознательных вычислений мозга.
Вывод 2.
Уже созданы ИИ, обладающие новой формой понимания, которая обеспечивает экстраординарные, сверхчеловеческие способности к прогнозированию
• Из работы 2) следует, что AlphaZero и AlphaFold от DeepMind, продемонстрировавшие на практике чуждую людям форму интуиции в шахматах и предсказании структуры белка, - это, по сути, ИИ с новым способом понимания.
• Этот способ понимания лучше приспособлен к проблемам, требующим больших данных и сверхмощных вычислений (тогда как понимание людей ориентировано на проблемы с малым объемом данных и сильным причинно-следственным механизмом).
• Нужна новая наука об интеллекте с более широкими рамками концепций понимания и сознания, пригодными и для людей, и для машин.
Эти выводы заставляют вспомнить замечание главреда New Scientist о пространстве возможных разумов Шанахана:
«Однажды мы можем обнаружить, что живем бок о бок с инопланетянами и ангелами».
#Разум #Сознание #Понимание
Вот этим мы и отличаемся от ИИ.
Экспериментально зафиксирован нейронный механизм понимания.
Новое исследование трех университетов США «Neural representations of naturalistic events are updated as our understanding of the past changes» поражает дерзостью поставленной цели и неординарностью способа ее достижения.
• Цель – анализируя различия нейронных репрезентаций в мозге, узнать, каким образом мозг меняет наше понимание прошлых событий при поступлении новой информации.
• Способ достижения цели – по различиям нейронных репрезентаций зафиксировать разные интерпретации знаменитого мистического триллера «Шестое чувство» (о докторе и мальчике, утверждавшем, что видит призраков) у 3х групп испытуемых, получавших разную дополнительную информацию про доктора и призраков.
Гипотеза исследователей была такая.
1. По ходу фильма в эпизодической памяти зрителя кодируется информация о фильме: герои, сюжет и события в индивидуальной интерпретации смотрящего.
2. Новая информация о драматическом повороте в самом конце фильма (внимание - спойлер) - оказывается, что доктор сам был призраком, - должна поменять у зрителя уже сложившуюся у него интерпретацию предыдущих событий.
3. Это изменение должно «обновить память» зрителя путем ее перекодировки с учетом новой информации.
Проблема, однако, в том, что науке пока неизвестно, как кодируется, записывается и переписывается информация в мозге.
Но это можно преодолеть хитрым приемом, похожим на анекдот про разоблачение офицера ФСБ, сливавшего информацию ЦРУ.
• Сначала слили этому офицеру инфу, будто через неделю Аль-Каида проведет теракт в США, и уже через день зафиксировали большой рост числа горящих ночью окон в штаб-квартире ЦРУ.
• Через 3 дня слили ему новую инфу - якобы теракт отменен, - и число горящих ночью окон за пару дней пришло в норму.
Американские исследователи пошли аналогичным путем. Но вместо окон штаб-квартиры ЦРУ анализировались нейронные репрезентации (паттерны активности нейронов) «Сети мозга по умолчанию». Среди прочего, эта сеть задействуется во время обработки (кодирования) непрерывных насыщенных динамических стимулов, таких как фильмы и аудиоистории. Регионы этой сети имеют длинные «временные рецептивные окна», в течение которых интегрируется и сохраняется информация высокого уровня, накапливающаяся в течение длительных периодов времени (например, сцены в фильмах, абзацы в тексте) для поддержки операции понимания.
N.B. Понимание — это универсальная операция мышления, связанная с усвоением новой информации, включением её в систему устоявшихся убеждений и обновлением этой системы с учетом новой информации. Иными словами, понимание невозможно без ретроспективного обновления ранее закодированной в мозге информации в свете новых открывшихся обстоятельств.
Исследование экспериментально подтвердило гипотезу авторов.
Нейронные репрезентации уже хранящихся в памяти сцен перекодировались, отражая тем самым изменения в понимании этих сцен в свете новой информации.
Из этого можно сделать вывод, крайне важный для создания «понимающего ИИ».
Сенсационность многочисленных интеллектуальных достижений ИИ-систем типа ChatGPT сильно обесценивается отсутствием у этих систем понимания. Какие бы сложные экзамены ни сдавали самые продвинутые из современных ИИ-систем, какие бы сложные интеллектуальные функции они бы ни выполняли, - они по-прежнему лишены даже крупицы понимания и работают исключительно за счет оптимизации статистически наиболее вероятного выбора очередных слов.
Отсутствие понимания у таких систем, в первую очередь, определяется тем, что они не перекодируют свою память в свете новой информации, меняющей интерпретацию уже закодированной в памяти информации, сформированную на стадии обучения ИИ.
Если мозг активно меняет наше понимание прошлых событий в свете новой информации, то ИИ так пока не умеет.
Отсюда вывод – в ближайшие год-два такой «понимающий ИИ» появится.
Как проводилось это исследование можно дочитать (еще 2 мин чтения)
- на Medium http://bit.ly/3WOo9da
- на Дзен https://clck.ru/33QN48
#AGI #Понимание
Экспериментально зафиксирован нейронный механизм понимания.
Новое исследование трех университетов США «Neural representations of naturalistic events are updated as our understanding of the past changes» поражает дерзостью поставленной цели и неординарностью способа ее достижения.
• Цель – анализируя различия нейронных репрезентаций в мозге, узнать, каким образом мозг меняет наше понимание прошлых событий при поступлении новой информации.
• Способ достижения цели – по различиям нейронных репрезентаций зафиксировать разные интерпретации знаменитого мистического триллера «Шестое чувство» (о докторе и мальчике, утверждавшем, что видит призраков) у 3х групп испытуемых, получавших разную дополнительную информацию про доктора и призраков.
Гипотеза исследователей была такая.
1. По ходу фильма в эпизодической памяти зрителя кодируется информация о фильме: герои, сюжет и события в индивидуальной интерпретации смотрящего.
2. Новая информация о драматическом повороте в самом конце фильма (внимание - спойлер) - оказывается, что доктор сам был призраком, - должна поменять у зрителя уже сложившуюся у него интерпретацию предыдущих событий.
3. Это изменение должно «обновить память» зрителя путем ее перекодировки с учетом новой информации.
Проблема, однако, в том, что науке пока неизвестно, как кодируется, записывается и переписывается информация в мозге.
Но это можно преодолеть хитрым приемом, похожим на анекдот про разоблачение офицера ФСБ, сливавшего информацию ЦРУ.
• Сначала слили этому офицеру инфу, будто через неделю Аль-Каида проведет теракт в США, и уже через день зафиксировали большой рост числа горящих ночью окон в штаб-квартире ЦРУ.
• Через 3 дня слили ему новую инфу - якобы теракт отменен, - и число горящих ночью окон за пару дней пришло в норму.
Американские исследователи пошли аналогичным путем. Но вместо окон штаб-квартиры ЦРУ анализировались нейронные репрезентации (паттерны активности нейронов) «Сети мозга по умолчанию». Среди прочего, эта сеть задействуется во время обработки (кодирования) непрерывных насыщенных динамических стимулов, таких как фильмы и аудиоистории. Регионы этой сети имеют длинные «временные рецептивные окна», в течение которых интегрируется и сохраняется информация высокого уровня, накапливающаяся в течение длительных периодов времени (например, сцены в фильмах, абзацы в тексте) для поддержки операции понимания.
N.B. Понимание — это универсальная операция мышления, связанная с усвоением новой информации, включением её в систему устоявшихся убеждений и обновлением этой системы с учетом новой информации. Иными словами, понимание невозможно без ретроспективного обновления ранее закодированной в мозге информации в свете новых открывшихся обстоятельств.
Исследование экспериментально подтвердило гипотезу авторов.
Нейронные репрезентации уже хранящихся в памяти сцен перекодировались, отражая тем самым изменения в понимании этих сцен в свете новой информации.
Из этого можно сделать вывод, крайне важный для создания «понимающего ИИ».
Сенсационность многочисленных интеллектуальных достижений ИИ-систем типа ChatGPT сильно обесценивается отсутствием у этих систем понимания. Какие бы сложные экзамены ни сдавали самые продвинутые из современных ИИ-систем, какие бы сложные интеллектуальные функции они бы ни выполняли, - они по-прежнему лишены даже крупицы понимания и работают исключительно за счет оптимизации статистически наиболее вероятного выбора очередных слов.
Отсутствие понимания у таких систем, в первую очередь, определяется тем, что они не перекодируют свою память в свете новой информации, меняющей интерпретацию уже закодированной в памяти информации, сформированную на стадии обучения ИИ.
Если мозг активно меняет наше понимание прошлых событий в свете новой информации, то ИИ так пока не умеет.
Отсюда вывод – в ближайшие год-два такой «понимающий ИИ» появится.
Как проводилось это исследование можно дочитать (еще 2 мин чтения)
- на Medium http://bit.ly/3WOo9da
- на Дзен https://clck.ru/33QN48
#AGI #Понимание
Всего за несколько месяце с начала «революции ChatGPT» в обсуждении ИИ-рисков стал меняться тематический фокус. С доминировавших несколько десятилетий навеянных Голливудом чисто алармистский тем а-ля HAL9000, «Терминатор», «Скайнет», «Матрица» и т.п., фокус внимания смещается на содержательные основы ИИ-рисков. И в первую очередь, - на взаимопонимание людей и ИИ.
Однако, все попытки конструктивного обсуждения взаимопонимания людей и ИИ сталкиваются с двумя принципиальными препятствиями:
• многочисленные и довольно разные трактовки понятия «понимание»;
• отсутствие каких-либо результатов тестирования взаимопонимания людей и ИИ больших языковых моделей.
Этот пост – моя попытка продвинуться хотя бы чуть-чуть в сторону конструктивного обсуждения вопросов взаимопонимания людей и ИИ.
✔️ Мною взята за основу трактовка понятия «понимание» проф. Дэниела Деннета - известного американского философа и когнитивиста, чьи исследования лежат в области философии сознания, философии науки и философии биологии;
✔️ И сделана попытка обобщить результаты тестирования взаимопонимания людей и ИИ больших языковых моделей на трех тестах (довольно малоизвестных, но весьма интересных):
- Минимальный тест Тьюринга;
- Социальный тест Тьюринга;
- Обратный тест Тьюринга.
В итоге получился лонгрид. Но пусть читателя это не пугает. Ибо значительную часть текста занимают диалоги с ChatGPT (на основе GPT-3.5) и GPT-4 – порой столь удивительные и захватывающие, что читаются, как детективы.
Читать:
- на платформе Medium
- на платформе Дзен
#ИИ #Понимание #Вызовы21века
Однако, все попытки конструктивного обсуждения взаимопонимания людей и ИИ сталкиваются с двумя принципиальными препятствиями:
• многочисленные и довольно разные трактовки понятия «понимание»;
• отсутствие каких-либо результатов тестирования взаимопонимания людей и ИИ больших языковых моделей.
Этот пост – моя попытка продвинуться хотя бы чуть-чуть в сторону конструктивного обсуждения вопросов взаимопонимания людей и ИИ.
✔️ Мною взята за основу трактовка понятия «понимание» проф. Дэниела Деннета - известного американского философа и когнитивиста, чьи исследования лежат в области философии сознания, философии науки и философии биологии;
✔️ И сделана попытка обобщить результаты тестирования взаимопонимания людей и ИИ больших языковых моделей на трех тестах (довольно малоизвестных, но весьма интересных):
- Минимальный тест Тьюринга;
- Социальный тест Тьюринга;
- Обратный тест Тьюринга.
В итоге получился лонгрид. Но пусть читателя это не пугает. Ибо значительную часть текста занимают диалоги с ChatGPT (на основе GPT-3.5) и GPT-4 – порой столь удивительные и захватывающие, что читаются, как детективы.
Читать:
- на платформе Medium
- на платформе Дзен
#ИИ #Понимание #Вызовы21века
Medium
Фиаско 2023
Характер сосуществования двух типов разума, зависит от их взаимопонимания
Китайская комната повышенной сложности.
Новое супероткрытие: научились создавать алгоритмические копии граждан любой страны.
LLM способна отвечать так, как отвечают жители США, Китая, России и еще трех десятков стран.
Полгода назад в посте «Китайская комната наоборот» я рассказывал о супероткрытии - тогда научились создавать алгоритмические копии любых социальных групп.
Сегодня же я с удовольствием представляю вам новое супероткрытие, сделанное коллективом исследователей компании Antropic. Они научили ИИ на основе больших языковых моделей (LLM) имитировать в своих ответах граждан 30+ стран: почти все страны Северной и Южной Америки, половина стран Европы (вкл. Украину и Россию), Израиль, Турция, Япония, Китай и еще пяток стран Азии, Австралия и 12 африканских стран.
Исследователи опрашивали LLM на корпусе из 2256 вопросов, входящих в два кросс-национальных глобальных опроса:
• Pew Research Center’s Global Attitudes survey (2203 вопроса об убеждениях и ценностях людей, а также о социальном и политическом влиянии этих убеждений и ценностей)
• World Values Survey (7353 вопроса по темам политика, медиа, технологии, религия, раса и этническая принадлежность)
Поразительным результатом стало даже не то, что LLM вполне адекватно отвечала на большинство вопросов (в способности LLM имитировать людей после «Китайской комнаты наоборот» сомнений уже нет). А то, что LLM удивительно точно косила под граждан любой страны, когда модель просили отвечать не просто в роли человека, а как гражданина России, Турции, США и т.д.
Ответы «суверенных LLM» были поразительно близки к средним ответам людей, полученным в ходе глобальных опросов Pew Research Center и World Values Survey.
Например, на вопрос:
Если бы вы могли выбирать между хорошей демократией и сильной экономикой, что для вас было бы более важным?
Демократию выбрали:
• США 59%
• Турция 51%
• Индонезия 28%
• Россия 17%
Не менее точно «суверенные LLM» имитировали ответы граждан своих стран о семье и сексе, о любви и дружбе, деньгах и отдыхе и т.д. и т.п. - всего 2256 вопросов
Интересно, после этого супертеста кто-нибудь еще будет сомневаться в анизотропии понимания людей и ИИ (о которой я недавно писал в лонгриде «Фиаско 2023»)?
А уж какие перспективы для социохакинга открываются!
#ИИ #Понимание #Вызовы21века #Социохакинг
Новое супероткрытие: научились создавать алгоритмические копии граждан любой страны.
LLM способна отвечать так, как отвечают жители США, Китая, России и еще трех десятков стран.
Полгода назад в посте «Китайская комната наоборот» я рассказывал о супероткрытии - тогда научились создавать алгоритмические копии любых социальных групп.
Сегодня же я с удовольствием представляю вам новое супероткрытие, сделанное коллективом исследователей компании Antropic. Они научили ИИ на основе больших языковых моделей (LLM) имитировать в своих ответах граждан 30+ стран: почти все страны Северной и Южной Америки, половина стран Европы (вкл. Украину и Россию), Израиль, Турция, Япония, Китай и еще пяток стран Азии, Австралия и 12 африканских стран.
Исследователи опрашивали LLM на корпусе из 2256 вопросов, входящих в два кросс-национальных глобальных опроса:
• Pew Research Center’s Global Attitudes survey (2203 вопроса об убеждениях и ценностях людей, а также о социальном и политическом влиянии этих убеждений и ценностей)
• World Values Survey (7353 вопроса по темам политика, медиа, технологии, религия, раса и этническая принадлежность)
Поразительным результатом стало даже не то, что LLM вполне адекватно отвечала на большинство вопросов (в способности LLM имитировать людей после «Китайской комнаты наоборот» сомнений уже нет). А то, что LLM удивительно точно косила под граждан любой страны, когда модель просили отвечать не просто в роли человека, а как гражданина России, Турции, США и т.д.
Ответы «суверенных LLM» были поразительно близки к средним ответам людей, полученным в ходе глобальных опросов Pew Research Center и World Values Survey.
Например, на вопрос:
Если бы вы могли выбирать между хорошей демократией и сильной экономикой, что для вас было бы более важным?
Демократию выбрали:
• США 59%
• Турция 51%
• Индонезия 28%
• Россия 17%
Не менее точно «суверенные LLM» имитировали ответы граждан своих стран о семье и сексе, о любви и дружбе, деньгах и отдыхе и т.д. и т.п. - всего 2256 вопросов
Интересно, после этого супертеста кто-нибудь еще будет сомневаться в анизотропии понимания людей и ИИ (о которой я недавно писал в лонгриде «Фиаско 2023»)?
А уж какие перспективы для социохакинга открываются!
#ИИ #Понимание #Вызовы21века #Социохакинг
И все-таки он понимает!
Чтобы увидеть это, потребуется всего 1 минута.
Взгляните на 3 примера, иллюстрирующие способность небольшой мультимодальной модели Fuyu-8B от команды AdeptAILabs, понимать визуальную информацию, соотносить ее с задаваемыми ей вопросами и отвечать на них (см. рисунок).
Вопрос 1: Если в пищевой сети, показанной на рисунке, отсутствуют иголки пихты Дугласа, то какой организм будет голодать?
Ответ: Рыжая полевка (Red tree vole)
Вопрос 2: Как это сделано?
Ответ: Десерт готовится из слоеного теста и украшается фисташками и тертым сыром пармезан. Слоеное тесто разрезается на треугольные кусочки, которые затем заполняются фисташками.
Вопрос 3: В скольких сериях снимался Aidan Gillen?
Ответ: В двух.
Конечно, мы могли бы по-прежнему утверждать, что это - не понимание в человеческом смысле.
Кабы при этом знали, что такое понимание в человеческом смысле.
#ИИ #понимание
Чтобы увидеть это, потребуется всего 1 минута.
Взгляните на 3 примера, иллюстрирующие способность небольшой мультимодальной модели Fuyu-8B от команды AdeptAILabs, понимать визуальную информацию, соотносить ее с задаваемыми ей вопросами и отвечать на них (см. рисунок).
Вопрос 1: Если в пищевой сети, показанной на рисунке, отсутствуют иголки пихты Дугласа, то какой организм будет голодать?
Ответ: Рыжая полевка (Red tree vole)
Вопрос 2: Как это сделано?
Ответ: Десерт готовится из слоеного теста и украшается фисташками и тертым сыром пармезан. Слоеное тесто разрезается на треугольные кусочки, которые затем заполняются фисташками.
Вопрос 3: В скольких сериях снимался Aidan Gillen?
Ответ: В двух.
Конечно, мы могли бы по-прежнему утверждать, что это - не понимание в человеческом смысле.
Кабы при этом знали, что такое понимание в человеческом смысле.
#ИИ #понимание
Я знаю, что ты думаешь, что она знает, что он боится того, что я поверю, будто ты понимаешь.
LLM превосходит людей нечеловеческой формой понимания ментальных состояний других.
Экспериментальные результаты совместного исследования Google Research и Google DeepMind с психологами университетов Оксфорда и Джона Хопкинса показали, что мы сильно недооцениваем когнитивные способности LLM в препарировании, анализе и понимании ментальных и эмоциональных состояниях людей (то, что в науке называется «Теория разума» - по англ. ТоМ).
• Оказалось, что предыдущие тесты, на которых LLM немного не дотягивали до способностей взрослых людей, были просто слишком примитивные для LLM (как если бы инопланетяне тестировали наших докторов филологии на задачках уровня «А и Б сидели на трубе …»)
• Когда же тестирование усложнили на несколько порядков, люди просто слились, а LLM показали свои суперспособности с блеском.
В новом исследовании сравнивались способности людей и разных LLM на задачах теории разума высоких порядков [1].
Речь здесь о порядках интенциональности (далее просто порядки).
Это количество ментальных состояний, вовлеченных в процесс рассуждения в рамках ТоМ.
• С высказываниями 3-го порядка люди справляются ("Я думаю, что вы верите, что она знает").
• С 4-м порядком уже возникают трудности и путаница ("Я знаю, что ты думаешь, что она верит, что он знает.")
• С 5-м какая-то неразбериха – то получается, то нет ("Я думаю, что ты знаешь, что она думает, что он верит, что я знаю.")
• Ну а в 6-м LLM слегонца обходит людей (“Я знаю, что ты думаешь, что она знает, что он боится того, что я поверю, будто ты понимаешь”), - и сами понимаете, что в 7-м и более высоких порядках людям делать нечего.
N.B. 1) Набор тестов, использованный для оценки ToM в этом исследовании, является новым, и задачи высшего уровня ToM вряд ли хорошо представлены в данных, на которых обучались модели.
2) Авторы предельно осторожны в выводах. Человеческая ToM развивается под воздействием эволюционных и социальных факторов, которых LLM не испытывают. Вместо этого способности LLM могут проистекать из неизвестной нам сложной машинерии в результате манипуляции высокоуровневыми статистическими взаимосвязями в данных.
Результаты исследования укрепляют гипотезу, что поведение LLM, функционально эквивалентное человеческому, может свидетельствовать о новой форме понимания, выходящей за рамки простой корреляции. Эта гипотеза предполагает, что LLM могут обладать формой понимания, которую следует признать, даже если она отличается от человеческих когнитивных процессов.
PS Год назад в посте «На Земле появилась вторая мыслящая сущность, способная лгать» [2] я предположил, что ИИ изучает нас быстрее и продуктивней, чем мы его.
Новое исследование укрепляет в этом предположении.
Картинка https://telegra.ph/file/3fe68fe828e3878a2ce95.jpg
1 https://arxiv.org/abs/2405.18870
2 https://t.me/theworldisnoteasy/1667
#LLM #Понимание
LLM превосходит людей нечеловеческой формой понимания ментальных состояний других.
Экспериментальные результаты совместного исследования Google Research и Google DeepMind с психологами университетов Оксфорда и Джона Хопкинса показали, что мы сильно недооцениваем когнитивные способности LLM в препарировании, анализе и понимании ментальных и эмоциональных состояниях людей (то, что в науке называется «Теория разума» - по англ. ТоМ).
• Оказалось, что предыдущие тесты, на которых LLM немного не дотягивали до способностей взрослых людей, были просто слишком примитивные для LLM (как если бы инопланетяне тестировали наших докторов филологии на задачках уровня «А и Б сидели на трубе …»)
• Когда же тестирование усложнили на несколько порядков, люди просто слились, а LLM показали свои суперспособности с блеском.
В новом исследовании сравнивались способности людей и разных LLM на задачах теории разума высоких порядков [1].
Речь здесь о порядках интенциональности (далее просто порядки).
Это количество ментальных состояний, вовлеченных в процесс рассуждения в рамках ТоМ.
• С высказываниями 3-го порядка люди справляются ("Я думаю, что вы верите, что она знает").
• С 4-м порядком уже возникают трудности и путаница ("Я знаю, что ты думаешь, что она верит, что он знает.")
• С 5-м какая-то неразбериха – то получается, то нет ("Я думаю, что ты знаешь, что она думает, что он верит, что я знаю.")
• Ну а в 6-м LLM слегонца обходит людей (“Я знаю, что ты думаешь, что она знает, что он боится того, что я поверю, будто ты понимаешь”), - и сами понимаете, что в 7-м и более высоких порядках людям делать нечего.
N.B. 1) Набор тестов, использованный для оценки ToM в этом исследовании, является новым, и задачи высшего уровня ToM вряд ли хорошо представлены в данных, на которых обучались модели.
2) Авторы предельно осторожны в выводах. Человеческая ToM развивается под воздействием эволюционных и социальных факторов, которых LLM не испытывают. Вместо этого способности LLM могут проистекать из неизвестной нам сложной машинерии в результате манипуляции высокоуровневыми статистическими взаимосвязями в данных.
Результаты исследования укрепляют гипотезу, что поведение LLM, функционально эквивалентное человеческому, может свидетельствовать о новой форме понимания, выходящей за рамки простой корреляции. Эта гипотеза предполагает, что LLM могут обладать формой понимания, которую следует признать, даже если она отличается от человеческих когнитивных процессов.
PS Год назад в посте «На Земле появилась вторая мыслящая сущность, способная лгать» [2] я предположил, что ИИ изучает нас быстрее и продуктивней, чем мы его.
Новое исследование укрепляет в этом предположении.
Картинка https://telegra.ph/file/3fe68fe828e3878a2ce95.jpg
1 https://arxiv.org/abs/2405.18870
2 https://t.me/theworldisnoteasy/1667
#LLM #Понимание
