Forwarded from DLStories | Нейронные сети и ИИ
Хироаки Китано — глава лаборатории Sony по computer science — заявил о намерениях создать ИИ, который сможет получить Нобелевскую премию. Звучит неплохо, да?
#ai_inside
Китано организует конкурс Nobel Turing Challenge, в котором для победы нужно будет создать ИИ, который представит миру научное открытие. Конкурс будет идти до 2050 года.
Зачем это все?
Китано считает, что ИИ пора выйти на новый уровень. До сих пор нейросети не изобретали ничего нового — они лишь учились решать конкретные задачи (играть в Го, распознавать лица) или копировать действия людей (рисовать реалистичные, но похожие на обучающий датасет картины). По мнению Китано, пора научить ИИ изобретать что-то действительно новое, мыслить "все коробки". Чтобы мотивировать ученых скорее построить такой ИИ, Китано и организует конкурс.
Возможно, считает Китано, не получится сразу создать ИИ, который сам сможет сделать новое открытие. Скорее всего, это будет гибрид человека и машины: ИИ будет обрабатывать большие массивы данных и предлагать ученым самые вероятные гипотезы и эксперименты, а ученые будут оценивать эти гипотезы на адекватность и проверять их. Возможно, ИИ сможет предложить гипотезу, до которой человек бы сам не додумался.
На пути создания такого ИИ есть много препятствий: во-первых, нужно придумать, как научить ИИ "выходить за рамки" того, на чем он обучался, и предлагать действительно новые идеи, а не просто переформулировать старые. Это и есть главный challenge, который Китано ставит перед миром, и над решением которого исследователи ИИ бьются много лет.
Во-вторых, любая теория должна быть подтверждена теоретически и экспериментально, чтобы считаться научным открытием. Нужно придумать, как научить ИИ "объяснять" свой ход мыслей и обосновывать предлагаемые теории. Невозможность интерпретировать ход мыслей нейросетей, к слову — еще одна большая проблема, над которой ученые безуспешно (пока что) борются.
Как считаете, получится у кого-то выиграть конкурс к 2050 году?)
#ai_inside
Китано организует конкурс Nobel Turing Challenge, в котором для победы нужно будет создать ИИ, который представит миру научное открытие. Конкурс будет идти до 2050 года.
Зачем это все?
Китано считает, что ИИ пора выйти на новый уровень. До сих пор нейросети не изобретали ничего нового — они лишь учились решать конкретные задачи (играть в Го, распознавать лица) или копировать действия людей (рисовать реалистичные, но похожие на обучающий датасет картины). По мнению Китано, пора научить ИИ изобретать что-то действительно новое, мыслить "все коробки". Чтобы мотивировать ученых скорее построить такой ИИ, Китано и организует конкурс.
Возможно, считает Китано, не получится сразу создать ИИ, который сам сможет сделать новое открытие. Скорее всего, это будет гибрид человека и машины: ИИ будет обрабатывать большие массивы данных и предлагать ученым самые вероятные гипотезы и эксперименты, а ученые будут оценивать эти гипотезы на адекватность и проверять их. Возможно, ИИ сможет предложить гипотезу, до которой человек бы сам не додумался.
На пути создания такого ИИ есть много препятствий: во-первых, нужно придумать, как научить ИИ "выходить за рамки" того, на чем он обучался, и предлагать действительно новые идеи, а не просто переформулировать старые. Это и есть главный challenge, который Китано ставит перед миром, и над решением которого исследователи ИИ бьются много лет.
Во-вторых, любая теория должна быть подтверждена теоретически и экспериментально, чтобы считаться научным открытием. Нужно придумать, как научить ИИ "объяснять" свой ход мыслей и обосновывать предлагаемые теории. Невозможность интерпретировать ход мыслей нейросетей, к слову — еще одна большая проблема, над которой ученые безуспешно (пока что) борются.
Как считаете, получится у кого-то выиграть конкурс к 2050 году?)
Engadget
Sony's head of AI research wants to build robots that can win a Nobel Prize
Dr. Hiroaki Kitano, CEO of Sony Computer Science Laboratories seeks to launch the Nobel Turing Challenge and develop a AI smart enough to win itself a Nobel Prize by 2050.
Forwarded from DLStories | Нейронные сети и ИИ
На ICLR-2022 была, оказывается, такая интересная работа: авторы показали, что принцип работы Transformer’ов (с небольшим дополнением) схож с принципом работы гиппокампа и энторинальной коры головного мозга человека.
(Автор работы, если что, Ph.D. по computational/ theoretical neuroscience из Stanford и Oxford. Понимает, о чем говорит)
Подробнее:
Гиппокамп и энториальная кора мозга вместе отвечают за память, восприятие времени и пространства. Энториальная кора является “шлюзом” для гиппокампа: она обрабатывает поступающую в гиппокамп и исходящую из него информацию. Гиппокамп же обрабатывает и структурирует все виды памяти: краткосрочную, долгосрочную, пространственную.
То есть, связка “гиппокамп + энторинальная кора” (EC-hippocampus) играют важную роль при решении человеком задач, связанных с пространственным восприятием.
Как показали, почему Transformer “похож” на EC-hippocampus: авторы статьи взяли Transformer и обучили его на простую задачу, в которой нужно выдавать ответ, имея в виду текущее пространственно положение. Архитектура Transformer была стандартная с парой небольших отличий в формуле для attention и position encodings. Вычисление position encodings было изменено так, что стало обучаемым.
После обучения модели ученые посмотрели на “пространственную карту весов position encodings”. Карта составляется просто: для каждого пространственного положения из задачи, которую учил Tranformer, вычисляется средняя активация position encodings. Так вот, оказалось, что эта карта структурно схожа с той, что получается из активаций нейронов в EC-hippocampus
Но это еще не все: только такая “похожесть” карт активаций нейронов в мозге и модели недостаточно убедительна. Авторы статьи так же показали следующее: архитектура Transformer эквивалентна математической модели EC-hippocampus, которую нейробиологи построили не так давно и активно используют. Эта матмодель называется TEM (Tolman-Eichenbaum Machine), и она хорошо описывает основные процессы, происходящие в EC-hippocampus. TEM — обучаемся модель, которая при обучении должна имитировать процессы, происходящие в EC-hippocampus.
Так вот, упомянутый выше модифицированный Transformer, оказывается, имеет аналогичное с TEM устройство. Аторы назвали такой трансформер TEM-t. В статье авторы показывают аналогии между отдельными компонентами Transformer и TEM. В частности, “модель памяти” TEM оказывается эквивалентной self-attention из Tranformer.
Более того, авторы заявляют, что TEM-t может служить более эффективной моделью EC-hippocampus, чем существующий TEM: он гораздо быстрее обучается, имеет больший потенциал по памяти (может “запоминать” и “вытаскивать” больше бит памяти). Также плюсом является то, что пространственная карта весов position encodings трансформера похожа на такую карту из мозга (о чем писала выше).
Подробнее об устройстве TEM, TEM-t, экспериментах и о том, какое значение это имеет для нейробиологии — в статье. А еще там есть описание того, как архитектура Transformer может быть реализована на биологических нейронах. Блин, а вдруг какие-то части нашего мозга — это реально transformer’ы?)
Еще ссылка: статья в Quantamagazine об этой работе
P.S. Надеюсь, я нигде сильно не наврала. Все же в вопросах устройства мозга и подобном я дилетант. Feel free поправлять меня в комментариях
#ai_inside
(Автор работы, если что, Ph.D. по computational/ theoretical neuroscience из Stanford и Oxford. Понимает, о чем говорит)
Подробнее:
Гиппокамп и энториальная кора мозга вместе отвечают за память, восприятие времени и пространства. Энториальная кора является “шлюзом” для гиппокампа: она обрабатывает поступающую в гиппокамп и исходящую из него информацию. Гиппокамп же обрабатывает и структурирует все виды памяти: краткосрочную, долгосрочную, пространственную.
То есть, связка “гиппокамп + энторинальная кора” (EC-hippocampus) играют важную роль при решении человеком задач, связанных с пространственным восприятием.
Как показали, почему Transformer “похож” на EC-hippocampus: авторы статьи взяли Transformer и обучили его на простую задачу, в которой нужно выдавать ответ, имея в виду текущее пространственно положение. Архитектура Transformer была стандартная с парой небольших отличий в формуле для attention и position encodings. Вычисление position encodings было изменено так, что стало обучаемым.
После обучения модели ученые посмотрели на “пространственную карту весов position encodings”. Карта составляется просто: для каждого пространственного положения из задачи, которую учил Tranformer, вычисляется средняя активация position encodings. Так вот, оказалось, что эта карта структурно схожа с той, что получается из активаций нейронов в EC-hippocampus
Но это еще не все: только такая “похожесть” карт активаций нейронов в мозге и модели недостаточно убедительна. Авторы статьи так же показали следующее: архитектура Transformer эквивалентна математической модели EC-hippocampus, которую нейробиологи построили не так давно и активно используют. Эта матмодель называется TEM (Tolman-Eichenbaum Machine), и она хорошо описывает основные процессы, происходящие в EC-hippocampus. TEM — обучаемся модель, которая при обучении должна имитировать процессы, происходящие в EC-hippocampus.
Так вот, упомянутый выше модифицированный Transformer, оказывается, имеет аналогичное с TEM устройство. Аторы назвали такой трансформер TEM-t. В статье авторы показывают аналогии между отдельными компонентами Transformer и TEM. В частности, “модель памяти” TEM оказывается эквивалентной self-attention из Tranformer.
Более того, авторы заявляют, что TEM-t может служить более эффективной моделью EC-hippocampus, чем существующий TEM: он гораздо быстрее обучается, имеет больший потенциал по памяти (может “запоминать” и “вытаскивать” больше бит памяти). Также плюсом является то, что пространственная карта весов position encodings трансформера похожа на такую карту из мозга (о чем писала выше).
Подробнее об устройстве TEM, TEM-t, экспериментах и о том, какое значение это имеет для нейробиологии — в статье. А еще там есть описание того, как архитектура Transformer может быть реализована на биологических нейронах. Блин, а вдруг какие-то части нашего мозга — это реально transformer’ы?)
Еще ссылка: статья в Quantamagazine об этой работе
P.S. Надеюсь, я нигде сильно не наврала. Все же в вопросах устройства мозга и подобном я дилетант. Feel free поправлять меня в комментариях
#ai_inside