Forwarded from DLStories
Хироаки Китано — глава лаборатории Sony по computer science — заявил о намерениях создать ИИ, который сможет получить Нобелевскую премию. Звучит неплохо, да?
#ai_inside
Китано организует конкурс Nobel Turing Challenge, в котором для победы нужно будет создать ИИ, который представит миру научное открытие. Конкурс будет идти до 2050 года.
Зачем это все?
Китано считает, что ИИ пора выйти на новый уровень. До сих пор нейросети не изобретали ничего нового — они лишь учились решать конкретные задачи (играть в Го, распознавать лица) или копировать действия людей (рисовать реалистичные, но похожие на обучающий датасет картины). По мнению Китано, пора научить ИИ изобретать что-то действительно новое, мыслить "все коробки". Чтобы мотивировать ученых скорее построить такой ИИ, Китано и организует конкурс.
Возможно, считает Китано, не получится сразу создать ИИ, который сам сможет сделать новое открытие. Скорее всего, это будет гибрид человека и машины: ИИ будет обрабатывать большие массивы данных и предлагать ученым самые вероятные гипотезы и эксперименты, а ученые будут оценивать эти гипотезы на адекватность и проверять их. Возможно, ИИ сможет предложить гипотезу, до которой человек бы сам не додумался.
На пути создания такого ИИ есть много препятствий: во-первых, нужно придумать, как научить ИИ "выходить за рамки" того, на чем он обучался, и предлагать действительно новые идеи, а не просто переформулировать старые. Это и есть главный challenge, который Китано ставит перед миром, и над решением которого исследователи ИИ бьются много лет.
Во-вторых, любая теория должна быть подтверждена теоретически и экспериментально, чтобы считаться научным открытием. Нужно придумать, как научить ИИ "объяснять" свой ход мыслей и обосновывать предлагаемые теории. Невозможность интерпретировать ход мыслей нейросетей, к слову — еще одна большая проблема, над которой ученые безуспешно (пока что) борются.
Как считаете, получится у кого-то выиграть конкурс к 2050 году?)
#ai_inside
Китано организует конкурс Nobel Turing Challenge, в котором для победы нужно будет создать ИИ, который представит миру научное открытие. Конкурс будет идти до 2050 года.
Зачем это все?
Китано считает, что ИИ пора выйти на новый уровень. До сих пор нейросети не изобретали ничего нового — они лишь учились решать конкретные задачи (играть в Го, распознавать лица) или копировать действия людей (рисовать реалистичные, но похожие на обучающий датасет картины). По мнению Китано, пора научить ИИ изобретать что-то действительно новое, мыслить "все коробки". Чтобы мотивировать ученых скорее построить такой ИИ, Китано и организует конкурс.
Возможно, считает Китано, не получится сразу создать ИИ, который сам сможет сделать новое открытие. Скорее всего, это будет гибрид человека и машины: ИИ будет обрабатывать большие массивы данных и предлагать ученым самые вероятные гипотезы и эксперименты, а ученые будут оценивать эти гипотезы на адекватность и проверять их. Возможно, ИИ сможет предложить гипотезу, до которой человек бы сам не додумался.
На пути создания такого ИИ есть много препятствий: во-первых, нужно придумать, как научить ИИ "выходить за рамки" того, на чем он обучался, и предлагать действительно новые идеи, а не просто переформулировать старые. Это и есть главный challenge, который Китано ставит перед миром, и над решением которого исследователи ИИ бьются много лет.
Во-вторых, любая теория должна быть подтверждена теоретически и экспериментально, чтобы считаться научным открытием. Нужно придумать, как научить ИИ "объяснять" свой ход мыслей и обосновывать предлагаемые теории. Невозможность интерпретировать ход мыслей нейросетей, к слову — еще одна большая проблема, над которой ученые безуспешно (пока что) борются.
Как считаете, получится у кого-то выиграть конкурс к 2050 году?)
Engadget
Sony's head of AI research wants to build robots that can win a Nobel Prize
Dr. Hiroaki Kitano, CEO of Sony Computer Science Laboratories seeks to launch the Nobel Turing Challenge and develop a AI smart enough to win itself a Nobel Prize by 2050.
Forwarded from DLStories
На ICLR-2022 была, оказывается, такая интересная работа: авторы показали, что принцип работы Transformer’ов (с небольшим дополнением) схож с принципом работы гиппокампа и энторинальной коры головного мозга человека.
(Автор работы, если что, Ph.D. по computational/ theoretical neuroscience из Stanford и Oxford. Понимает, о чем говорит)
Подробнее:
Гиппокамп и энториальная кора мозга вместе отвечают за память, восприятие времени и пространства. Энториальная кора является “шлюзом” для гиппокампа: она обрабатывает поступающую в гиппокамп и исходящую из него информацию. Гиппокамп же обрабатывает и структурирует все виды памяти: краткосрочную, долгосрочную, пространственную.
То есть, связка “гиппокамп + энторинальная кора” (EC-hippocampus) играют важную роль при решении человеком задач, связанных с пространственным восприятием.
Как показали, почему Transformer “похож” на EC-hippocampus: авторы статьи взяли Transformer и обучили его на простую задачу, в которой нужно выдавать ответ, имея в виду текущее пространственно положение. Архитектура Transformer была стандартная с парой небольших отличий в формуле для attention и position encodings. Вычисление position encodings было изменено так, что стало обучаемым.
После обучения модели ученые посмотрели на “пространственную карту весов position encodings”. Карта составляется просто: для каждого пространственного положения из задачи, которую учил Tranformer, вычисляется средняя активация position encodings. Так вот, оказалось, что эта карта структурно схожа с той, что получается из активаций нейронов в EC-hippocampus
Но это еще не все: только такая “похожесть” карт активаций нейронов в мозге и модели недостаточно убедительна. Авторы статьи так же показали следующее: архитектура Transformer эквивалентна математической модели EC-hippocampus, которую нейробиологи построили не так давно и активно используют. Эта матмодель называется TEM (Tolman-Eichenbaum Machine), и она хорошо описывает основные процессы, происходящие в EC-hippocampus. TEM — обучаемся модель, которая при обучении должна имитировать процессы, происходящие в EC-hippocampus.
Так вот, упомянутый выше модифицированный Transformer, оказывается, имеет аналогичное с TEM устройство. Аторы назвали такой трансформер TEM-t. В статье авторы показывают аналогии между отдельными компонентами Transformer и TEM. В частности, “модель памяти” TEM оказывается эквивалентной self-attention из Tranformer.
Более того, авторы заявляют, что TEM-t может служить более эффективной моделью EC-hippocampus, чем существующий TEM: он гораздо быстрее обучается, имеет больший потенциал по памяти (может “запоминать” и “вытаскивать” больше бит памяти). Также плюсом является то, что пространственная карта весов position encodings трансформера похожа на такую карту из мозга (о чем писала выше).
Подробнее об устройстве TEM, TEM-t, экспериментах и о том, какое значение это имеет для нейробиологии — в статье. А еще там есть описание того, как архитектура Transformer может быть реализована на биологических нейронах. Блин, а вдруг какие-то части нашего мозга — это реально transformer’ы?)
Еще ссылка: статья в Quantamagazine об этой работе
P.S. Надеюсь, я нигде сильно не наврала. Все же в вопросах устройства мозга и подобном я дилетант. Feel free поправлять меня в комментариях
#ai_inside
(Автор работы, если что, Ph.D. по computational/ theoretical neuroscience из Stanford и Oxford. Понимает, о чем говорит)
Подробнее:
Гиппокамп и энториальная кора мозга вместе отвечают за память, восприятие времени и пространства. Энториальная кора является “шлюзом” для гиппокампа: она обрабатывает поступающую в гиппокамп и исходящую из него информацию. Гиппокамп же обрабатывает и структурирует все виды памяти: краткосрочную, долгосрочную, пространственную.
То есть, связка “гиппокамп + энторинальная кора” (EC-hippocampus) играют важную роль при решении человеком задач, связанных с пространственным восприятием.
Как показали, почему Transformer “похож” на EC-hippocampus: авторы статьи взяли Transformer и обучили его на простую задачу, в которой нужно выдавать ответ, имея в виду текущее пространственно положение. Архитектура Transformer была стандартная с парой небольших отличий в формуле для attention и position encodings. Вычисление position encodings было изменено так, что стало обучаемым.
После обучения модели ученые посмотрели на “пространственную карту весов position encodings”. Карта составляется просто: для каждого пространственного положения из задачи, которую учил Tranformer, вычисляется средняя активация position encodings. Так вот, оказалось, что эта карта структурно схожа с той, что получается из активаций нейронов в EC-hippocampus
Но это еще не все: только такая “похожесть” карт активаций нейронов в мозге и модели недостаточно убедительна. Авторы статьи так же показали следующее: архитектура Transformer эквивалентна математической модели EC-hippocampus, которую нейробиологи построили не так давно и активно используют. Эта матмодель называется TEM (Tolman-Eichenbaum Machine), и она хорошо описывает основные процессы, происходящие в EC-hippocampus. TEM — обучаемся модель, которая при обучении должна имитировать процессы, происходящие в EC-hippocampus.
Так вот, упомянутый выше модифицированный Transformer, оказывается, имеет аналогичное с TEM устройство. Аторы назвали такой трансформер TEM-t. В статье авторы показывают аналогии между отдельными компонентами Transformer и TEM. В частности, “модель памяти” TEM оказывается эквивалентной self-attention из Tranformer.
Более того, авторы заявляют, что TEM-t может служить более эффективной моделью EC-hippocampus, чем существующий TEM: он гораздо быстрее обучается, имеет больший потенциал по памяти (может “запоминать” и “вытаскивать” больше бит памяти). Также плюсом является то, что пространственная карта весов position encodings трансформера похожа на такую карту из мозга (о чем писала выше).
Подробнее об устройстве TEM, TEM-t, экспериментах и о том, какое значение это имеет для нейробиологии — в статье. А еще там есть описание того, как архитектура Transformer может быть реализована на биологических нейронах. Блин, а вдруг какие-то части нашего мозга — это реально transformer’ы?)
Еще ссылка: статья в Quantamagazine об этой работе
P.S. Надеюсь, я нигде сильно не наврала. Все же в вопросах устройства мозга и подобном я дилетант. Feel free поправлять меня в комментариях
#ai_inside
This media is not supported in your browser
VIEW IN TELEGRAM
Image Stacking
Пишем промпт, сохраняем картинку, используем ее для следующего промпта, повторяем пока не получаем что хотели.
Идея сама по себе не нова, но исполнение отличное
Ссылка
Пишем промпт, сохраняем картинку, используем ее для следующего промпта, повторяем пока не получаем что хотели.
Идея сама по себе не нова, но исполнение отличное
Ссылка
Forwarded from Earth&Climate Tech
Ностальгии пост
Читаете Вастрика? Я тут разгребал старые заметки и презентации и наткунлся на тот самый огромный пост Вастрика про машинное обучение написанный тыщу лет назад (олды, так сказать, поймут).
Лушего введения в предмет я до сих пор не встречал, а это на минуточку 2018! Простым языком, без формул и с прикольчиками всякими. Все раскладывает по полочкам, охватывает 90% всего того, что называют машинным обучением даже на сегодняшний день.
Пост Вастрика с тех пор стал легендой, мемом и классикой. Я до сих пор иногда к нему возвращаюсь, чтобы научиться объяснять сложные вещи так же доступно. Чего только стоит вводный абзац "Машинное обучение — как секс в старших классах. Все говорят о нем по углам, единицы понимают, а занимается только препод. Статьи о машинном обучении делятся на два типа: это либо трёхтомники с формулами и теоремами, которые я ни разу не смог дочитать даже до середины, либо сказки об искусственном интеллекте, профессиях будущего и волшебных дата-саентистах." НЕТЛЕНКА!
В общем, если вы такие 🙄 "что за баян?", то сори. Если в машинном обучении и каким-то неведомым мне образом прошли мимо этого поста - марш читать, это чистое удовольствие! То же самое касается тех, кто до сих пор мечтал разобраться, но боялся прикасаться к умным статьям и книжкам. Кстати, еще подойдет для всяких менеджеров, чтобы понимать что там их инженеры делают.
📖 - нетленка на русском и английском
P.S. У Вастрика недавно вышел еще один фундаментальный пост про AI alignment и я тоже советую его почитать примерно всем.
#AI #classic
Читаете Вастрика? Я тут разгребал старые заметки и презентации и наткунлся на тот самый огромный пост Вастрика про машинное обучение написанный тыщу лет назад (олды, так сказать, поймут).
Лушего введения в предмет я до сих пор не встречал, а это на минуточку 2018! Простым языком, без формул и с прикольчиками всякими. Все раскладывает по полочкам, охватывает 90% всего того, что называют машинным обучением даже на сегодняшний день.
Пост Вастрика с тех пор стал легендой, мемом и классикой. Я до сих пор иногда к нему возвращаюсь, чтобы научиться объяснять сложные вещи так же доступно. Чего только стоит вводный абзац "Машинное обучение — как секс в старших классах. Все говорят о нем по углам, единицы понимают, а занимается только препод. Статьи о машинном обучении делятся на два типа: это либо трёхтомники с формулами и теоремами, которые я ни разу не смог дочитать даже до середины, либо сказки об искусственном интеллекте, профессиях будущего и волшебных дата-саентистах." НЕТЛЕНКА!
В общем, если вы такие 🙄 "что за баян?", то сори. Если в машинном обучении и каким-то неведомым мне образом прошли мимо этого поста - марш читать, это чистое удовольствие! То же самое касается тех, кто до сих пор мечтал разобраться, но боялся прикасаться к умным статьям и книжкам. Кстати, еще подойдет для всяких менеджеров, чтобы понимать что там их инженеры делают.
📖 - нетленка на русском и английском
P.S. У Вастрика недавно вышел еще один фундаментальный пост про AI alignment и я тоже советую его почитать примерно всем.
#AI #classic
Forwarded from Earth&Climate Tech
ClimateLearn - машинное обучение в предсказании климата и погоды
ClimateLearn - это библиотека в питоне для доступа к самым современным климатическим данным и моделям машинного обучения стандартизированным и простым способом. Эта библиотека предоставляет доступ к нескольким наборам данных, зоопарку базовых подходов, а также набору метрик и визуализаций для крупномасштабного сравнительного анализа методов статистического масштабирования и временного прогнозирования.
В этом ноутбуке можно поучиться как пользоваться.
#ML #AI #climate
ClimateLearn - это библиотека в питоне для доступа к самым современным климатическим данным и моделям машинного обучения стандартизированным и простым способом. Эта библиотека предоставляет доступ к нескольким наборам данных, зоопарку базовых подходов, а также набору метрик и визуализаций для крупномасштабного сравнительного анализа методов статистического масштабирования и временного прогнозирования.
В этом ноутбуке можно поучиться как пользоваться.
#ML #AI #climate
GitHub
GitHub - aditya-grover/climate-learn: Source code for ClimateLearn
Source code for ClimateLearn. Contribute to aditya-grover/climate-learn development by creating an account on GitHub.
О чем говорят разработчики, когда обсуждают ИИ?
На портале одного из самых крупных венчурных фондов в Долине - a16z вышла любопытная подборка интервью с ведущими разработчиками искусственного интеллекта.
⚡️Среди ключевых мыслей:
- Мы стоим у истоков третьей эпохи вычислительных мощностей. Первой были микрочипы, второй - интернет, третьей станут модели искусственного интеллекта.
- Экономика новых AI-моделей улучшается в тысячи раз по сравнению с человеческим трудом. Это гарантирует их быстрое распространение.
- Пока что точность для многих задач не критична, творческие способности моделей важнее.
- AI уже помогает программистам писать код - это "копилоты". Такие ассистенты с каждым запросом работают все лучше.
- Огромный потенциал - в сочетании AI и биологии. AI поможет расшифровать биологические процессы и найти новые методы лечения болезней.
- Пока непонятно, будет ли доминировать одна универсальная модель AI или же их будет много для разных задач.
- Важно следить за "эмерджентными" возможностями AI - когда модели начинают делать то, чего изначально не закладывали разработчики. Эти навыки быстро улучшаются.
- Физики и математики - лучшие разработчики AI на данном этапе. Их абстрактное мышление помогает решать сложные задачи в этой сфере.
В целом, интервью показывают: несмотря на впечатляющие успехи последних лет, мы находимся лишь в самом начале революции в области искусственного интеллекта. Большинство прорывных приложений на основе AI еще впереди. Так что если вам кажется, что вкатываться в AI уже поздно - то вам кажется. Самое время начать - сейчас!
🎙 Обзор
📹 Интерьвю
На портале одного из самых крупных венчурных фондов в Долине - a16z вышла любопытная подборка интервью с ведущими разработчиками искусственного интеллекта.
⚡️Среди ключевых мыслей:
- Мы стоим у истоков третьей эпохи вычислительных мощностей. Первой были микрочипы, второй - интернет, третьей станут модели искусственного интеллекта.
- Экономика новых AI-моделей улучшается в тысячи раз по сравнению с человеческим трудом. Это гарантирует их быстрое распространение.
- Пока что точность для многих задач не критична, творческие способности моделей важнее.
- AI уже помогает программистам писать код - это "копилоты". Такие ассистенты с каждым запросом работают все лучше.
- Огромный потенциал - в сочетании AI и биологии. AI поможет расшифровать биологические процессы и найти новые методы лечения болезней.
- Пока непонятно, будет ли доминировать одна универсальная модель AI или же их будет много для разных задач.
- Важно следить за "эмерджентными" возможностями AI - когда модели начинают делать то, чего изначально не закладывали разработчики. Эти навыки быстро улучшаются.
- Физики и математики - лучшие разработчики AI на данном этапе. Их абстрактное мышление помогает решать сложные задачи в этой сфере.
В целом, интервью показывают: несмотря на впечатляющие успехи последних лет, мы находимся лишь в самом начале революции в области искусственного интеллекта. Большинство прорывных приложений на основе AI еще впереди. Так что если вам кажется, что вкатываться в AI уже поздно - то вам кажется. Самое время начать - сейчас!
🎙 Обзор
📹 Интерьвю
Forwarded from proVenture (проВенчур)
🤡 Как запалиться использованием ChatGPT на весь мир.
Целых 5 авторов статьи под названием “The three dimensional porous mesh structure of Cu-based metal-organic framework – aramid cellulose separator enhances the electrochemical performance of lithium metal anode batteries”, видимо, устали, пока придумывали самое длинное название статьи в мире.
Остальное отдали генеративному AI, ну или как минимум отдали написание “Introduction” для своей статьи написать.
Важное правило – не палитесь, проверяйте, что какие-то вводные обороты в ваших высоконаучных трудах надо удалять 😂
Пятничный юмор, друзья...
P.S. Картинка взята из поста моего коллеги по R136 Ventures Ивана Рубинова.
#оффтоп #ai
Целых 5 авторов статьи под названием “The three dimensional porous mesh structure of Cu-based metal-organic framework – aramid cellulose separator enhances the electrochemical performance of lithium metal anode batteries”, видимо, устали, пока придумывали самое длинное название статьи в мире.
Остальное отдали генеративному AI, ну или как минимум отдали написание “Introduction” для своей статьи написать.
Важное правило – не палитесь, проверяйте, что какие-то вводные обороты в ваших высоконаучных трудах надо удалять 😂
Пятничный юмор, друзья...
P.S. Картинка взята из поста моего коллеги по R136 Ventures Ивана Рубинова.
#оффтоп #ai