Scientific American несколько припозднился, но за видео им спасибо. В ролике мы видим всех создателей ксеноботов, и они сами рассказывают, как и что делали, почему возникла такая идея и зачем это нужно. Включая кадры из лабораторий и рабочие видео (хотя есть и транскрипт).

«Мать-природа работает здесь, на планете Земля, уже 3,5 миллиарда лет, и, несмотря на свой огромный творческий потенциал, она исследовала лишь очень, очень, очень малую часть морфо-пространства, пространства всех возможных организмов. Было бы прекрасно открыть наши глаза шире и понять не только жизнь, как она есть, но и жизнь, какой она могла бы быть». — Джош Бонгард

"Припозднился" SciAm сильно, ксеноботы были два года назад, а теперь эти же люди уже создали антроботов. Но в целом заглянуть за кулисы любопытно, круто дополняет статьи.

OpenAI выпустили давно ожидаемую модель GPT-4.

“В обычном разговоре различие между GPT-3.5 и GPT-4 может быть незаметным. Разница проявляется, когда сложность задачи достигает достаточного порога — GPT-4 более надежен, креативен и способен обрабатывать гораздо более подробные инструкции, чем GPT-3.5”.

Теперь на вход можно подавать не только текст, но и картинки. На сайте OpenAI выложены пресс-релиз и статья.

Еще одна мысль о сознании | В новой книге “Sentience” нейропсихолог Николас Хамфри из Кембриджа утверждает, что сознание появилось, чтобы дать нам почувствовать, что жизнь стоит того, чтобы жить:

“If perceptions make life possible, sensations make it worth living.”

Хамфри говорит, что помимо очевидных адаптивных преимуществ ощущений — оргазмы хорошо, боль плохо — "люди эволюционировали, чтобы получать внутреннее удовольствие от осознанных ощущений ради них самих". Ощущения, как он считает, заставляют нас интересоваться историями, мыслями и переживаниями. Поскольку наша жизнь похожа на что-то, мы можем лучше представить, что чувствуют другие.

The New Yorker публикует большой очерк о Хамфри, хотя значительную часть его можно пропустить, ибо он насыщен оборотами типа “Мы свернули на грунтовую дорогу, которая поднималась через низкие сухие предгорья, усеянные оливковыми деревьями”.

Впрочем, лет десять назад мне больше приглянулась другая мысль Хамфри. Он заметил, что у медицины реальные возможности что-то вылечить появились сравнительно недавно. Средневековые рецепты и процедуры имели очень отдаленное отношение к физиологии болезней. Тем не менее, даже абсурдные — с позиций сегодняшних знаний — методы давали определенный положительный эффект. Фактически, считает Хамфри, большую часть человеческой истории медики и знахари работали за счет эффекта плацебо, не подозревая об этом.

Он выделяет «систему управления здоровьем» как часть общего управления гомеостазом, активность которой постепенно, в ходе культурной эволюции, стала зависеть от самого факта присутствия докторов, медикаментов, процедур и т.п. В эссе в The Edge он рассмотрел эту идею в контексте регуляции личностных черт с помощью социокультурных практик.

По новой книге есть и эссе самого Хамфри

Личный его сайт (с публикациями) здесь

Написал в Reminder о том, зачем ученые светили мышам в сердце, как медитация действует на ‘второй’ мозг, а также про интеллект органоидов (текст только для подписчиков). Про сердце речь об этой работе, технически филигранный эксперимент, выполненный под началом Карла Дейссерота. Про медитацию, точнее про микробиоту тибетских монахов, см. эту статью в General Psychiatry.

Среди ученых связь мозга и органов, таких как сердце или кишечник, все больше вызывает интерес, а технологии все больше позволяют эти связи исследовать. Это усложняет картину, но и открывает новые пути в медицине: состояния психики могут влиять на функцию органов и, наоборот, источник проблем мозга может находиться гораздо ниже.

P.S. Книга Дейссерота "Projections" должна была выйти на русском еще в 2021 под названием “Прорыв. История человеческих эмоций”, но что-то не нахожу ее.

На видео: у сердца есть свой “мини-мозг”, скопления нейронов в верхней части (желтые). Сердце крысиное 🐀, из этой статьи.

Сэм Альтман, глава OpenAI в подкасте Лекса Фридмана. Свежее видео, выложено только что. Все что мы хотели знать о GPT-4, ChatGPT и будущее искусственного интеллекта.

Вашингтон, февраль 2023 | Руководители пяти главных компаний разработчиков инвазивных нейроинтерфейсов.

Слева направо: Matt Angle - Paradromics, Marcus Gerhardt - Blackrock Neurotech, Michael Mager - Precision Neuroscience, Thomas Oxley - Synchron, DJ Seo - Neuralink (вице-президент). Именно эти компании контролируют будущее рынка BCI.

CEO явились на конфу, созванную для них Министерством торговли США. Были и руководители неинвазивных, все выступили. То, что правительство проводит двух-дневное обсуждение нейроинтерфейсов, где собирает лидеров и экспертов, говорит о серьезном внимании к теме. Картина для чиновников в РФ, например, совершенно немыслимая.

Программа конференции здесь. Со страницы конференции можно даже посмотреть видеозаписи докладов.

“Мы призываем все лаборатории немедленно приостановить как минимум на 6 месяцев обучение систем ИИ, более мощных, чем GPT-4”. — открытое письмо экспертов.

Призыв уже подписали такие корифеи как Йошуа Бенжио и Стюарт Рассел, а также Илон Маск, Стив Возняк, Макс Тегмарк, Кристоф Кох и, конечно, Гари Маркус с Ювалем Харари. Всего пока свыше тысячи человек, сбор подписей идет (можете присоединиться). Письмо — это в том числе реакция на недавние “искры общего интеллекта”.

Я не подпишу, поскольку не верю, что к мораторию присоединится Китай и что полгода что-то принципиально прибавят в нашем понимании LLMs. Авторы приравнивают ИИ к таким технологиям как клонирование человека или модификация его зародышевой линии, которые технически возможны, но запрещены. На мой взгляд, здесь другая история, и мы пока наблюдаем чисто эмоциональный шок, вызванный темпом изменений.

Отсюда желание замедлить события, так легче адаптироваться психике.

Новый подкаст с Александром Капланом
Интересный разговор, АЯ всегда отличный рассказчик, и в этот раз речь шла, в основном, не про нейроинтерфейсы, а о том, как мозг отражает картину мира.

Хотя мимо темы BCI тоже не прошли, и Каплан простыми доводами похоронил все надежды “чтения мыслей”: во-первых, мы не знаем коды мозга и даже близко не представляем, как их узнать; во-вторых, не ясно, как технически достичь надежного контакта с миллиардами клеток, не травмируя мозг и не возмущая его естественный режим работы.

То, что реально считать из мозга, это “намерение”, но не содержание мысли. Впрочем, ранее АЯ сам предложил, как гипотетически можно было бы выудить мыслеобраз с помощью нейросетей и обратной связи. Для сложного контента это вряд ли сработает, но для мыслей попроще — вполне.

Психика против рака | В NYT колонка Дэвида Дж. Линдена, профессора неврологии в Медицинской школе Университета Джонса Хопкинса: “Может ли нейробиолог бороться с раком одними лишь мыслями?”

Линден сам неизлечимо болен, его опухоль не удалили полностью, и он пишет, как ему советуют разные практики вроде медитаций, техник дыхания, молитв или упражнений.

Когда при этом используют термины типа «энергетический поток» или «резонанс», он как ученый считает это вздором. Но сами практики, пишет Линден, могут вполне работать, и далее он поясняет, как.

«Могут ли медитация или работа с дыханием повлиять на прогрессирование рака? Краткий ответ заключается в том, что мы не знаем, но более длинный и интересный ответ заключается в том, что по крайней мере в некоторых случаях существуют разумные и проверяемые гипотезы того, как это может происходить».

Линден выходит на тему, которая сейчас получает все больше внимания: иннервация опухолей, сложная связь раковых и нервных клеток, где они взаимно влияют друг на друга.

«На мой взгляд, иннервация опухолей и ее роль в прогрессировании рака представляют собой интересную гипотезу в медицине разума/тела. Если поведенческие практики, такие как медитация, физические упражнения, работа с дыханием или даже молитва, могут ослабить или обратить вспять развитие некоторых видов рака (и, конечно, это большое «если»), то, возможно, они делают это путем изменения электрической активности нервных клеток, которые иннервируют опухоли».

То есть эффект он не подтверждает и нигде не намекает, что следует советам, но рассуждает как нейробиолог: если эффект есть, то вот возможный механизм.

Психика — мозг — нервы — опухоль

Лекарств это не заменит, но может полезно с ними сочетаться. И это есть частный случай более глобального взгляда на управление здоровьем, где в основе диалог с нервной системой, о чем я пишу тут регулярно (из недавнего здесь или здесь).

По прогнозам врачей Линден должен был уже умереть. Сейчас он чувствует себя бодро, опухоль затаилась, и он считает, что его настрой, надежда и любопытство вносят свой вклад.

Количество подписей под пресловутым письмом растет и скоро перевалит за шесть тысяч (и еще > 45 тыс. на проверке). Очевидно, что у людей там разные мотивации и разная глубина понимания проблемы, но шуму наделали, авторам пришлось даже выпустить FAQ. По просьбе T-invariant кратко пояснил, почему затею считаю неудачной, и их эксперты письмо тоже не одобрили и даже прошлись по нему жестче (из РФ открывается через VPN).

Не соглашусь лишь с Андреем Себрантом: он все сводит к конкуренции бизнесов и даже к одному Маску, но вряд ли все тысячи подписантов действуют в единой логике. Люди разные. Думаю, немало и тех, кто реально боится и “хотят как лучше”. Массовую истерию не стоит недооценивать, даже среди людей со степенями.

Два полезных вдумчивых текста от ЛеКуна о том, почему LLMs не захватят мир (о важности различий между тем, как используют язык люди и как ИИ):

🗞 AI Chatbots Don’t Care About Your Social Norms
🗞 AI And The Limits Of Language

The New England Journal of Medicine, один из самых влиятельных медицинских журналов в мире, открывает серию статей «ИИ в медицине», первые публикации уже появились в свежем номере. Далее, в 2024 будет запущен дочерний журнал NEJM AI, целиком посвященный этой теме. Летом этого года начнут принимать статьи на рецензирование.

В преамбуле есть ремарка о “трансформации медицины”, что похоже на осознание и принятие неизбежного. Передовая наука без ИИ уже не представима, в медицину это придет с задержкой, но тренд обозначен. К слову, в 2024-м уже все используют GPT-5.

Интересно, как будут уживаться прежняя “доказательная” медицина и новая “ИИ-ведомая”, если их прогнозы и рекомендации, допустим, начнут расходиться. В NEJM один взгляд, а в NEJM AI другой на ту же проблему — такой сценарий не исключен. Придется выбирать, чему доверять больше.

Лечение Альцгеймера мерцающим светом и звуком | Сообщают, что Cognito Therapeutics получил инвестиции $73 млн от венчурных фондов на эту технологию. Если совсем кратко: вместо лекарств лишь свет и звук, и такая слухо-зрительная 40 Гц стимуляция тормозит деградацию ткани мозга больных пациентов.

Я уже упоминал о Cognito, в 2022-м успешно прошло первое клиническое исследование, теперь они планируют еще одно, более масштабное. Их гаджет сейчас имеет статус "прорывного устройства" от FDA, то есть можно применять в испытаниях, но не продавать. Деньги, видимо, пойдут как раз на клинические исследования, т.к. техническая часть предельно проста, светодиоды да динамики размером с наушник, всё.

Снова радуюсь за Эда Бойдена, и дело не в деньгах, а в том, что такой суммой инвесторы обозначили степень доверия и веры в сам подход. Это их ставка, и она уже серьезная.

Есть, впрочем, ложка дегтя — недавняя статья в Nature Neuroscience, где авторы заявляют, что пробовали мерцающий 40 Гц свет на мышах, и результат нулевой. Амилоид не снизился, и не было даже вызванной гаммы, что странно. Хотя они пишут, что мыши от мерцающего света прятались, так что дело, может быть в дизайне эксперимента. Но главный там György Buzsáki, так что надо разбираться.

Зато другая свежая статья, скорее, в духе идей стимуляции. Мерцающая картинка вызывала у людей приток спинномозговой жидкости в мозг, а ведь это может очищать его от мусора, в том числе амилоида. Частоты мерцания были разные, в том числе 40 Гц. И даже вне всякой связи с кейсом Cognito работа интересна тем, что открывает еще один способ противостоять дегенерации — вызов омывания и очищения мозга через зрительную нейромодуляцию.

Будем наблюдать, куда выведет эта траектория.

Enhancing motor skills through lucid dreaming | Спортивные тренировки внутри осознанных сновидений могут, по мнению авторов, дать полезный эффект. Для журнала Medical Hypotheses в самый раз, он создан для озвучивания безумных идей.

Эта идея, правда, не на пустом месте. Элитные спортсмены давно используют метод mental practice, проходя дистанцию или выполняя нужный паттерн действий в воображении. Это может работать, поскольку для мозга, в определенном смысле, нет разницы между реальностью и симуляцией. Моторный навык развивается и даже отражается в нервной ткани (я как-то уже постил картинку из статьи Паскуаль-Леоне).

Осознанные сновидения выгоднее тем, что там симуляция более иммерсивна, с глубоким погружением. Если вы теннисист, то выходите на корт и играете, ощущая все по-настоящему, а не просто воображаете. Дело за малым, уметь регулярно входить в ОС. Дерзайте! 🛌 😅

По случаю вспомнил работу 2021 г, когда удалось наладить двустороннее общение со спящими: те отвечали на вопросы в режиме реального времени прямо из осознанного сна.

LLM как зомби | Вопрос о сознании больших языковых моделей плох тем, что он о непонятном внутри непонятного. Мы не знаем, как мозг порождает психику, и не знаем, как устроены репрезентации внутри модели. Два черных ящика в одном вопросе, тут не на что опереться.

Согласен с Сергеем, когда он говорит, что LLM генерят паттерны, отражающие статистику поведения людей, и потому не удивительно, что мы видим в них намек на сознание. Ведь эти паттерны — наша производная. LLМ служат зеркалом, в котором мы отражаемся, но за его поверхностью пусто.

Словом, я тоже считаю, что искать сознание в LLМ — крайне странное занятие. В то же время это не более чем моя интуиция, и доказать ее нельзя. Пусть бессознательный агент способен имитировать “сознательное поведение”, проблемы здесь нет. Проблема в другом: в общем случае из поведения агента нельзя сделать надежный вывод о его внутренней кухне (даже если этот агент — человек).

Людей я наделяю сознанием, потому что они очень похожи на меня поведением и природой: вместо строгого доказательства здесь суждение ‘beyond reasonable doubt’. Трудности, однако, появляются, когда мы пытаемся выносить такие суждения о животных или, например, о младенцах. Они наводят на мысль, что у агентов может быть сознания больше или меньше, что еще усложняет картину.

Не прояснив ее, искать сознание в трансформерах можно до посинения. Внутри спора о больших моделях этот вопрос не разрешим, и свой взгляд на эту тему я подробно изложил в прошлом году. Чалмерс же старательно исследует доводы “за” и “против” наличия черного ящика в черном ящике — на мой вкус, это трата времени.

В отличие от сознания, разговор о разуме языковых моделей не лишен смысла. Споры на эту тему крутятся вокруг вопроса, демонстрируют ли LLM то, что мы называем мышлением (хотя бы искры), или же они достигают всех впечатляющих результатов без крупицы понимания. Сложность в том, что LLM то блещут умом, то проявляют вопиющую глупость, а спорщики выдергивают нужные им примеры.

Но примеры ничего не доказывают, еще и потому, что ответы могут сильно зависеть от нюансов промпта, и эту магию еще предстоит освоить. Есть ощущение, что модель знает больше, чем обычно следует из ее ответов, и при более умелых запросах она улучшает вывод. Предельной глубины этих улучшений мы не знаем.

Из общих соображений: LLM не мыслит, всего лишь предсказывает следующий токен. Это верно, но не содержательно. Потому что и мозг всего лишь минимизирует удивление.

Недавно по LLM высказался Хомский, заметив, что разум стремится не выводить грубые корреляции между точками данных, а создавать объяснения. И если языковые модели выдают наиболее вероятное продолжение запроса, то объяснение – это нечто прямо противоположное. “Теория о том, что яблоки падают на землю, потому что масса искривляет пространство-время (точка зрения Эйнштейна), крайне маловероятна, но на самом деле она объясняет, почему они падают”.

Пример с яблоками вызвал дискуссию в рассылке Connectionists, после того как Терри Сейновски, используя GPT, разбил довод Хомского. И понеслась. Включились в т.ч. и Хинтон с Маркусом, см. весь тред Chomsky's apple.

В The New Yorker Кэл Ньюпорт детально разбирает принцип работы GPT и убеждает читателя в том, что LLM вовсе не инопланетный разум, с которым мы теперь должны учиться сосуществовать. Текст хорош, но довод все тот же: LLM всего лишь предсказывает следующий токен.

Думаю, можно представить аналогичный текст, в том же ключе описывающий работу мозга — его даже мог бы написать GPT-4, получив статью Кэла в качестве промпта.

Видео Sparks of AGI: early experiments with GPT-4 — лекция Sebastien Bubeck из Microsoft, первого автора тех самых “искр общего интеллекта”.

Апрельский выпуск Cell посвящен раку. На обложке метафора болезни, запутанный клубок, который совместными усилиями стремятся распутать разные силы общества, от ученых и медиков до фарм-компаний и самих пациентов.

В журнале — текущее состояние и перспективы, но отдельно отмечу обзор Cancer neuroscience: State of the field, emerging directions, в нем подробно про взаимосвязи нервной системы и раковых клеток. Прямо SOTA по данной теме, рекомендую читать в продолжение этого. Третий игрок, иммунная система, тоже тесно связана с нервной, и обзор подтверждает иммунную память в мозге, о чем я писал полгода назад.

Нейробиология рака относительно молодая тема, но уже видно, что ЦНС/ПНС играют едва ли не ключевую роль, и способы лечения будут адаптироваться к ней.

GPT, мозг и сверхстимулы | Новый препринт от MIT Language Lab сразу напомнил работу, где генеративная нейросеть сочиняла картинки, возбуждающие нейроны у обезьян. По сути, это развитие той же идеи, только уже не на картинках, а на текстовых фразах для людей. В препринте, конечно же, ссылаются на ту статью, тем более, что авторы работают в соседних зданиях и наверняка знакомы.

Главное: в обоих случаях речь идет о создании сверхстимулов для мозга через ИИ генерацию

Радует, что Эвелина Федоренко, главный автор препринта, похоже, читала мой текст “Гуманизированные макаки, сверхстимулы и китайская стратегия”. Тогда, в 2019 году, по поводу той статьи про картинки для макак я писал:

“Заметим, что сверхстимулы для людей могут быть и семантическими, то есть вызывать нужную реакцию за счет смысла, заложенного в текст, видео или мем. Такой сверхстимул будет воздействовать на мозг сильнее, чем контент, создаваемый обычным путем, и будет, вероятно, так же причудлив, как сгенерированные картинки”.

Именно это и сделали в MIT Language Lab.

Конечно же, насчет “читала” шучу. 😉 Все это напрашивалось и сразу пришло бы на ум и без моей помощи. Хотя основания пошутить у меня есть, поскольку сотрудница Эвелины тогда же перевела ту мою статью на английский (вот здесь).

Если же серьезно — я угадал верно, сверхстимул правда не похож на естественно создаваемый текст:

Indeed, we discovered that drive sentences were unusual on various dimensions. Given their properties, these sentences are a priori unlikely to be created or selected by experimenters and unlikely to be present in naturalistic stimuli, like stories, and yet these stimuli are able to drive responses in the language network.

Ну и совсем серьезно: данное направление исследований — мозг + генеративный ИИ — может иметь далеко идущие следствия, поскольку выводит наружу скрытые свойства ЕИ. Так что стоит следить за его развитием.

☝️ Вот такие изображения, создаваемые ИИ, возбуждали выше естественного уровня нейроны в зрительной коре обезьян. — Science, 2019

Для людей сверхстимулами служили фразы типа “Turin loves me not, nor will” или “People on Insta Be Like, “Gross!”, сочиненные GPT. На это перевозбуждались клетки мозга, входящие в language network. — bioRxiv, 2023

Biology hacking itself |Майкл Левин выложил у себя на youtube канале доклад на Robosoft 2023: Xenobots, AI, and You. Любой его доклад обычно хорош, но этот самый свежий, апрельский.

То, о чем говорит Левин, имеет прямое отношение к вопросам регенерации органов/конечностей, созданию живых роботов и, вероятно, решению проблемы рака и старения. И в фундаментальном плане — что такое жизнь и интеллект.

Ценно, как от экспериментов он переходит к нетривиальным интерпретациям, а от них — к обобщениям, которые встряхивают картину мира. На вещи начинаешь смотреть под другим углом.

Журнал Research Directions готовит подборку статей по агентным материалам. Про «агентную материю» можно прочесть здесь. Тут явная параллель с областью ИИ, где предстоит решать схожие проблемы: не программировать агента, а обучать и убеждать. Ключевой инструмент и там, и там — когнитивные технологии.

Заодно, раз уж речь про Левина, при его участии вышел новый Interface Focus на тему: ‘Making and breaking symmetries in mind and life’. Это уже сугубо теоретическое осмысление с привлечением понятий из физики.

Понимание, которого нет | Попался грамотный разбор на тему “понимает ли ИИ”. Автор, молодой профессор психологии, задает GPT вопросы, не сложные, а именно очень простые, чтобы выявить структуру, стоящую за ответами.

“Важно отметить, что смысл всего этого не в том, что GPT совершает глупые ошибки. Мы тоже совершаем глупые ошибки! Но… картина ошибок GPT предполагает, что процесс, стоящий за ними, отличается [от нашего] по своей природе — баснословная сложность без структурной целостности”.

Он считает GPT крутыми имитаторами, но без модели мира и искр интеллекта. Не закрыл вопрос, но изложил внятные доводы. Пишет легко, корректно и содержательно.

Jaron Lanier тоже не нашел в GPT ума. В эссе в New Yorker он предлагает считать их инструментом для создания коллажей из творений человеческого разума. По его мнению, генеративный ИИ, как технология, нетривиально объединяет разные фрагменты и стили из созданного нами:

“Это значительное достижение, которое стоит отметить, но его можно рассматривать как прояснение ранее скрытых соответствий между человеческими творениями, а не как изобретение нового разума”.

См. также Terrence J. Sejnowski “Большие языковые модели и обратный тест Тьюринга” — то, что кажется интеллектом у LLM, на самом деле может быть зеркалом, отражающим интеллект интервьюера, пишет Сейновски. Он считает, что наши старые представления, основанные на естественном интеллекте, неадекватны.

Словом, пока нет даже зачатков ИИ.

Правда, все рассуждения такого рода опускают возможность, что интеллект может быть не сплошным. Если понимание у машины похоже на архипелаг, то мы будем натыкаться как на глубокие и верные ответы, так и на фиаско в очевидных ситуациях. Не поставлю денег на именно этот сценарий, но вполне допускаю, что ИИ явит некие новые формы, отличные от ЕИ человека.

Насчет ЕИ тоже вопрос, так ли мы умны по отдельности: What Makes Us Smart? Разум созревает в обществе других разумов, понимание нередко распределено между ними.

Дебаты будут длиться еще долго. Но со временем их смысл может инвертироваться: понимают ли GPT, для практики их использования будет не столь важно, зато исследование этих вещей наверняка прольет свет на то, как понимают люди.

Пролетаем сквозь мышь. Не анимация, все настоящее.

Карты иннерваций, сосудов, лимфатических узлов — все теперь видно в подробностях. Похоже на CLARITY, только круче.

Новая техника визуализации делает тело прозрачным, а затем туда вводят флуоресцентные антитела, которые маркируют определенные типы клеток. Так можно “подсветить” разные органы и системы, изучив их анатомию и связи.

Авторы выложили аж 25 роликов для примера.

🗞Препринт
🗞 Сообщение в Science