Сейчас смотрю недавнее интервью с Ильёй Сатскевером, главным ресерчером в OpenAI и кофаундером компании. Топовый чувак, которого я безмерено уважаю за его вклад в развитие AI, начиная с архитектуры Alexnet и заканчивая GPT.

Кстати, Илья родился в России и вырос в Израиле. Но потом переехал в Канаду и в 17 лет уже начал работать с Хинтоном, что и определило его научную карьеру.

Илья утверждает, что обучение глубокой модели предсказывать следующее слово в пределе может привести к очень подробному понимаю мира. Нужно только чтобы модель была очень мощная и обучающая выборка всеобъемлющая. Его мысль в том, что если ты хорошо выучил распределение слов и фраз в языке, то ты натурально уже начал понимать как устроен мир, смотря на него через призму текста.

Я не совсем согласен, ведь тут все очень зависит от того, какие тексты вошли в трейн. Вымысел может путаться с реальностью. Тогда это не является действительным понимание мира.

Бороться с галлюцинациями моделей Илья предлагает с помощью дообучения их человеческим фидбеком (RLHF). Он надеется что так они смогут научить модели не галлюцинирвать. Но это ещё предстоит поисследовать и понять, так ли это.

Видео – обязательно к просмотру всем интересующимся AI и адептам скорого прихода AGI.

@ai_newz

Доклад об анализе ЭЭГ

29 марта 2023 года (среда), 16:30 МСК

Андрей Васильевич Курганский

к.б.н., в.н.с. лаборатории нейрофизиологии когнитивной деятельности Института возрастной физиологии РАО

О способах анализа ЭЭГ и подготовки к нему

Малый зал Института психологии РАН (к. 201)

+ Jitsi: https://meet.jit.si/PROPsychophysiology (открывается в браузере, не требует установки)

⬆️⬆️⬆️ Андрей Курганский -- хороший методист. Надеюсь, этот его доклад будет для многих интересен и полезен!

Новости ChatGPT-4: искусственные музы и самоулучшение кода

https://t.me/andrey_kiselnikov/528 и следующие три поста -- как обычно у Андрея Кисельникова, не без некоторой экзальтации, но в этот раз есть интересное. Сингулярность на пороге, "использующий GPT4-технологии искусственный программист стремительно догоняет человеческий уровень"... С этим можно спорить, но да, мир меняется, причем эти изменения принесут, добавлю от себя, и серьезные -- но, скорее всего, все же решаемые -- проблемы.

Оригинальные тексты:

Jennifer Haase, Paul H. P. Hanel. Artificial muses: Generative Artificial Intelligence Chatbots Have Risen to Human-Level Creativity. arXiv, 21 Mar 2023 https://doi.org/10.48550/arXiv.2303.12003

Noah Shinn, Beck Labash, Ashwin Gopinath. Reflexion: an autonomous agent with dynamic memory and self-reflection. arXiv, 20 Mar 2023 https://doi.org/10.48550/arXiv.2303.11366

Занятный (хотя и не на 100% убедительный, и наверняка не новый) аргумент из первого препринта:

Brain scan analyses showed that idea generation is similar to knowledge retrieval [41]. Thus, similar to GAIs, we retrieve and recombine existing knowledge to make it appear new.

Нейроинтерфейсные технологии Полины Аникеевой

В комментах подсказали отличное выступление Полины с рассказом непосредственно о технологиях, которые разрабатывает ее лаборатория для гибкого и биосовместимого интерфейсинга с головным и спинным мозгом (последний, как упоминает Полина, может растягиваться при движении аж на 20%!):

https://youtu.be/q4s2sYbNK3Y

За те же 15 минут масса всего, причем рассказано очень понятным языком. Правда, это тоже 5 лет назад.

Лаборатория Полины Аникеевой: https://bioelectronics.mit.edu/

Brain Criticality - Optimizing Neural Computations
https://www.youtube.com/watch?v=vwLb3XlPCB4

Рекомендую к просмотру это образовательное видео о концепции самоорганизованной критичности (см. отличную обзорную статью А.В. Подлазова "Теория самоорганизованной критичности — наука о сложности" в списке литературы, англ. название - Self-Organized Criticality, SOC) применительно к спайковой активности биологических нейронных сетей.

Эта тема - характеристика динамических состояний мозга в терминах статистической теории фазовых переходов (в частности, SOC), после некоторого спада, вновь стала активно обсуждаемой [https://doi.org/10.1016/j.tins.2022.08.007]. С точки зрения моделирования, тут всё ещё много четко поставленных содержательных задач, доступных для самостоятельного решения студентами.

PDF версию книги John M. Beggs "The Cortex and the Critical Point" (MIT Press, 2022), которая упоминается в конце видео, а также три ключевые статьи по теме (первоначальную статью 2003 года, с которой началась эта тема, обзор 2007, и критическую статью 2017), прикрепляю.

Особенно рекомендую прочитать содержательную критическую статью "Power-law statistics and universal scaling in the absence of criticality" (2017), которую автор видео, скорее всего, не читал (т.к. она важна в этой теме, а он её не упоминает).

Продолжение критики, теми же авторами: "Is There Sufficient Evidence for Criticality in Cortical Systems?" (2021); https://doi.org/10.1523/ENEURO.0551-20.2021

PS: На самом деле, в этой теме сейчас по-прежнему идет настоящая битва за правильность утверждений, обобщений и интерпретации.

Философствование о нейроинтерфейсах в замечательном подкасте Марка Девельмана Den of Rich

#758 - Сергей Шишкин: Будущее нейроинтерфейсов, обнаружение намерений, коэволюция человечества и AI -- 26.3.2023

0:40 Помогут ли нейроинтерфейсы общаться? Выражать трудно выражаемое?

7:35 Нейроинтерфейсы - воплощение мечты об исполнении желаний без усилий? "По щучьему велению, по моему хотению"?

8:27 От желания к намерению, стадии формирования намерения... куда подключить интерфейс мозг-компьютер?

11:44 Зачем делают нейроинтерфейсы для здоровых людей? Перформансы, концепт-кар Мерседеса...

16:33 Идея Маска о соединении человеческого мозга с ИИ: кто кем будет управлять? Как отслеживать ошибки?

22:05 Что останется для нас важным в нашем интеллекте, когда он совсем отстанет от ИИ?

26:18 Возможности массовой манипуляции через общие опорные точки

31:57 Куда и почему бегут ученые и разработчики технологий? Что мотивирует Маска?

40:31 Желание людей -- желание некоего ждущего своего часа ИИ?

48:32 Свобода воли

51:00 Когда намерения меняются под действием самоконтроля -- это не баг, а фича?

54:52 Ощущение свободы воли и эволюция

1:00:41 Сознание у машин, их выход из-под контроля, можно ли это предотвратить (ИИ не расползается по чайникам...)

1:18:32 ИИ сделан человеком, или за его развитием стоит кто-то еще?

1:22:37 Бритва Оккама -- ограничивает свободу познания?

1:23:54 Ноосфера Вернадского и ритмы мозга, или Хайп и артефакты

1:31:08 ЭЭГ и МЭГ как телескопы Хаббла и Уэбба

1:33:37 Как найти в мозге намерение?

1:39:12 Интерфейс глаз-мозг-компьютер: управление через ожидание управления?

1:42:35 Декомпозиция намерения на истинное и социально-желательное? Нейромаркеры намерения

1:46:38 Воспитание правильных намерений гаджетами?!

1:50:45 Нейротехнологии в образовании: как не надо делать

1:55:44 Может ли нейроинтерфейс помочь в сложной деятельности?

1:58:22 "Флуэнтный" нейроинтерфейс для креативности

2:03:04 Когда для экспрессии нужны психологи, и когда (может быть...) нейроинтерфейсы

2:14:38 Право на неполное раскрытие, оптимальность естественных каналов коммуникации

2:22:48 Марк об анатомии взаимодействия и типах беседы

YouTube

Apple podcast

Spotify

Google podcast

Получилось довольно сумбурно, но, кажется, удалось сказать много такого, что в более академических форматах обычно остаётся за кадром. Марк -- умный и тонкий собеседник, и явно неплохо подготовился к разговору, что было особенно приятно. Хотя он и уводил временами в какую-то хрень вроде того, что за тайная воля стоит за всем этим развитием ИИ ))

Наверное, мне стоило меньше говорить на темы, в которых я не специалист, вроде того же ИИ или психологии формирования намерения... а может быть, такой разговор все же был вполне нормален, ведь никто, надеюсь, не будет воспринимать сказанное подкасте с той же серьёзностью, как написанное в научной статье.

В подкасте Den of Rich раньше уже вышло множество интересных выпусков, вот только некоторые:

Computer science, Artificial intelligence & Mathematics

Евгений Бурнаев https://youtu.be/HiOqfQVmXao

Александр Горбань https://youtu.be/ndNkCpIvy0s

Сергей Карелов https://youtu.be/QEMWdj0QXes

Александр Кулешов
https://youtu.be/8s0emXns5u8

Иван Оселедец https://youtu.be/mWwFjvFB4MM

Григорий Сапунов https://youtu.be/aE3eALjKry8

Андрей Устюжанин https://youtu.be/Z4va_d0xkD0

Сергей Шумский https://youtu.be/pXwmOgXm-Gs

Давид Ян https://youtu.be/cAOeMqrLxug

Natural Science

Наталья Галкина https://youtu.be/awaB-aZ43zI

Михаил Гельфанд https://youtu.be/ZXtor0ohF2E

Вячеслав Дубынин https://youtu.be/rhbYrmf1yHs

Виталий Егоров https://youtu.be/sH6E94YpXRs

Илья Захаров https://youtu.be/j_q41X_qsYs

Андрей Калиничев https://youtu.be/YQXSW_EPh3Q

Александр Каплан https://youtu.be/eexJ0Z-alEA

Михаил Кацнельсон https://youtu.be/YGq6OR6weL4

Андрей Кислов https://youtu.be/iNZVLC07W9w

Евгений Кунин https://youtu.be/-KwSzn8d654

Андрей Мячиков https://youtu.be/bZaFFi_fkXM

Артем Оганов https://youtu.be/Ta8RGGYi1BI

Алексей Осадчий https://youtu.be/KfS36O-aQM0

Сергей Попов https://youtu.be/XZ6xh0QoCFE

Ирина Якутенко https://youtu.be/3Ht85fvFNzo

Psychology & Personal Development

Александр Поддьяков https://youtu.be/Jj08u30Dg50

Владимир Спиридонов https://youtu.be/to_j7mYyYnw

Мария Фаликман https://youtu.be/5dhnjRRYtTA

Philosophy, Religion & Politics

Вадим Васильев https://youtu.be/98zgVebEhwQ

Лев Гудков https://youtu.be/q9ELP_eqndg

Елена Косилова https://youtu.be/ETVYYOtjlnk

Алексей Козырев https://youtu.be/vxkYcdn3RGg

Андрей Колесников https://youtu.be/ak7K9JXW4MU

Антон Кузнецов https://youtu.be/FqvI583hQYw

Владислав Лекторский https://youtu.be/BEIeqemLWlk

Довольно занятный контраст с подкастом, записанном пару лет назад в студии РИА Новости (к сожалению, почему-то названным неприличным даже на тот момент названием, противоположным содержанию) -- кажется, во вчерашней записи я был чересчур расслабленным и оттого не всегда следил за формулировками... недооценил эффект сочетания неофициозной манеры ведущего, воскресения и пребывания дома на собственном диване. Зато теперь есть возможность сравнить мои рассказы о нейроинтерфейсах в двух противоположных тональностях :)

Сегодня, похоже, первая годовщина нашего канала. С чем я и поздравляю всех подписчиков!

Воспользуюсь этим событием как поводом, чтобы высказать одну просьбу: пожалуйста, почаще ставьте лайки, дизлайки и прочие реакции к постам! Они никак не влияют на просмотры или на число подписчиков, но поддерживают во мне представление о том, что канал кому-то интересен, а может быть, и до некоторой степени небесполезен. Этому представлению способствует, конечно, факт роста числа подписчиков -- на данный момент уже 1557 человек. Но все же немного удручает, что число реакций, если они вообще есть, почти всегда на пару порядков отстаёт от числа просмотров. Никто, включая меня, не видит, кто "автор" реакции в канале (надо только иметь в виду, что в комментариях/чате другая ситуация -- пока реакций мало, авторов там видно; но это только там). Так что стесняться попросту некого! 😃

Когда мне прислали эту новость, я подумал, что это точно фейк:

https://rtvi.com/news/direktor-instituta-obshhej-genetiki-ran-zayavil-chto-lyudi-v-proshlom-zhili-900-let/

Но, к сожалению, есть видеозапись (смотреть с 59-ой минуты):

http://church.by/news/sostojalasiiimezhdunarodnaja-nauchno-bogoslovskaja-konferencija-bog-chelovek-mir-organizovannaja-minskoj-i-sretenskoj-duhovnymi-akademijami-video

Так что Комиссии РАН по борьбе с лженаукой есть над чем поработать.

А.М.Кудрявцев был избран членом-корреспондентом РАН в 2019 году по специальности «генетика растений», причем он был единственным выдвинутым кандидатом по этой специальности, так что, по сути, это было утверждение кандидата, а не выборы.

Я помню, что тогда еще все недоумевали, как это может быть в «высококонкурентном» Отделении биологических наук (на тех же вы выборах по специальности «общая биология» было 15 кандидатов на одно место).

О новой работе наших коллег по МЭГ-центру:

РАН как научный руководитель Курчатника

"Научное и научно-методическое руководство деятельностью Центра осуществляет федеральное государственное бюджетное учреждение "Российская академия наук", - говорится в дополнении к уставу НИЦ <...>

Такое изменение в устав НИЦ внесло постановление правительства от 24 марта 2023 №461

Курчатовский институт переведен под научное руководство РАН
27 марта 2023 года
https://www.interfax.ru/amp/893153

В нынешней конфигурации, кажется, это означает лишь увеличение сугубо бюрократической активности и бюрократических обременений для тех, кто там ещё остается.

Задачи первых 10 лет B.R.A.I.N. Initiative -- разработка новых методов исследования мозга -- мне кажутся куда более рациональными, чем то, что предполагается делать дальше. Ох уж эти супермегапроекты ...
⬇️⬇️⬇️

О новых целях американского мега-проекта по исследованию мозга, BRAIN Initiative, в следующем десятилетии

В этом году исполняется 10 лет (и подводятся итоги по) двум конкурирующим мега-проектам по исследованию мозга: американскому BRAIN Initiative [1] и евросоюзному Human Brain Project (HBP) [2].

Субъективно, BRAIN (аббр. от Brain Research Through Advancing Innovative Neurotechnologies - Исследование Мозга посредством Передовых Инновационных Нейротехнологий) Initiative представляется более конкретным и успешным, чем HBP (где заявленные цели были амбициознее, а результаты в целом получились им несоответствующими), хотя ни тот, ни другой проект пока не привели к резкому качественному скачку в понимании природы функций мозга.

В этой заметке будут кратко описаны три новые цели равной значимости, поставленные перед консорциумом BRAIN Initiative на следующие 10 лет. Эти цели были описаны в небольшой статье [3] в журнале Cell в январе 2022.

Цель №1: Создать полный атлас всех клеток мозга человека (англ. comprehensive human brain cell atlas). Предвестником и заделом для работы по достижению этой цели служит завершенный в 2021 году под-проект по мультимодальной (т.е. сразу по многим параметрам) классификации - "переписи" (англ. census) - всех клеток первичной моторной коры головного мозга мыши, мартышки и человека, и создание соответствующих атласов [4].

Отдельно стоит отметить, что планируемый полный атлас клеток мозга человека должен также 1) содержать все возрастные изменения - от первичного развития до деградации, связанной со старением (другими словами - атлас клеток мозга новорожденного, ребенка, подростка, взрослого и пожилого человека), 2) отражать популяционное разнообразие людей и 3) содержать данные как для здоровых людей, так и больных - с мозговыми травмами и страдающих неврологическими заболеваниями.

Цель №2: Создать карту межклеточных соединений для целого мозга млекопитающего (англ. ориг. whole mammalian brain microconnectivity map). Другими словами, создать полный коннектом мозга [5, 6, 7]: как минимум - для мыши, а если удастся, то и для мартышки или даже человека. Признается, что для достижения этой цели потребуются принципиально новые - масштабируемые - технологии картирования межнейронных связей (ставка делается в т.ч. на передовые алгоритмы машинного обучения), а также технологии хранения результирующих данных: в частности, для мозга мыши объем данных коннектома оценивается в 1 эксабайт, а для мозга человека - в тысячу раз больше, что сопоставимо с объемом годового трафика всей сети интернет. По-моему, такие оценки чрезмерно преувеличены и не учитывают явные закономерности в межнейронных связях мозга (т.е. того, что связи отнюдь не совершенно случайные [8]), которые наверняка помогут сжать объем данных на порядки величины.

Цель №3: Разработка методов прецизионного доступа к определенным типам клеток мозга (англ. ориг. tools for precision access to brain cell types). Тут, в первую очередь, подразумевается дальнейшая разработка различных генетических методов (уже опробованных на червях, дрозофиле и зебрафиш - рыбе-зебре), а также новые методы редактирования генома определенного типа клеток мозга (см. цель №1 выше) с помощью вирусов, "заряженных" нужными фрагментами генетического кода, который надо встроить в геном.