Титанический труд!
Сравнение Midjourney и Dalle3 на огромном количестве примеров.
С комментариями автора.
Респект!
https://atachkina.com/dalle3

Чтение мыслей по поводу чтения.
Про то, что добровольцев присовывают в фМРТ и дают им слушать музыку, смотреть картинки и даже видео, а потом пытаются реконструировать увиденное-услышанное, я уже писал.
Тут же эксперимент немного более "тонкий" и связанный с вопросом о том, как мы "мыслим на языке".
Теперь добровольцев присовывают в фМРТ и просят их читать книжки. То есть воздействуют на мозг не "прямыми" сигналами типа картинок и звука, а как бы "вторичными", пропущенными, через генерацию образов, возникающих в голове во время чтения. То есть, чтение порождает картинки в голове(ну или у кого как, назовем это триггеры-ассоциации в голове), а исследователи пытаются ухватить эти порожденные чтением сигналы.

"Когда мы думаем о словах или фразах, в голове активизируются участки мозга, контролирующие речь. Используя фМРТ-сканирование людей во время чтения и последующего обдумывания, исследователи обучили программу декодирования составлять карту речи и мышления каждого человека, что позволило ей распознавать сигналы мозга и переводить их в слова или фразы. Испытуемые читали в течение 16 часов, а программа-декодер отображала каждый образ мозга и ассоциировала его со словом или фразой."

Получилась карта связей, которая включала три подмножества активированного мозга: речевой, ассоциативный и префронтальный. Сложность заключалась в том, что каждый участок мозга при анализе дешифратором выдавал разные последовательности слов. Предполагается, что это связано с тем, что слов гораздо больше, чем возможных изображений мозга, в результате чего дешифратор выдает наилучшую оценку на основе 16-часового набора данных по чтению.

Например, дешифратору была предложена следующая фраза: "Я нарисовал для тебя эту карту, и ты действительно находишься в полутора милях от дома". Левая префронтальная кора выдает следующую последовательность: "номер на карте и выяснить, как далеко им пришлось проехать, чтобы добраться до адреса", в то время как правая префронтальная кора выдает "просто посмотреть, сколько времени это займет, поэтому я проехал вниз по холму и к банку".

Исследователи быстро обнаружили, что точные переводы встречаются редко, поэтому они стремились к тому, чтобы дешифровщик смог передать как минимум основной смысл предложения. В большинстве случаев дешифровщик хорошо передавал общий смысл, заложенный в текст.

В статье напрямую обсуждаются невербальные коммуникации, то бишь аналоги телепатии. И это прям бодрит.

Ну и есть повод поумничать, и вспомнить Тютчева и «Мысль изрече́нная есть ложь...». Которую мы измеряем в фМРТ.

А также поразмыслить о том, как же здорово языковые (и дифузионные) модели имитируют кожаное мышление, сжимая информацию подобно джипегу (хотя бы в процессе токенизации), а при распаковке остается общий смысл, но детали могут теряться. Или вообще искажаться.
И у каждого в голове свой JPEG этого мира, пропущенный через язык, на котором мы думаем, с довольно сильной (огромной) степенью сжатия.

https://www.forbes.com/sites/williamhaseltine/2023/08/16/translating-thoughts-into-words-advances-in-brain-machine-communication/amp/

Сейчас все обсуждают статью от Microsoft "Рассвет больших языковых моделей: предварительные эксперименты с GPT-4V(ision)", где у GPT-4 появилось "зрение".

В кругах, которые занимаются Computer Vision легкий шок, от "а что так можно было" и "как же это круто" до "а что теперь делать/чем заниматься, если вдруг 90% планируемых к решению задач вдруг решены"(утрирую, конечно).

Но я хочу процитировать один пост, в котором рассматривается влияние этого прорыва на психологию. Как человек, больной на всю голову, я неровно дышу к идее изучения психологического устройства кожаного мешка через издевательства на большими языковыми моделями.

"Для нас как психологов особенно важными являются 7 и 8 параграфы, описывающие способность GPT-4V(ision) эффективно решать тесты на невербальный и эмоциональный интеллект, в которых стимулы предъявляются в зрительной модальности – так же, как и человеку. Описывается успешная работа GPT-4V(ision) с тестом Равена, тестом Векслера, тестом на распознавание лицевых экспрессий и др. В целом, когнитивный успех GPT-4V(ision) подтверждает стремительно множащиеся сейчас слухи, что в недрах OpenAI, на самом деле, уже создана сверхмощная мультимодальная модель, гораздо более приближенная к AGI, чем любая из публично представленных версий GPT-4"

Подробнее вот тут: https://t.me/andrey_kiselnikov/714
Там же ссылка на саму статью.

Decaf Mocap

А вот это уже похоже на что-то серьезное, в отличие от мамкиных нейромокапов.

Во-первых, это институт Макса Планка, во-вторых - это Valeo.ai, которые занимаются компьютерным зрением для автономных автомобилей, работая с огромным количеством датчиков.

На итоге - трехмерное восстановление 3D-движения рук и лица вместе с деформациями по одному видео с одной камеры!!!

Внутри вариационный автокодер, обеспечивающий предварительную оценку глубины лица и рук, и модули, управляющие 3D-слежением путем оценки контактов и деформаций.


https://vcai.mpi-inf.mpg.de/projects/Decaf/

Внутри детали и большое видео с объяснениями.