Там небезызвестный в ИИ кругах Ян Лекун выдал базу. Да-да, это тот самый перец, фото которого красовалось на башне Бурдж-Халифа со ставкой от властей ОАЭ на привлечение специалиста к себе.

Так вот база:
Язык имеет низкую пропускную способность: менее 12 байт/сек. Человек может прочитать 270 слов/мин, что составляет 12 байт/с (2 байта за токен). Современные модели обычно тренируются на 2х10^13 байтах, что займет для нас около 100.000 лет чтения по 12 часов в сутки.

У зрения же пропускная способность гораздо выше: около 20 МБ/с. Каждый из двух оптических нервов имеет 1 миллион нервных волокон, каждый принимает около 10 байт/с. 4-летний ребенок не спит в общей сложности 16.000 часов, что означает 10^15 байт.

Другими словами:
- Пропускная способность данных визуального восприятия примерно в 16 млн раз превышает пропускную способность данных письменного (или разговорного) языка.
- Всего за 4 года ребенок увидел в 50 раз больше данных, чем самые крупные LLM, обучаемые по всему тексту, доступному в интернете.

Это говорит нам о трех вещах:
🟢 Текст очень излишен, а визуальные сигналы в оптических нервах еще более избыточны (несмотря на 100-кратно сжатые версии выходов в сетчатке). Но избыточность данных — это *точно* то, что нам нужно для Self-Supervised Learning (SSL - самоконтролируемого обучения), чтобы захватить структуры данных. То есть чем больше избыточность, тем лучше для SSL.
🟢Большая часть знаний человека (и почти все знания животных) исходит из нашего сенсорного опыта физического мира. Язык - это вишенка на торте. Нам нужен торт для поддержки глазури.
🟢 ИИ никогда не достигнет человеческого уровня без обучения на сенсорных входах с высокой пропускной способностью, таких как зрение.

Да, некоторые люди могут быть умнее остальные, даже будучи одновременно слепым и глухим. Но не без прикосновений, они тоже имеют довольно высокую пропускную способность.

@xor_journal