Недавно продемонстрировали передачу данных по 200-километровому оптоволокну на скорости 256 Тбит/с. Суть в том, что пока свет летит эти 200 км, внутри самого кабеля «в полете» одновременно находится 32 ГБ данных — получается своеобразное хранилище с пропускной способностью 32 ТБ/с. Так как у нейросетей порядок обращения к весам заранее известен и предсказуем, можно представить забавную систему вообще без оперативной памяти (DRAM). Веса просто крутятся по замкнутому оптоволоконному кольцу и залетают в L2-кэш чипа ровно в тот момент, когда они нужны для вычислений. Это по сути современный аналог древней памяти на ртутных линиях задержки. Чтобы запускать модели на триллионы параметров, такие петли пришлось бы выстраивать в сложные конвейеры, но, учитывая, что пропускная способность оптоволокна растет быстрее, чем скорость DRAM, когда-нибудь это может стать реальностью.

Если же говорить о более практичных вещах, то можно просто взять много дешевой флеш-памяти и объединить её в массив (параллельно), чтобы получить почти любую требуемую скорость чтения. Главное условие — читать данные крупными блоками (страницами) и грамотно настроить предзагрузку, чтобы данные приходили на чип заранее, перекрывая задержки доступа. Это решение подошло бы для инференса уже сегодня, если бы производители флеш-памяти и AI-ускорителей смогли договориться о едином высокоскоростном стандарте подключения.