lr = 1 # НУ
lr = lr * 0.95

we developed σ-GPT, capable of generating sequences in any order chosen dynamically at inference time.

Утверждается, что операции MatMul можно полностью исключить из LLM, сохраняя при этом высокую производительность в масштабах с миллиардами параметров, а за счет использования оптимизированного ядра во время вывода потребление памяти их модели может быть уменьшено более чем в 10 раз по сравнению с неоптимизированными моделями.

Предлагаемый LLM без MatMul заменяет операции MatMul в плотных слоях тройными накоплениями с использованием весов, ограниченных {-1, 0, +1}. Это снижает вычислительные затраты и использование памяти, сохраняя при этом выразительность сети.

Чтобы удалить MatMul из внимания, Gated Recurrent Unit (GRU) оптимизирован для использования исключительно поэлементных произведений, создавая микшер токенов Linear GRU (MLGRU) без MatMul. MLGRU упрощает GRU, удаляя веса, связанные со скрытым состоянием, обеспечивая параллельные вычисления и заменяя оставшиеся веса троичными матрицами.

Специальный ускоритель FPGA создан для использования упрощенных операций LLM без MatMul. Ускоритель обрабатывает модели с миллиардом параметров с производительностью 13 Вт, превышающей удобочитаемую для человека производительность, демонстрируя потенциал эффективности, сравнимой с эффективностью мозга, в будущих легких LLM.

Flow-matching implementation

Flow-matching is very similar to diffusion, but simplifies things. Noised images are linear interpolations between (data, noise) pairs, and the network predicts *velocity* of this trajectory.

void mainImage(out vec4 O, vec2 u)
{
    u = 12.*(u+u - (O.xy=iResolution.xy)) /O.y;
    float a,r;                   
    for(int i; i++<132;O[i%4] = .5-.5*cos(a+a) )
         r = dot(u,u),
         r>1. ? u *= r = 1./r : u,         
         u *= mat2(cos(10.107+vec4(0,33,11,0))) * 5.662,
         u.y += 1.62,            
         a = a*.99+r;       
}