Introducing Structurally Flexible Neural Networks (SFNNs)! SFNNs overcome structural rigidity in neural networks, enabling them to adapt across multiple environments with different numbers of inputs & outputs and invariance to them being permutated.

– Если модели нужны промежуточные размышления, то активируются фичи, которые отвечают за “пропущенный концепт”. На конкретном примере: если модели нужно ответить на вопрос “Кто был главным соперником команды, в которой играл Коби Брайант”, то больше всего на финальный ответ “Boston Celtics” будут влиять фичи “Коби Брайант” -> его команда “Los Angeles Lakers” (пропущенный концепт) -> фича, отвечающая за спортивные противостояния.

lr = 1 # НУ
lr = lr * 0.95

we developed σ-GPT, capable of generating sequences in any order chosen dynamically at inference time.

Утверждается, что операции MatMul можно полностью исключить из LLM, сохраняя при этом высокую производительность в масштабах с миллиардами параметров, а за счет использования оптимизированного ядра во время вывода потребление памяти их модели может быть уменьшено более чем в 10 раз по сравнению с неоптимизированными моделями.

Предлагаемый LLM без MatMul заменяет операции MatMul в плотных слоях тройными накоплениями с использованием весов, ограниченных {-1, 0, +1}. Это снижает вычислительные затраты и использование памяти, сохраняя при этом выразительность сети.

Чтобы удалить MatMul из внимания, Gated Recurrent Unit (GRU) оптимизирован для использования исключительно поэлементных произведений, создавая микшер токенов Linear GRU (MLGRU) без MatMul. MLGRU упрощает GRU, удаляя веса, связанные со скрытым состоянием, обеспечивая параллельные вычисления и заменяя оставшиеся веса троичными матрицами.

Специальный ускоритель FPGA создан для использования упрощенных операций LLM без MatMul. Ускоритель обрабатывает модели с миллиардом параметров с производительностью 13 Вт, превышающей удобочитаемую для человека производительность, демонстрируя потенциал эффективности, сравнимой с эффективностью мозга, в будущих легких LLM.

Flow-matching implementation

Flow-matching is very similar to diffusion, but simplifies things. Noised images are linear interpolations between (data, noise) pairs, and the network predicts *velocity* of this trajectory.