Sparse Hash AI
184 subscribers
191 photos
280 videos
4 files
645 links
AI обогатительная разработка ML месторождений. Осторожно, в канале ведутся подрывные работы!
Download Telegram
Sparse Hash AI pinned «💡 Взял трансформер, состоящий из упрощённых слоёв внимания: 𝐟(𝐗) = 𝐗 + 𝐗𝐗ᵀ𝐗 Используя матрицу Грама входных эмбеддингов D, смог без классической итерации по слоям (вообще не трогая и не вычисляя скрытые состояния) получить проекцию входа на выход. «конечный…»
Sparse Hash AI
💡 Взял трансформер, состоящий из упрощённых слоёв внимания: 𝐟(𝐗) = 𝐗 + 𝐗𝐗ᵀ𝐗 Используя матрицу Грама входных эмбеддингов D, смог без классической итерации по слоям (вообще не трогая и не вычисляя скрытые состояния) получить проекцию входа на выход. «конечный…
Наложение причинной маски.

import numpy as np

# 3 токена, 4 признака
X0 = np.random.randn(3, 4)
I = np.eye(3)

# Причинная маска (запрещаем смотреть в будущее)
M = np.tril(np.ones((3, 3)))

# --- Вариант А: Послойный расчет векторов с маской ---
# Слой 1
D0_std = X0 @ X0.T
A0_std = D0_std * M  # Обнуляем верхний треугольник
X1_std = X0 + A0_std @ X0

# Слой 2
D1_std = X1_std @ X1_std.T
A1_std = D1_std * M
X2_std = X1_std + A1_std @ X1_std


# --- Вариант Б: Алгоритм через геометрию матриц Грама ---
D0 = X0 @ X0.T

# Слой 1
A0 = D0 * M
D1 = (I + A0) @ D0 @ (I + A0).T

# Слой 2
A1 = D1 * M

# Общая причинная матрица весов W
W = (I + A1) @ (I + A0)

# Финальный расчет
X2_alt = W @ X0

assert np.allclose(X2_std, X2_alt)
print("Матрица причинных весов W:\n", np.round(W, 3))
Sparse Hash AI
В алгоритм легко встраивается L2-нормализация, применяемая к остаточному потоку в конце каждого слоя. import numpy as np X0 = np.random.randn(3, 4) I = np.eye(3) def l2_norm_rows(M):     # Стандартная нормализация строк матрицы векторов     return M / …
И вариант совместного применения причинной маски и L2-нормализации.

import numpy as np

# 3 токена, 4 признака
X0 = np.random.randn(3, 4)
I = np.eye(3)

# Причинная маска
M = np.tril(np.ones((3, 3)))

def l2_norm_rows(Mat):
    return Mat / np.linalg.norm(Mat, axis=1, keepdims=True)

def get_N_matrix(D):
    diag = np.diag(D)
    return np.diag(1.0 / np.sqrt(diag + 1e-9))

# --- ВАРИАНТ А: Честный послойный расчет самих векторов ---
# Слой 1
D0_std = X0 @ X0.T
A0_std = D0_std * M
X1_unnorm = X0 + A0_std @ X0
X1_std = l2_norm_rows(X1_unnorm)

# Слой 2
D1_std = X1_std @ X1_std.T
A1_std = D1_std * M
X2_unnorm = X1_std + A1_std @ X1_std
X2_std = l2_norm_rows(X2_unnorm)


# --- ВАРИАНТ Б: Геометрический алгоритм (только через матрицы 3х3) ---
D0 = X0 @ X0.T

# Слой 1
A0 = D0 * M
D1_tilde = (I + A0) @ D0 @ (I + A0).T
N1 = get_N_matrix(D1_tilde)
D1 = N1 @ D1_tilde @ N1  # Чистая геометрия после 1 слоя

# Слой 2
A1 = D1 * M
D2_tilde = (I + A1) @ D1 @ (I + A1).T
N2 = get_N_matrix(D2_tilde)

# Сборка финальной причинно-нормализованной матрицы переходов W
W = N2 @ (I + A1) @ N1 @ (I + A0)

# Вычисляем выход всех токенов одним махом
X2_alt = W @ X0

# Проверка совпадения результатов
assert np.allclose(X2_std, X2_alt)
print("Проверка пройдена! Результаты идентичны.")
print("\nИтоговая причинная матрица весов W (верхний треугольник строго нулевой):\n", np.round(W, 4))
Sparse Hash AI
💡 Взял трансформер, состоящий из упрощённых слоёв внимания: 𝐟(𝐗) = 𝐗 + 𝐗𝐗ᵀ𝐗 Используя матрицу Грама входных эмбеддингов D, смог без классической итерации по слоям (вообще не трогая и не вычисляя скрытые состояния) получить проекцию входа на выход. «конечный…
Скрытое состояние – это суперпозиция исходных токенов.
Информация от исходных токенов разными маршрутами течёт в текущие запросы и ключи.

Q2 = q0 + q1 + q2
K1 = k0 + k1 + k2

S(Q2, K1) = Q2·K1 = (q0 + q1 + q2) · (k0 + k1 + k2) =
q0·k0 + q0·k1 + q0·k2 +
q1·k0 + q1·k1 + q1·k2 +
q2·k0 + q2·k1 + q2·k2


Благодаря тому, что получилось вычислить сквозную причинную матрицу переходов W («геометрию» сети) изолированно в пространстве N × N, теперь можно разложить скоры внимания на взаимодействия отдельных потоков.

Можно поточечно распутать элемент S(a, b) (внимание между позициями a и b, a соответствует запросу, b – ключу) – узнать, как конкретно исходный токен i (замешанный в запрос) взаимодействует с исходным токеном j (замешанным в ключ) при формировании внимания между текущими позициями.

В итоге предыдущие наработки в соединении с идеей суперпозиции дали инструмент для «распутывания» скоров внимания.

Скрипт берет итоговый скор внимания между любыми двумя токенами и полностью раскладывает его на составляющие элементы исходных взаимодействий (на матрицу N × N «виртуальных потоков»), наглядно показывая из чего сформировался этот вес.
Слева на картинке – из чего собран вектор-запрос, справа – из чего собран вектор-ключ.

Линии – те самые попарные связи между токенами q·k (см выше), проросшими через сеть внутрь запроса и ключа.

Сила связи (q·k) равна скалярному произведению пары исходных токенов, умноженному на коэффициенты степени их «просачивания» в исследуемую пару QK.

На картинке видно, что к этому (3-му) слою токен T2 как запрос сохранил свою суть (W=0.90), так же как и токен T1 (W=0.87) – как ключ. Компонента от T0 практически отсутствует и в запросе и в ключе.

В итоге вес внимания между запросом T2 к ключу T1 складывается из связи токена T2 к T1 и прямой связи T1.

В примере выше это соответствует:

S(Q2, K1) = Q2·K1 = (q0 + q1 + q2) · (k0 + k1 + k2) ~= q1·k1 + q2·k1

То есть скор в этом примере складывается всего из двух взаимодействий двух токенов.
Они хотели как лучше, выпустили патч для суперкритической дыры в PHP вместе с её обнародованием. Понеслось... Интернет накрыла волна взломов.

———

Роланд: Я что-то пропустил, коммандер? Мы только что спасли шлюз.

Лок: В этом ваша проблема. Вы не заглядываете и на пять минут вперед. Выстрелом из пушки вы уничтожили все наши оборонительные системы и АПУ. На месте машин я бы сейчас послал сюда всех имеющихся охотников. Вы спасли шлюз, капитан? Вы отдали его машинам на блюдечке.
Kronecker Product Attention: Memory-Efficient KV Compression via Structured Factorization
Внимание с произведением Кронекера: эффективное с точки зрения памяти сжатие KV с помощью структурированной факторизации
https://www.alphaxiv.org/abs/2610.12657

———

В статье представлено внимание с произведением Кронекера (KPA), которое представляет активации ключей и значений в виде сумм произведений Кронекера компактных матричных множителей, зависящих от токена.
A Fix for Softmax and Cross-Entropy
Исправление softmax и кросс-энтропии
https://www.alphaxiv.org/abs/2610.31642

В стандартных реализациях softmax, log-softmax и кросс-энтропии есть две численные ошибки. Первая ошибка, схлопывание softmax, округляет градиент логита целевого класса до нуля, если этот логит намного больше остальных, из-за чего сумма градиентов перестает быть равной нулю. Вторая ошибка, компенсация softmax, возникает, когда логиты ученика близки к логитам учителя, и приводит к ненулевым градиентам даже при равенстве логитов ученика и учителя.
Intrinsically Interpretable Attention via Sparse Post-Training
Внутренняя интерпретируемость внимания с помощью разреживания после обучения
https://www.alphaxiv.org/abs/2512.05865

———

Простой метод постобучения, который делает внимание трансформера разреженным без потери качества. Внимание трансформера можно сделать на порядки более разреженным.
Subquadratic Attention with a Hierarchical Tree-Structured Indexer
Субквадратичное внимание с иерархическим индексатором древовидной структуры
https://www.alphaxiv.org/abs/2610.42112

———

Zero-Hop Attention (ZHA), метод, представленный в статье, суммирует группы ключей в дерево и позволяет каждому запросу искать по нему от общего к частному, вместо того чтобы оценивать каждый ключ.
Recursive Sparse Attention: Million-Token Length Extrapolation at Logarithmic Cost
Рекурсивное разреженное внимание: экстраполяция на длину в миллион токенов с логарифмическими затратами
https://www.alphaxiv.org/abs/2611.07232

———

Мы предлагаем RecSA (Recursive Sparse Attention), который строит дерево над KV-кешем: каждый узел суммирует свое поддерево одним ключом и одним значением, полученным усреднением.

* конкурирующая с Zero-Hop Attention (ZHA) работа, вышедшая всего спустя месяц.
Тактика вытеснения боком

https://d.fixupx.com/junior_rojas_d/status/2113062371161981405
Токенный Трансформер

Дожал свой эксперимент по отображению классического трансформера из запутанного признакового пространства в пространство межтокенных связей (граф). Конвертация работает в обе стороны.

В новой форме весь Трансформер (включая эмбеддинги, внимание, OV-контуры, MLP и нормализации) работает в едином пространстве смесей токенов. Скрытая размерность d (ширина трансформера) полностью исчезает из вычислительного графа прямого прохода.

Это дает невероятно прозрачную интерпретацию работы всей LLM.

Спойлер: итоговые логиты трансформера получаются простым взвешиванием прямых (нулевых) логитов на веса предыдущих токенов.

Таким образом, вся архитектура языковой модели (от токенизатора до предсказания следующего слова) укладывается в строгую систему линейных операторов в пространстве токенов, где слои сети лишь перераспределяют веса влияния входных слов на итоговый выбор из словаря.

«Парам-парам пам-пам пам! 😗 ВСЁ!»
GatedV: Self-Gated Values for Transformer Language Models
GatedV: значения с самозатвором для языковых моделей на основе Transformer
https://www.alphaxiv.org/abs/2611.02145

———

В механизме внимания к проекциям значений перед взвешенным суммированием применяют SiLU – поэлементную функцию xσ(x), где значение определяет и собственное содержимое, и собственный затвор.