import torch
import torch.nn.functional as F

D = 1024

# Векторы концепций
a, b, c, d = F.normalize(torch.randn(4, D))

# Исходные суперпозиции
S1 = a + b
S2 = c + d

# Произведение суперпозиций
S = S1 * S2
S = F.normalize(S.unsqueeze(0)).squeeze(0)

# Пары концепций
ac = a * c
ad = a * d
bc = b * c
bd = b * d

z = torch.vstack([ac, ad, bc, bd])
z = F.normalize(z)

# Находим пары концепций в результирующей суперпозиции
r = S @ z.T
print(r)
# [0.52, 0.54, 0.53, 0.52]

import torch
import torch.nn.functional as F

D = 1024

# Векторы концепций
a, b, c, d = F.normalize(torch.randn(4, D))

# Исходная суперпозиция
S = a + b + c + d

# Квадрат суперпозиции
S **= 2
S = F.normalize(S.unsqueeze(0)).squeeze(0)

# Пары концепций
aa = a * a
bb = b * b
cc = c * c
dd = d * d
ab = a * b
ac = a * c
ad = a * d
bc = b * c
bd = b * d
cd = c * d

z = torch.vstack([aa, bb, cc, dd, ab, ac, ad, bc, bd, cd])
z = F.normalize(z)

# Находим пары концепций в результирующей суперпозиции
r = S @ z.T
print(r)
# [0.50, 0.52, 0.50, 0.53, 0.27, 0.25, 0.30, 0.28, 0.26, 0.29]

import torch
import torch.nn.functional as F

D = 1024

# Векторы концепций
a, b, c, d = F.normalize(torch.randn(4, D))

# Суперпозиция из попарных взаимодействий концепций
S = (a + b) * (c + d)
S = F.normalize(S.unsqueeze(0)).squeeze(0)

# Читаем из памяти по запросу a
Sv = S * a
Sv = F.normalize(Sv.unsqueeze(0)).squeeze(0)

# Смотрим что прочиталось
z = torch.vstack([a, b, c, d])

r = Sv @ z.T
print(r)
# [-0.06, -0.03,  0.37,  0.39]

import torch
import torch.nn.functional as F

D = 1024

# Векторы ключа и значения
k, v = F.normalize(torch.randn(2, D))

# Запись в матрицу памяти линейного внимания
S = torch.outer(k, v)

# Чтение из памяти по ключу
o = k @ S

# Смотрим что прочиталось
r = torch.dot(o, v)
print(r)
# 1.0

# Запись в векторную память пары ключ-значение как поэлементное произведение
S = k * v
S = F.normalize(S.unsqueeze(0)).squeeze(0)

# Читаем из векторной памяти по ключу
o = S * k
o = F.normalize(o.unsqueeze(0)).squeeze(0)

# Смотрим что прочиталось
r = torch.dot(o, v)
print(r)
# 0.58

Трансформер — это система, которая "трансформирует концепции посредством концепций".

Трансформер не просто применяет выученные правила; он динамически конструирует новые, специфичные для запроса трансформации во время инференса.