PIR core не знает что такое "токены" — он работает с временными рядами [Batch, Time, Dim].

Текущий вход (текст):
tok_emb = nn.Embedding(vocab_size, n_embd) # дискретные токены → эмбеддинги

Для мультимодальности — просто меняем вход:

  ┌─────────────┬─────────────────────────────┬──────────────────────┐
  │ Модальность │            Вход             │       Проекция       │
  ├─────────────┼─────────────────────────────┼──────────────────────┤
  │ Audio       │ mel-spectrogram [B, T, 80]  │ nn.Linear(80, 768)   │
  ├─────────────┼─────────────────────────────┼──────────────────────┤
  │ Video       │ frame features [B, T, 2048] │ nn.Linear(2048, 768) │
  ├─────────────┼─────────────────────────────┼──────────────────────┤
  │ Sensors     │ IMU/ECG [B, T, 6]           │ nn.Linear(6, 768)    │
  ├─────────────┼─────────────────────────────┼──────────────────────┤
  │ Finance     │ OHLCV [B, T, 5]             │ nn.Linear(5, 768)    │
  └─────────────┴─────────────────────────────┴──────────────────────┘

PIR ядро остаётся тем же!

Вся суть топологии времени преобразованного в пространство - осталась! Всё связано!

Для чата с вами, синтеты создаю языковую маску. Чтобы понимать как работает модель на русском, если англ сильно глаза будет резать. Это хак - маска перевода, но он работает отлично.

Тест 2: "Что такое машинное обучение?"


[RU] Ответ PIR: AI используется в машинном обучении, чтобы улучшить способность ученика мыслить, понимать и относиться к окружающему его миру. Вы можете учить на основе данных и создавать интерактивную среду, где компьютер может учиться...

Неплохое. Даже на странный ввод уже чето адекватное...наблюдаю.

КАК ЖЕ ЧЕШАТСЯ РУКИ НАФИГ...но я спокойно стараюсь делать этап за этапов. всё постепенно.

Ну вот и начался развал кабины.
Это последняя стадия, на ней уже будет понятны все возможности модели. Через 4 часа будет ясно.

❤️

Это сильный аргумент для adoption: "PIR даёт линейную сложность БЕЗ потери совместимости с современными методами alignment"

Не придётся переучивать специалистов, тем более там Pytorch.

Первые эффекты после DPO! Это уже очень хорошо!

Q: What makes a good leader?

PIR: An effective leader in a leadership position is someone who values trust and teamwork. It also helps to build trust and loyalty among the other team members, making it difficult for them to win.

Q: Explain quantum computing simply.

PIR: In quantum mechanics, the fundamental principles of quantum mechanics are: 1. The first principle is the measurement and function of quantum particles in physics. In this case, a particle has a mass density, which can be thought of as an equal number in all dimensions.

ОХ! Нашёл баг, щас исправляю - будет ещё лучше!

При этом я параллельно занимаюсь мастерингом треков. Бошка в режиме биполярки

Начал тренировку модели размером в 1 миллиард параметров.

Смотрю логи:

============================================================
PIR 1B PRETRAINING
============================================================

Config:
  Dataset: openwebtext
  Batch: 4 x 8 = 32
  Seq len: 2048
  Max steps: 100,000
  Max LR: 0.0003
  torch.compile: True
  Decay ranges: ((0.92, 0.96), (0.94, 0.98), (0.96, 0.995), (0.97, 0.9999))

Chinchilla:
  Total tokens: 6.6B
  Optimal for 1B: ~20B tokens
  Coverage: 33%
Device: cuda
GPU: NVIDIA H100 80GB HBM3
Memory: 85.2 GB
Dtype: torch.bfloat16

Начал в колабе! это 1 млрд параметров!

Step 230/100000 | Loss: 6.9083

Оно работает. 20 млрд токенов к 1 млрд параметров. Loss уже 6.9 - если бы архитектура не могла масштабироваться, то я имел бы одни проблемы. Пока что всё окей. Один раз вылетел NAN - но это не предусмотришь покуда не вылетит. Вылетело, поймал - убрал.

Смотрим дальше!

[Q] Explain how neural networks work.

[A] Cognitive algorithms are used to analyze and interpret data more accurately than humans. This is because they are designed for human-like intelligence, while neural networks can be used in various ways or contexts such as analyzing data on a particular topic.

Привет, синтеты. Ппц график сбился, я вообще не понял - кто я и что я.

💁‍♂️ Возможности PIR архитектуры.

Были глэки у моей модели, я исправил это дело. Продолжаю тренировки модели на 1млрд параметров.

Там была проблема в глубине контекста!

Сегодня встреча с РНБ в онлайне - первая в этом году. Буду показывать систему!
Ну и , возможно, немного данных бенчмарков PIR модели!

Тут такие инсайты прилетели по теме архитектуры во время тестов, что я просто в шоке. Покажу чуть позднее в чём прикол. Но меня прям радует насколько всё логично получается. Не зря я не выходил из дома и ни с кем не общался долгое время)))))))))

Ах да...забыл. Я на всякий случай создал фреймворк Promethorch чтобы полностью быть независимым от библиотеки Pytorch. Всё на сях, все кернелы собраны, сегодня будут тестировать разные тренировки. Если получится, то можно будет отказываться от библиотеки Pytorch и делать не опасаясь ограничений. Правда, ещё много моментов осталось важных чтобы быть технологически независимыми, но проблемы не вижу. Нужно просто больше времени.

НТЦ Модуль - на этой неделе протестирую уже на железе! Если пруф концепта работает и кернелы, которые я прописал для компилятора сработают в полевых условиях, то НТЦ Модуль (по идее) будут заинтересованы предоставить физическую железяку NM QUAD (20гб) и доступ к кластеру подобных устройств , чтобы получить толковые мощности в сборе.

Всё это попахивает технологически независимым стеком. Спасибо эре LLM и агентов - такие вещи ускоряются нещадно!