КАК ЖЕ ЧЕШАТСЯ РУКИ НАФИГ...но я спокойно стараюсь делать этап за этапов. всё постепенно.

Ну вот и начался развал кабины.
Это последняя стадия, на ней уже будет понятны все возможности модели. Через 4 часа будет ясно.

❤️

Это сильный аргумент для adoption: "PIR даёт линейную сложность БЕЗ потери совместимости с современными методами alignment"

Не придётся переучивать специалистов, тем более там Pytorch.

Первые эффекты после DPO! Это уже очень хорошо!

Q: What makes a good leader?

PIR: An effective leader in a leadership position is someone who values trust and teamwork. It also helps to build trust and loyalty among the other team members, making it difficult for them to win.

Q: Explain quantum computing simply.

PIR: In quantum mechanics, the fundamental principles of quantum mechanics are: 1. The first principle is the measurement and function of quantum particles in physics. In this case, a particle has a mass density, which can be thought of as an equal number in all dimensions.

ОХ! Нашёл баг, щас исправляю - будет ещё лучше!

При этом я параллельно занимаюсь мастерингом треков. Бошка в режиме биполярки

Начал тренировку модели размером в 1 миллиард параметров.

Смотрю логи:

============================================================
PIR 1B PRETRAINING
============================================================

Config:
  Dataset: openwebtext
  Batch: 4 x 8 = 32
  Seq len: 2048
  Max steps: 100,000
  Max LR: 0.0003
  torch.compile: True
  Decay ranges: ((0.92, 0.96), (0.94, 0.98), (0.96, 0.995), (0.97, 0.9999))

Chinchilla:
  Total tokens: 6.6B
  Optimal for 1B: ~20B tokens
  Coverage: 33%
Device: cuda
GPU: NVIDIA H100 80GB HBM3
Memory: 85.2 GB
Dtype: torch.bfloat16

Начал в колабе! это 1 млрд параметров!

Step 230/100000 | Loss: 6.9083

Оно работает. 20 млрд токенов к 1 млрд параметров. Loss уже 6.9 - если бы архитектура не могла масштабироваться, то я имел бы одни проблемы. Пока что всё окей. Один раз вылетел NAN - но это не предусмотришь покуда не вылетит. Вылетело, поймал - убрал.

Смотрим дальше!

[Q] Explain how neural networks work.

[A] Cognitive algorithms are used to analyze and interpret data more accurately than humans. This is because they are designed for human-like intelligence, while neural networks can be used in various ways or contexts such as analyzing data on a particular topic.

Привет, синтеты. Ппц график сбился, я вообще не понял - кто я и что я.

💁‍♂️ Возможности PIR архитектуры.

Были глэки у моей модели, я исправил это дело. Продолжаю тренировки модели на 1млрд параметров.

Там была проблема в глубине контекста!

Сегодня встреча с РНБ в онлайне - первая в этом году. Буду показывать систему!
Ну и , возможно, немного данных бенчмарков PIR модели!

Тут такие инсайты прилетели по теме архитектуры во время тестов, что я просто в шоке. Покажу чуть позднее в чём прикол. Но меня прям радует насколько всё логично получается. Не зря я не выходил из дома и ни с кем не общался долгое время)))))))))

Ах да...забыл. Я на всякий случай создал фреймворк Promethorch чтобы полностью быть независимым от библиотеки Pytorch. Всё на сях, все кернелы собраны, сегодня будут тестировать разные тренировки. Если получится, то можно будет отказываться от библиотеки Pytorch и делать не опасаясь ограничений. Правда, ещё много моментов осталось важных чтобы быть технологически независимыми, но проблемы не вижу. Нужно просто больше времени.

НТЦ Модуль - на этой неделе протестирую уже на железе! Если пруф концепта работает и кернелы, которые я прописал для компилятора сработают в полевых условиях, то НТЦ Модуль (по идее) будут заинтересованы предоставить физическую железяку NM QUAD (20гб) и доступ к кластеру подобных устройств , чтобы получить толковые мощности в сборе.

Всё это попахивает технологически независимым стеком. Спасибо эре LLM и агентов - такие вещи ускоряются нещадно!

Буду возвращаться к тренировкам.

Цель: 420 отжиманий с утра.
50-70 подтягов, присядов 50-60.

В планах приобрести роликовые коньки и с весной кататься по улице слушая Technoid.

PIR Модель на 1млрд параметров, которая обучается на 20 млрд токенов (OpenWebText датасет) (LOSS: 5.2)

Лучшие куски:

[6] SpaceX:

"The company says the plan for a new payment for both revenue, and other customers are expected to make the best new energy industry."

— Грамматика есть, бизнес-язык есть, но смысла нет.

[13] Reuters:

"global markets are responding to the latest trade negotiations between the US and China. Analysts say..."

— Держит тему торговли пару предложений, потом дрифтит.

Общие проблемы везде:

Тематический дрифт через 2-3 предложения
Уход в "I think", "I don't know", "I love you"
Грамматика местами ломается
Фактическая бессмыслица

Но это step 1000, loss 5.2, PPL 188.

Модель сейчас на уровне: "знаю как строить предложения, не знаю о чём говорить".
Нормальные генерации жди на loss ~3.5-4.0, это step 5000-10000.
Прогресс есть — от петель "U.S. Department of Defense ×50" до текущего уже огромный шаг.

Ёмаё...34 дня...ёмаё...

Жду получку как манну небесную...потому что ваших средств не хватит на полноценный движ со всеми косяками и пересборками. (нужен разбег) - в ожидании пока там тренируется на том, что есть!

В РНБ был очень приятный технический созвон. Наконец-то, мы начали общаться больше с техническими специалистами. Щас запосчу новость...конечно там ппц.