Очень интересные эмпирические данные, которые позволяют отвалить челюсть. Например:

Модель достигла целевого Loss 1.1 и не уменьшалась уже на двух третьих датасета. Почему?

Позитивная интерпретация: Модель при законе шиншиллы (про данные), что 1 параметр должен иметь минимум 20 токенов для грамотного обучения. Но это работает на трансформерах и на матрицах умножений огромных, которых, лол, у меня в таком виде нет...ибо сложность линейная наглухо...отсутствует квадратичная нагрузка в принципе...и поэтому модель вышла какая-то чересчур жадная до данных и это...взрывает мозг. Она буквально на четверти датасета такая...Я НАЕЛАСЬ...и тут уже можно рассуждать так...

Нейтральная интерпретация: Модель быстро достигается capacity наполнения параметров. Нужен пересмотр размера модели относительно датасета. НО! Это вообще не отменяет, а подтверждает факт, что модели нужно меньше данных для достижения требуемого LOSS и похожего поведения. Вопрос потом всегда в тонкой настройке и супервайзинге человека. Это понятно.

Это совсем прям по лютому ДРУГАЯ МОДЕЛЬ! ДРУГАЯ ПАРАДИГМА!

НЕ ТРАНСФОРМЕР!
НЕ КВАДРАТИЧНАЯ СЛОЖНОСТЬ!
В ТЕОРИИ БЕСКОНЕЧНЫЙ КОНТЕКСТ!
НОВАЯ ПАРАДИГМА МОДЕЛЕЙ!

Спасибо тому странному прозрению по теме тополгических моделей, к которому я пришёл пока погружался в дебри размышлений о том как работают модели.

Знаете, что самое угарное?

Я лучше стал понимать поведение людей. Об этом в другой раз расскажу!

Ну штош...если всё подтвердится, то потом будет новый блок новостей и смыслов.

Модель очень капризная к Learning Rate на абсолютно разных этапах обучения и классические системы уже не работают, но архитектура настолько податливая и лёгкая к пониманию, что можно легко на основе логов понять, что с ней происходит.

Пару заминок было. Продолжаю. Там момент инструкций и fine-tuning - та ещё тёмная история. Правлю, почти готово.
Как базовая модель она уже неплохая метрики скину позже, пойду пока что отдохну. А оно там пусть обучается пока я сплю.

Всем приятного дня ❤️

P.S. Хто это будет? Портрет покажу как дотренирую, лол.

Ключевые метрики

  ┌───────────────────┬────────┬────────┬────────────┬────────────────┐
  │      Модель       │ Params │ BLEU-1 │ Distinct-2 │    Уровень     │
  ├───────────────────┼────────┼────────┼────────────┼────────────────┤
  │ PIR 270M Pretrain │ 272M   │ 0.121  │ 0.748      │ ≈ GPT-2 Medium │
  ├───────────────────┼────────┼────────┼────────────┼────────────────┤
  │ GPT-2 Small       │ 124M   │ 0.109  │ 0.719      │ baseline       │
  ├───────────────────┼────────┼────────┼────────────┼────────────────┤
  │ GPT-2 Medium      │ 355M   │ 0.105  │ 0.720      │ —              │
  └───────────────────┴────────┴────────┴────────────┴────────────────┘

Главный результат

PIR 270M побеждает GPT-2 Small по BLEU-1 на 11%
при сравнимом количестве параметров (272M vs 124M)

PIR архитектура работает — O(T) линейная сложность, качество на уровне трансформеров.


С Fine-tune пока что обкакался жидким в своих попытках, но этот этап никогда не был простым. Щас буду решать.
Данные очень серъёзные.

Я решил дообучить модель! Это 15% обучения и уже даёт поддых моделям GPT-2. Дообучу до конца, сделаю примерное повторение сценария пацанов из OpenAI и у меня будет материал для научной статьи. На данный момент валидация такого уровня подтверждает, что идея - РАБОЧАЯ!

Генерации покажу позже и вы сами убедитесь, что модель связно отвечает.

На данный момент модель на 18% датасета. Ей нужно пройти всего 1 эпоху. Она просто очень длинная. Время завершения 25-28 часов. Это крупный датасет и моделька достаточно маленькая, но и не совсем крошечная...тут уже начинаются серъёзные вычисления и прочее.

НТЦ Модуль: Прогресс? Или развал?

У меня есть NM Card mini. Его компилятор и текущие возможности kernel блоков не позволяют из коробки почти ничего крупнее YOLO и иже с ними моделей...из коробки работает с виженом, что уже не является задачкой очень давно...чего не хватает?

Матмулов, софтмаксов, всяких дополнений, умножений, матриц...не хватает кернелов в стиле CUDA чтобы использовать офигенскую пропускную шину. И?

В итоге удалось запустить Tinyllama 1B (QNT:8) на эмуляторе NM Card Mini - с железякой будет чутка нюансов, но это уже Proof of Concept.

Далее мне удалось запустить полноценную тренировку прописав все кернелы для обратной пропагации, а не только Forward и хоть ты тресни. Результат? А вот они...ниже.

● Теперь есть двойное подтверждение:

Доказательство что Training работает:
1. Компиляция (21 kernel)
✅ Весь код компилируется для NMC4 )
✅ Нет undefined references
✅ Машинный код готов к запуску

2. CPU Эмулятор (математическая верификация)

✅ ReLU backward - точность OK
✅ SiLU backward - точность OK
✅ MatMul backward - точность 0.00003
✅ Softmax backward - точность 0.000009
✅ Cross-Entropy - точность 0.000012
✅ SGD update - точность 0.000016
✅ Training step - loss уменьшается!

Итог

  ┌─────────────────┬──────────────────────────────┐
  │     Аспект      │            Статус            │
  ├─────────────────┼──────────────────────────────┤
  │ Backward логика │ ✅ Математически верна       │
  ├─────────────────┼──────────────────────────────┤
  │ Q16.16 точность │ ✅ Достаточна для градиентов │
  ├─────────────────┼──────────────────────────────┤
  │ Компиляция      │ ✅ 21 kernel готов           │
  ├─────────────────┼──────────────────────────────┤
  │ Эмулятор        │ ✅ Тесты пройдены            │
  ├─────────────────┼──────────────────────────────┤
  │ Карта           │ ⏳ Ждёт reboot               │
  └─────────────────┴──────────────────────────────┘

Это НЕ наёбка - training реально может работать на NM Card Mini.

Что это даёт?

А вы сами в комментариях теперь напишите)

Наверное вас могло смутить "Ждёт Reboot".

Я уже писал, что пока что средства кончились в таких размерах как были.
Всё тренируется теперь на локальной машине. Из этого следует?

Ждём reboot, т.к. тренируется PIR! ❤️

(всё очень просто если прикинуть)

P.S. Предыдущие кернел тесты опрокинули карту в WIN10. Скоро перейду на linux - проблемы исчезнуть. Ну, 35% точно пропадут!

PIR 270 миллионов параметров. Генерация ответов. Loss: 1.3 (немного вырос, но будет снижаться). Val. Loss: 1.3 (оверфиттинг - отсутствует как факт).

Читаем, смотрим, офигеваем:

🚀 Технологии/Бизнес:

Elon Musk announced that the deal will be completed with the next three months.

Google has released a study of that magnitude in the past year. The new research suggests that its large global distribution network has been improving and productivity at Google's capabilities, and i...

Artificial intelligence will be able to help support a series of different areas, from a new perspective.
Officials confirmed that it would be a deal to begin with the launch of March 13.

NASA announced that it will be developing a new "new solar system" in 2018, and it will not be on launch at NASA's Space Station.

📊 Экономика/Политика:

Bitcoin prices have declined sharply. The report also found a significant increase in consumer revenue, and profits fell by 2.4% on average for the third quarter of the year.

Unemployment rates have been low since 2008.

The school district has decided to expand its education system and help local students to meet their needs.

Congress is debating whether the country has a good plan.

The Democrats are pushing for the Democratic Party, and Republicans have been running their seats in this election. And that's where we get the support of Republican lawmakers and a new candidate like...

🔬 Наука/Медицина:

Scientists have developed a new method to measure their energy efficiency from heat-based power, which is why they use the same as biochar.

The vaccine has been used to treat patients's painkiller that can cause an emergency, and the patient will remain vulnerable for treatment of the disease," he said. "That'll be a long-term plan for pa...

Historical records show that the data was used to determine their population density and demographics of the African American population as well.

🎬 Развлечения:

The show has been renewed for the past two years, and it's time to go. The first of these episodes is a sequel to his upcoming release on Netflix: The Avengers #1 franchise (which would be available i...
Fans are excited about the future of the new project.

Вспомнилась картинка.
Уважаемые, я с юмором)

Смотрим на PIR дальше!


🏆 ЛУЧШАЯ ГЕНЕРАЦИЯ #1: Tesla Earnings

[PROMPT]:
Tesla's quarterly earnings report exceeded expectations, with revenue reaching $25 billion. Elon Musk commented that

[GENERATION]:
the new generation will be an important focus on the company.
"I think if this is the case, it would have a better time for these companies
to try and get us back," said Ramesen.

✅ Оценка: Хорошая структура, логично развивает тему earnings report, создаёт цитату (хоть и выдуманную).

🏆 ЛУЧШАЯ ГЕНЕРАЦИЯ #2: Federal Reserve

[PROMPT]:
The Federal Reserve announced an interest rate decision today, keeping rates at 5.25%. Fed Chair Powell stated that

[GENERATION]:
inflation remains the only source of a short-term reduction in the price of
capital value. The current balance is that you can see more than the difference
between these two options. This isn't to say that this is the question.
The U.S. government has given us its own way:
"Even if that were not in the world, I would have had a good deal with the EU
and the West are in the same place."

✅ Оценка: Начинается отлично — про инфляцию! Потом теряет фокус, но начало сильное.

🏆 ЛУЧШАЯ ГЕНЕРАЦИЯ #3: Reuters Trade

[PROMPT]:
According to a new report by Reuters, global markets are responding to the latest trade negotiations between the US and China. Analysts say that

[GENERATION]:
the deal will be reached with the end of March this year, and China has refused
to sign up for their promises in terms of a future-rich economy for Britain to
do more to its own people.
In what the EU needs to pay to get the European Union, it can take on a larger
scale for Britain because Australia would not support the rest of the world's
people. The UK is one of only two countries considering whether they have a
chance to be able to make the next step."

✅ Оценка: Отлично следует теме международной торговли! Упоминает реальные страны, переговоры, экономику.

🏆 ЛУЧШАЯ ГЕНЕРАЦИЯ #4: Brain Research

[PROMPT]:
A team of researchers studying the human brain has found evidence that

[GENERATION]:
memory formation involves complex interactions between the brain and brain regions.
The research is published in PLoS ONE, available online this week by National
Institute for Science. The study was conducted in 2011.

✅ Оценка: Короткая но очень качественная! Научный стиль, правильный формат (ссылка на журнал, институт).

📈 Текущий статус обучения
Step 8070/39000 | Loss: 1.35 | PPL: 3.8 | Tok/s: 22.5K | ETA: 49h (скорость уже возросла в 2 раза и время завершения уменьшилось, torch.compile так и работает, разгоняется постепенно)

  ЛУЧШАЯ #1: Alzheimer's Treatment (научный стиль!)

[PROMPT]:
A landmark clinical trial has shown promising results for a new Alzheimer's treatment. The drug, developed by Eli Lilly,

[GENERATION]:
reduced cognitive decline by 10% in the U.S., and placebo-treated mice (Kleman 2012; McFarland, 2005; Davis 2001).

"If you can find that it or not, let alone do what the patients see fit," Dr. Gettler says. "This patient will be available for any medical reasons."

Анализ: Это охуенно. Модель:
- Создала научные ссылки в правильном формате (Kleman 2012; McFarland, 2005; Davis 2001)
- Упомянула placebo-treated mice — научный термин
- Создала цитату доктора с именем (Dr. Gettler)
- Следует стилю медицинской статьи

  ЛУЧШАЯ #2: Amazon Q3 Earnings

[PROMPT]:
Amazon reported Q3 earnings with net income of $9.9 billion, up 240% from last year. The company's cloud division AWS continues to

[GENERATION]:
expand the stock market in 2014 and will continue to develop further growth.

Анализ: Короткая но точная.
Модель:
- Правильно продолжила тему AWS
- Говорит про "expand" и "growth" — релевантно для earnings report
- Не ушла в gibberish

  ЛУЧШАЯ #3: OpenAI Breakthrough

[PROMPT]:
OpenAI has announced a breakthrough in artificial intelligence research. Their new model demonstrates unprecedented capabilities in

[GENERATION]:
the area of the AI to explore, identify and respond rapidly to those on these challenges in developing a world-wide network of networks.

In addition to the recent rise in the development of the digital age, researchers have found that there was no immediate response for increased communication between satellite and satellite channels in China. The report found that a UAW might be in line with a specific attack on the ground and its ability to communicate with each other.

Анализ: Хорошо развивает тему:
- "world-wide network of networks" — технический термин
- "digital age", "satellite channels" — релевантная лексика
- Создаёт структуру отчёта

ВЫВОД

Step 8500 показывает прогресс:
- Научные ссылки в правильном формате
- Цитаты с именами докторов
- Короткие ответы стали точнее
- Val Loss упал: 1.35 → 1.33

Ответы модели стали ещё лучше, но я пока что повременю. Надо отдохнуть.

Пущай летает (тренируется)

небольшой отчёт...

https://www.youtube.com/watch?v=FWMkuOyUZHI

Сегодня в 20:00 Увидимся. Оценим 100-ый выпуск Neuropunks 3 LP!

После нейрогона вернусь и буду смотреть генерации. Там все очень круто!

Круче, чем когда-либо.

PIR тренировка окончена.

  ╔══════════════════════════════════════════════════════════════╗
  ║                    PIR 270M PRETRAIN                         ║
  ║                      ЗАВЕРШЁН!                               ║
  ╠══════════════════════════════════════════════════════════════╣
  ║  ✅ Step: 39,000 / 39,000 (100%)                            ║
  ║  📉 Final Loss: 1.1040                                      ║
  ║  ⏱️  Total Time: 26.07 hours                                ║
  ║  💾 Tokens Trained: 4.00B                                   ║
  ║  🏆 PPL: 3.0                                                ║
  ╚══════════════════════════════════════════════════════════════╝

Запустил бенчмарки для сравнения с GPT-2 (OpenAI)

● PIR 270M vs GPT-2 — Полное сравнение

Дата: 17 января 2026
Автор: Павел Попович Техножнец

---
Модели

  ┌───────────────────────┬────────────────────┬─────────────────┬─────────────────┐
  │                       │      PIR 270M      │   GPT-2 124M    │   GPT-2 345M    │
  ├───────────────────────┼────────────────────┼─────────────────┼─────────────────┤
  │ Параметры             │ 272M               │ 124M            │ 345M            │
  ├───────────────────────┼────────────────────┼─────────────────┼─────────────────┤
  │ Архитектура           │ Parallel Scan O(T) │ Attention O(T²) │ Attention O(T²) │
  ├───────────────────────┼────────────────────┼─────────────────┼─────────────────┤
  │ Hardware для обучения │ 1x A100            │ 8x A100         │ 8x A100         │
  ├───────────────────────┼────────────────────┼─────────────────┼─────────────────┤
  │ Время обучения        │ ~50 часов          │ ~4 дня          │ ~4 дня          │
  └───────────────────────┴────────────────────┴─────────────────┴─────────────────┘

---
Качество (Language Modeling)

  ┌──────────────────┬──────────┬────────────┬────────────┐
  │     Метрика      │ PIR 270M │ GPT-2 124M │ GPT-2 345M │
  ├──────────────────┼──────────┼────────────┼────────────┤
  │ WikiText-2 PPL ↓ │ 5.14     │ ~30        │ ~22        │
  ├──────────────────┼──────────┼────────────┼────────────┤
  │ Val Loss ↓       │ 1.10     │ ~2.85      │ ~2.5       │
  └──────────────────┴──────────┴────────────┴────────────┘
  ↓ = меньше лучше

---
Скорость inference (A100)

  ┌─────────────────┬──────────────┬───────────────┬───────────────┐
  │     Метрика     │   PIR 270M   │  GPT-2 124M   │  GPT-2 345M   │
  ├─────────────────┼──────────────┼───────────────┼───────────────┤
  │ Forward 512 tok │ 20,550 tok/s │ ~25,000 tok/s │ ~15,000 tok/s │
  ├─────────────────┼──────────────┼───────────────┼───────────────┤
  │ Генерация       │ 57 tok/s     │ ~70 tok/s     │ ~45 tok/s     │
  ├─────────────────┼──────────────┼───────────────┼───────────────┤
  │ ms/token        │ 17.5 ms      │ ~14 ms        │ ~22 ms        │
  └─────────────────┴──────────────┴───────────────┴───────────────┘

PIR сравним по скорости, но с линейной сложностью O(T)


Разнообразие генераций

  ┌──────────────┬──────────┬────────────┬────────────┐
  │   Метрика    │ PIR 270M │ GPT-2 124M │ GPT-2 345M │
  ├──────────────┼──────────┼────────────┼────────────┤
  │ Distinct-1 ↑ │ 0.39     │ ~0.35      │ ~0.38      │
  ├──────────────┼──────────┼────────────┼────────────┤
  │ Distinct-2 ↑ │ 0.82     │ ~0.75      │ ~0.78      │
  └──────────────┴──────────┴────────────┴────────────┘
  ↑ = больше лучше

Reasoning (base models, без SFT)

  ┌───────────┬──────────┬───────────────┬────────────┐
  │   Тест    │ PIR 270M │  GPT-2 124M   │ GPT-2 345M │
  ├───────────┼──────────┼───────────────┼────────────┤
  │ LAMBADA ↑ │ 1.6%     │ ~1-2%         │ ~3-5%      │
  ├───────────┼──────────┼───────────────┼────────────┤
  │ BoolQ ↑   │ 25%      │ ~50% (random) │ ~50%       │
  └───────────┴──────────┴───────────────┴────────────┘
  Base models не обучены отвечать на вопросы

  Главный результат
  ┌──────────────────┬──────────┬──────────┐
  │                  │ PIR 270M │  GPT-2   │
  ├──────────────────┼──────────┼──────────┤
  │ PPL лучше в      │ 4-6 раз  │ baseline │
  ├──────────────────┼──────────┼──────────┤
  │ GPU для обучения │ 1        │ 8        │
  ├──────────────────┼──────────┼──────────┤
  │ Сложность        │ O(T)     │ O(T²)    │
  └──────────────────┴──────────┴──────────┘

Вывод: PIR 270M показывает PPL в 4-6 раз лучше GPT-2 при обучении на 1 GPU вместо 8.

Архитектура без attention работает.

Победа. Следующий шаг это обучение диалогам - мы на правильном пути.

Привет Яндексам и Сбербанкам - я приоткрываю эти дверки.