Начал с коллекции "RUKALLAMA 1 DATASET FINEST" — 767 книг по 8 предметным областям. Алгебра, геометрия, тригонометрия, арифметика, естественные науки, история с обществознанием, филология, прикладные навыки. Советские и российские учебники, задачники, методички.

Каждая книга содержит restored_text.txt (OCR-текст после восстановления) плюс папку instructions/ с четырьмя типами инструкций: dialog (вопрос-ответ), basic (пошаговые инструкции), multistep (многошаговые решения), problem (задачи с решениями). Инструкции генерировались из контекста книг.

OCR-артефакты: повторяющиеся символы (аааааааааа), множественные точки, битые переводы строк. URL и email адреса из сносок. Дублирующиеся строки между книгами (цитаты, определения). Мусорные паттерны типа "стр. 123", "рис. 45", ISBN.

Написал три скрипта. dataset_analyzer.py — сканирует структуру, ищет артефакты, проверяет когерентность инструкций с книгами, считает статистику. dataset_cleaner.py — регулярки для URL/email, ограничение повторов символов до 3, нормализация пробелов и переносов, дедупликация через MD5-хэши строк длиннее 30 символов. prepare_training_data.py — полный пайплайн: очистка + форматирование инструкций + объединение в один файл для pretrain + токенизация.

dialog (58%): "Вопрос: ...\nОтвет: ..." — самый частый формат.
basic (13%): "Инструкция: ...\n\nШаги:\n- ..." — пошаговые руководства.
multistep (13%): "Задача: \n\nРешение:\n1. ..." — решения задач.
problem (16%): "Проблема: ...\n\nРешение:\n1. ..." — проблемы и их анализ.

all_texts.txt — 291 MB чистых текстов книг.
all_instructions.jsonl — 51 MB инструкций с метаданными.
all_mixed.txt — 330 MB всё вместе для pretrain (не раздельно SFT, а единый поток).
train_tokens.bin — 92 MB токенизированных данных (46M токенов).

767 книг, 56,442 инструкции, 315 MB текста после очистки. Удалено: тысячи URL, сотни email, десятки тысяч дублирующихся строк. Сжатие токенизатором 4.1x — лучше чем tiktoken на русском.

МОДЕЛЬ НА 1МЛРД ПАРАМЕТРОВ - В ПУТИ!
МОДЕЛЬ НА 220-250МЛН ПАРАМЕТРОВ - В ПРОЦЕССЕ ЗАНОВО SFT
RUKALLAVA V2 (REALKAN) - В ПРОЦЕССЕ (Loss 10.3 был 11.6 - работает, скорость в 18 раз быстрее, чем была = великолепно)

Метрика250M SFT1B PretrainРазвал в мусорПосле ~80 токеновНЕТ"chemistryus France; While;"ПостоянноНЕТГрамматикаЛомаетсяСтабильнаяСвязность2-3 предложения10+ предложений

250M step 2500:
...which academic history works Brazil chemistryus France; While;
iz-spenz server: http age limits and combined to by David::

1B step 13500:
We need to be more inclusive and better off developing than any other city in the country. We have had to move forward with our home and to meet our communities and provide fresh food for our community and our residents.

📈 Layer Efficiency
Layer250M1BL02.566.17L15.085.54L21.992.17L31.201.32
1B активнее использует все слои, особенно L0 (2.4x выше).

💡 ВЫВОД
На 8% pretrain 1B уже показывает:

Структурную стабильность
Нет развала в мусор
Связный текст 150+ токенов

● АНАЛИЗ 70% ДАТАСЕТА:

ДРУГОЕ (33.5% = 93 MB)
Тематики:
- 📚 Советские учебники 1-8 класс (математика, естествознание)
- 🔬 Научпоп: Перельман ("Занимательная математика"), Акимушкин ("Мир животных")
- 🚀 Космос: Клушанцев, Авдеев
- 🏠 Домоводство, кулинария
- 🧩 Занимательные задачи, фокусы

Ключевые авторы:
- Перельман — занимательная наука
- Акимушкин — животный мир
- Фарадей — "История свечи"

ИСТОРИЯ/ОБЩЕСТВОЗНАНИЕ (23.8% = 66 MB)

ГЛАВНОЕ: БСЭ (Большая Советская Энциклопедия) 1-е издание!
57 томов (1926-1947) — это ОГРОМНАЯ часть!

Также:
- Атласы истории (СССР, Средние века)
- Хрестоматии по древнему миру
- История СССР для ВПШ
- "Всемирная история" в 10 томах

Модель выучит: Энциклопедический стиль, исторические факты, научную терминологию

Учебные материалы:
- Азбуки, буквари (1925-1991)
- Грамматика русского языка в иллюстрациях
- Методики обучения

Классики детской литературы:
- Маршак — сказки, стихи
- Чуковский — загадки
- Чехов — "Каштанка"
- Лермонтов — стихотворения
- Пушкин

Словари:
- Фразеологический словарь
- Этимологический словарь
- Литературоведческие термины

  ┌──────────────────┬─────────────────────────────────────────────────┐
  │     Источник     │                    Что даёт                     │
  ├──────────────────┼─────────────────────────────────────────────────┤
  │ БСЭ              │ Энциклопедический стиль, факты, терминология    │
  ├──────────────────┼─────────────────────────────────────────────────┤
  │ Учебники СССР    │ Структура "Задача-Решение", педагогический язык │
  ├──────────────────┼─────────────────────────────────────────────────┤
  │ Перельман        │ Объяснение сложного простым языком              │
  ├──────────────────┼─────────────────────────────────────────────────┤
  │ Детская классика │ Грамотный русский язык, стиль                   │
  ├──────────────────┼─────────────────────────────────────────────────┤
  │ Грамматики       │ Правила языка, нормы                            │
  └──────────────────┴─────────────────────────────────────────────────┘

⚡️ Скорость
Полностью переехал с B-spline на полиномы Чебышёва. Рекурсия в один FMA, всё в регистрах GPU. Результат — 18x быстрее при том же качестве.

🗜 Память
Low-rank факторизация параметров. Сжатие в 14x без потери выразительности.

🧠 Multi-Head
Batched подход — все головы одним вызовом вместо отдельных kernel launch. 4.6x speedup.

🎯 KAN в Attention
KAN теперь не только в FFN, но и в attention проекциях. Обучаемые нелинейные трансформации дают более выразительные паттерны. -4.5% loss vs линейный вариант.

🏗 MoE
Sparse mixture of experts — больше параметров при меньшем compute.

🗜 Low-rank — объяснение на пальцах
Проблема: матрица 1000×1000 = миллион параметров. Жрёт память.
Решение: разбить на две маленькие.

Вместо:
A = [1000 × 1000] = 1 000 000 параметров
Храним:
U = [1000 × r]
V = [r × 1000]
Где r — маленькое число. U × V даёт ту же большую матрицу, но хранить в разы меньше.

Почему работает?
Большинство матриц в нейросетях избыточны — много повторяющихся паттернов. Как JPEG сжимает фото, потому что соседние пиксели похожи.