🥇 1 МЕСТО — Climate & Energy

"Climate change refers to long-term shifts in the climate system. The global warming is changing the weather patterns of the Earth's surface, and this can have significant impacts on people's lives as a whole. The paper concludes that it will be interesting if we are looking at other ways to achieve these benefits through sustainable development, particularly in terms of emissions from fossil fuels, energy storage and electricity generation. A report by the World Bank showed that more than 90% of our energy needs come from renewable sources such as wind and solar, which could provide about 3 percent or less carbon dioxide emissions compared with conventional forms of energy."

Перевод:

«Изменение климата относится к долгосрочным сдвигам в климатической системе. Глобальное потепление меняет погодные паттерны на поверхности Земли, и это может оказывать значительное влияние на жизнь людей в целом. В статье делается вывод, что будет интересно рассмотреть другие способы достижения этих преимуществ через устойчивое развитие, особенно в части выбросов от ископаемого топлива, хранения энергии и производства электричества. Отчёт Всемирного банка показал, что более 90% наших энергетических потребностей покрывается возобновляемыми источниками, такими как ветер и солнце, которые могут обеспечить около 3 процентов или меньше выбросов углекислого газа по сравнению с традиционными формами энергии.»

Почему первое место: 4 предложения подряд без единого сбоя. Логические связки между предложениями. Правильная терминология: climate system, weather patterns, sustainable development, fossil fuels, renewable sources, carbon dioxide emissions. Статистика выдуманная, но в правильном контексте.

🥈 2 МЕСТО — Machine Learning

"Machine learning is a subset of artificial intelligence that deals with the data in the form of algorithms, which are usually performed by humans. The machine learning algorithm uses algorithms to learn from data and then make predictions based on it in a way that allows them to analyze the results when they do not need to remember everything. One of the most significant benefits of machine learning is its ability to produce high-quality results that can be used for other applications or applications where it does not require any special software."

«Машинное обучение — это подмножество искусственного интеллекта, которое работает с данными в форме алгоритмов, обычно выполняемых людьми. Алгоритм машинного обучения использует алгоритмы для обучения на данных и затем делает предсказания на их основе таким образом, что позволяет анализировать результаты, когда не нужно запоминать всё. Одно из наиболее значимых преимуществ машинного обучения — его способность производить высококачественные результаты, которые могут использоваться для других приложений, где не требуется специальное программное обеспечение.»

Почему второе место: "ML is a subset of AI" — фактически корректно. "Learn from data and make predictions" — корректно. "Do not need to remember everything" — это почти описание generalization vs memorization. 250M модель понимает иерархию ML⊂AI.

🥉 3 МЕСТО — Scientific Journalism

"According to recent research published in Nature, the human genome is able to survive and reproduce without any harm. "It's hard for us to do this," said Dr. David Lister of the University of Michigan at Urbana-Champaign in the U.S., a coauthor on the study. "They can be used as tools to identify novel strategies that could potentially be applied to other species or populations." The new technique will help researchers better understand how organisms communicate with each other — whether it's from one species, such as an individual or animal."

«Согласно недавнему исследованию, опубликованному в Nature, человеческий геном способен выживать и воспроизводиться без какого-либо вреда. "Нам сложно это сделать," — сказал доктор Дэвид Листер из Университета Мичигана в Урбана-Шампейн, США, соавтор исследования. "Они могут использоваться как инструменты для выявления новых стратегий, которые потенциально могут быть применены к другим видам или популяциям." Новая техника поможет исследователям лучше понять, как организмы общаются друг с другом — будь то один вид, например, особь или животное.»

Почему третье место: Идеальная структура научной журналистики. Журнал (Nature) → утверждение → прямая цитата → имя + аффилиация (Dr. David Lister, University of Michigan) → импликации для будущих исследований. Контент — бессмыслица, но ФОРМАТ Science News воспроизведён точно. Модель выучила КАК пишут про науку.

Ответ:

...the vaccine is a highly effective way to prevent future infections from spreading further than others in the same age group... immunization program provides immunity and protection against infectious diseases like hepatitis B and influenza.

Перевод:

...вакцина — это высокоэффективный способ предотвращения распространения инфекций... программа иммунизации обеспечивает иммунитет и защиту от инфекционных заболеваний, таких как гепатит B и грипп.

Тут нет перепутанных сущностей. Vaccine → immunity → infectious diseases → hepatitis B, influenza. Всё в домене.
Но "afraid of needles" часть вопроса проигнорирована полностью.

Монолит на 3000+ строк — полный training pipeline SplineGPT для Colab. Архитектура: KAN-слои вместо Linear, MoE (Mixture of Experts), RoPE позиционные эмбеддинги, токенизатор с ёфикацией. Всё в одном файле. Первая задача — разбить на модули и сделать это production-ready.

Перепробовал всё. CUDA kernel для B-spline — ускорение 2.3x, но всё ещё медленно. Triton KAN — 1.6x быстрее MLP, но это оказался не настоящий KAN, а просто MLP с learnable activation. FastKAN с PReLU — та же история. RBF, Swish, Fourier варианты — все провалились как истинные KAN реализации.

Теорема Колмогорова-Арнольда требует функцию φ_{i,j}(x_i) на КАЖДОМ ребре графа. Не общую активацию, а уникальную функцию для каждой пары вход-выход. Это критично для аппроксимации сложных функций — MLP даёт 33% R² на sin(20x)*cos(15y), а правильный KAN должен давать 99%+.

Задал вопрос: можно ли ускорить TRUE KAN до скорости MLP? Ответ: ДА. Проблема не фундаментальная, а в memory bandwidth. Решение: Chebyshev базис вместо Fourier (рекуррентная формула T_n = 2x*T_{n-1} - T_{n-2} это один fma такт GPU), fused CUDA kernel (basis вычисляется в регистрах, не пишется в память), low-rank факторизация коэффициентов.

V1 Fourier — 4x медленнее MLP. V2 Chebyshev — 6x медленнее (Python loop). Vectorized — 5.7x. CUDA Fused — 4.3x. CUDA+LowRank R=8 — 0.92x от MLP. Финально: TRUE KAN на 8% БЫСТРЕЕ чем MLP при 99.77% R² на сложных функциях.

Заменил ВСЕ линейные слои на TrueKAN. Тесты Attention: TrueKAN бьёт Linear на -4.5% loss при равных параметрах. Отдельная проблема — mode collapse когда KAN shared между головами. Решение от Gemini: per-head KAN через ModuleList + LayerNorm before tanh.

Обучил BPE на 50K токенов с SentencePiece backend. Встроенная ёфикация — загрузил словарь на 19,052 слова из OpenRussian.org. "Еж пошел в лес" автоматически становится "Ёж пошёл в лес". Тесты: 100% exact reconstruction, 100% ёфикация, скорость 636K chars/s, сжатие 4.1x — вдвое лучше tiktoken на русском тексте.

На Windows не компилируется из исходников. Нашёл pre-built wheel на HuggingFace (lldacing/flash-attention-windows-wheel) для точной конфигурации Python 3.12 + PyTorch 2.6 + CUDA 12.4. Установка за секунды. Ускорение обучения 1.43x.

SplineGPT 581M параметров учится на A100-40GB. Датасет: 767 русских книг + 56K инструкций = 45M токенов. 25 эпох, 1.14B токенов прогонит. Telegram бот шлёт метрики каждые 500 шагов. ETA ~3 дня.

Начал с коллекции "RUKALLAMA 1 DATASET FINEST" — 767 книг по 8 предметным областям. Алгебра, геометрия, тригонометрия, арифметика, естественные науки, история с обществознанием, филология, прикладные навыки. Советские и российские учебники, задачники, методички.

Каждая книга содержит restored_text.txt (OCR-текст после восстановления) плюс папку instructions/ с четырьмя типами инструкций: dialog (вопрос-ответ), basic (пошаговые инструкции), multistep (многошаговые решения), problem (задачи с решениями). Инструкции генерировались из контекста книг.

OCR-артефакты: повторяющиеся символы (аааааааааа), множественные точки, битые переводы строк. URL и email адреса из сносок. Дублирующиеся строки между книгами (цитаты, определения). Мусорные паттерны типа "стр. 123", "рис. 45", ISBN.

Написал три скрипта. dataset_analyzer.py — сканирует структуру, ищет артефакты, проверяет когерентность инструкций с книгами, считает статистику. dataset_cleaner.py — регулярки для URL/email, ограничение повторов символов до 3, нормализация пробелов и переносов, дедупликация через MD5-хэши строк длиннее 30 символов. prepare_training_data.py — полный пайплайн: очистка + форматирование инструкций + объединение в один файл для pretrain + токенизация.

dialog (58%): "Вопрос: ...\nОтвет: ..." — самый частый формат.
basic (13%): "Инструкция: ...\n\nШаги:\n- ..." — пошаговые руководства.
multistep (13%): "Задача: \n\nРешение:\n1. ..." — решения задач.
problem (16%): "Проблема: ...\n\nРешение:\n1. ..." — проблемы и их анализ.

all_texts.txt — 291 MB чистых текстов книг.
all_instructions.jsonl — 51 MB инструкций с метаданными.
all_mixed.txt — 330 MB всё вместе для pretrain (не раздельно SFT, а единый поток).
train_tokens.bin — 92 MB токенизированных данных (46M токенов).

767 книг, 56,442 инструкции, 315 MB текста после очистки. Удалено: тысячи URL, сотни email, десятки тысяч дублирующихся строк. Сжатие токенизатором 4.1x — лучше чем tiktoken на русском.

МОДЕЛЬ НА 1МЛРД ПАРАМЕТРОВ - В ПУТИ!
МОДЕЛЬ НА 220-250МЛН ПАРАМЕТРОВ - В ПРОЦЕССЕ ЗАНОВО SFT
RUKALLAVA V2 (REALKAN) - В ПРОЦЕССЕ (Loss 10.3 был 11.6 - работает, скорость в 18 раз быстрее, чем была = великолепно)

Метрика250M SFT1B PretrainРазвал в мусорПосле ~80 токеновНЕТ"chemistryus France; While;"ПостоянноНЕТГрамматикаЛомаетсяСтабильнаяСвязность2-3 предложения10+ предложений

250M step 2500:
...which academic history works Brazil chemistryus France; While;
iz-spenz server: http age limits and combined to by David::

1B step 13500:
We need to be more inclusive and better off developing than any other city in the country. We have had to move forward with our home and to meet our communities and provide fresh food for our community and our residents.

📈 Layer Efficiency
Layer250M1BL02.566.17L15.085.54L21.992.17L31.201.32
1B активнее использует все слои, особенно L0 (2.4x выше).

💡 ВЫВОД
На 8% pretrain 1B уже показывает:

Структурную стабильность
Нет развала в мусор
Связный текст 150+ токенов

● АНАЛИЗ 70% ДАТАСЕТА:

ДРУГОЕ (33.5% = 93 MB)
Тематики:
- 📚 Советские учебники 1-8 класс (математика, естествознание)
- 🔬 Научпоп: Перельман ("Занимательная математика"), Акимушкин ("Мир животных")
- 🚀 Космос: Клушанцев, Авдеев
- 🏠 Домоводство, кулинария
- 🧩 Занимательные задачи, фокусы

Ключевые авторы:
- Перельман — занимательная наука
- Акимушкин — животный мир
- Фарадей — "История свечи"

ИСТОРИЯ/ОБЩЕСТВОЗНАНИЕ (23.8% = 66 MB)

ГЛАВНОЕ: БСЭ (Большая Советская Энциклопедия) 1-е издание!
57 томов (1926-1947) — это ОГРОМНАЯ часть!

Также:
- Атласы истории (СССР, Средние века)
- Хрестоматии по древнему миру
- История СССР для ВПШ
- "Всемирная история" в 10 томах

Модель выучит: Энциклопедический стиль, исторические факты, научную терминологию

Учебные материалы:
- Азбуки, буквари (1925-1991)
- Грамматика русского языка в иллюстрациях
- Методики обучения

Классики детской литературы:
- Маршак — сказки, стихи
- Чуковский — загадки
- Чехов — "Каштанка"
- Лермонтов — стихотворения
- Пушкин

Словари:
- Фразеологический словарь
- Этимологический словарь
- Литературоведческие термины

  ┌──────────────────┬─────────────────────────────────────────────────┐
  │     Источник     │                    Что даёт                     │
  ├──────────────────┼─────────────────────────────────────────────────┤
  │ БСЭ              │ Энциклопедический стиль, факты, терминология    │
  ├──────────────────┼─────────────────────────────────────────────────┤
  │ Учебники СССР    │ Структура "Задача-Решение", педагогический язык │
  ├──────────────────┼─────────────────────────────────────────────────┤
  │ Перельман        │ Объяснение сложного простым языком              │
  ├──────────────────┼─────────────────────────────────────────────────┤
  │ Детская классика │ Грамотный русский язык, стиль                   │
  ├──────────────────┼─────────────────────────────────────────────────┤
  │ Грамматики       │ Правила языка, нормы                            │
  └──────────────────┴─────────────────────────────────────────────────┘