такие дела. продолжаю.

Зачем? Да как...

Если своя база, своя дока удобная. Можешь ядра эффективнее писать если кое какие моменты проработаешь в работе с данными на GPU. Там есть определённые правила "игры" их надо соблюдать.

Без опыта вайбкодинга такой проект сразу скатывается в провал. Контроль нужен адский - иначе = слив токенов.

RUKALLAMA обучается,но на чём?

● АНАЛИЗ 70% ДАТАСЕТА:

ДРУГОЕ (33.5% = 93 MB)
Тематики:
- 📚 Советские учебники 1-8 класс (математика, естествознание)
- 🔬 Научпоп: Перельман ("Занимательная математика"), Акимушкин ("Мир животных")
- 🚀 Космос: Клушанцев, Авдеев
- 🏠 Домоводство, кулинария
- 🧩 Занимательные задачи, фокусы

Ключевые авторы:
- Перельман — занимательная наука
- Акимушкин — животный мир
- Фарадей — "История свечи"

ИСТОРИЯ/ОБЩЕСТВОЗНАНИЕ (23.8% = 66 MB)

ГЛАВНОЕ: БСЭ (Большая Советская Энциклопедия) 1-е издание!
57 томов (1926-1947) — это ОГРОМНАЯ часть!

Также:
- Атласы истории (СССР, Средние века)
- Хрестоматии по древнему миру
- История СССР для ВПШ
- "Всемирная история" в 10 томах

Модель выучит: Энциклопедический стиль, исторические факты, научную терминологию

ФИЛОЛОГИЯ (13.5% = 38 MB)

Учебные материалы:
- Азбуки, буквари (1925-1991)
- Грамматика русского языка в иллюстрациях
- Методики обучения

Классики детской литературы:
- Маршак — сказки, стихи
- Чуковский — загадки
- Чехов — "Каштанка"
- Лермонтов — стихотворения
- Пушкин

Словари:
- Фразеологический словарь
- Этимологический словарь
- Литературоведческие термины

ВЫВОД: ЧТО ВЫУЧИТ МОДЕЛЬ

  ┌──────────────────┬─────────────────────────────────────────────────┐
  │     Источник     │                    Что даёт                     │
  ├──────────────────┼─────────────────────────────────────────────────┤
  │ БСЭ              │ Энциклопедический стиль, факты, терминология    │
  ├──────────────────┼─────────────────────────────────────────────────┤
  │ Учебники СССР    │ Структура "Задача-Решение", педагогический язык │
  ├──────────────────┼─────────────────────────────────────────────────┤
  │ Перельман        │ Объяснение сложного простым языком              │
  ├──────────────────┼─────────────────────────────────────────────────┤
  │ Детская классика │ Грамотный русский язык, стиль                   │
  ├──────────────────┼─────────────────────────────────────────────────┤
  │ Грамматики       │ Правила языка, нормы                            │
  └──────────────────┴─────────────────────────────────────────────────┘

СИЛЬНЫЕ СТОРОНЫ датасета:

1. ✅ Энциклопедичность (БСЭ)
2. ✅ Педагогический стиль (учебники)
3. ✅ Качественный русский язык (классики)
4. ✅ Научпоп объяснения (Перельман)

Скоро выкачу дешевый сервис, где есть куча ИИ, нет ограничений в токенах (только окно модели) и куча tool use:
рисование, видео генерации, аудио генерации, поиск и даже запуск кода. Всё в виде приятного сервиса на основе Lobe Chat.

Это мой пет проект, который призван демократизировать доступ к современным ИИ и удешевить это дело до копеек буквально. Подписка будет для всех доступна и через бота и по обычной оплате. Назвал сервис "ИИШКА" - уже готова техническая часть. С ней я больше всего колупался, но там есть нюанс (который я раскрою позже).

Ваще было бы неплохо компактинг прикрутить чтобы разговоры были "вечные". Буду держать в курсах.

💾 Checkpoint Step 2500

📉 Train Loss: 6.7521
📊 Val Loss: 5.8807
📈 LR: 3.00e-04
⚡️ Speed: 3,415 tok/s

Тем временем переработанная модель на более эффективные в плане обучения и скорости и памяти КАН блоки продолжает обучаться.
Мне пришлось несколько фиксов на ходу делать, но уже более или менее.

PIR - временный стоп. Жду получки!

Ух! Количество работы зашкаливает - столько всего сделал. Я подобью все свои результаты за последнее время и продолжу движения далее. У меня там ещё RUKALLAMA предыдущей версии недопилена до конца - а там уже на статью. В общем - этапов много, осмотрюсь, оглянусь.

2, 3 научные статьи я заработал. Выходы на научных руководителей имеются. Хочу вот реализоваться это всё.

Только что обнаружил свою главную проблему...я слишком самокритичен...

По теме системы ИИ В РНБ! Хорошие новости - я нашёл кучу багов. смешно, конечно, получилось. Исправляю))))

🚀 TrueKAN / RealKAN — архитектурный апдейт
Переработал ядро. Коротко о главном: (кратко для всех)

⚡️ Скорость
Полностью переехал с B-spline на полиномы Чебышёва. Рекурсия в один FMA, всё в регистрах GPU. Результат — 18x быстрее при том же качестве.

🗜 Память
Low-rank факторизация параметров. Сжатие в 14x без потери выразительности.

🧠 Multi-Head
Batched подход — все головы одним вызовом вместо отдельных kernel launch. 4.6x speedup.

🎯 KAN в Attention
KAN теперь не только в FFN, но и в attention проекциях. Обучаемые нелинейные трансформации дают более выразительные паттерны. -4.5% loss vs линейный вариант.

🏗 MoE
Sparse mixture of experts — больше параметров при меньшем compute.

Итого: быстрее MLP, выразительнее Linear, меньше памяти.
Скоро больше деталей 👀

🗜 Low-rank — объяснение на пальцах
Проблема: матрица 1000×1000 = миллион параметров. Жрёт память.
Решение: разбить на две маленькие.

Вместо:
A = [1000 × 1000] = 1 000 000 параметров
Храним:
U = [1000 × r]
V = [r × 1000]
Где r — маленькое число. U × V даёт ту же большую матрицу, но хранить в разы меньше.

Почему работает?
Большинство матриц в нейросетях избыточны — много повторяющихся паттернов. Как JPEG сжимает фото, потому что соседние пиксели похожи.

TL;DR: Храним "сжатую версию" матрицы из двух кусков. Результат тот же, памяти меньше.

Как-то так. Это вкратце по текущему.

Подкидываю вам идеи, синтеты...

Запустил анализ паблика. Обычно это стоит кучу денег. В моём случае - почти фришка

🏛 Последний этап проекта поисковика на основе ИИ для РНБ!

Сложные сценарии с поиском документов:
8 блоков, 45 тестов, ~60-90 минут

📊 BLOCK A: Статистика фонда (11 тестов)

count_documents по 10 темам: история, физика, математика, экономика, философия, биология, информатика, педагогика, юриспруденция, медицина
A.11: Сравнение количеств между темами

🔍 BLOCK B: Поиск с глубокой валидацией (8 тестов)

Проверка structure источников (title, file_rel, excerpt)
Междисциплинарный поиск (медицина+информатика, экономика+математика)
Сравнение Pro vs Quick mode

📄 BLOCK C: PDF операции (8 тестов)

read_pdf_pages, summarize_document, list_document_info, search_in_document
Чтение конкретных страниц, суммаризация, метаданные

⚖️ BLOCK D: Сравнение и анализ (6 тестов)

compare_documents по методам, результатам, новизне, целям
Обзор нескольких документов, общие выводы

📈 BLOCK E: Диаграммы (5 тестов)

Mermaid через запрос, график распределения, action WebSocket

🧪 BLOCK F: Workflow исследователя (15 шагов)
Поиск → Count → Чтение → Суммаризация → Метаданные → Поиск внутри → Сравнение → Смена темы → Диаграмма → Итоги

🧬 BLOCK G: Мульти-тематический поиск (10 шагов)
Биоинформатика → Медицинская информатика → Пересечение → Сравнение → Итоги
⚡️ BLOCK H: Сравнение режимов (5 тестов)
Pro vs Quick: скорость, качество, глубина

🔥 Финишная прямая! лол...в работе агента. Дальше дыры по каталогизации с РНБ базой данных, но это уже не так сложно.

RNBLEXITY V2 — MEGA Test Suite (45 scenarios, 8 blocks)
========================================================
Block A: Статистика фонда — count_documents по 10 темам
Block B: Поиск с глубокой валидацией источников
Block C: PDF операции — read, summarize, info, search_in_doc
Block D: Сравнение и анализ документов
Block E: Диаграммы и визуализация
Block F: Workflow исследователя (15 шагов)

🔥 PromeTorch: Deep Learning Framework с нуля

Сегодня починил критический баг в GPU backward pass и достиг 97.17% точности на MNIST — практически как PyTorch!

Что это?

Полноценный DL фреймворк на C++/CUDA:
🧠 Autograd
⚡️ CUDA на GPU
🔷 Intel MKL на CPU
🎯 Свои оптимизаторы

Баг дня
GPU застрял на 75%, CPU давал 97%.
Причина: tensor.t() менял strides, но не копировал данные. GPU читал память в неправильном порядке.
Решение: одна строчка — .contiguous()
Результат: 75% → 97.17% 🚀

Цифры

           PyTorch   PromeTorch
Accuracy   97.97%    97.17%
Время      13s       24s

Следующий шаг — оптимизатор, который побьёт Adam.

Зачем?
🔧 Контроль над каждым байтом
📚 Понять DL изнутри
🧪 Свобода экспериментов
✨ Кайф от создания своего

Проснулся...ночью не умею спать...пойду посмотрю шо там.

Уважаемые, я тут не шутками занимаюсь, если что.
Месяцами провожу тяжелейшие исследования. Раскалываю своё понимание вопроса и делаю это максимально долго, нудно, муторно и детально. Даёт ли это свои плоды? Сами подумайте...следующий пост, вам о многом расскажет.

🔬 TrueKAN: Первая реализация Kolmogorov-Arnold Network быстрее MLP

Все существующие реализации KAN медленнее MLP в 1.5-30 раз. Это главная причина почему KAN остаются академической игрушкой — красивая теория, непрактичная скорость.

Мой - TrueKAN решает эту проблему.

Бенчмарки (GPU, batch=100, dim=1000)
Данные из github.com/Jerry-Master/KAN-benchmarking и arXiv:

Original KAN — 30x медленнее MLP
EfficientKAN — 9.7x медленнее
Fast-KAN — 2.9x медленнее
ChebyKAN — 2.1x медленнее
SineKAN — 1.78x медленнее (лучший в литературе)

Наши результаты:

TrueKAN R=8 — 0.92x (на 8% быстрее MLP)
TrueKAN dim=2048 — 0.42x (в 2.4x быстрее MLP, training mode)

Что это значит

KAN математически мощнее MLP — это следует из теоремы Колмогорова-Арнольда. На сложных осциллирующих функциях (sin(20x)·cos(15y)) MLP даёт R² = 33%. TrueKAN даёт R² = 99.77% при 21x меньшем количестве параметров.
Проблема была в реализации, не в архитектуре.

Что под капотом

Настоящий KAN: learnable φ на каждом ребре графа, не "FastKAN" который по сути MLP с хитрой активацией
Chebyshev polynomial basis вместо B-splines
Low-rank factorization коэффициентов
Fused CUDA kernels: базис считается в регистрах, один проход по памяти

Детали реализации опубликую вместе с кодом.

Статус

✅ Inference быстрее MLP
✅ Training на паритете/быстрее на больших размерностях
✅ Интеграция в LLM (RealKANGPT, loss curves есть)
⏳ Ablation studies для статьи
⏳ Код — скоро в открытом доступе

Почему это важно

KAN обещали interpretability + accuracy + efficiency. Первые два уже доказаны в литературе. Efficiency был blocker. Если TrueKAN воспроизводится — это убирает последний барьер для практического применения KAN в продакшене.
Бенчмарки сравнения взяты из github.com/Jerry-Master/KAN-benchmarking — те же условия, те же метрики.


Яндекс, Сбербанк - привет.

Текущие ablation studies для статьи и публикации. Это повысит престиж нашего RU сообщества! Это точно!