Поданы на утверждение к печати 3 статьи. Прикладная математика. Информатика. Процессы управления» (СПИСОК-2, ВАК) три научные статьи.

(1) «Корпус RUKALLAMA». Методология построения русскоязычного образовательного датасета на 763 советских учебниках 1926–1990 гг. VLM-OCR через Llama-4-Scout-17B; токенизатор RUKANIZER (100 032 в словаре, сжатие 4,33 знака/токен, 100% обратимость, лучший в 8 из 9 доменов); автоматическая ёфикация на 19 052 словоформах + pymorphy3. На MERA: PARus 55,8% и ruOpenBookQA 33,6% (статистически значимо). - внутри деталей больше

(2) «RUKALLAMA — KAN-модель». 853 млн параметров, TrueKAN с базисом Чебышёва K=3 — на 38% быстрее nn.Linear в скомпилированном режиме. Батчированное KAN-внимание ×4,6. Формальный анализ attention sink (порядок применения bias и RoPE) и его устранение — стабильных sink-голов 4 → 0. На MERA PARus 56,8% — лучший среди русскоязычных моделей класса до 1 млрд параметров.- внутри деталей больше

(3) «PromeTorch на NM Card / NM Quad». Суверенный фреймворк (~100К строк C++/CUDA/Python без зависимостей от PyTorch) для отечественных ускорителей НТЦ Модуль. SIMD через nmpp даёт ×100 к скаляру; 16-ядерный волновой backward — 80% линейной масштабируемости. MNIST 93,64% на эмуляторе, 705 tok/s на NM Quad. Тренировка PIR-250M (189M) на Эльбрусе E8C2 — быстрее PyTorch 2.7.1. - внутри деталей больше


🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com

Насчёт новостей:

1) Rukallama V11 прошла 60% второй эпохи. Loss упал до 3.3 - это прекрасные показатели. Я остановлюсь на примерно 2.7-2.9 LOSS - этого при моём количестве параметров и количестве токенов (8 млрд токенов датасета) вполне себе нормально будет для начала SFT!

Rukallama V11 показывает здравое поведение, отвечает на вопросы часто по существу. Имеет проблемы с повторами, но уже по причине самой механики трансформеров, что можно будет убрать при дообучении. УРА - тут всё окей вообще без вопросов. Самый тяжелый и трудоёмкий проект.

2) На меня вышли из Института Государственно-Частного Планирования, а конкретно генеральный директор данного заведения. У них целая рабочая группа, кластер из 18 команий, которые заинтересованы в работе Эльбрусов и многого на них, также учитывая языковые модельки. Будем, надеюсь сотрудничать по теме и развивать ИИ уже в другом масштабе.

3) Я устроился на работку и там очень интересный проект. Рассказывать особо не могу, но, главное, занятость не полная - поэтому можно будет оставить воздуха для работы уже непосредственно со своими проектами, при этом получая средства для существования.

4) Тема с нейронами, с калькуляцией и так далее невозможна на одной моей карте, а тратить на Google Colab желания нет. Это временно относится на второй план иначе я НИКОГДА НЕ ДОДЕЛАЮ RUKALLAMA!

Как бы мне не были интересны эти проекты сторонние мои, но там, где нужна видео карта моя - я не могу ничего поделать. Там Rukallama. Если есть желание накинуть в yoomoney, на карту и так далее, то ссылки будут ниже.


Всё очень просто. Я не буду работать с инвесторами, но у меня есть синтеты. Они всегда выручат когда надо подсобить. (это не сигнал о помощи, это сигнал о взаимодействии). Мне просто не всегда хватает своих кровных на все подписки. Как только хватает - все проекты льются как из рога изобилия. Нужны компьюты - часы видеокарт.

🦆🦆🦆
Поддержать канал: ТБАНК
Поддержать канал: ЮМАНИ
Поддержать канал: PAYPAL paperfunkrecordings@gmail.com