Вчера запустил Tinyllama 1b на 4 ядрах NM Card Mini (хотя в документации 16).

Скорость генерации была 1 токен в минуту...(потрясающе = нет). 

Но это в основном мои ошибки, да и плюс у меня компилятор с самописными модулями с матмулами всякими и умножениями матричными нужными...естессно...не оптимизировано нихрена. Я подумал, что на 16 ядрах будет неплохо запустить - и комп ушёл в жесть какую-то. Еле привёл в себя. Поэтому нужна отдельная станция.


Ах да...главный claim, что на NM CARD MINI можно запускать языковые модели - подтверждается. Осталось распараллелить правильно. Претензий в НТЦ Модуль = 0, потому что я сам на своём компиляторе это делаю, самописном...который основан на их документации - это совсем другие дела. Но продолжаю копать, т.к. вопрос теперь остаётся лишь в правильном допиливании и получении доступа к NM Quad кластеру.

в МЦСТ письмо с заявкой сегодня отправляю повторно (там регламент). Тоже будет доступ - проверять умножалки матриц мои.

На связь вышли ВШЭ. Будем делать совместные курсы на апрель по музыке с нейросетями.

Отличные новости!

24 февраля, в 16:20 лекция МГТУ Имени Баумана.

Лекция на тему: Перспективы развития ИИ, новые направления. Топология и энтропия - всё динамическая система?

Это официально.

Техножнец.

ВШЭ планируют курсы делать совместно с МФТИ, мы созванивались буквально минут 40 назад и обсудили важные детали. В Москве уже увижусь с коллективом и обрисуем моё участие подробнее.

Всем, пока что, всё нравится.

Перспективы применения нейросетей очень разрозненные и, допустим момент, если есть рабочие пайплайны и схемы для работы функциональные = значит есть чем поделиться в рамках курсов.

Сам свои процессы, конечно, очень ускорил благодаря нейросетям.

Также мы с коллективом из ВШЭ обсудили детали плагинов, которые уже сделаны на Kalman extended предсказаниях волны и не только. Вероятно, что получится включить их сразу в курс. А мне повод доделать их побыстрее.

Доброе утро. Встаю, встаю

Ага, там че-то ещё новости всякие. Понял, осознал...щас буду разгребать.

Синтеты...а вы там что?

Развиваю KELLM - ну это вообще, конечно, другая планета...там лишь мааааленькое зёрнышко с KAN внутри...остальное это топология. Работает - ЛЮТО!

Скоро покажу.

Язык = траектория = факт!!!

Модель уже уверенно отвечает - не знаю...когда домен ей не знаком.

KELLM - DEMON-LM: Что это и почему это работает

DEMON-LM — языковая модель без токенизатора, без трансформера, без attention. Вместо этого — топология траекторий на многообразии смыслов.

Архитектура:
- Словарь = 50K слов, каждое — точка в 50D BERT пространстве
- TruKAN (Chebyshev KAN) — навигатор: предсказывает направление к следующему слову
- Kalman filter — сглаживание траектории, фильтрация шума
- DEMON delta — детектор хаоса: видит, когда траектория теряет устойчивость

  Почему язык = траектория?

Предложение — это дуга через пространство смыслов. "Кот сидел на коврике":
- "Кот" → точка A в BERT-пространстве (область животных)
- "сидел" → траектория движется в область действий
- "на" → поворот к пространственным отношениям
- "коврике" → приземление в область объектов

Грамматика = кривизна траектории. Правильное предложение — гладкая дуга. Бессмыслица — хаотичные прыжки (высокий
delta).

   Вопрос задаёт начальную точку и направление, ответ — продолжение той же дуги.

Это не метафора. Takens embedding theorem доказывает: любая динамическая система восстановима из наблюдаемых
траекторий. Язык — динамическая система. Слова — наблюдения.

  Почему не нужен токенизатор?

Токенизатор решает неправильную задачу. Он режет "невероятный" на "не" + "##веро" + "##ятный" — три бессмысленных
куска. Потом трансформер тратит миллиарды параметров чтобы склеить их обратно в смысл.

KELLM - DEMON-LM работает с целыми словами как точками в пространстве смыслов. Слово — это вектор, а не набор субтокенов. Мы
не собираем смысл из кусков. Мы навигируем по пространству, где смысл уже закодирован в координатах.

  Почему лучше орудовать смыслами?

Трансформер: 175B параметров → token → attention → token → detokenize → текст.
DEMON-LM: 390K параметров → вектор смысла → направление → следующий вектор → слово.

  Разница в 450,000 раз по параметрам. 

Потому что:
1. Трансформер учит статистику текста (какой токен после какого). Ему нужны триллионы примеров.
2. DEMON учит геометрию смысла (куда двигаться по многообразию). Ему нужна только правильная карта пространства.

KAN (Chebyshev) идеален для этого — он учит функцию многообразия, а не таблицу весов. Один полином Чебышёва
аппроксимирует кривизну, которую MLP покрывает тысячами нейронов.

  Что она сможет делать?

Сейчас (стадия разработки): генерирует осмысленные предложения на русском, отвечает на вопросы через kNN-навигацию по
пространству ответов.

Качество пока ниже GPT — но на 390K параметров vs 175 миллиардов.

Цель: доказать что топология смысла — достаточная основа для языка. Не нужны attention heads. Не нужны positional
encodings. Не нужен BPE. Нужна правильная геометрия пространства и правильный навигатор по нему.

Началась тренировка на 9,5 миллионах примеров, которые благополучно переведены в траектории.

🎓 Лекция в МГТУ им. Н.Э. Баумана

📅 24 февраля, 16:20

📍 Корпус В7, ауд. 419

ОНЛАЙН ТРАНСЛЯЦИЯ БУДЕТ! ТРАНСЛЯЦИЯ БУДЕТ!

«Перспективы развития ИИ, новые направления. Топология и энтропия — всё динамическая система?»
Эксклюзивный материал представит Павел Попович, автор Telegram-канала «Техножнец» (t.me/technojnec), энтузиаст и исследователь в области ИИ.

ФОРМА ДЛЯ ВАШИХ ВОПРОСОВ: https://forms.yandex.ru/u/68fe478302848fa89a3d30b2/

Основные темы лекции:
🔹 Эволюция ИИ — какие направления станут мейнстримом в ближайшие 3–5 лет, а какие уйдут в историю
🔹 Топологический подход — язык как траектория, координаты как геометрия
🔹 Энтропия в ИИ — от термодинамических аналогий к оптимизации обучения моделей
🔹 Динамические системы — почему ИИ это не «чёрный ящик», а эволюционирующая структура
🔹 Междисциплинарные пересечения — как математика, физика и биология формируют новый вычислительный ландшафт

Пост в VK от Официальной страница кафедры ИУ5🎓МГТУ им Н.Э. Баумана: https://vk.com/wall-211704031_151

РЕГИСТРАЦИЯ ВНЕШНИХ СЛУШАТЕЛЕЙ

Регистрация на мероприятие в МГТУ им. Н.Э. Баумана для внешних слушателей.
Название: Перспективы развития ИИ, новые направления. Топология и энтропия - всё динамическая система?
Дата: 24.02.26
Начало: 16:20
Адрес: Бауманская улица, 53с4. МГТУ им. Н.Э. Баумана, корпус В7 (Bauman Digital World).
Yandex maps: https://yandex.ru/maps/-/CPQquVoZ

https://forms.yandex.ru/u/6989ff7b84227c9f36c56c11/

Я спросил - а шо там происходит?

Отвечает Claude:

Классический холивар в чате, Паш 😄
Суть: Маффин ставит Astra Linux на какой-то комп (видимо, для тебя — под ИИ-ускоритель), материнка ещё не приехала, поэтому он пока на диск накатывает. Взял образ ALCE с официального репо, Юрий Лунев поправил — надо ALSE 1.8.4, потому что ALCE это по сути Debian 9.
А дальше понеслось — Герман и Maksonic сцепились на тему российских ОС. Герман топит за то, что Астра/Альт/РедОС — это просто форки Linux с прикрученным Кузнечиком и Стрибогом, которые доят госбабло. Maksonic защищает Альт как единственный нормальный вариант с пересобранным ядром и репозиторием Сизиф. В итоге дошло до угроз баном за "клоунизм".
Маффин при этом спокойно сидит в сторонке — ему сказали ставить то, что совместимо с ускорителем, он и поставил. Прораб скажет — перекатится на Debian.
А ChopX тебя поздравил с ростом и напомнил спать 😊

Там до фига чего тренируется. Отпишу

Надо по стримам решить. Я бы пообщался в онлайне с вами.

ОХ...это долго. как обычно с нейросетями...решил усилить с помощью KAN = проект утяжеление.

Как только Claude Opus 4.6 или другая модель начинает тупить - знайте. Антропики чето тестируют и снова поломали ему память. Это просто - мрак. Крепитес

Уважаемые - сегодня произошло уманалово. Ответы и отчёты завтра - пусть тренируется.
Я спать - и вам желаю того же ❤️

Спокойной ночи