Так. Пора драконить НТЦ МОДУЛЬ.
Почему не трогал?
Слишком много проектов надо было сдать и доделать. Приходилось постоянно ждать завершения задач. А работа с железом в моем случае каждый раз - reload компа. К сожалению таковы мои реалии сейчас, но я решу. И все будет ок.
Почему не трогал?
Слишком много проектов надо было сдать и доделать. Приходилось постоянно ждать завершения задач. А работа с железом в моем случае каждый раз - reload компа. К сожалению таковы мои реалии сейчас, но я решу. И все будет ок.
🤔4❤3👍2
Техножнец
Так. Пора драконить НТЦ МОДУЛЬ. Почему не трогал? Слишком много проектов надо было сдать и доделать. Приходилось постоянно ждать завершения задач. А работа с железом в моем случае каждый раз - reload компа. К сожалению таковы мои реалии сейчас, но я решу.…
Отдельный комп покупаю, я так сломаю свою станцию дома...нтц модуль перезагружает комп мне....сижу решаю. Вчера прям обиделся....
😐7
Свернуть белок правильно? Или этого мало?
Мало, конечно, нам нужны белки малые , средние, крупные...а потом дальнейшие манипуляции для построения полного лекарственного пайплайна - от открытия лекарств, до улучшения и диагностики текущих вариантов.
Есть такой программно аппаратный комплекс Шредингер Пайплайн - единственная такой комплекс, который создан как единая система , чтобы можно было много чего делать в удобном интерфейсе в том числе...
Я свою почти доделал. Допиливаю мелочи, докачиваю резидуумы и кристаллы белков...
Пылесошу все PDB
Мало, конечно, нам нужны белки малые , средние, крупные...а потом дальнейшие манипуляции для построения полного лекарственного пайплайна - от открытия лекарств, до улучшения и диагностики текущих вариантов.
Есть такой программно аппаратный комплекс Шредингер Пайплайн - единственная такой комплекс, который создан как единая система , чтобы можно было много чего делать в удобном интерфейсе в том числе...
Я свою почти доделал. Допиливаю мелочи, докачиваю резидуумы и кристаллы белков...
Пылесошу все PDB
1❤6👍5
KELLM - Языковая модель без нейросетей
Языковая модель на 50 000 слов русского языка, которая:
Запрос "blockchain cryptocurrency" → отказ.
Запрос "что такое фотосинтез" → генерация в домене Естествознание.
Метод
Один и тот же метод — DEMON (Determenistic-Embedding-from-Manifold-Observation-Neighbors) — работает в квазипериодических осцилляциях чёрных дыр, фолдинге белков, докинге лекарств, и теперь в языковой модели.
Пайплайн генерации (3 стадии)
Слово "что" после "треугольника" — кандидат из биграмм. Kalman оценивает: это геометрия? Подходит к текущему домену? N-gram проверяет: а бывает ли "треугольника что" в реальных текстах? Три стадии фильтруют бред.
Почему это интересно
Один метод — все задачи. Тот же Takens + delta + Kalman, что находит QPO в рентгеновских данных чёрных дыр, складывает белки (RMSD 1.37Å на крамбине), предсказывает докинг лекарств, и теперь генерирует текст. Не 11 разных алгоритмов — один.
72KB кода. Один файл Python. Без GPU. Загрузка за 3 секунды. Весь «вес модели» — 479MB предвычисленных таблиц (kNN-графы, биграммы, Kalman-состояния). Для сравнения: GPT-2 Small — 500MB чистых весов и при этом не может сказать «я не знаю».
Неопределённость — не костыль. У трансформеров uncertainty — это отдельная тема для диссертации (MC Dropout, ensembles, conformal prediction). Здесь каждое слово рождается с дисперсией из Kalman-фильтра. Дисперсия — это не постфактум оценка, это параметр самой генерации. Высокая дисперсия → консервативнее temperature → осторожнее выбор. Слишком высокая → «я не знаю».
Интерпретируемость. Почему модель сказала "треугольника"? Потому что: (1) биграмма "площадь→треугольника" имеет P=0.12 в корпусе, (2) Kalman-скор для домена Геометрия = 0.83, (3) триграмма "равна площадь треугольника" подтверждает. Не black box.
Ограничения
Это не chatbot. Не ведёт диалог.
Что это
Языковая модель на 50 000 слов русского языка, которая:
Не содержит нейросетей. Ноль. Нет attention, нет backprop, нет градиентного спуска.
Генерирует предложения по доменам: алгебра, геометрия, арифметика, естествознание, история, филология.
Умеет говорить «я не знаю» — отказывается отвечать на вопросы вне своих доменов с уверенностью 0%.
Каждое слово объяснимо — можно показать, почему модель выбрала именно его.
Запрос "blockchain cryptocurrency" → отказ.
Запрос "что такое фотосинтез" → генерация в домене Естествознание.
Метод
Один и тот же метод — DEMON (Determenistic-Embedding-from-Manifold-Observation-Neighbors) — работает в квазипериодических осцилляциях чёрных дыр, фолдинге белков, докинге лекарств, и теперь в языковой модели.
Суть:
1. Takens delay embedding
Берём корпус из 767 книг (учебники, от арифметики до истории). Каждое слово — точка в пространстве. Скользящие окна по 15 слов дают 363K последовательностей. Это траектории в фазовом пространстве языка.
2. kNN-графы + delta-инварианты
Для каждого слова строим граф ближайших соседей. Delta — мера нестабильности: насколько окрестность слова меняется при малых возмущениях. Слово "треугольник" стабильно в контексте геометрии (delta низкая), а "корень" нестабильно — может быть алгебра или ботаника (delta высокая).
3. Kalman-фильтр
Из QPO чёрных дыр — буквально тот же код. Gain = P/(P+R) × gate, где P — неопределённость состояния, R — шум наблюдения, gate — от delta. Фильтр прогоняет домены по всем 50K словам: каждое слово получает вектор принадлежности к 7 доменам + калиброванную дисперсию.
4. Аттрактор
Манифест (программный документ с ключевыми понятиями по каждому домену) работает как аттрактор — притягивает генерацию к нужному домену. 3 276 якорных слов из манифеста + 32K из инструкций учебников. При генерации: 70% сигнал от аттрактора, 30% от Kalman
Пайплайн генерации (3 стадии)
Вход → Токенизация → Определение домена (манифест) →
Стадия 1: Кандидаты (RRF: биграммы + триграммы + продолжения + BERT kNN)
Стадия 2: Kalman-скоринг (delta-weighted, gated gain)
Стадия 3: N-gram реранкинг (644K биграмм, 1.3M триграмм)
→ Softmax → Слово + неопределённость
Слово "что" после "треугольника" — кандидат из биграмм. Kalman оценивает: это геометрия? Подходит к текущему домену? N-gram проверяет: а бывает ли "треугольника что" в реальных текстах? Три стадии фильтруют бред.
Это не GPT. Это не пытается быть GPT. Предложения читаются как ассоциативный поток по теме — но каждое слово обосновано, домен никогда не уплывает, и система честно отказывается, когда не знает.
Почему это интересно
Один метод — все задачи. Тот же Takens + delta + Kalman, что находит QPO в рентгеновских данных чёрных дыр, складывает белки (RMSD 1.37Å на крамбине), предсказывает докинг лекарств, и теперь генерирует текст. Не 11 разных алгоритмов — один.
72KB кода. Один файл Python. Без GPU. Загрузка за 3 секунды. Весь «вес модели» — 479MB предвычисленных таблиц (kNN-графы, биграммы, Kalman-состояния). Для сравнения: GPT-2 Small — 500MB чистых весов и при этом не может сказать «я не знаю».
Неопределённость — не костыль. У трансформеров uncertainty — это отдельная тема для диссертации (MC Dropout, ensembles, conformal prediction). Здесь каждое слово рождается с дисперсией из Kalman-фильтра. Дисперсия — это не постфактум оценка, это параметр самой генерации. Высокая дисперсия → консервативнее temperature → осторожнее выбор. Слишком высокая → «я не знаю».
Интерпретируемость. Почему модель сказала "треугольника"? Потому что: (1) биграмма "площадь→треугольника" имеет P=0.12 в корпусе, (2) Kalman-скор для домена Геометрия = 0.83, (3) триграмма "равна площадь треугольника" подтверждает. Не black box.
Ограничения
Это не chatbot. Не ведёт диалог.
Качество текста — уровень ассоциативного потока, не литературного русского.
50K словарь (топ из 767 книг), за его пределами — отказ.
Не масштабируется на произвольные задачи как трансформеры.
1🔥11❤3❤🔥3👀3👍1
Чтобы сильно не заморачиваться поискам и так далее. Может есть у вас старая машина: системник в СПБ?
Не шибко говно, но и не сильно замороченный. Надо NM Card Mini тестировать на модельках и чтобы это было в изолированной среде. У кого такое без проблем просто валяется не нужное - я заберу ❤️
Не шибко говно, но и не сильно замороченный. Надо NM Card Mini тестировать на модельках и чтобы это было в изолированной среде. У кого такое без проблем просто валяется не нужное - я заберу ❤️
❤4🤔1
Техножнец
Так. Пора драконить НТЦ МОДУЛЬ. Почему не трогал? Слишком много проектов надо было сдать и доделать. Приходилось постоянно ждать завершения задач. А работа с железом в моем случае каждый раз - reload компа. К сожалению таковы мои реалии сейчас, но я решу.…
Вчера запустил Tinyllama 1b на 4 ядрах NM Card Mini (хотя в документации 16).
Но это в основном мои ошибки, да и плюс у меня компилятор с самописными модулями с матмулами всякими и умножениями матричными нужными...естессно...не оптимизировано нихрена. Я подумал, что на 16 ядрах будет неплохо запустить - и комп ушёл в жесть какую-то. Еле привёл в себя. Поэтому нужна отдельная станция.
Ах да...главный claim, что на NM CARD MINI можно запускать языковые модели - подтверждается. Осталось распараллелить правильно. Претензий в НТЦ Модуль = 0, потому что я сам на своём компиляторе это делаю, самописном...который основан на их документации - это совсем другие дела. Но продолжаю копать, т.к. вопрос теперь остаётся лишь в правильном допиливании и получении доступа к NM Quad кластеру.
Скорость генерации была 1 токен в минуту...(потрясающе = нет).
Но это в основном мои ошибки, да и плюс у меня компилятор с самописными модулями с матмулами всякими и умножениями матричными нужными...естессно...не оптимизировано нихрена. Я подумал, что на 16 ядрах будет неплохо запустить - и комп ушёл в жесть какую-то. Еле привёл в себя. Поэтому нужна отдельная станция.
Ах да...главный claim, что на NM CARD MINI можно запускать языковые модели - подтверждается. Осталось распараллелить правильно. Претензий в НТЦ Модуль = 0, потому что я сам на своём компиляторе это делаю, самописном...который основан на их документации - это совсем другие дела. Но продолжаю копать, т.к. вопрос теперь остаётся лишь в правильном допиливании и получении доступа к NM Quad кластеру.
👍7
в МЦСТ письмо с заявкой сегодня отправляю повторно (там регламент). Тоже будет доступ - проверять умножалки матриц мои.
👍18
На связь вышли ВШЭ. Будем делать совместные курсы на апрель по музыке с нейросетями.
Отличные новости!
Отличные новости!
🔥26👍6
24 февраля, в 16:20 лекция МГТУ Имени Баумана.
Лекция на тему: Перспективы развития ИИ, новые направления. Топология и энтропия - всё динамическая система?
Это официально.
Техножнец.
🔥39❤6😁2👍1🥴1😭1
ВШЭ планируют курсы делать совместно с МФТИ, мы созванивались буквально минут 40 назад и обсудили важные детали. В Москве уже увижусь с коллективом и обрисуем моё участие подробнее.
Всем, пока что, всё нравится.
Всем, пока что, всё нравится.
🔥29🥰6👍2🤣1
Техножнец
ВШЭ планируют курсы делать совместно с МФТИ, мы созванивались буквально минут 40 назад и обсудили важные детали. В Москве уже увижусь с коллективом и обрисуем моё участие подробнее. Всем, пока что, всё нравится.
Перспективы применения нейросетей очень разрозненные и, допустим момент, если есть рабочие пайплайны и схемы для работы функциональные = значит есть чем поделиться в рамках курсов.
Сам свои процессы, конечно, очень ускорил благодаря нейросетям.
Также мы с коллективом из ВШЭ обсудили детали плагинов, которые уже сделаны на Kalman extended предсказаниях волны и не только. Вероятно, что получится включить их сразу в курс. А мне повод доделать их побыстрее.
Сам свои процессы, конечно, очень ускорил благодаря нейросетям.
Также мы с коллективом из ВШЭ обсудили детали плагинов, которые уже сделаны на Kalman extended предсказаниях волны и не только. Вероятно, что получится включить их сразу в курс. А мне повод доделать их побыстрее.
👍17🔥3
Ага, там че-то ещё новости всякие. Понял, осознал...щас буду разгребать.
Синтеты...а вы там что?
Синтеты...а вы там что?
😴4
Техножнец
Развиваю KELLM - ну это вообще, конечно, другая планета...там лишь мааааленькое зёрнышко с KAN внутри...остальное это топология. Работает - ЛЮТО! Скоро покажу. Язык = траектория = факт!!!
Модель уже уверенно отвечает - не знаю...когда домен ей не знаком.
❤5
KELLM - DEMON-LM: Что это и почему это работает
DEMON-LM — языковая модель без токенизатора, без трансформера, без attention. Вместо этого — топология траекторий на многообразии смыслов.
Грамматика = кривизна траектории. Правильное предложение — гладкая дуга. Бессмыслица — хаотичные прыжки (высокий
delta).
DEMON-LM — языковая модель без токенизатора, без трансформера, без attention. Вместо этого — топология траекторий на многообразии смыслов.
Архитектура:
- Словарь = 50K слов, каждое — точка в 50D BERT пространстве
- TruKAN (Chebyshev KAN) — навигатор: предсказывает направление к следующему слову
- Kalman filter — сглаживание траектории, фильтрация шума
- DEMON delta — детектор хаоса: видит, когда траектория теряет устойчивость
Почему язык = траектория?
Предложение — это дуга через пространство смыслов. "Кот сидел на коврике":
- "Кот" → точка A в BERT-пространстве (область животных)
- "сидел" → траектория движется в область действий
- "на" → поворот к пространственным отношениям
- "коврике" → приземление в область объектов
Грамматика = кривизна траектории. Правильное предложение — гладкая дуга. Бессмыслица — хаотичные прыжки (высокий
delta).
Вопрос задаёт начальную точку и направление, ответ — продолжение той же дуги.
Это не метафора. Takens embedding theorem доказывает: любая динамическая система восстановима из наблюдаемых
траекторий. Язык — динамическая система. Слова — наблюдения.
Почему не нужен токенизатор?
Токенизатор решает неправильную задачу. Он режет "невероятный" на "не" + "##веро" + "##ятный" — три бессмысленных
куска. Потом трансформер тратит миллиарды параметров чтобы склеить их обратно в смысл.
KELLM - DEMON-LM работает с целыми словами как точками в пространстве смыслов. Слово — это вектор, а не набор субтокенов. Мы
не собираем смысл из кусков. Мы навигируем по пространству, где смысл уже закодирован в координатах.
Почему лучше орудовать смыслами?
Трансформер: 175B параметров → token → attention → token → detokenize → текст.
DEMON-LM: 390K параметров → вектор смысла → направление → следующий вектор → слово.
Разница в 450,000 раз по параметрам.
Потому что:
1. Трансформер учит статистику текста (какой токен после какого). Ему нужны триллионы примеров.
2. DEMON учит геометрию смысла (куда двигаться по многообразию). Ему нужна только правильная карта пространства.
KAN (Chebyshev) идеален для этого — он учит функцию многообразия, а не таблицу весов. Один полином Чебышёва
аппроксимирует кривизну, которую MLP покрывает тысячами нейронов.
Что она сможет делать?
Сейчас (стадия разработки): генерирует осмысленные предложения на русском, отвечает на вопросы через kNN-навигацию по
пространству ответов.
Качество пока ниже GPT — но на 390K параметров vs 175 миллиардов.
Цель: доказать что топология смысла — достаточная основа для языка. Не нужны attention heads. Не нужны positional
encodings. Не нужен BPE. Нужна правильная геометрия пространства и правильный навигатор по нему.
🔥15❤3👍3🤔1💯1
Техножнец
KELLM - DEMON-LM: Что это и почему это работает DEMON-LM — языковая модель без токенизатора, без трансформера, без attention. Вместо этого — топология траекторий на многообразии смыслов. Архитектура: - Словарь = 50K слов, каждое — точка в 50D BERT пространстве…
Началась тренировка на 9,5 миллионах примеров, которые благополучно переведены в траектории.
🔥13❤1
🎓 Лекция в МГТУ им. Н.Э. Баумана
📅 24 февраля, 16:20
📍 Корпус В7, ауд. 419
ОНЛАЙН ТРАНСЛЯЦИЯ БУДЕТ! ТРАНСЛЯЦИЯ БУДЕТ!
«Перспективы развития ИИ, новые направления. Топология и энтропия — всё динамическая система?»
Эксклюзивный материал представит Павел Попович, автор Telegram-канала «Техножнец» (t.me/technojnec), энтузиаст и исследователь в области ИИ.
ФОРМА ДЛЯ ВАШИХ ВОПРОСОВ: https://forms.yandex.ru/u/68fe478302848fa89a3d30b2/Основные темы лекции:
🔹 Эволюция ИИ — какие направления станут мейнстримом в ближайшие 3–5 лет, а какие уйдут в историю
🔹 Топологический подход — язык как траектория, координаты как геометрия
🔹 Энтропия в ИИ — от термодинамических аналогий к оптимизации обучения моделей
🔹 Динамические системы — почему ИИ это не «чёрный ящик», а эволюционирующая структура
🔹 Междисциплинарные пересечения — как математика, физика и биология формируют новый вычислительный ландшафт
Пост в VK от Официальной страница кафедры ИУ5🎓МГТУ им Н.Э. Баумана: https://vk.com/wall-211704031_151
РЕГИСТРАЦИЯ ВНЕШНИХ СЛУШАТЕЛЕЙ
Регистрация на мероприятие в МГТУ им. Н.Э. Баумана для внешних слушателей.
Название: Перспективы развития ИИ, новые направления. Топология и энтропия - всё динамическая система?
Дата: 24.02.26
Начало: 16:20
Адрес: Бауманская улица, 53с4. МГТУ им. Н.Э. Баумана, корпус В7 (Bauman Digital World).
Yandex maps: https://yandex.ru/maps/-/CPQquVoZ
https://forms.yandex.ru/u/6989ff7b84227c9f36c56c11/
11🔥33👍7