Последние тяжёлые шаги в работе с базой по РНБ.

Огромное количество авто тестов, тыкания в интерфейс, тестирования моделек, создания скриптов со сценариями сложных юзеров и....гребаная база документов. (база отличная)

Просто есть столько способов с ней работать, я ищу золотую середину между хорошо и быстро. Сами понимаете - слишком хорошо = медленно, слишком быстро = падает качество.

А я решаю вопрос за счёт нагрузки на свою тачку, поэтому дрожно быть окей.

Тут кое какой проект на подходе...щас расскажу.

Обратное распространение ошибки — почему это дорого

Обратное распространение ошибки... что за название вообще? Давайте разберём по словам.

Ошибка — сеть дала ответ, мы сравнили с правильным, получили разницу. Это ошибка.

Распространение — эта ошибка должна "дойти" до каждого параметра сети. Их миллионы. Каждый должен узнать: "это из-за тебя или нет?" Обратное — данные шли слева направо (вход → выход). Ошибка идёт справа налево (выход → вход). Обратно.

Всё. Никакой магии.

Сеть ошиблась → ошибка идёт назад → каждый параметр получает свою долю вины → параметры корректируются.

Теперь почему это дорого:

Память. Чтобы пустить ошибку обратно, нужно помнить всё, что было на прямом пути.

Каждый слой сохраняет свои промежуточные вычисления. Модель 7 миллиардов параметров при обучении съедает 50+ ГБ видеопамяти. При обычном запуске — 14 ГБ. Разница — это всё хранится для обратного прохода.

Вычисления.
Прямой проход — одна операция на слой.
Обратный — две: посчитать вину входа + посчитать вину весов.
Backward ≈ 2x forward.

Очередь.

Прямой проход можно распараллелить.
Обратный — строго по порядку.

Пока не разобрался со слоем 10, не можешь трогать слой 9. Видеокарта ждёт.

Итого:

Обучение = прямой проход + обратный проход ≈ 3x от простого запуска.
Но главная боль — память. Обучить модель стоит в 3-4 раза больше видеопамяти, чем просто её запустить.

Что я хочу сделать:

Предсказывать эти "доли вины" маленькой моделью. Без честного обратного прохода. Если выйдет — обучение станет дешёвым как инференс.

Инфа в следующем посте...

KANDAM — предсказание градиентов без вычислений

Мы выяснили, что обратное распространение — это дорого. Память, вычисления, очередь. А что если его не делать вообще?

Идея:
Градиенты — это не случайные числа. Это траектория. Сеть учится по определённому маршруту: шаг 1, шаг 2, шаг 3... Каждый следующий шаг зависит от предыдущих.

Есть теорема Такенса (1981). Она говорит: если наблюдать за системой достаточно долго, можно предсказать её будущее по прошлому. Не нужно знать все внутренности — достаточно видеть историю.

Что делает KANDAM:

Берём много нейросетей, которые гарантированно обучаются
Записываем всё: как менялся loss, как двигались веса, какие были градиенты!

Получаем тысячи "траекторий обучения"

Тренируем маленькую KAN-модель предсказывать: "если история такая — следующий градиент будет такой"

При обучении новой сети:

Прямой проход → посмотрели loss → спросили у KANDAM "куда двигаться?" → получили предсказанный градиент → обновили веса.

Обратного прохода нет. Памяти под активации не нужно. Вычислений в разы меньше.

Почему KAN:

Градиентный ландшафт — сложная штука. Много пиков, впадин, резких переходов. Обычные сети (MLP) плохо учат такие функции. KAN — хорошо. Мы это доказали в TrueKAN: 99% точности там, где MLP даёт 23%.

Если сработает:
Обучение нейросетей станет дешёвым. Не в 3 раза дороже инференса, а почти столько же. Это меняет всё — кто может обучать модели, какого размера, за какие деньги.

Статус:

Теория сходится. Эксперимент спроектирован. Нужно проверить.

РАБОТАЕМ!

Синтеты, так посты понятнее для людей, кто не в теме, но уважаемо подписан ?

Но это не значит, что я завязал со своими высказываниями для задротов по теме.

Мы такие...душнилы айтишные, мочим либо чересчур сладко корпоративно, либо полный рок'н'ролл, который переходит в не профессиональный кринж.

Данный канал = баланс.
Здесь будет вся инфа = успехи, провалы, открытия, закрытия, счастье, горесть. Чистые эмоции и, главное, любовью.

А вы пишите, норм ?

ПОБЕДА! РНБ - держитесь, оно будет летать.

TECHNOID: Greatest Comeback Vol. 2 — это машина, собранная из стали, синтетики и давления.
Звук, по которому скучали: ржавый привкус во рту, плотность, сжимающая челюсть, и ощущение, что назад дороги нет.

Классическая эстетика, пересобранная с современной мощью.
Новое поколение прошло жёсткий апгрейд, старые коды снова активированы.
Всё отточено и сварено в единый механизм под контролем Paperfunk Recordings.

Без швов.
Без компромиссов.
Машина запущена.
Поддержи релиз — это топливо для механизма.
https://taplink.cc/pprfnk

Синтеты, я тут стараюсь делиться с вами и музыкальным контентом. Что это за компиляция?

Ух...началось всё с того, что мы с моим партнёром по лейблу Анной решили возобновить технойд звучание, но очень долго метались от одной идее к другой по теме её реализации...вот, объясните, каким образом наиболее плотно, визуально хайпово упаковать абсолютно долбанутый образец поджанра Drum & Bass под названием Technoid в массы и возродить это направление?

Пришла идея такая: делать эти релизы максимально угарными с точки зрения позиционирования и подхода. Все ребуты, которые я видел, что делались с серьёзной миной...ну, скажем так, подвергались излишней критики. Серьёзный подход? Получай за каноны, получай за недоработки по стилистике, получай за это, получай за то. (Слушатели в днб и днб сообщества крайне ревнивые и иногда чересчур влоб в атаку лезут)

И она сработала! Это уже вторая часть непростой, но очень интересной компиляции с точки зрения истории жанра Drum and Bass, т.к. в последний раз волна Technoid Drum & Bass прошлась с 2007 по 2011 года. Отлица всего лейбла PPRFNK лишь надеемся, что всё у Technoid будет хорошо и мы привлечём к жанру должное внимание.

Кстати, в этом релизе участвуют знаковые личности.

Прогоняю очень сложный тест по РНБ ИИ поиску - если всё отработает и будет уже 1, 2 ошибки вместо 10 из 83 тестов. то WIN капитальный можно давать, наконец-то, снова на тестирование.

Визуально всегда понятнее!

ОХ, я уставший седня..ппц. но ниче.

Скоро сумасшедшие новости...(это тизер)

А вот следующий репост - ЧАСТЬ моих результатов! 😃 читаем...щас появится.

Как я с помощью кефира ускорил умножение матриц!!!

Итак - KEFIR предсказывает поведение градиентов и убирает обратный просчёт ошибок аж от 30% до 70% экономии вычислений.

Предсказание внутри предсказания
Начал с идеи: не считать каждый градиент, а предсказывать следующий по предыдущему.
Сработало. Минус 50% вычислений. V9.

Но градиент — это умножение матриц.

А внутри умножения — можно ли тоже предсказывать?
Да.

Соседние строки результата почти одинаковые. Считаешь каждую четвёртую — остальные достраиваешь. Ещё минус 50%.

Матрёшка:
Уровень 1: Предсказываем градиент целиком
    ↓
Уровень 2: Внутри градиента предсказываем строки

Почему работает:
Нейросеть — структура, не хаос. Плавные переходы на каждом уровне. Два уровня похожести — два уровня экономии.

Насколько ново:
Approximate matmul — известно. Предсказание градиентов — тоже.

Связать как вложенную систему — такого не видел. И доказал почему не случайность: при умножении энтропия результата всегда меньше исходных. Часть вычислений всегда избыточна.

Одна идея. Два уровня. Потенциально 4x ускорение.

Для тех, кто шарит! Я думаю, что это мощное вложение в вычислительную движуху.

У меня появились очень мощные инструменты, которые помогут достичь новых возможностей на текущем железе. Я таким образом подстраховался, что если не будет инвесторов и буду всё делать своими силами. На всякий случай облегчил вычисления!

Хихихи

Выходной сегодня...ниче делать не буду...постить тоже...

Хочу вот лежац и ниче не делац

Забыл, периодически - кушац

Вся следующая неделя будет полна новостей.

У меня очень много нового и крутого, а также то, что сделано сохранено (старые идеи в безопасности)

Так, ну...

Мой алгоритм позволяет мне тренировать сети в 2, 3 раза быстрее. За сегодня отстреляло 5 моделей, которые бы учились двое суток