https://weightwatcher.ai/

WeightWatcher (w|w) is an open-source, diagnostic tool for analyzing Deep Neural Networks (DNN), without needing access to training or even test data. It is based on theoretical research into Why Deep Learning Works, using the new Theory of Heavy-Tailed Self-Regularization (HT-SR).

Grokking 'grokking'
https://www.beren.io/2022-01-11-Grokking-Grokking/

Автор статьи приходит к аналогичным выводам о двухфазном процессе гроккинга.

Он также предполагает, что во второй фазе происходит случайное блуждание по многообразию, обусловленное градиентным шумом, и "решение" медленно движется через него из-за диффузии.

The key thing is that with a large enough degree of overparametrization we begin to get a notion of a coherent ‘optimal manifold’. Now, we need to think about what does SGD now do in the presence of such a manifold. At first it just gets initialized at some points and descends towards the manifold, hitting it at some mostly random point. Then, if training is continued when it is on the manifold, it will essentially perform a random walk on the manifold, driven by gradient noise, and slowly move across it due to diffusion.

Модель должна быть достаточно большой степени гиперпараметризации. В этом случае острова оптимальности сливаются, создавая крупномасштабные связные оптимальные поверхности или оптимальные многообразия в пространстве параметров.

При недостаточной параметризации острова остаются окружены обширными океанами субоптимальности. SGD достигнет ближайший островок, но не сможет выбраться с него, потому что расстояние до следующего острова слишком велико для случайного блуждания на градиентном шуме. Сеть застревает в оверфите, гроккинг не произойдёт.

В гибернации. Niya

Вышел BitNet v2.

BitNet v2: Native 4-bit Activations with Hadamard Transformation for 1-bit LLMs
https://arxiv.org/abs/2504.18415
https://www.alphaxiv.org/abs/2504.18415

Промежуточные состояния в слоях трансформера часто следуют распределению с высокой концентрацией значений около нуля и длинным хвостом выбросов. Ключевым нововведением в BitNet v2 является применение преобразования Адамара для изменения распределения активаций. При применении к векторам активации это преобразование обладает замечательным свойством: оно более равномерно перераспределяет значения, преобразуя резкое, склонное к выбросам распределение в более гауссоподобную форму. Это делает преобразованные значения более подходящими для низкобитового квантования.

* картинка Гистограммы, показывающие распределения активаций до и после преобразования Адамара, демонстрирующие, как преобразование создает более удобные для квантования распределения.

speeder bike

https://x.com/Volonaut

Layer by Layer: Uncovering Hidden Representations in Language Models
https://arxiv.org/abs/2502.02013
https://www.alphaxiv.org/overview/2502.02013

Промежуточные слои часто содержат более богатые и полезные представления, чем конечный слой.

The Mid-Layer Compression Valley

Одна из наиболее ярких закономерностей в моделях с авторегрессией - "долина сжатия" ("compression valley"), где энтропия резко падает в средних слоях, а затем частично восстанавливается в более поздних слоях. Эта U-образная форма проявляется во всех метриках и предполагает наличие фундаментальной стратегии обработки информации.

Долина возникает во время обучения. В начале обучения энтропия остается относительно ровной по слоям. По мере обучения средние слои развивают все более сильное сжатие. Более глубокие модели показывают более глубокие долины. Долина коррелирует с производительностью: модели с более сильными долинами сжатия, как правило, лучше справляются с задачами.

Обули.

Андроид AiMOGA от Chery Automobile.
корма тяжёлая )

Современные дипфейки в режиме реального времени с подстройкой к освещению.