Learning Is Forgetting: LLM Training as Lossy Compression
https://arxiv.org/abs/2604.07569v1
https://github.com/hcoxec/soft_h
https://arxiviq.substack.com/p/learning-is-forgetting-llm-training
Исследователи из Принстона и Cohere успешно применили теорию информационного бутылочного горлышка (Information Bottleneck, IB) к большим языковым моделям (LLM) размером до 32 миллиардов параметров
Внедрив дифференцируемую оценку "мягкой энтропии", они спроецировали траектории предобучения больших трансформеров на информационную плоскость
Оказалось, что обучение состоит из двух чётких фаз: сначала репрезентации расширяются для подгонки под целевые метки, а затем наступает длительная фаза сжатия, во время которой нерелевантные входные данные "забываются"
Работа предлагает целостный подход на уровне всей модели, выступающий альтернативой механистической интерпретируемости
Авторы показали, что то, насколько близко модель подходит к оптимальному пределу сжатия с потерями, строго предсказывает её перформанс на сложных бенчмарках (r = 0.52) и согласованность с человеческими предпочтениями (r = 0.76)
Появляется рабочий способ использовать unsupervised метрики из теории информации для ранней остановки и выбора моделей
Это существенно снижает зависимость от тяжёлых и вычислительно затратных доменных эвалюаций
https://www.youtube.com/watch?v=utvIaZ6wYuw
https://arxiv.org/abs/2604.07569v1
https://github.com/hcoxec/soft_h
https://arxiviq.substack.com/p/learning-is-forgetting-llm-training
Исследователи из Принстона и Cohere успешно применили теорию информационного бутылочного горлышка (Information Bottleneck, IB) к большим языковым моделям (LLM) размером до 32 миллиардов параметров
Внедрив дифференцируемую оценку "мягкой энтропии", они спроецировали траектории предобучения больших трансформеров на информационную плоскость
Оказалось, что обучение состоит из двух чётких фаз: сначала репрезентации расширяются для подгонки под целевые метки, а затем наступает длительная фаза сжатия, во время которой нерелевантные входные данные "забываются"
Работа предлагает целостный подход на уровне всей модели, выступающий альтернативой механистической интерпретируемости
Авторы показали, что то, насколько близко модель подходит к оптимальному пределу сжатия с потерями, строго предсказывает её перформанс на сложных бенчмарках (r = 0.52) и согласованность с человеческими предпочтениями (r = 0.76)
Появляется рабочий способ использовать unsupervised метрики из теории информации для ранней остановки и выбора моделей
Это существенно снижает зависимость от тяжёлых и вычислительно затратных доменных эвалюаций
https://www.youtube.com/watch?v=utvIaZ6wYuw
arXiv.org
Learning is Forgetting: LLM Training As Lossy Compression
Despite the increasing prevalence of large language models (LLMs), we still have a limited understanding of how their representational spaces are structured. This limits our ability to interpret...
Forwarded from НИИ Антропогенеза (ARI) (Chagin Oleg A.)
Arizona State University запустил ASU Atomic — сервис, где за $5 в месяц можно собрать персональный учебный модуль с помощью AML
Все бы хорошо, но преподаватели вдруг узнали, что нежданно-негаданно стали поставщиками контента для машины
Разразился скандал
AML берет существующие материалы, режет на фрагменты, переупаковывает и собирает мини-курс по запросу пользователя
Профессор литературы Крис Хэнлон назвал результат «франкенштейновским»
Его старое видео из Canvas оказалось в чужой сборке — уже не с его логикой и контекстом, а как кусок в новой AI-конструкции
Система не просто показывает исходный материал
Она достраивает вокруг него объяснения и смысл
А значит, способна исказить то, что преподаватель выстраивал годами
Машина может выдать нарезку из лекций без контекста
Преподаватель аккуратно выстраивает рамку, а в исполнении нейросети это может звучать уже совсем иначе, беспокоится профессор религиоведения Майкл Остлинг
Потом такой фрагмент можно вытащить и предъявить как «доказательство» неправильных взглядов
Администрация ссылается на политику интеллектуальной собственности
Большинство учебных материалов, созданных сотрудниками в рамках работы, принадлежат Совету регентов
Формально университет может считать это своим ресурсом
Но проблема здесь вовсе не в авторских правах
И даже не в том, что машина ошибается — систему доработают, точность подтянут, и будет на уровне человека и выше
Будем честны: преподаватели теряют статус
Вчера он был «властителем дум»
Сегодня его лекция — сырье для AI-бота
Скажу больше — наступают времена, когда на учебные курсы будут заходить уже не студенты, а их AI-аватары
Они будут точно знать, что нужно владельцу, вынимать это и отсекать лишнее
Когда движение не остановить, играть в луддитов — ошибка
Гораздо разумнее изменить отношение к процессу
Преподавателю придется осваивать навыки промт-инженера — готовить лекции так, чтобы машина могла пересобирать его под каждого студента без потери смысла
Это первый набросок новой «модели власти» в университете, которая со временем станет массовой — потому что за этим будущее
Рынок AI-персонализации в образовании составлял $6.500.000.000 в 2024 году и достигнет $208.000.000.000 к 2034-му
При таких деньгах «громы и молнии» уважаемых лекторов никому не интересны
Все бы хорошо, но преподаватели вдруг узнали, что нежданно-негаданно стали поставщиками контента для машины
Разразился скандал
AML берет существующие материалы, режет на фрагменты, переупаковывает и собирает мини-курс по запросу пользователя
Профессор литературы Крис Хэнлон назвал результат «франкенштейновским»
Его старое видео из Canvas оказалось в чужой сборке — уже не с его логикой и контекстом, а как кусок в новой AI-конструкции
Система не просто показывает исходный материал
Она достраивает вокруг него объяснения и смысл
А значит, способна исказить то, что преподаватель выстраивал годами
Машина может выдать нарезку из лекций без контекста
Преподаватель аккуратно выстраивает рамку, а в исполнении нейросети это может звучать уже совсем иначе, беспокоится профессор религиоведения Майкл Остлинг
Потом такой фрагмент можно вытащить и предъявить как «доказательство» неправильных взглядов
Администрация ссылается на политику интеллектуальной собственности
Большинство учебных материалов, созданных сотрудниками в рамках работы, принадлежат Совету регентов
Формально университет может считать это своим ресурсом
Но проблема здесь вовсе не в авторских правах
И даже не в том, что машина ошибается — систему доработают, точность подтянут, и будет на уровне человека и выше
Будем честны: преподаватели теряют статус
Вчера он был «властителем дум»
Сегодня его лекция — сырье для AI-бота
Скажу больше — наступают времена, когда на учебные курсы будут заходить уже не студенты, а их AI-аватары
Они будут точно знать, что нужно владельцу, вынимать это и отсекать лишнее
Когда движение не остановить, играть в луддитов — ошибка
Гораздо разумнее изменить отношение к процессу
Преподавателю придется осваивать навыки промт-инженера — готовить лекции так, чтобы машина могла пересобирать его под каждого студента без потери смысла
Это первый набросок новой «модели власти» в университете, которая со временем станет массовой — потому что за этим будущее
Рынок AI-персонализации в образовании составлял $6.500.000.000 в 2024 году и достигнет $208.000.000.000 к 2034-му
При таких деньгах «громы и молнии» уважаемых лекторов никому не интересны
Insightaceanalytic
AI in Personalized Learning and Education Technology Market Key Players Strategies Report
AI in Personalized Learning and Education Technology Market Size is valued at USD 9.15 Bn in 2025 and is predicted to reach USD 291.85 Bn by the year 2035 at a 41.5% CAGR during the forecast period for 2026 to 2035. AI in Personalized Learning and Education…