👀 Разделяй и властвуй: как декомпозиция помогает решать сложные задачи в Deep Learning

Последнее время часто замечаю некоторую мысль, вижу ее в статьях, в решениях моих товарищей и также активно применяю ее в нашем проекте @Audio2MIDIBot. Сталкивались ли вы с задачей, которая кажется неподъёмной для одной нейросети? Когда данные настолько сложны, что даже самая глубокая архитектура не справляется? Сегодня я хочу поговорить о мощном принципе, который помогает решать такие проблемы — о декомпозиции.

Идея особенно актуальна, когда мы пытаемся решить сложную генеративную или дискриминативную задачу в один этап: подали на вход сырые данные — на выходе получили финальный результат. Такой подход часто ведет к нестабильному обучению и посредственному качеству.

Ключевая мысль: сложную проблему нужно разбить на последовательность более простых.

Каждый следующий этап нашего решения (будь то слой в сети или отдельная модель) должен работать с уже упрощенным, более "чистым" представлением данных. Мы последовательно снижаем неопределенность, пока финальная задача не станет почти тривиальной. Как говорил методолог Георгий Щедровицкий: «Решение задачи состоит в том, что мы находим язык, в котором решение очевидно».

В мире DL этот поиск "языка" — это, по сути, архитектурный feature engineering. Мы не просто надеемся, что сеть сама всё выучит. Мы сознательно проектируем пайплайн так, чтобы помочь ей это сделать и определяем данные на вход.

А теперь вопрос: как максимально упростить задачу? Под упростить я понимаю уменьшить неопределнность модели в отношении желаемого результата. Получить такой преобразование распределния, чтобы модель быстро и точно научилась решать целевую задачу. Мы снова делаем feature engineering. Хотя почти все думают, что в нейросетях фичи выделяются автоматически - с одной стороны это верно. С другой - именно мы контролируем, как эти фичи будут выделяться и что подавать на вход.

Самое время увидеть примеры, где мы обощаем мысль за пределы преобразований между слоями нейросети.

Пример 1: Музыка в ноты (@Audio2MIDIBot)
Мы хотим создать нейросеть, которая переводит ЛЮБУЮ музыку в ноты для фортепиано. Пространство всех аудиозаписей в мире невероятно сложное и зашумленное. Обучить одну модель "аудио -> детализированное MIDI" — гигантская и нестабильная задача, в частности из за аудиокодеков.

Решение через декомпозицию: разбиываем процесс на два этапа:
▪️Модель 1 (Грубое извлечение): Аудиокодек и трансформер извлекают из сложного аудиосигнала простую последовательность нот (MIDI). Результат часто бывает с ошибками и без нюансов.
▪️Модель 2 (Улучшение/Refinement): Вторая, уже чисто "символьная" модель, берет на вход простые MIDI и обогащает их, исправляет ошибки и добавляет детали. Она работает в гораздо более простом и стабильном пространстве "MIDI -> улучшенные MIDI".

Этот двухэтапный подход стал прорывом в нашем проекте, кардинально улучшив качество (подробнее о недостатках я рассказывал на Data Fest).

Пример 2: Стилизация портретов (от Алексея Попова)
Команда Леши делала диффузионную модель для стилизации портрета (например, добавить мультяшные эффекты). Полностью генерировать стилизованный портрет с нуля, сохраняя черты лица конкретного человека, очень сложно. Модель легко может "забыть" исходные детали.

Решение через декомпозицию: Вместо генерации с нуля, процесс можно разбить:
▪️Этап 1 (Сохранение идентичности): Первые шаги диффузии генерируют основу портрета, максимально близкую к реальному человеку, без стилизации.
▪️Этап 2 (Стилизация): Последующие шаги добавляют стилизующие детали поверх уже "узнаваемой" основы.

Так модель лучше сохраняет индивидуальные черты лица, а стилизация получается более качественной и предсказуемой.

#research #papers

Пример 3: Иерархическая генерация изображений (NeurIPS Best Paper)
Третий пример довольно абстрактный. Теперь мы хотим генерировать детализированное изображение 512x512 за один проход — вычислительно и концептуально сложная задача. Модель должна одновременно думать и о композиции, и о мелких текстурах. Решение через декомпозицию: Иерархический подход.
▪️Этап 1: Генерируется изображение очень низкого разрешения (например, 64x64), которое определяет общую композицию и цвета.
▪️Этап 2, 3...: Последовательные модели (или шаги) повышают разрешение, каждый раз добавляя детали поверх уже существующей структуры.

Получается более стабильная генерация и высокий уровень детализации, которого сложно достичь за один шаг.

Постарался описать большими мазками данную в начале мысль. В следующий раз, столкнувшись с задачей, которая кажется нерешаемой, спросите себя: "А можно ли ее разбить на несколько подзадач попроще?" Возможно, именно в этом и кроется ключ к успеху) Вот такая абстрактная мысль очень часто встречается в моей работе за последний год.

#research #papers

Знаю все типы людей 😆
А кто вы?

Все лекции и семинары «Лето с AIRI 2025» теперь в открытом доступе 🔥

Собрали для вас записи выступлений ведущих исследователей и экспертов — от фундаментальных вопросов искусственного интеллекта до практических примеров его применения в науке и индустрии.

📎Сохраняйте ссылки на плейлисты: VK Видео, YouTube

👀 Про аудио кодеки в Deep Learning School

Сегодня выложили 2 части лекции и она немножко затянулась, примерно на 100 минут :)

На лекции мы обсудили основополагающую технологию VQ-VAE и дошли до современных подходов к обучению аудиокодеков. Попутно рассмотрели специфические для них проблемы и способы их решения — такие как недифференцируемость в процессе обучения, коллапс кодовой книги, неэффективное покрытие домена и недостаточная репрезентативность для последующих задач. Отметили тенденции в современных исследованиях, разобрали конкретные примеры актуальных аудиокодеков и подумали, как можно объединить существующие подходы для обучения собственного кодека, потенциально превосходящего текущие решения. В завершение поговорили о практических рекомендациях по обучению кодеков и дополнительной литературе по теме.

Лекцию сделал без глубокого погружения в конкретные работы, зато мы обсудили гораздо больше других мыслей и сохранили интуицию по самым важным идеям и проблемам VQ-VAE моделей. Хотелось сделать лецию с упором на актуальные идеи и дать ровно столько, чтобы вы могли решить, куда стоит углубиться самостоятельно, имея фундамент заложенный после просмотра. Пишите возникающие вопросы в чат курса DLS или мне @varfolomeefff

Предлагаю посмотреть и поделиться мнением под постом. Давно я длинные лекции не читал.

На днях выделю особенно интересные тезисы из лекции в канал и обсужу их. Интуиция на леции правда животрепещущая и есть, о чем поспорить/подумать.

Часть 1: https://youtu.be/4mVfb-mhv9k?si=k9Q2wgtsA1h2DcP0

Часть 2: https://youtu.be/kOS6qHc6K2g?si=Po-jHSLwpeO5LmkZ

#audio #perfomances