Астрологи опять снова объявили неделю нано-бананы, за которую платят господа Gemini Ultra, т.к. их опять заставили отваливать кредиты за Fast генерации из-за перегруза серверов.
Спасибо, мистер гигол. 🚬

Я не хочу захламлять вам ленту очередным постом про МЕГА ПРОРЫВ БОЖЕ МОЙ ОДНА КНОПКА НЕВЕРОЯТНО ВЫПЬЕМ ЗА ВСЕХ И НА ЗАВОД, вместо этого хочу поговорить про прикладную задачу, которую прошка, как и обычная банана, нормально решить не может.

Речь о дрейфе цветов при их переносе с референсов.

Как бы ты ни прокачивал "мозги" диффузии, базовые проблемы технологии никуда не денутся.

И если между ракурсами простеньких 2d-шных ассетов дрейф не такой сильный (но все равно есть), то вот при попытке перенести конкретные цвета на одежду или другие штуки — бой о бой. Начинается веселуха.

Ловите микрогайдик, как перенести цвет максимально близко к оригиналу и не поехать крышей в процессе.
Я думал, он потеряет актуальность с выходом новой модели, но кажись нет.

И да, я понимаю, что текстура, освещение и геометрия не позволят перенести цвет 1 в 1, но вы хотя бы приблизитесь к этому.

1. Уберите любые цвета с оригинального объекта, особенно насыщенно-темные.
Лучше всего сначала перегенерить объект в белый цвет.

Диффузионки лишь частично зашумляют целевое изображение, оставляя информацию о цветах. Это сильно влияет на результат.

2. Добавьте референсный цвет прямо на целевое изображение.
Можно просто расширить холст и добавить цвет сбоку. Затем перегенерируйте, попросив перенести цвет на объект из этого рефа.

Обычно у in-сontext моделей при переносе цвета с отдельного референса изображение идет через семантический энкодер, где теряются точные оттенки — важнее передать форму, материал, стиль и примерную палитру. Плюс модели устойчивы к цветовому расхождению, им необходимо это для распознавания объектов при разном освещении.

А вот если поместить цвет на самом холсте, то он проходит через тот же латентный энкодер, что и остальная часть изображения. Короче, информация о цвете остается «внутри» изображения, поэтому он переносится точнее.

3. Готово, вы практически великолепны.
Практически — потому что идеально все равно не получится, но для большинства задач и работы на коленке без геморроя с Comfy или чем-то еще — достаточно.

Если хотите порассматривать цвета, PDF в комментах.

Мутный AI