Мини-революция в генерациях SD, again.
Итак, как многие уже видели, что MetaAI выпустили революционную штуку - нейросеть, которая умеет выделять и понимать на картинках всё, даже если она видит этот объект в первый раз.
И что вы думаете? Не прошло и недели, как азиаты прикрутили это к Автоматику :) Вот ссылка на расширение - https://github.com/continue-revolution/sd-webui-segment-anything
Пока оно работает только через и2и и помогает сделать чёткую маску выделения за считанные секунды. Автор, в ближайшее время, реализует и другие фитчи - сегментацию по промту, к примеру https://github.com/IDEA-Research/Grounded-Segment-Anything
Работает оно просто, на странице есть небольшое видео. Ставите расширение, скачиваете веса отсюда. Трое весов отличаются по размеру и "пониманию". vit_h - базовые веса, vit_l - полегче, vit_b - самые мелкие и скромные. Класть чекпоинты сюда: \extensions\sd-webui-segment-anything\models\sam
Сначала заходите в и2и, подвкладка инпанит аплоад (маска) и сразу ставите - зарисовывать только по маске. Это затем, что с текущим градио не на всех браузерах адекватно отработает потом кнопка перекидывания информации - и вы этот блок можете просто не увидеть. Далее, разворачиваем блок расширения, закидываем в него картинку. В промт пишем то, что хотим найти на картинке. В блоке расширения ставим две точки: Левой клавишей - где это будем искать, правой - где нет того, что мы ищем (позитив и негатив, своего рода). Следом выбираем номер понравившейся маски, ставим галочку. Крутим в самый верх и нажимаем кнопочку перекидывания параметров (кстати, это стандартная кнопка в Автоматике, а вы знали это? 😼). Эти манипуляции закинут нам картинку и её маску по нужным местам, но в моём браузере этого невидно (возможно, ошибки Градио-интерфейса), однако это работает. Не забудьте обязательно переключиться на подвкладку инпаинт аплоад, потому что нажатие перекидывания параметров перекинет нас на обычное и2и.
Дальше обычный воркфлоу: правим промт, выставляем параметры, генерим.
Первый раз это выглядит сложно, но проделав эту манипуляцию два-три раза вам понравится и вы будете делать идеальную маску реально за считанные секунды.