Продолжаем "революционировать" в SD. А точнее - в недавнем Segment Anything. Туда, как и обещали авторы, добавили ещё один инструмент - Grounding DINO!
Давайте разберём зачем вообще нужен этот Динозаврик. А поможет он ещё более чётко работать с масками и размечать датасеты под обучения. Кто уже попробовал Сегментацию могли заметить, что очень мелкие детали довольно сложно "поймать" маской. Выделить глаза или уши, например, та ещё задача. Или, если у вас на картинке много лиц, а заинпаинтить по маске надо только одно - придётся вручную править маску. Но Dino решает эти проблемы очень легко! Обновив расширение в блоке сегмент появится дополнительные опции для включения новой фитчи и промта под неё. И, например, вписав в промт Граудинга "eyes" можно поймать глаза вообще не проставляя точки позитива и негатива! В этом случае текстбокс сработает заместо этих точек. Плюс ко всему, этот инструмент ещё и разделит глаза на разные выделения, и в маску можно отправить только один глаз для инпаинта. Ну или это применимо для одного лица из множества, как я писал выше.
Как пользоваться показано на картинках выше. Пройдёмся пошагово:
1) Раскрываем блок Сегментирования в и2и (не забывайте выбрать чекпоинт, H - самый крутой, как мы помним), выбираем нужную картинку, выставляем галочку Enable GroundingDINO и ниже - I want to preview GroundingDINO detection. У Дино тоже есть свои веса, не забываем выбирать и их (скачаются автоматически). Вписываем то, что нужно найти, и обращаем внимание на ползунок Threshold - это будет ваш любимый ползунок. Он позволяет редактировать силу отсейки результатов, погоняв его туда-сюда легко получить нужное.
2) Далее - нажимаем под загруженной картинкой кнопку Генерации, смотрим что повыделял нам Dino. Если результат примерно нужный (два уха - две области выделения, примерно на тех местах), идём дальше, если нет - играем с ползунком отсейки. Выше несколько картинок, показывающие различные значения. Если слишком маленькое значение - полезут лишние коробочки, если слишком высокое- не появится ничего. Каждый раз это значение индивидуально.
3) Крутим ещё ниже (да, расширение получилось монструозное по длине). Там у нас будет выбор, какие квадраты передать в Сегментацию (отмечаются галочками), и, собственно, дальше всё как в предыдущий раз. Нажимаем Превью, чуть-чуть ждём, выбираем понравившуюся маску, выставляем галку Копировать в инпаинт-маску, и в самом низу появилась удобная кнопочка - Switch to Inpaint Upload - которая передаст нашу маску и изначальное изображение на нужную подвкладку.
4) Наконец, возвращаемся в самый верх. Там вы видим, что на нужную вкладку нас переключило, но маски и картинки, опять, не видно. Но это не беда, нажав на "генерацию" мы увидим что нужные данные подрузились и работают как надо. Не забывайте написать промт и использовать инпаинтные модели, для лучших результатов.
5) Так же, в сегментации появилась ещё одна полезная галочка - Расширить маску. Полезно, когда нужно выбрать область чуть больше, чем выделилась. Например, на скрине выше я выделил по маске глаз кролика, расширил маску, и сделал ему глазки побольше и сместил их относительно оригинала.
В общем и частном получился отличный инструмент для генерации масок. Поначалу выглядит сложно, но попробуйте - это очень легко и быстро на практике. Ещё раз ссылка на расширение, если вы её потеряли. На страничке есть несколько поясняющих видео.
Пара уточнений по установке. Во-первых, обновление/установка его займёт какое-то время, потому что Динозаврику нужно скомпилировать ядро под вашу систему. Соответственно, требования как и у иксформесов - установленный С++ компилятор и Cuda. Во-вторых, я ставил на начальных билдах и в них нужно было что бы версия Куды-торча совпадала с версией установленной в системе Куды. В автоматике, по умолчанию, Куда-торч ставится 11.7 и мне пришлось сносить свою системную 12.0 Куду и ставить 11.7 что бы всё заработало. Возможно, в текущей версии это уже поправили, но имейте ввиду - будут ошибки при перезапуске, вы знаете что делать.

А вы мечтали генерировать свои всратыши? ГазпромDeforum, мечты осуществляются!
Во-первых, приветствуйте, аниме-веса для генерации видео! Что бы они заработали нужно поставить плагин Дефорума отсюда в ваш локальный Автоматик, ну и дальше использовать их по инструкции со страницы.
Во-вторых, появился скрипт для файнтьюна генераций видео под свою стилистику/персонажей. Брать тут, для обучения желательно 24 гигабайта видеокарта. Но, со всякими ухищрениями файнтьюн входит в 16 гигов или ниже.