گره Layers در یونیتی :

این گره به طور خودکار در داخل پشته لایه ایجاد می شود و پردازش پست را به روشی مشابه Post Process Node برای تولید خروجی نهایی اعمال می کند.

گره LayerNode در یونیتی :

یک گره لایه که فقط در داخل پشته لایه فعال می شود، ورودی را با نتیجه لایه تا لایه قبلی ترکیب می کند.

این شبیه به Blend Node است که نتیجه گره لایه قبلی به عنوان بافت پس‌زمینه عمل می‌کند.

می‌توانیم از تنظیمات صادرات استفاده کنیم تا خروجی رندر را به یک RenderTexture صادر کنیم، که سپس می‌تواند با استفاده از Recorder در فایل‌ها ذخیره شود.

Separate : ورودی LayerNode را صادر می کند.

Merged : نتیجه ادغام ورودی و خروجی لایه قبلی را صادر می کند.

گره Organize Nodes در یونیتی :

گره هایی برای سازماندهی نمودار.

یک برچسب متنی به نمودار اضافه می کند که برای مستندسازی استفاده می شود

گره Stable Diffusion Txt2ImgNode در یونیتی :

این یک گره آزمایشی است که از Stable Diffusion استفاده می‌کند و بیشتر ویژگی‌های این گره ویژگی‌های Stable Diffusion Web UI را منعکس می‌کند.

Generate Each Frame In Play : در حالت پخش در هر فریم تصویری تولید می کند

Use Control Net : از Control Net استفاده کنید یا نه. وقتی فعال باشد، این کنترل‌های اضافی را باز می‌کند.

Log : درخواست‌ها و پاسخ‌ها را از Stable Diffusion Web UI ثبت می‌کند.

دکمه های پایین گره دارای عملکردهای زیر هستند:

Generate : یک تصویر به صورت دستی تولید کنید.

Save : تصویر تولید شده را ذخیره کنید

Rand : دانه را برای ایجاد یک تصویر تصادفی کنید

Reuse : از آخرین دانه در نسل بعدی دوباره استفاده کنید

Copy : آخرین دانه استفاده شده را در کلیپ بورد کپی کنید

گره Stable Diffusion Img2ImgNode در یونیتی :

این یک گره آزمایشی است که از Stable Diffusion استفاده می‌کند و بیشتر ویژگی‌های این گره ویژگی‌های Stable Diffusion Web UI را منعکس می‌کند.

Generate Each Frame In Play : یک تصویر در هر فریم در حالت پخش ایجاد می کند.

Use Control Net : از Control Net استفاده کنید یا نه. وقتی فعال باشد، این کنترل‌های اضافی را باز می‌کند.

Log : درخواست‌ها و پاسخ‌ها را از Stable Diffusion Web UI ثبت می‌کند.

دکمه های پایین گره دارای عملکردهای زیر هستند:

Generate : یک تصویر به صورت دستی تولید کنید.

Save : تصویر تولید شده را ذخیره کنید

Rand : دانه را برای ایجاد یک تصویر تصادفی کنید

Reuse : از آخرین دانه در نسل بعدی دوباره استفاده کنید

Copy : آخرین دانه استفاده شده را در کلیپ بورد کپی کنید

نصب Stable Diffusion

Stable Diffusion یک مدل یادگیری عمیق است که می تواند برای تولید تصاویر عمدتاً بر اساس توضیحات متن استفاده شود.

به عنوان یک ویژگی آزمایشی، Visual Compositor از ادغام با Stable Diffusion Web UI با Control Net (یک ماژول) پشتیبانی می کند. پس از انجام تنظیمات اولیه، سپس Visual Compositor می‌تواند از طریق گره‌های Stable Diffusion Txt2Img و Stable Diffusion Img2Img، هم در ویرایشگر و هم در زمان اجرا، با رابط کاربری Stable Diffusion Web ارتباط برقرار کند.

راه اندازی اولیه

اطمینان حاصل کنید که سخت افزار شما مطابق با الزامات مشخص شده در مستندات Stable Diffusion Web UI است.

با انجام git clone یا دانلود مستقیم آخرین نسخه از صفحه Releases، رابط کاربری Stable Diffusion Web را به صورت محلی دریافت کنید.

اسکریپت اجرایی را تغییر دهید تا تماس های API فعال شود. برای مثال، در ویندوز، webui-user.bat را تغییر دهید و خط حاوی COMMANDLINE_ARGS را ویرایش کنید:

set COMMANDLINE_ARGS=--api --api-log

اسکریپت اجرایی یعنی webui-user.bat را در ویندوز اجرا کنید.

برای مثال با مراجعه به http://localhost:7860/، تأیید کنید که رابط کاربری Stable Diffusion Web در حال اجرا است.

(اختیاری) با دنبال کردن این مراحل، ControlNet را نصب کنید

برگه «برنامه‌های افزودنی» را در رابط کاربری وب باز کنید

زبانه فرعی «نصب از URL» را باز کنید.

https://github.com/Mikubill/sd-webui-controlnet را در قسمت "URL for extension's git repository" وارد کنید.

دکمه "نصب" را فشار دهید

تب فرعی «نصب شده» را باز کنید

مطمئن شوید که مورد sd-webui-controlnet علامت زده شده است

"اعمال و راه اندازی مجدد UI" را فشار دهید

VisualCompositor فقط از ControlNet با API سازگار با sdapiv12img از نسخه 0.29.2-preview پشتیبانی می کند.

Stable Diffusion Integration

پس از یک بار انجام تنظیمات اولیه، می‌توانیم با دنبال کردن مراحل زیر به پیکربندی Visual Compositor برای استفاده از Stable Diffusion ادامه دهیم:

برای مثال با مراجعه به http://localhost:7860/، تأیید کنید که رابط کاربری Stable Diffusion Web در حال اجرا است.

در بازرس مؤلفه VisualCompositor، دکمه New را در کنار قسمت Stable Diffusion Settings فشار دهید تا یک دارایی Stable Diffusion Settings ایجاد شود.

روی دارایی جدید Stable Diffusion Settings کلیک کنید تا در بازرس باز شود.

تأیید کنید که ویژگی های زیر مقداردهی اولیه شده اند:

SD Models

Samplers

Control Net Models

اگر VisualCompositor بتواند به Stable Diffusion Web UI متصل شود، ویژگی های بالا به طور خودکار پر می شوند. در غیر این صورت، یک خطای پیکربندی خاص مانع از اتصال VisualCompositor به آن می شود.

ControlNet Post API

از آنجایی که VisualCompositor نسخه 0.29.2-preview فقط از ControlNet با API سازگار با sdapiv12img پشتیبانی می کند، باید اطمینان حاصل کنیم که فیلدهای زیر در دارایی Stable Diffusion Settings به درستی تنظیم شده اند.


Post Control Net Txt 2 Img API : /sdapi/v1/txt2img

Post Control Net Img 2 Img API : /sdapi/v1/img2img

مقادیر ویژگی پیش فرض برای گره ها

ما می‌توانیم مقادیر ویژگی پیش‌فرض را هنگام ایجاد گره‌های Stable Diffusion جدید با اصلاح فیلدهای زیر پارامترهای اساسی و پارامترهای شبکه کنترل پیکربندی کنیم.

همگام سازی Stable Diffusion Web UI با Unity

Update SD Models : مدل‌های Stable Diffusion ثبت‌شده را در Visual Compositor با مدل‌های موجود در Stable Diffusion Web UI، که پس از افزودن یا حذف مدل‌ها مفید است، بازخوانی کنید

Update Samplers : نمونه‌گرهای ثبت‌شده در Visual Compositor را با نمونه‌های موجود در Stable Diffusion Web UI تازه‌سازی کنید

Update Control Net Models : مدل‌های Control Net ثبت‌شده را در Visual Compositor با مدل‌های موجود در Stable Diffusion Web UI، که پس از افزودن یا حذف مدل‌های شبکه کنترل مفید است، به‌روزرسانی کنید.


Get Active Model : مدل پخش پایدار فعلی را در پنجره کنسول خروجی بگیرید.

و در نهایت نحوه متحرک سازی گره ها در یونیتی و بلندر :

متحرک سازی گره ها

برای نشان دادن نحوه متحرک سازی گره ها با استفاده از جدول زمانی، ما یک دارایی Compositor Graph ایجاد خواهیم کرد که با استفاده از یک گره Transform تصویر را به صورت افقی حرکت می دهد. مراحل به شرح زیر است:

مطمئن شوید که یک گره Render، یک گره Transform و یک گره لایه در گراف وجود دارد.

اندازه گره Render را روی 3840x1080 قرار دهید. سپس روی گره Transform کلیک راست کرده و "Expose as Component" را انتخاب کنید. این اجازه می دهد تا Timeline از این گره استفاده کند.

هنگامی که یک گره ترکیبی در معرض دید قرار می گیرد، رابط کاربری گره تغییر می کند. ابتدا دو فیلد جدید و یک دکمه ضبط خاکستری رنگ در بالا اضافه می شود


Name : نام شی داخلی

Object: شی داخلی برای کشیدن و رها کردن به مسیر خط زمانی. دوم، رنگ‌های پس‌زمینه برخی از فیلدها تغییر می‌کنند تا نشان دهند که توسط Timeline هدایت می‌شوند.

یک مسیر جدول زمانی جدید ایجاد کنید. در این حالت، Transform Node Track را انتخاب می کنیم.

شی داخلی را از گره Transform (مرحله 3 را ببینید) به شکاف در مسیر خط زمانی بکشید.

در مسیر خط زمانی کلیک راست کرده و "Add Transform Node Playable Asset" را انتخاب کنید.

روی دکمه منحنی ها در مسیر خط زمانی کلیک کنید تا نمای منحنی ها باز شود. توجه داشته باشید که هر منحنی با یک نقطه با استفاده از مقدار متناظر TransformNode محدود به مسیر مقداردهی اولیه شده است.

هد پخش Timeline را به موقعیتی بین شروع و پایان TransformNodePlayableAsset منتقل کنید و توجه کنید که دکمه ضبط قبلی خاکستری شده به رنگ قرمز در می آید.