1st Two Lessons of From Deep Learning Foundations to Stable Diffusion

👉 https://www.fast.ai/posts/part2-2022-preview.html

#منابع

✳️ @AI_Python

🖥 Uni-Perceiver v2: A Generalist Model for Large-Scale Vision and Vision-Language Tasks

🖥 Github

🗒 Paper

➡️ Data

#مقاله

✳️ @AI_Python

Prompt engineering
چیه؟

جدیدا یه سری مدلهای زیروشات معرفی شدن برای تسکهای مختلف. از پردازش زبان بگیرید تا خلق تصاویر.
این نوع مدلها شدیداً نیازمند توصیفی از اون کاری که ازشون میخواهید بکنند دارند.
به عنوان مثال T5 که یکی از پیشگامان بود تسکهای مختلفی ساپورت میکرد.
مثلا بهش این ورودی رو می‌دادید:
Translate from en to de: this is it.
و خروجی
Das ist das.
رو بهتون میداد.
دقت کنید قبل از اینکه ورودی رو بهش بدید بهش میگید چیکار باید بکنه.
رویکردهای جدیدی هم مثل stable diffusion و dale هم معرفی شدند که کارشون خلق تصاویر هستش.
ولی خب این رویکردها رو دیتاستهای مشخصی آموزش دیدند و ورودی متنی که بهش میدید خیلی تاثیر داره رو خروجی.
یک سری از محققان و علاقه مندا رفتن یه سایتی زدن:
prompthero.com
که میتونید توش ورودی هایی که جواب مشخصی گرفتن رو ببینین و بر اساس ورودی خودتون رو خلق کنید.
یک ایده خیلی خیلی خوب هم clip interrogator هست که عکس رو بهش میدید و روی ترین ست سرچ میزنه (با یه سری برچسب های خاص که رو اونها هم تیون شده) و بهتون میگه بیشتر شبیه کدوم پرامپت هستش.
یه مجموعه ای از اسم هنرمندان و سبک و ... هم داره.
اینطوری میتونید بر اساس اون تغییر بدید و تشخیص بدید کدوم ورودی بهتر هست و بر اساس اون کنترل بیشتری روی ایجاد خروجی داشته باشید.
اینجا توضیح میده چطوری ازش استفاده کرده:
https://youtu.be/2EV5SZ1Klro

حالا پرامپت انجینر چیه؟
به کسایی که گفته میشه که خیلی با این مدلها سر و کله زدن و یجورایی فهمیدن چی بهش بدن چی خروجی میگیرن. به عبارتی بلدن از مدل خروجی دلخواه رو بکشن بیرون.

حالا شما این رو با یه ذره برنامه نویسی و ... هم ترکیب کنید، میشن یه سری استارتاپ نوظهور که میتونن خروجی های خیلی خاصی برای زمینه های خاص رو ایجاد کنند.
@ai_person