تبدیل متن به ویدئو توسط Pika

در روزهای گذشته استارتاپ Pika با معرفی قابلیت تبدیل متن به ویدئو توجه زیادی را به خود جلب کرد. Pika با وجود رقبای قدرتمندی چون Runway، Stability AI و Adobe وارد حوزه هوش‌مصنوعی مولد برای تولید ویدئو شد. این استارتاپ حدود ۶ ماه پیش توسط تعدادی از فارغ‌التحصیلان دانشگاه استنفورد راه‌اندازی شده و با جذب سرمایه در مراحل مختلف به ارزشی بین ۲۰۰ الی ۳۰۰ میلیون دلار رسیده است. در حال حاضر Pika بیش از نیم میلیون کاربر داشته و هر هفته میلیون‌ها ویدئو تولید می‌کند. نسخه 1.0 سرویس Pika توانایی تولید ویدئو در استایل‌های مختلف از جمله 3D Anime، Anime و Cinematic را دارد. در حال حاضر از اینجا می‌توانید در لیست انتظار Pika ثبت نام کنید.

#pika

@dumannewsletter

معرفی مدل MagicVideo-V2 برای تولید ویدئو از متن

شرکت ByteDance (شرکت مادر TikTok) مدل جدیدی به نام MagicVideo-V2 را برای تولید ویدئوی کوتاه از متن معرفی کرد. این مدل در ابتدا یک تصویر با رزولوشن بالا تولید کرده و سپس از آن تصویر دنباله‌ای از حرکات را تهیه می‌کند.
برای دیدن نمونه‌های بیشتر و مقایسه آن با مدل‌های مشابه نظیر #pika اینجا را مشاهده کنید.

متن ویدئوی خرگوش چاق:

"A fat rabbit wearing a purple robe walking through a fantasy landscape."

#bytedance
#magicvideo

@dumannewsletter

تیم Google Research مدل جدیدی به نام lumiere را برای تولید ویدئو معرفی کرد. این مدل با دریافت متن و یا تصویر به عنوان ورودی، یک ویدیو ۵ ثانیه‌ای تولید می‌‌کند. نمونه‌های مشابهی اخیراً توسط #runway و #pika معرفی شده بود. همچنین این مدل می‌تواند با دریافت یک تصویر رفرنس ویدئوهای جدید را با همان استایل تولید کند. برای مطالعه جزئیات فنی اینجا را بخوانید.

#google
#lumiere

@dumannewsletter

سرویس تولید ویدئوی Pika قابلیت Lip Sync را به سرویس خود اضافه کرد. این قابلیت جزئیات حرکت لب‌های کاراکتر را براساس متن هماهنگ می‌کند. برای استفاده از این قابلیت باید سرویس پریمیوم را خریداری کنید. همچنین می‌توانید با استفاده از سرویس ElvenLabs برای ویدئوی خود صدای دلخواه تولید کنید!

pika.art 👈

#pika
#lip_sync

@dumannewsletter

سرویس تولید ویدئوی Pika صدا را به ویدئوهای تولیدی خود اضافه کرد. این صدا براساس محتوای ویدئو تولید می‌شود.

#pika

@dumannewsletter