لوما، شرکت مدل های سه بعدی و ویدیوی هوش مصنوعی که مورد حمایت a16z هست، مدل جدیدی به اسم Ray3 Modify رو منتشر کرد که به کاربرها اجازه میده با ارائه تصاویر مرجع شخصیت، ویدیوهای موجود رو تغییر بدن و در عین حال عملکرد ویدیوی اصلی رو حفظ کنن. کاربرها همچنین میتونن یک فریم شروع و یک فریم پایان رو برای راهنمایی مدل برای ساخت ویدئو با هوش مصنوعی انتقالی ارائه بدن.
تغییر و ساخت ویدئو با هوش مصنوعی با Ray3 Modify
این شرکت پنجشنبه گفت که مدل Ray3 Modify مشکلات حفظ عملکرد انسانی رو هنگام ویرایش یا تولید جلوه های ویژه با استفاده از هوش مصنوعی برای استودیوهای خلاق حل میکنه. این استارتاپ گفت که این مدل، ویدیوی ورودی رو بهتر دنبال میکنه و به استودیوها اجازه میده از بازیگران انسانی برای ویدیوهای خلاقانه یا برند استفاده کنن. این قابلیت ها در نهایت بهینه سازی فرایند ساخت ویدئو با هوش مصنوعی را ممکن می سازند.
با Ray3 Modify، کاربرها میتونن یک مرجع شخصیت برای تبدیل به ویدیوی اصلی ارائه بدن و ظاهر بازیگر انسانی رو به اون شخصیت تبدیل کنن. این مرجع همچنین به سازنده ها اجازه میده اطلاعاتی مثل لباس ها، شباهت و هویت رو در طول فیلمبرداری حفظ کنن، که گامی مهم در پیشبرد ساخت ویدئو با هوش مصنوعی واقع گرایانه است.
علاوه بر این، کاربرها میتونن فریم های مرجع شروع و پایان رو هم برای ساخت ویدئو با هوش مصنوعی با استفاده از مدل جدید Ray3 Modify ارائه بدن. این برای سازنده ها در هدایت تغییرات صحنه یا کنترل حرکات و رفتار شخصیت ها، در عین حفظ پیوستگی بین صحنه ها، خیلی کمک کننده هست.
در راستای پیشرفت های اخیر در زمینه ساخت ویدئو با هوش مصنوعی، آمیت جین، هم بنیانگذار و مدیرعامل Luma AI، در بیانیه ای گفت: «مدل های ویدیویی مولد به طرز باورنکردنی ای رسا هستن اما کنترلشون هم سخته. امروز، با هیجان Ray3 Modify رو معرفی میکنیم که دنیای واقعی رو با قدرت بیان هوش مصنوعی ترکیب میکنه و در عین حال کنترل کامل رو به خلاق ها میده. این یعنی تیم های خلاق میتونن اجراها رو با دوربین ضبط کنن و بعد فورا اونها رو تغییر بدن تا در هر مکانی که قابل تصوره باشن، لباس ها رو عوض کنن، یا حتی برگردن و صحنه رو با هوش مصنوعی دوباره فیلمبرداری کنن، بدون اینکه نیاز به فیلمبرداری فیزیکی مجدد باشه.»
لوما گفت که مدل جدید از طریق پلتفرم Dream Machine این شرکت در دسترس کاربرها قرار گرفته و گامی مهم در تسهیل ساخت ویدئو با هوش مصنوعی برای عموم به شمار می رود. این شرکت که با امثال Runway و Kling رقابت میکنه، قابلیت های ویرایش ویدیو رو در خرداد 1404 منتشر کرده بود.
آینده ساخت ویدئو با هوش مصنوعی و سرمایه گذاری ها
انتشار این مدل به دنبال یک دور تامین مالی جدید 900 میلیون دلاری برای این استارتاپ هست که در آبان ماه اعلام شد. این دور تامین مالی توسط شرکت هوش مصنوعی Humain که متعلق به صندوق سرمایه گذاری عمومی عربستان سعودی هست، هدایت شد. سرمایه گذاران فعلی مانند a16z، Amplify Partners و Matrix Partners هم در این دور شرکت کردن. این استارتاپ همچنین قصد داره یک کلاستر هوش مصنوعی با ظرفیت 2 گیگاوات در عربستان سعودی به همراه Humain بسازه تا زیرساخت های لازم برای توسعه هوش مصنوعی و ساخت ویدئو با هوش مصنوعی در آینده را فراهم آورد.
این پیشرفت ها در زمینه هوش مصنوعی مولد، به ویژه در بخش ویدئو، نشان دهنده گام های بزرگی در جهت ارائه ابزارهای خلاقانه و کنترل شده تر به هنرمندان و استودیوها است. با سرمایه گذاری های قابل توجه و برنامه ریزی برای زیرساخت های قدرتمند، آینده تولید محتوای بصری با تکیه بر قابلیت های هوش مصنوعی، هیجان انگیز و پر از امکانات جدید به نظر می رسد.
Luma releases a new AI model that lets users generate a video from a start and end frame
