ابزار بازمتن برای تولید افکتهای صوتی ویدیو با رونمایی کرد

استارتاپ پیشرو در حوزه هوش مصنوعی تنها چند هفته پس از معرفی مدل قدرتمند تبدیل متن به صدا به نام، گامی فراتر برداشت و یک ابزار متنباز را برای جامعه توسعهدهندگان و سازندگان محتوا منتشر کرد. این نوآوری امکان تحلیل بصری ویدیوها و تولید افکتهای صوتی متناسب را به صورت خودکار فراهم میآورد.
بر اساس گزارشهای منتشر شده، روند پردازش در این ابزار به صورت زیر است با آپلود یک ویدیو بدون صدا، سیستم به طور خودکار از فریمهای بصری در فواصل زمانی یک ثانیهای نمونهبرداری میکند (مجموعا چهار فریم). این فریمها به همراه یک پرامپت اولیه به مدل پیشرفته ارسال شده تا توصیفهای دقیق و کانتکستمحور برای هر صحنه استخراج گردد. در مرحله نهایی، این پرامپتهای بهینه شده از طریق API برای سنتز افکتهای صوتی مناسب استفاده میشوند.
خروجی نهایی، یک فایل ویدیویی ادغام شده با افکتهای صوتی تولیدی است که برای دانلود در اختیار کاربر قرار میگیرد. نکته مهم، محدودیت زمان جاری این ابزار است؛ در حال حاضر حداکثر طول ویدیوهای قابل پردازش ۲۲ ثانیه میباشد.
استفاده از این تکنولوژی پیچیدگی فنی خاصی ندارد کاربر تنها نیاز دارد فایل ویدیوی خام (بدون صدا) را آپلود کند تا هوش مصنوعی چهار مختلف با طراحی صدا ارائه دهد. کارشناسان پیشبینی میکنند که در آینده نزدیک، این قابلیت در پلتفرمهای بزرگتر تولید محتوا و استودیوهای ویرایش ویدیو ادغام شده تا جریان کار سازندگان را به شدت تسریع نماید.
سازندگان ویدیوهای هوش مصنوعی به شدت در جستجوی لایههای صوتی باکیفیت و متناسب هستند. ما با درک بصری از فریمهای ویدیو و ارائه بهترین خروجی صوتی، میتوانیم سرعت و کیفیت روند تولید محتوای آنها را به طور قابل توجهی ارتقا دهیم.
— عمار ریشی، مدیر طراحی محصول
ریشی همچنین یک نمونه ویدیوی عملیاتی را به اشتراک گذاشته که در ساخت آن از تکنولوژی در ترکیب با موتورهای تصویری AI و بهره برده شده است.
توسعهدهندگان علاقهمند میتوانند به مخزن کد منبع این پروژه در مراجعه کنند. همچنین یک وبسایت اختصاصی با آدرس راهاندازی کرده تا کاربران بتوانند قابلیتهای API را به صورت تعاملی و بدون نیاز به کدنویسی تست نمایند.