Meta анонсувала нову ШI-модель для генерації відео та звуку

Компанія Meta оголосила про розробку нової ШI-моделі під назвою Movie Gen, яка здатна створювати реалістичні відео та аудіокліпи за допомогою користувацьких запитів. Компанія заявила, що ця технологія може стати конкурентом інструментам для таких стартапів, як OpenAI та ElevenLabs.

Про це пише Reuters.

Зазначається, що Meta продемонструвала приклади створених Movie Gen відео, серед яких — зображення тварин, що плавають і займаються серфінгом, а також відео, у яких люди зображені під час дій, як-от малювання на полотні, на основі реальних фотографій користувачів.

Модель Movie Gen також може генерувати фонову музику та звукові ефекти, синхронізовані з контентом відео, і використовуватися для редагування вже існуючих відеороликів.

За даними Meta, тривалість відео, створених Movie Gen, може досягати 16 секунд, а аудіо — до 45 секунд. Компанія провела тестування, яке показало, що модель показує хороші результати порівняно з пропозиціями від таких стартапів, як Runway, OpenAI, ElevenLabs та Kling.

Представники Meta зазначили, що компанія навряд чи відкриє доступ до Movie Gen для розробників, як це було з моделями Llama, пояснюючи, що кожну модель оцінюють індивідуально з погляду ризиків. Однак Meta працює безпосередньо з представниками індустрії розваг та контент-креаторами над потенційним використанням Movie Gen і планує інтегрувати цю технологію у свої продукти наступного року.

У блозі компанії та в дослідницькому документі зазначається, що для створення Movie Gen використовувалися як ліцензовані, так і публічно доступні набори даних.

Фото: Reuters.