Marey của Moonvalley là mô hình video AI tiên tiến được đào tạo trên dữ liệu ĐƯỢC CẤP PHÉP ĐẦY ĐỦ

Một vài năm trước, không hề có khái niệm “mô hình video AI tạo sinh”.

Ngày nay, có hàng chục, bao gồm nhiều loại có khả năng tạo video độ nét cực cao, siêu thực chuẩn Hollywood trong vài giây từ lời nhắc văn bản hoặc hình ảnh do người dùng tải lên và các đoạn video clip hiện có. Nếu bạn đã đọc VentureBeat trong vài tháng qua, chắc hẳn bạn đã bắt gặp các bài viết về các mô hình này và các công ty đứng sau chúng, từ Gen-3 của Runway đến Veo 2 của Google đến Sora bị trì hoãn từ lâu nhưng cuối cùng đã có sẵn của OpenAI đến Luma AI , Pika và các công ty mới nổi của Trung Quốc là Kling và Hailuo . Ngay cả Alibaba và một công ty khởi nghiệp có tên là Genmo cũng đã cung cấp các mô hình video nguồn mở.

Những mô hình này đã được sử dụng để tạo ra một số phần của các bộ phim bom tấn lớn, từ Everything, Everywhere All At Once đến True Detective: Night Country của HBO cho đến các video ca nhạc và quảng cáo truyền hình từ Toys R’ Us và Coca Cola . Nhưng mặc dù Hollywood và các nhà làm phim đã nhanh chóng áp dụng AI, vẫn còn một vấn đề lớn tiềm ẩn: lo ngại về bản quyền.

Theo những gì chúng tôi biết, vì hầu hết các công ty khởi nghiệp về mô hình video AI không chia sẻ công khai các chi tiết chính xác về dữ liệu đào tạo của họ, hầu hết đều được đào tạo trên các video khổng lồ được tải lên web hoặc thu thập từ các nguồn lưu trữ khác, bao gồm cả những video có bản quyền mà chủ sở hữu có thể hoặc không thực sự cấp phép rõ ràng cho các công ty video AI để đào tạo trên các video đó. Trên thực tế, Runway là một trong những công ty phải đối mặt với vụ kiện tập thể (vẫn đang trong quá trình giải quyết tại tòa án) về vấn đề này và Nvidia được cho là cũng đã xóa một lượng lớn video trên YouTube vì mục đích này. Tranh chấp vẫn đang tiếp diễn về việc liệu việc xóa dữ liệu bao gồm cả video có cấu thành việc sử dụng hợp lý và mang tính chuyển đổi hay không.

Nhưng giờ đây đã có một giải pháp thay thế mới cho những ai lo ngại về bản quyền và không muốn sử dụng các mô hình có dấu chấm hỏi. Một công ty khởi nghiệp có tên Moonvalley — được thành lập bởi các cựu Google DeepMinders và các nhà nghiên cứu từ Meta, Microsoft và TikTok, cùng nhiều công ty khác — đã giới thiệu Marey, một mô hình video AI tạo sinh được thiết kế cho các hãng phim Hollywood, nhà làm phim và các thương hiệu doanh nghiệp. Được định vị là một mô hình video AI nền tảng hiện đại “sạch”, Marey được đào tạo độc quyền trên dữ liệu sở hữu và được cấp phép, cung cấp một giải pháp thay thế có đạo đức cho các mô hình AI được phát triển bằng cách sử dụng nội dung đã thu thập.

Naeem Talukdar, CEO và đồng sáng lập của Moonvalley, cho biết trong một cuộc phỏng vấn qua video gần đây với VentureBeat: “Mọi người nói rằng về mặt kỹ thuật, không khả thi khi xây dựng một mô hình video AI tiên tiến mà không sử dụng dữ liệu đã thu thập”. “Chúng tôi đã chứng minh điều ngược lại”.

Marey, hiện có sẵn trên cơ sở danh sách chờ chỉ dành cho người được mời, tham gia mô hình Firefly Video của Adobe , mà nhà cung cấp phần mềm lâu đời này cho biết cũng là cấp doanh nghiệp — chỉ được đào tạo về dữ liệu được cấp phép và dữ liệu Adobe Stock (khiến một số người đóng góp kinh ngạc ) — và cung cấp cho doanh nghiệp quyền bồi thường khi sử dụng. Moonvalley cũng cung cấp quyền bồi thường theo điều khoản 7 của tài liệu này , nói rằng họ sẽ bảo vệ khách hàng của mình bằng chi phí của riêng mình.

Moonvalley hy vọng những tính năng này sẽ khiến Marey trở nên hấp dẫn đối với các hãng phim lớn — ngay cả khi những hãng khác như Runway đã ký hợp đồng với họ — và các nhà làm phim, trong số vô số các tùy chọn tạo video AI mới đang ngày càng phát triển.

Video AI ‘có đạo đức’ hơn?

Marey là kết quả của sự hợp tác giữa Moonvalley và Asteria, một studio phim và hoạt hình AI do nghệ sĩ điều hành. Mô hình này được xây dựng để hỗ trợ chứ không phải thay thế các chuyên gia sáng tạo, cung cấp cho các nhà làm phim các công cụ mới để sản xuất video do AI điều khiển trong khi vẫn duy trì các tiêu chuẩn truyền thống của ngành.

Talukdar cho biết: “Niềm tin của chúng tôi là bạn sẽ không nhận được sự chấp nhận rộng rãi trong ngành này trừ khi bạn làm điều này với ngành”. “Ngành công nghiệp đã nói rất rõ ràng rằng để họ thực sự sử dụng các mô hình này, chúng ta cần tìm ra cách xây dựng một mô hình sạch. Và cho đến tận ngày nay, mục tiêu hàng đầu là bạn không thể làm được điều đó”.

Thay vì tìm kiếm nội dung trên internet, Moonvalley đã xây dựng mối quan hệ trực tiếp với những người sáng tạo để cấp phép cho cảnh quay của họ. Công ty đã mất nhiều tháng để thiết lập các mối quan hệ đối tác này, đảm bảo tất cả dữ liệu được sử dụng cho mục đích đào tạo đều được mua hợp pháp và được cấp phép đầy đủ.

Chiến lược cấp phép của Moonvalley cũng được thiết kế để hỗ trợ người sáng tạo nội dung bằng cách trả tiền cho những đóng góp của họ.

Talukdar cho biết: “Hầu hết các mối quan hệ của chúng tôi thực sự đang phát triển khi mọi người bắt đầu nghe về những gì chúng tôi đang làm”. “Đối với những người sáng tạo ở thị trấn nhỏ, rất nhiều cảnh quay của họ chỉ nằm xung quanh. Chúng tôi muốn giúp họ kiếm tiền từ chúng và chúng tôi muốn tạo ra các mô hình tập trung vào nghệ sĩ. Cuối cùng, đó là một mối quan hệ rất tốt”.

Talukdar nói với VentureBeat rằng mặc dù công ty vẫn đang đánh giá và sửa đổi các mô hình trả lương của mình, nhưng nhìn chung, công ty sẽ trả lương cho người sáng tạo dựa trên thời lượng cảnh quay của họ, trả cho họ mức phí theo giờ hoặc theo phút theo các thỏa thuận cấp phép có thời hạn cố định (ví dụ: 12 hoặc bốn tháng). Điều này cho phép thanh toán định kỳ tiềm năng nếu nội dung tiếp tục được sử dụng.

Mục tiêu của công ty là giúp việc sản xuất video cao cấp trở nên dễ tiếp cận hơn và tiết kiệm chi phí hơn, cho phép các nhà làm phim, hãng phim và nhà quảng cáo khám phá phương pháp kể chuyện do AI tạo ra mà không phải lo ngại về mặt pháp lý hoặc đạo đức.

Kiểm soát điện ảnh nhiều hơn — ngoài lời nhắc văn bản, hình ảnh và hướng dẫn máy quay

Talukdar giải thích rằng Moonvalley đã áp dụng cách tiếp cận khác với mô hình video AI Marey so với các mô hình video AI hiện có bằng cách tập trung vào sản xuất chuyên nghiệp thay vì ứng dụng cho người tiêu dùng.

“Hầu hết các công ty video sáng tạo ngày nay đều tập trung nhiều hơn vào người tiêu dùng”, ông nói. “Họ xây dựng các mô hình đơn giản, trong đó bạn nhắc nhở một chatbot, tạo một số clip và thêm các hiệu ứng thú vị. Trọng tâm của chúng tôi thì khác: Công nghệ nào là cần thiết cho các hãng phim Hollywood? Các thương hiệu lớn cần gì để tạo ra các quảng cáo Super Bowl?”

Marey giới thiệu một số tiến bộ trong video do AI tạo ra, bao gồm:

• Tạo video HD gốc — Tạo video có độ nét cao mà không cần phải nâng cấp, giảm hiện tượng nhiễu hình ảnh
• Độ dài video mở rộng — Không giống như hầu hết các mô hình video AI chỉ tạo ra cảnh quay dài vài giây, Marey có thể tạo chuỗi 30 giây chỉ trong một lần chạy.
• Chỉnh sửa theo lớp — Không giống như các mô hình video tạo hình khác, Marey cho phép người dùng chỉnh sửa riêng phần tiền cảnh, trung cảnh và hậu cảnh, giúp kiểm soát chính xác hơn việc biên soạn video.
• Đầu vào dựa trên bảng phân cảnh và bản phác thảo — Thay vì chỉ dựa vào lời nhắc văn bản (như nhiều mô hình AI vẫn làm), Marey cho phép các nhà làm phim sáng tạo bằng bảng phân cảnh, bản phác thảo và thậm chí là tài liệu tham khảo về hành động trực tiếp, giúp các chuyên gia trực quan hơn.
• Phản ứng nhanh hơn với các đầu vào có điều kiện — Mô hình được thiết kế để diễn giải tốt hơn các đầu vào bên ngoài như bản vẽ và tham chiếu chuyển động, giúp video do AI tạo ra dễ kiểm soát hơn.
• Trình chỉnh sửa video “gốc tạo” — Moonvalley đang phát triển phần mềm đồng hành cho Marey, hoạt động như một công cụ chỉnh sửa video gốc tạo giúp người dùng quản lý dự án và mốc thời gian hiệu quả hơn.

“Bản thân mô hình chỉ được xây dựng rất nhiều xung quanh khả năng kiểm soát,” Talukdar giải thích. “Bạn cần có nhiều khả năng kiểm soát hơn đáng kể xung quanh đầu ra — khả năng thay đổi các ký tự. Đây là mô hình đầu tiên cho phép bạn thực hiện chỉnh sửa dựa trên lớp, do đó bạn có thể chỉnh sửa tiền cảnh, trung cảnh và hậu cảnh riêng biệt. Đây cũng là mô hình đầu tiên được xây dựng cho Hollywood, được xây dựng có mục đích cho sản xuất.”

Ngoài ra, ông còn nói với VentureBeat rằng Marey dựa vào mô hình lai khuếch tán-biến áp kết hợp kiến ​​trúc khuếch tán và kiến ​​trúc dựa trên biến áp.

Talukdar cho biết: “Các mô hình là mô hình máy biến áp khuếch tán, vì vậy đó là kiến ​​trúc máy biến áp, và sau đó bạn có sự khuếch tán như một phần của các lớp”. “Khi bạn giới thiệu khả năng kiểm soát, thường là thông qua các lớp đó mà bạn thực hiện”.

Được tài trợ bởi các VC lớn nhưng không nhiều bằng các công ty khởi nghiệp video AI khác (chưa)

Tuần này, Moonvalley cũng công bố vòng hạt giống trị giá 70 triệu đô la do Bessemer Venture Partners, Khosla Ventures và General Catalyst dẫn đầu. Các nhà đầu tư Hemant Taneja, Samir Kaul và Byron Deeter cũng đã tham gia hội đồng quản trị của công ty.

Talukdar lưu ý rằng nguồn tài trợ của Moonvalley cho đến nay ít hơn đáng kể so với một số đối thủ cạnh tranh — Runway được cho là đã huy động được tổng cộng 270 triệu đô la qua nhiều vòng — nhưng công ty đã tối ưu hóa nguồn lực của mình bằng cách tập hợp một nhóm các nhà nghiên cứu và kỹ sư AI ưu tú.

“Chúng tôi đã huy động được khoảng 70 triệu đô la, chắc chắn là ít hơn nhiều so với các đối thủ cạnh tranh của chúng tôi”, ông nói. “Nhưng điều đó thực sự phụ thuộc vào nhóm — có một nhóm có thể xây dựng kiến ​​trúc đó hiệu quả hơn đáng kể, tính toán và tất cả những thứ khác nhau đó”.

Marey hiện đang trong giai đoạn hạn chế quyền truy cập, với một số hãng phim và nhà làm phim được chọn đang thử nghiệm mô hình. Moonvalley có kế hoạch mở rộng dần quyền truy cập trong những tuần tới.

“Hiện tại, có một số hãng phim đang tiếp cận nó, và chúng tôi có một nhóm alpha với vài chục nhà làm phim đang sử dụng nó”, Talukdar xác nhận. “Hy vọng là nó sẽ có sẵn hoàn toàn trong vòng vài tuần, trường hợp xấu nhất là trong vòng vài tháng”.

Với sự ra mắt của Marey, Moonvalley và Asteria đặt mục tiêu định vị mình ở vị trí hàng đầu trong lĩnh vực làm phim hỗ trợ AI, cung cấp cho các hãng phim và thương hiệu một giải pháp tích hợp AI mà không ảnh hưởng đến tính toàn vẹn sáng tạo. Nhưng với các đối thủ khởi nghiệp video AI như Runway, Pika và Hedra tiếp tục bổ sung các tính năng mới như giọng nói và chuyển động của nhân vật, lĩnh vực này đang trở nên cạnh tranh hơn.