Vn-Z.vn Ngày 06 tháng 08 năm 2024, Gần đây, Alibaba đã ra mắt một AI tạo sinh video Tora, đây là mô hình ngôn ngữ lớn AI tạo video tích hợp các điều kiện văn bản, hình ảnh và quỹ đạo.
Tora được phát triển dựa trên công nghệ biến áp khuếch tán định hướng quỹ đạo (DiT).Tora bao gồm một bộ trích xuất quỹ đạo (TE), một DiT không gian thời gian và một bộ tổng hợp dẫn hướng chuyển động (MGF): TE sử dụng mạng nén video 3D, mã hóa các quỹ đạo tùy ý thành các mảng chuyển động không gian thời gian có thứ bậc. MGF tích hợp các bản vá chuyển động vào mô-đun DiT để tạo ra các video mạch lạc theo quỹ đạo.

Tora tương thích hoàn hảo với thiết kế DiT, hỗ trợ tạo video dài nhất 204 khung hình với độ phân giải 720P, có thể kiểm soát chính xác nội dung video với các thời lượng khác nhau, tỷ lệ khung hình và độ phân giải khác nhau. Nhiều thí nghiệm đã chứng minh rằng Tora thể hiện xuất sắc trong việc tái tạo độ chân thực cao của chuyển động, đồng thời mô phỏng chi tiết chuyển động trong thế giới vật lý.


Khái niệm thiết kế độc đáo của nó tích hợp các điều kiện văn bản, hình ảnh và quỹ đạo, kiểm soát chính xác nội dung video, mô phỏng các quy luật chuyển động của thế giới vật lý và mang đến khả năng không giới hạn cho các lĩnh vực sản xuất hiệu ứng đặc biệt của phim và thực tế ảo.

Chi tiết bạn đọc có thể tham khảo thêm tại các đường link đưới đây