Xiaomi công bố Auto World Model: AI hợp nhất tái tạo 3D và tạo sinh, đạt SOTA trên các bài kiểm tra chuẩn
Xiaomi Auto công bố khung mô hình thế giới Xiaomi Auto World Model: tích hợp Tái tạo + Tạo sinh, đạt SOTA trên toàn bộ bài kiểm tra tiêu chuẩn chủ đạo.
Xiaomi Technology chính thức thông báo công bố Xiaomi Auto World Model, một khung kiến trúc hoàn toàn mới, cung cấp hướng đi mới cho mô hình thế giới trong lĩnh vực hỗ trợ lái xe của ngành công nghiệp, thúc đẩy toàn ngành chuyển từ hình thái “nhận biết bối cảnh” sang hình thái cao cấp hơn là “suy luận nhận thức và tiến hóa bối cảnh”.
Theo giới thiệu, đây là lần đầu tiên Xiaomi áp dụng kiến trúc tích hợp kết hợp sâu giữa tái tạo không gian 3D và tạo video, với mô hình mới mang tên “tái tạo neo giữ hình học, tạo sinh bù đắp khả năng tưởng tượng”, phá vỡ hướng phát triển lâu nay của ngành vốn tách biệt độc lập giữa tái tạo và tạo sinh. Trong các bài kiểm tra tiêu chuẩn phổ biến như Waymo và nuScenes, giải pháp này đều đạt SOTA (State-of-the-Art) trên toàn diện, đồng thời đã được triển khai trong ba lĩnh vực cốt lõi của Xiaomi Auto gồm dữ liệu tổng hợp, kiểm thử mô phỏng và khoang lái thông minh.
Minh họa hiệu ứng của Xiaomi Auto World Model
Hiện tại, mô hình thế giới có hai hướng công nghệ chính — Tái tạo (WorldRec) và Tạo sinh (WorldGen), mỗi hướng đều có ưu điểm và hạn chế riêng:
Tái tạo (WorldRec) phục hồi môi trường 3D có độ chính xác hình học cao từ nhiều góc quan sát. Ưu điểm là độ chân thực cao và tính nhất quán mạnh, nhưng chỉ có thể khôi phục những nội dung đã quan sát, thiếu khả năng tưởng tượng.
Tạo sinh (WorldGen) sử dụng mô hình khuếch tán để trực tiếp dự đoán hình ảnh tương lai, có thể “tưởng tượng” các góc nhìn chưa được quan sát hoặc những tình huống chưa xảy ra, nhưng lại thiếu cấu trúc 3D rõ ràng và dễ xuất hiện sai lệch hoặc biến dạng trong các chuỗi thời gian dài.
Xiaomi Auto World Model đưa ra một khung tích hợp hoàn toàn mới, kết hợp sâu giữa mô-đun tái tạo và mô-đun tạo sinh, giúp hai thành phần này ràng buộc lẫn nhau về mặt cấu trúc. Trong đó:
Hai thành phần này tạo thành một vòng khép kín và tăng cường lẫn nhau, tạo ra hiệu ứng cộng hưởng “1 + 1 > 2” ở ba khía cạnh quan trọng:
Độ ổn định cao:
Ràng buộc hình học xác định từ WorldRec giúp hạn chế hiệu quả việc tích lũy sai số và hiện tượng nội dung bị lệch trong quá trình tự hồi quy theo chuỗi dài.
Tính nhất quán cao:
Biểu diễn bối cảnh 4D đóng vai trò như bộ nhớ chia sẻ xuyên suốt nhiều khung hình, đảm bảo nội dung trong các thời điểm và góc nhìn khác nhau luôn duy trì tính thống nhất tổng thể.
Độ chân thực cao:
WorldGen sử dụng hình ảnh RGB do WorldRec dựng lên làm khung xương hình học, giúp nội dung tổng hợp vừa phù hợp với bố cục vật lý vừa gần với dữ liệu cảm biến thực tế, giảm đáng kể khoảng cách giữa môi trường mô phỏng và môi trường thực.
Hiệu ứng mô phỏng các tình huống cực đoan của WorldGen
Hiện Xiaomi Auto World Model đã được triển khai trong ba kịch bản thực tế của Xiaomi Auto:
Tạo dữ liệu tổng hợp:
Đã cung cấp hơn 100.000 đoạn clip dữ liệu tổng hợp chất lượng cao, được dùng trực tiếp để huấn luyện mô hình nhận diện, nâng cao khả năng phát hiện các tình huống nguy hiểm của xe.
Kiểm thử mô phỏng:
Xây dựng môi trường mô phỏng khép kín, tối ưu hiệu quả thử nghiệm, hoàn thiện quy chuẩn kiểm thử và có thể tái hiện lại các vụ tai nạn thực tế trong môi trường mô phỏng để tối ưu hóa có mục tiêu.
Học viện hỗ trợ lái xe:
Sử dụng mô hình thế giới để tạo động các video hướng dẫn lái xe ở góc nhìn thứ nhất. Khi người dùng gặp điều kiện giao thông phức tạp, hệ thống sẽ dùng video tạo sinh để trình bày thao tác chính xác. Hiện tính năng “Học viện hỗ trợ lái – mô phỏng bối cảnh thực tế” đã được triển khai trên toàn bộ các mẫu xe Xiaomi.
Các bạn có thể tham khảo thông tin kỹ thuật và bài nghiên cứu liên quan dưới đây
Xiaomi Technology chính thức thông báo công bố Xiaomi Auto World Model, một khung kiến trúc hoàn toàn mới, cung cấp hướng đi mới cho mô hình thế giới trong lĩnh vực hỗ trợ lái xe của ngành công nghiệp, thúc đẩy toàn ngành chuyển từ hình thái “nhận biết bối cảnh” sang hình thái cao cấp hơn là “suy luận nhận thức và tiến hóa bối cảnh”.
Minh họa hiệu ứng của Xiaomi Auto World Model
Hiện tại, mô hình thế giới có hai hướng công nghệ chính — Tái tạo (WorldRec) và Tạo sinh (WorldGen), mỗi hướng đều có ưu điểm và hạn chế riêng:
Tái tạo (WorldRec) phục hồi môi trường 3D có độ chính xác hình học cao từ nhiều góc quan sát. Ưu điểm là độ chân thực cao và tính nhất quán mạnh, nhưng chỉ có thể khôi phục những nội dung đã quan sát, thiếu khả năng tưởng tượng.
Tạo sinh (WorldGen) sử dụng mô hình khuếch tán để trực tiếp dự đoán hình ảnh tương lai, có thể “tưởng tượng” các góc nhìn chưa được quan sát hoặc những tình huống chưa xảy ra, nhưng lại thiếu cấu trúc 3D rõ ràng và dễ xuất hiện sai lệch hoặc biến dạng trong các chuỗi thời gian dài.
Xiaomi Auto World Model đưa ra một khung tích hợp hoàn toàn mới, kết hợp sâu giữa mô-đun tái tạo và mô-đun tạo sinh, giúp hai thành phần này ràng buộc lẫn nhau về mặt cấu trúc. Trong đó:
- Tái tạo cung cấp hình học 3D làm điểm neo cấu trúc, giúp duy trì tính ổn định trong quá trình tạo sinh.
- Tạo sinh mở rộng khả năng dự đoán vượt ra ngoài phạm vi quan sát, bù đắp giới hạn của tái tạo.
Hai thành phần này tạo thành một vòng khép kín và tăng cường lẫn nhau, tạo ra hiệu ứng cộng hưởng “1 + 1 > 2” ở ba khía cạnh quan trọng:
Độ ổn định cao:
Ràng buộc hình học xác định từ WorldRec giúp hạn chế hiệu quả việc tích lũy sai số và hiện tượng nội dung bị lệch trong quá trình tự hồi quy theo chuỗi dài.
Tính nhất quán cao:
Biểu diễn bối cảnh 4D đóng vai trò như bộ nhớ chia sẻ xuyên suốt nhiều khung hình, đảm bảo nội dung trong các thời điểm và góc nhìn khác nhau luôn duy trì tính thống nhất tổng thể.
Độ chân thực cao:
WorldGen sử dụng hình ảnh RGB do WorldRec dựng lên làm khung xương hình học, giúp nội dung tổng hợp vừa phù hợp với bố cục vật lý vừa gần với dữ liệu cảm biến thực tế, giảm đáng kể khoảng cách giữa môi trường mô phỏng và môi trường thực.
Hiệu ứng mô phỏng các tình huống cực đoan của WorldGen
Hiện Xiaomi Auto World Model đã được triển khai trong ba kịch bản thực tế của Xiaomi Auto:
Tạo dữ liệu tổng hợp:
Đã cung cấp hơn 100.000 đoạn clip dữ liệu tổng hợp chất lượng cao, được dùng trực tiếp để huấn luyện mô hình nhận diện, nâng cao khả năng phát hiện các tình huống nguy hiểm của xe.
Kiểm thử mô phỏng:
Xây dựng môi trường mô phỏng khép kín, tối ưu hiệu quả thử nghiệm, hoàn thiện quy chuẩn kiểm thử và có thể tái hiện lại các vụ tai nạn thực tế trong môi trường mô phỏng để tối ưu hóa có mục tiêu.
Học viện hỗ trợ lái xe:
Sử dụng mô hình thế giới để tạo động các video hướng dẫn lái xe ở góc nhìn thứ nhất. Khi người dùng gặp điều kiện giao thông phức tạp, hệ thống sẽ dùng video tạo sinh để trình bày thao tác chính xác. Hiện tính năng “Học viện hỗ trợ lái – mô phỏng bối cảnh thực tế” đã được triển khai trên toàn bộ các mẫu xe Xiaomi.
Các bạn có thể tham khảo thông tin kỹ thuật và bài nghiên cứu liên quan dưới đây
- Thông tin kỹ thuật: https://jointwm.github.io/
- Bài nghiên cứu: https://arxiv.org/pdf/2605.18137