Vn-Z.vn Ngày 31 tháng 08 năm 2024,Đại học Hong Kong, kết hợp với Đại học Công nghệ Hoa Nam và Baidu, đã ra mắt mô hình dự đoán giao thông đô thị dài hạn mang tên OpenCity. Mô hình này có khả năng tổng quát hóa rất mạnh, có thể được ứng dụng hiệu quả trong nhiều tình huống dự đoán giao thông khác nhau.
Điều đáng chú ý là mô hình này thể hiện hiệu suất xuất sắc ngay cả trong điều kiện không có mẫu dữ liệu ban đầu (zero-shot), tức là mô hình có thể dự đoán chính xác mà không cần phải huấn luyện trước với các dữ liệu cụ thể liên quan đến tình huống hoặc môi trường giao thông.
Tài liệu nghiên cứu đã được đăng tải trên tạp chí khoa học arxiv.org với tiêu đề :
OpenCity kết hợp kiến trúc Transformer và mạng nơ-ron đồ thị để mô phỏng các mối quan hệ phức tạp về không gian và thời gian trong dữ liệu giao thông.
Thông qua quá trình tiền huấn luyện trên các tập dữ liệu giao thông lớn và đa dạng, OpenCity có thể học được các biểu diễn phong phú và tổng quát, từ đó có thể áp dụng hiệu quả vào nhiều tình huống dự đoán giao thông khác nhau.
So với các phương pháp truyền thống, OpenCity có những đặc điểm nổi bật sau:
Hiện nay, các mô hình dự đoán giao thông đang phải đối mặt với ba thách thức lớn.
Thách thức thứ nhất là khả năng tổng quát hóa không gian giữa các khu vực. Một hạn chế lớn của các mô hình dự đoán giao thông hiện tại là khả năng tổng quát hóa không gian còn yếu. Các mô hình này thường chỉ học từ dữ liệu của một khu vực cụ thể và khó có thể áp dụng hiệu quả cho các khu vực khác. Tuy nhiên, việc triển khai một mạng lưới cảm biến toàn diện trên khắp thành phố để thu thập dữ liệu giao thông là không thực tế. Một giải pháp khả thi hơn là phát triển các mô hình có khả năng tổng quát hóa tốt với dữ liệu hạn chế, đồng thời giảm thiểu chi phí triển khai và bảo trì khi áp dụng cho các thành phố khác nhau.
Thách thức thứ hai là khả năng tổng quát hóa thời gian và dự đoán dài hạn. Các mô hình hiện tại thường chỉ tốt trong việc dự đoán ngắn hạn, như dự đoán tình trạng giao thông trong giờ tới. Tuy nhiên, chúng gặp khó khăn khi áp dụng cho khung thời gian dài hơn, chẳng hạn như dự đoán trong vài giờ hoặc vài ngày tới. Điều này là do mô hình chưa đủ khả năng xử lý sự thay đổi về thời gian trong thực tế đô thị, khiến chúng không thể bắt kịp những biến động động của các mô hình giao thông trong thời gian dài. Điều này là một trở ngại lớn cho các nhà hoạch định đô thị và cơ quan giao thông trong việc đưa ra các chiến lược dài hạn hiệu quả.
Thách thức thứ ba là học các biểu diễn tổng quát và xử lý sự dị biệt không gian-thời gian. Việc học các biểu diễn động về giao thông mạnh mẽ và có khả năng tổng quát hóa là chìa khóa để phát triển các mô hình giao thông đa năng. Thông qua việc học các biểu diễn tổng quát, mô hình có thể hiểu sâu sắc và chuyển đổi được các mô hình giao thông, giúp áp dụng hiệu quả trong nhiều tình huống khác nhau ngay cả khi thiếu dữ liệu huấn luyện cụ thể. Bên cạnh đó, mô hình phải đối mặt với sự đa dạng vốn có của các mô hình giao thông trong các khu vực và thời gian khác nhau. Việc giải quyết sự dị biệt này là rất quan trọng để đảm bảo rằng các mô hình giao thông thống nhất vẫn duy trì được tính đa năng và khả năng thích ứng.
Bạn đọc có thể quan sát hình ảnh bên dưới , trong đó ảnh bên trái minh họa sự khác biệt trong phân phối dữ liệu giữa các tập dữ liệu giao thông khác nhau, cho thấy sự cần thiết của các mô hình có khả năng xử lý sự khác biệt này. Hình ảnh bên phải so sánh hiệu suất của OpenCity trong môi trường không có mẫu với hiệu suất của các mô hình cơ sở khi sử dụng toàn bộ dữ liệu mẫu. Mặc dù có sự thách thức của sự khác biệt trong phân phối không gian-thời gian, nhưng OpenCity vẫn đạt được hiệu suất tương đương với các mô hình cơ sở.
Để giải quyết những thách thức này, nhóm nghiên cứu đã áp dụng một loạt các chiến lược mới.
Phép nhúng không gian-thời gian để tổng quát hóa sự thay đổi phân phối
Chuẩn hóa theo ngữ cảnh
Các phương pháp hiện tại thường sử dụng các đặc tính thống kê của dữ liệu huấn luyện, như giá trị trung bình và độ lệch chuẩn, để chuẩn hóa dữ liệu. Tuy nhiên, khi dữ liệu kiểm tra có sự khác biệt đáng kể và không trùng lặp với phân phối dữ liệu huấn luyện về mặt không gian địa lý, các số liệu thống kê này có thể không đủ hoặc không thể chuyển đổi.
Để đối phó với thách thức này và thích ứng với các nhiệm vụ dự đoán giao thông không có mẫu, tác giả đã sử dụng chuẩn hóa theo mẫu (Instance Normalization - IN) để xử lý dữ liệu. Phương pháp này sử dụng giá trị trung bình μ(Xr)\mu(Xr)μ(Xr) và độ lệch chuẩn σ(Xr)\sigma(Xr)σ(Xr) của từng mẫu đầu vào Xr thuộc một vùng cụ thể trong tập dữ liệu RT\mathbb{R}^TRT, thay vì dựa vào các số liệu thống kê của tập huấn luyện toàn cầu. Điều này giúp giảm thiểu hiệu quả sự lệch lạc giữa phân phối dữ liệu huấn luyện và kiểm tra, được mô tả như sau:
Nhúng Patch để Dự đoán Hiệu quả Dài hạn
OpenCity được thiết kế để giải quyết vấn đề dự đoán giao thông dài hạn, liên quan đến việc xử lý số lượng bước thời gian đầu vào gia tăng, dẫn đến chi phí tính toán và bộ nhớ đáng kể.
Để giảm thiểu những vấn đề này, tác giả đã áp dụng phương pháp dựa trên Patch để phân chia dữ liệu theo chiều thời gian.
Định nghĩa P là độ dài của Patch, xác định số lượng bước thời gian được nhóm lại thành một Patch duy nhất, và S là kích thước bước, quyết định mức độ chồng chéo giữa các Patch liên tiếp.
Sau khi thực hiện Patch, dữ liệu đầu vào được tái cấu trúc thành XrP∈R(P×N)Xr^P ∈ ℝ^(P×N)XrP∈R(P×N), trong đó N là số lượng Patch, N=(T−P)/S+1N = (T-P) / S +1N=(T−P)/S+1.
Bằng cách coi dữ liệu giao thông trong một giờ là độ dài của một Patch và điều chỉnh kích thước bước tương ứng (S=P), mô hình có thể nắm bắt và thích ứng với các mô hình biến đổi của dữ liệu giao thông trong khoảng thời gian kéo dài.
Ngoài ra, xử lý dựa trên Patch giúp giảm đáng kể yêu cầu tính toán và bộ nhớ, làm cho việc dự đoán giao thông dài hạn trở nên hiệu quả và mở rộng hơn.
Sau khi thực hiện Patch, tác giả sử dụng chuyển đổi tuyến tính và mã hóa vị trí cos-sin (PE) để thu được biểu diễn nhúng không gian-thời gian cuối cùng Er∈R(P×d)Er ∈ ℝ^(P×d)Er∈R(P×d), được sử dụng làm đầu vào cho các thành phần tiếp theo như sau:
Mã hóa Ngữ cảnh Không Gian -Thời Gian
Để nắm bắt các mẫu không-thời gian phức tạp vốn có trong dữ liệu giao thông, mô hình OpenCity đã tích hợp các tín hiệu ngữ cảnh về thời gian và không gian.
Bằng cách mô phỏng rõ ràng sự tương tác giữa hai chiều quan trọng này, OpenCity có thể hiểu rõ hơn các yếu tố đa chiều ảnh hưởng đến các mẫu giao thông. Cách tiếp cận tích hợp này giúp khung mô hình đề xuất có thể tạo ra các dự đoán chính xác hơn trong các khoảng thời gian và khu vực địa lý khác nhau.
Mã hóa Ngữ cảnh Thời gian
Mô hình OpenCity hiệu quả trong việc nắm bắt các mẫu thời gian đặc thù trong dữ liệu giao thông, chẳng hạn như các biến đổi chu kỳ gây ra bởi thói quen hàng ngày hoặc hàng tuần, cũng như các phụ thuộc phi tuyến tính phức tạp trong khoảng thời gian dài hơn.
Cụ thể, các tác giả đã sử dụng các đặc trưng thời gian như thời gian trong ngày z(d)∈RT\mathbf{z}^{(d)} ∈ ℝ^Tz(d)∈RT và ngày trong tuần z(w)∈RT\mathbf{z}^{(w)} ∈ ℝ^Tz(w)∈RT để trích xuất các mối liên hệ chu kỳ, sau đó áp dụng các lớp tuyến tính để tạo ra các biểu diễn nhúng thời gian đặc thù mã hóa các tín hiệu ngữ cảnh này.
Mã hóa Ngữ cảnh Không gian
Do tính chất độc đáo của các đặc điểm địa lý, các mẫu giao thông ở các khu vực khác nhau có sự khác biệt rõ rệt (ví dụ, các trung tâm giao thông thường có lưu lượng cao hơn).
Để nắm bắt những thuộc tính khu vực này, các tác giả đã tích hợp ngữ cảnh không gian vào mạng lưới giao thông.
Trước tiên, họ tính toán ma trận Laplace chuẩn hóa, trong đó III là ma trận đơn vị và DDD là ma trận độ:
"Tiếp theo, tác giả thực hiện phân tích phân rã giá trị riêng và thu được △=UΛU^T, trong đó U và Λ lần lượt là ma trận giá trị riêng và ma trận vector riêng.
Sử dụng k vector riêng nhỏ nhất không tầm thường làm vùng nhúng Φ ∈ ℝ^(R×k), mã hóa thông tin cấu trúc của mạng lưới giao thông.
Sau đó, các nhúng này được xử lý qua lớp tuyến tính để nhận được mã hóa không gian cuối cùng C ∈ ℝ^(R×d).
Mô hình hóa phụ thuộc thời-không
Mô hình hóa phụ thuộc thời gian
OpenCity được xây dựng dựa trên kiến trúc TimeShift Transformer được đề xuất để mã hóa mối quan hệ phụ thuộc theo thời gian. Tác giả chủ yếu nắm bắt các mô hình giao thông từ hai góc độ bổ sung:
Biến đổi giao thông theo chu kỳ: Mô hình của tác giả nắm bắt các mô hình giao thông lặp đi lặp lại có tính chu kỳ, như chu kỳ theo giờ, theo ngày và theo tuần. Thông qua việc mã hóa những biến đổi chu kỳ này, phương pháp của chúng tôi có thể giải thích tốt hơn tính quy luật vốn có trong mạng lưới giao thông.
Mô hình giao thông động: Ngoài những biến đổi theo chu kỳ, bộ mã thời gian của tác giả còn nắm bắt các động lực và xu hướng phi tuyến phức tạp của dữ liệu giao thông theo thời gian.
Tác giả sử dụng nhúng thời gian D và nhúng không gian C để nắm bắt các mô hình chu kỳ trong giao thông, mục tiêu là tiết lộ sự liên kết giữa các mô hình giao thông lịch sử và các tình huống dự báo tương lai.
Trong đó, nhúng thời gian được cập nhật thành hai phần:
D^his ∈ ℝ^(R×p×d): Nắm bắt tín hiệu thời gian trong quá khứ.
D^pre ∈ ℝ^(R×p×d): Thông tin thời gian dự đoán trong tương lai.
Mô hình của tác giả mô phỏng rõ ràng các mô hình thời gian hướng tới quá khứ và tương lai, giúp nó học hỏi và tận dụng tốt hơn các đặc trưng chu kỳ của chuỗi thời gian giao thông.
Quá trình này được thực hiện thông qua việc xây dựng cơ chế chú ý đa đầu dịch chuyển thời gian ——
Sử dụng nhúng thời-không trong tương lai làm truy vấn (Query), nhúng thời-không trong quá khứ làm khóa (Key), và đại diện dữ liệu thời-không trong quá khứ làm giá trị (Value).
"Tác giả đã giới thiệu RMSNorm để cải thiện độ ổn định trong quá trình huấn luyện.
Bằng cách mô hình hóa rõ ràng mối quan hệ giữa thông tin thời gian trong quá khứ và tương lai, OpenCity có khả năng phát hiện các mô hình giao thông theo thời gian và không gian có tính chu kỳ.
Module này nhằm mục đích nắm bắt các mối quan hệ phụ thuộc động giữa các khoảng thời gian khác nhau, ví dụ, các sự cố giao thông bất ngờ có thể dẫn đến tốc độ giao thông và lưu lượng giao thông giảm mạnh.
Để đạt được điều này, chúng tôi sử dụng cơ chế chú ý tương tự như trong mã hóa biến đổi giao thông chu kỳ.
Điểm khác biệt là đầu vào của truy vấn (Q), khóa (K) và giá trị (V) được thay thế bằng đầu ra đã được chuẩn hóa từ bước trước đó (M).
Sự thay đổi này giúp mô hình tập trung vào việc học hỏi mối quan hệ phụ thuộc động giữa các khoảng thời gian khác nhau, thay vì chỉ các mô hình chu kỳ.
Biểu diễn thời gian thu được H ∈ ℝ^(R×p×d) đã nắm bắt được các mối quan hệ động về thời gian và không gian này.
Mô hình hóa phụ thuộc không gian
Việc nắm bắt sự phụ thuộc không gian là một khía cạnh quan trọng trong thiết kế mô hình, vì mạng lưới giao thông thể hiện sự tương quan mạnh mẽ về mặt không gian; tình trạng giao thông của một khu vực thường bị ảnh hưởng bởi trạng thái của các khu vực lân cận.
Để mô hình hóa những mối liên hệ không gian này, tác giả đã sử dụng mạng lưới tích chập trên đồ thị (GCNs):"
Residual connection, RMSNorm và hàm kích hoạt SwiGLU được sử dụng trong các phép tính tiếp theo.
"Mô hình được đề xuất thông qua việc xếp chồng nhiều lớp mạng mã hóa thời-không, nhằm nắm bắt các mối quan hệ phức tạp về thời gian và không gian, giúp nó có thể học được các mối quan hệ phức tạp trong mạng lưới giao thông.
Kết quả kiểm tra
Dự đoán không mẫu so với toàn bộ mẫu
Tác giả đã kiểm tra toàn diện hiệu suất dự đoán không mẫu của OpenCity, bao gồm ba trường hợp: giữa các khu vực, giữa các thành phố, và giữa các loại dữ liệu, so với hiệu suất trên toàn bộ mẫu.
Trước hết, OpenCity thể hiện hiệu suất dự đoán không mẫu vượt trội.
OpenCity đã đạt được những đột phá lớn trong học tập không mẫu, thậm chí không cần tinh chỉnh mà vẫn vượt qua hầu hết các phương pháp cơ bản.
Điều này nhấn mạnh độ bền vững và hiệu quả của phương pháp này trong việc học các mô hình thời-không phức tạp từ dữ liệu giao thông quy mô lớn, và trích xuất các thông tin chung phù hợp cho các tác vụ tiếp theo.
OpenCity có thể duy trì vị trí trong top hai trên nhiều tập dữ liệu khác nhau, và ngay cả khi không dẫn đầu, khoảng cách cũng được giữ trong phạm vi 8% (MAE).
Hiệu suất dự đoán không mẫu vượt trội đã làm nổi bật tính phổ quát và khả năng thích ứng của OpenCity trong việc xử lý các tập dữ liệu giao thông đa dạng mà không cần đào tạo lại nhiều.
Ưu điểm chính của nó là có thể được triển khai ngay vào các kịch bản mới, giảm thiểu đáng kể thời gian và tài nguyên mà các phương pháp giám sát truyền thống thường yêu cầu, mang lại lợi ích to lớn cho ứng dụng thực tế.
OpenCity còn thể hiện khả năng tổng quát hóa vượt trội trong các tác vụ khác nhau.
Tác giả đã đánh giá OpenCity trong bốn loại dữ liệu giao thông khác nhau: lưu lượng giao thông (CAD3, CAD5), tốc độ giao thông (PEMS07M, TrafficSH), nhu cầu taxi (CHI-TAXI) và quỹ đạo xe đạp (NYC-BIKE).
Phân tích cơ bản cho thấy, mặc dù các mô hình khác nhau có thể xuất sắc trong một loại dữ liệu cụ thể, nhưng không có mô hình nào có thể cung cấp kết quả tốt nhất liên tục cho tất cả các loại.
Tuy nhiên, việc duy trì mức độ hiệu suất đó ở các lĩnh vực khác lại gặp khó khăn.
Ngược lại, OpenCity cung cấp kết quả chất lượng cao liên tục trong tất cả các loại kiểm tra, nổi bật với độ bền vững và tính đa năng của nó.
Ngoài ra, để đánh giá tính phổ quát của khung OpenCity, tác giả đã kiểm tra khả năng tổng quát hóa không mẫu qua các loại dữ liệu khác nhau (NYC-BIKE).
Kết quả cho thấy OpenCity duy trì hiệu suất xuất sắc qua nhiều chỉ số, xác nhận thêm khả năng phổ quát và thích ứng với nhiều loại dữ liệu khác nhau của nó.
Hơn nữa, OpenCity còn có khả năng dự đoán dài hạn mạnh mẽ.
Một lợi thế quan trọng của kiến trúc OpenCity là khả năng tổng quát hóa thời gian tuyệt vời, giúp nó vượt trội so với các phương pháp cơ bản trong các nhiệm vụ dự đoán giao thông dài hạn.
Nhiều mô hình hiện có thường khó duy trì dự đoán chính xác trong phạm vi thời gian kéo dài vì chúng có xu hướng bị overfitting vào các mẫu lịch sử, không nắm bắt đầy đủ các đặc điểm động và tiến hóa của điều kiện giao thông.
OpenCity có khả năng học các biểu diễn thời-không chung từ các nguồn dữ liệu giao thông đa dạng, giúp nó tạo ra các dự đoán bền vững, dù các mẫu giao thông thay đổi và tiến hóa theo thời gian, dự đoán vẫn đáng tin cậy.
Hiệu suất dự đoán có giám sát
“Để xác minh thêm về hiệu suất của OpenCity, tác giả đã thực hiện đánh giá bằng phương pháp học tập có giám sát.
Trong đó, OpenCity được so sánh với các mô hình cơ bản khác trong thử nghiệm huấn luyện đầu-cuối trên một tập dữ liệu đơn lẻ với thiết lập one-for-all.
OpenCity duy trì hiệu suất xuất sắc trong thiết lập có giám sát và dẫn đầu trong hầu hết các chỉ số đánh giá.
Ngoài ra, tác giả nhận thấy rằng hầu hết các mô hình cơ bản khác hoạt động không tốt trên tập dữ liệu CAD-X, có thể do chúng có xu hướng quá khớp với các mô hình thời-không trong quá khứ, làm cho chúng khó có thể tổng quát hóa khi mô hình hóa sự phụ thuộc giao thông dài hạn.
Ngược lại, kiến trúc của OpenCity đã trích xuất hiệu quả các biểu diễn thời-không chu kỳ và động từ giai đoạn tiền huấn luyện của chúng tôi, giúp giải quyết các vấn đề về hiệu suất dự đoán kém do sự lệch phân phối giữa các thời gian và vị trí khác nhau.
Đánh giá hiệu suất được giám sát
Khám Phá Khả Năng Thích Ứng Nhanh Của Mô Hình
Phần này đánh giá khả năng thích ứng nhanh của OpenCity trong các nhiệm vụ hạ nguồn.
Các tác giả đã tập trung vào một tập dữ liệu giao thông chưa từng thấy trước đây và áp dụng phương pháp “tinh chỉnh hiệu quả” với các cài đặt như sau:
Tuy nhiên, sau khi tinh chỉnh hiệu quả, hiệu suất của OpenCity đã được cải thiện đáng kể, vượt qua tất cả các mô hình so sánh.
Đáng chú ý là thời gian huấn luyện của OpenCity chỉ chiếm từ 2% đến 32% thời gian cần thiết cho mô hình cơ bản.
Khả năng thích ứng nhanh này nổi bật khả năng của OpenCity như một mô hình dự đoán giao thông cơ bản, có khả năng nhanh chóng thích ứng với các loại dữ liệu không gian-thời gian mới.
Thí Nghiệm Loại Bỏ
Nghiên Cứu Khả Năng Mở Rộng Của Mô Hình
Tác giả đã khám phá khả năng mở rộng của OpenCity trong hai khía cạnh dữ liệu và tham số.
Cụ thể, khả năng mở rộng tham số bao gồm ba phiên bản: OpenCitymini (2 triệu tham số), OpenCitybase (5 triệu tham số) và OpenCityplus (26 triệu tham số).
Đối với mô hình OpenCityplus, tác giả đã sử dụng 10%, 50% và 100% dữ liệu tiền huấn luyện để khám phá lợi ích của việc đưa vào nhiều dữ liệu hơn.
Để chuẩn hóa so sánh, trục tung đại diện cho giá trị lỗi dự đoán tương đối. Kết quả cho thấy, với sự gia tăng về quy mô tham số và dữ liệu, khả năng tổng quát của OpenCity trong điều kiện không mẫu dần được cải thiện.
Điều này cho thấy OpenCity có khả năng khai thác kiến thức quý giá từ các tập dữ liệu quy mô lớn và cải thiện khả năng học hỏi thông qua việc mở rộng tham số.
Khả năng mở rộng được trình bày hỗ trợ triển vọng của OpenCity trở thành mô hình cơ sở cho các ứng dụng giao thông tổng quát.
So Sánh Với Các Mô Hình Dự Đoán Thời Gian Lớn
Tác giả cũng đã so sánh OpenCity với các mô hình dự đoán thời gian lớn khác, bao gồm UniST và UrbanGPT, nổi bật với khả năng tổng quát không mẫu mạnh mẽ.
Tác giả đã sử dụng tập dữ liệu CHI-TAXI, mà không có trong giai đoạn tiền huấn luyện của cả ba mô hình, để thực hiện đánh giá.
Kết quả cho thấy OpenCity duy trì được lợi thế hiệu suất đáng kể so với các mô hình thời gian lớn tiên tiến khác.
Thêm vào đó, OpenCity và UniST đều cho thấy sự cải thiện đáng kể về hiệu quả so với UrbanGPT. Điều này có thể là do UrbanGPT phụ thuộc vào các mô hình ngôn ngữ lớn (LLM) để dự đoán thông qua định dạng câu hỏi và trả lời, điều này hạn chế khả năng xử lý dữ liệu hàng loạt một cách hiệu quả.
Mô hình OpenCity đã đạt được thành công cả về hiệu suất và hiệu quả, nhấn mạnh tiềm năng mạnh mẽ của nó như là một mô hình quy mô lớn trong các bài kiểm tra tiêu chuẩn giao thông.
OpenCity là một mô hình nền tảng thời gian không gian mở rộng cho dự đoán giao thông, đạt được hiệu suất dự đoán không mẫu chính xác trong nhiều tình huống dự đoán giao thông.
Bằng cách áp dụng cấu trúc mã hóa Transformer làm cốt lõi cho việc mô hình hóa các mối liên hệ động không gian thời gian và thực hiện tiền huấn luyện trên các tập dữ liệu giao thông quy mô lớn, OpenCity đã thể hiện hiệu suất dự đoán không mẫu xuất sắc trên nhiều nhiệm vụ tiếp theo, tương đương với các mô hình tiên tiến nhất trong các thiết lập mẫu đầy đủ.
Bạn đọc có thể tham khảo thêm thông tin tại
Arxiv:
Github:
Thông tin của nhóm phát triển dự án:
Điều đáng chú ý là mô hình này thể hiện hiệu suất xuất sắc ngay cả trong điều kiện không có mẫu dữ liệu ban đầu (zero-shot), tức là mô hình có thể dự đoán chính xác mà không cần phải huấn luyện trước với các dữ liệu cụ thể liên quan đến tình huống hoặc môi trường giao thông.
Tài liệu nghiên cứu đã được đăng tải trên tạp chí khoa học arxiv.org với tiêu đề :
OpenCity: Open Spatio-Temporal Foundation Models for Traffic Prediction
OpenCity kết hợp kiến trúc Transformer và mạng nơ-ron đồ thị để mô phỏng các mối quan hệ phức tạp về không gian và thời gian trong dữ liệu giao thông.
Thông qua quá trình tiền huấn luyện trên các tập dữ liệu giao thông lớn và đa dạng, OpenCity có thể học được các biểu diễn phong phú và tổng quát, từ đó có thể áp dụng hiệu quả vào nhiều tình huống dự đoán giao thông khác nhau.
So với các phương pháp truyền thống, OpenCity có những đặc điểm nổi bật sau:
- Mô hình hóa không gian-thời gian tổng quát: OpenCity được thiết kế để xử lý hiệu quả sự đa dạng và thay đổi tự nhiên của các mô hình giao thông đô thị ở các khu vực không gian và thời gian khác nhau.
- Khả năng dự đoán không cần mẫu nổi bật: So với các mô hình truyền thống được huấn luyện trên các khu vực mục tiêu, OpenCity thể hiện hiệu suất vượt trội. Khả năng dự đoán không cần mẫu này cho thấy mô hình có thể học và tổng quát hóa biểu diễn, cho phép áp dụng vào các môi trường giao thông mới mà không cần huấn luyện lại hoặc tinh chỉnh mở rộng.
- Khả năng thích ứng nhanh với ngữ cảnh: OpenCity thể hiện khả năng thích ứng nhanh chóng trong các nhiệm vụ dự đoán không gian-thời gian ở các ngày khác nhau. Mô hình chỉ cần một lần tinh chỉnh nhanh để thích ứng với ngữ cảnh và có thể được triển khai liền mạch trong nhiều tình huống khác nhau.
- Khả năng mở rộng: OpenCity thể hiện tiềm năng mở rộng hứa hẹn, cho thấy mô hình có khả năng mở rộng và thích ứng hiệu quả với các tình huống mới chưa từng gặp, chỉ với nhu cầu huấn luyện hoặc tinh chỉnh tối thiểu.
Hiện nay, các mô hình dự đoán giao thông đang phải đối mặt với ba thách thức lớn.
Thách thức thứ nhất là khả năng tổng quát hóa không gian giữa các khu vực. Một hạn chế lớn của các mô hình dự đoán giao thông hiện tại là khả năng tổng quát hóa không gian còn yếu. Các mô hình này thường chỉ học từ dữ liệu của một khu vực cụ thể và khó có thể áp dụng hiệu quả cho các khu vực khác. Tuy nhiên, việc triển khai một mạng lưới cảm biến toàn diện trên khắp thành phố để thu thập dữ liệu giao thông là không thực tế. Một giải pháp khả thi hơn là phát triển các mô hình có khả năng tổng quát hóa tốt với dữ liệu hạn chế, đồng thời giảm thiểu chi phí triển khai và bảo trì khi áp dụng cho các thành phố khác nhau.
Thách thức thứ hai là khả năng tổng quát hóa thời gian và dự đoán dài hạn. Các mô hình hiện tại thường chỉ tốt trong việc dự đoán ngắn hạn, như dự đoán tình trạng giao thông trong giờ tới. Tuy nhiên, chúng gặp khó khăn khi áp dụng cho khung thời gian dài hơn, chẳng hạn như dự đoán trong vài giờ hoặc vài ngày tới. Điều này là do mô hình chưa đủ khả năng xử lý sự thay đổi về thời gian trong thực tế đô thị, khiến chúng không thể bắt kịp những biến động động của các mô hình giao thông trong thời gian dài. Điều này là một trở ngại lớn cho các nhà hoạch định đô thị và cơ quan giao thông trong việc đưa ra các chiến lược dài hạn hiệu quả.
Thách thức thứ ba là học các biểu diễn tổng quát và xử lý sự dị biệt không gian-thời gian. Việc học các biểu diễn động về giao thông mạnh mẽ và có khả năng tổng quát hóa là chìa khóa để phát triển các mô hình giao thông đa năng. Thông qua việc học các biểu diễn tổng quát, mô hình có thể hiểu sâu sắc và chuyển đổi được các mô hình giao thông, giúp áp dụng hiệu quả trong nhiều tình huống khác nhau ngay cả khi thiếu dữ liệu huấn luyện cụ thể. Bên cạnh đó, mô hình phải đối mặt với sự đa dạng vốn có của các mô hình giao thông trong các khu vực và thời gian khác nhau. Việc giải quyết sự dị biệt này là rất quan trọng để đảm bảo rằng các mô hình giao thông thống nhất vẫn duy trì được tính đa năng và khả năng thích ứng.
Bạn đọc có thể quan sát hình ảnh bên dưới , trong đó ảnh bên trái minh họa sự khác biệt trong phân phối dữ liệu giữa các tập dữ liệu giao thông khác nhau, cho thấy sự cần thiết của các mô hình có khả năng xử lý sự khác biệt này. Hình ảnh bên phải so sánh hiệu suất của OpenCity trong môi trường không có mẫu với hiệu suất của các mô hình cơ sở khi sử dụng toàn bộ dữ liệu mẫu. Mặc dù có sự thách thức của sự khác biệt trong phân phối không gian-thời gian, nhưng OpenCity vẫn đạt được hiệu suất tương đương với các mô hình cơ sở.
Để giải quyết những thách thức này, nhóm nghiên cứu đã áp dụng một loạt các chiến lược mới.
Phép nhúng không gian-thời gian để tổng quát hóa sự thay đổi phân phối
Chuẩn hóa theo ngữ cảnh
Các phương pháp hiện tại thường sử dụng các đặc tính thống kê của dữ liệu huấn luyện, như giá trị trung bình và độ lệch chuẩn, để chuẩn hóa dữ liệu. Tuy nhiên, khi dữ liệu kiểm tra có sự khác biệt đáng kể và không trùng lặp với phân phối dữ liệu huấn luyện về mặt không gian địa lý, các số liệu thống kê này có thể không đủ hoặc không thể chuyển đổi.
Để đối phó với thách thức này và thích ứng với các nhiệm vụ dự đoán giao thông không có mẫu, tác giả đã sử dụng chuẩn hóa theo mẫu (Instance Normalization - IN) để xử lý dữ liệu. Phương pháp này sử dụng giá trị trung bình μ(Xr)\mu(Xr)μ(Xr) và độ lệch chuẩn σ(Xr)\sigma(Xr)σ(Xr) của từng mẫu đầu vào Xr thuộc một vùng cụ thể trong tập dữ liệu RT\mathbb{R}^TRT, thay vì dựa vào các số liệu thống kê của tập huấn luyện toàn cầu. Điều này giúp giảm thiểu hiệu quả sự lệch lạc giữa phân phối dữ liệu huấn luyện và kiểm tra, được mô tả như sau:
Nhúng Patch để Dự đoán Hiệu quả Dài hạn
OpenCity được thiết kế để giải quyết vấn đề dự đoán giao thông dài hạn, liên quan đến việc xử lý số lượng bước thời gian đầu vào gia tăng, dẫn đến chi phí tính toán và bộ nhớ đáng kể.
Để giảm thiểu những vấn đề này, tác giả đã áp dụng phương pháp dựa trên Patch để phân chia dữ liệu theo chiều thời gian.
Định nghĩa P là độ dài của Patch, xác định số lượng bước thời gian được nhóm lại thành một Patch duy nhất, và S là kích thước bước, quyết định mức độ chồng chéo giữa các Patch liên tiếp.
Sau khi thực hiện Patch, dữ liệu đầu vào được tái cấu trúc thành XrP∈R(P×N)Xr^P ∈ ℝ^(P×N)XrP∈R(P×N), trong đó N là số lượng Patch, N=(T−P)/S+1N = (T-P) / S +1N=(T−P)/S+1.
Bằng cách coi dữ liệu giao thông trong một giờ là độ dài của một Patch và điều chỉnh kích thước bước tương ứng (S=P), mô hình có thể nắm bắt và thích ứng với các mô hình biến đổi của dữ liệu giao thông trong khoảng thời gian kéo dài.
Ngoài ra, xử lý dựa trên Patch giúp giảm đáng kể yêu cầu tính toán và bộ nhớ, làm cho việc dự đoán giao thông dài hạn trở nên hiệu quả và mở rộng hơn.
Sau khi thực hiện Patch, tác giả sử dụng chuyển đổi tuyến tính và mã hóa vị trí cos-sin (PE) để thu được biểu diễn nhúng không gian-thời gian cuối cùng Er∈R(P×d)Er ∈ ℝ^(P×d)Er∈R(P×d), được sử dụng làm đầu vào cho các thành phần tiếp theo như sau:
Mã hóa Ngữ cảnh Không Gian -Thời Gian
Để nắm bắt các mẫu không-thời gian phức tạp vốn có trong dữ liệu giao thông, mô hình OpenCity đã tích hợp các tín hiệu ngữ cảnh về thời gian và không gian.
Bằng cách mô phỏng rõ ràng sự tương tác giữa hai chiều quan trọng này, OpenCity có thể hiểu rõ hơn các yếu tố đa chiều ảnh hưởng đến các mẫu giao thông. Cách tiếp cận tích hợp này giúp khung mô hình đề xuất có thể tạo ra các dự đoán chính xác hơn trong các khoảng thời gian và khu vực địa lý khác nhau.
Mã hóa Ngữ cảnh Thời gian
Mô hình OpenCity hiệu quả trong việc nắm bắt các mẫu thời gian đặc thù trong dữ liệu giao thông, chẳng hạn như các biến đổi chu kỳ gây ra bởi thói quen hàng ngày hoặc hàng tuần, cũng như các phụ thuộc phi tuyến tính phức tạp trong khoảng thời gian dài hơn.
Cụ thể, các tác giả đã sử dụng các đặc trưng thời gian như thời gian trong ngày z(d)∈RT\mathbf{z}^{(d)} ∈ ℝ^Tz(d)∈RT và ngày trong tuần z(w)∈RT\mathbf{z}^{(w)} ∈ ℝ^Tz(w)∈RT để trích xuất các mối liên hệ chu kỳ, sau đó áp dụng các lớp tuyến tính để tạo ra các biểu diễn nhúng thời gian đặc thù mã hóa các tín hiệu ngữ cảnh này.
Mã hóa Ngữ cảnh Không gian
Do tính chất độc đáo của các đặc điểm địa lý, các mẫu giao thông ở các khu vực khác nhau có sự khác biệt rõ rệt (ví dụ, các trung tâm giao thông thường có lưu lượng cao hơn).
Để nắm bắt những thuộc tính khu vực này, các tác giả đã tích hợp ngữ cảnh không gian vào mạng lưới giao thông.
Trước tiên, họ tính toán ma trận Laplace chuẩn hóa, trong đó III là ma trận đơn vị và DDD là ma trận độ:
"Tiếp theo, tác giả thực hiện phân tích phân rã giá trị riêng và thu được △=UΛU^T, trong đó U và Λ lần lượt là ma trận giá trị riêng và ma trận vector riêng.
Sử dụng k vector riêng nhỏ nhất không tầm thường làm vùng nhúng Φ ∈ ℝ^(R×k), mã hóa thông tin cấu trúc của mạng lưới giao thông.
Sau đó, các nhúng này được xử lý qua lớp tuyến tính để nhận được mã hóa không gian cuối cùng C ∈ ℝ^(R×d).
Mô hình hóa phụ thuộc thời-không
Mô hình hóa phụ thuộc thời gian
OpenCity được xây dựng dựa trên kiến trúc TimeShift Transformer được đề xuất để mã hóa mối quan hệ phụ thuộc theo thời gian. Tác giả chủ yếu nắm bắt các mô hình giao thông từ hai góc độ bổ sung:
Biến đổi giao thông theo chu kỳ: Mô hình của tác giả nắm bắt các mô hình giao thông lặp đi lặp lại có tính chu kỳ, như chu kỳ theo giờ, theo ngày và theo tuần. Thông qua việc mã hóa những biến đổi chu kỳ này, phương pháp của chúng tôi có thể giải thích tốt hơn tính quy luật vốn có trong mạng lưới giao thông.
Mô hình giao thông động: Ngoài những biến đổi theo chu kỳ, bộ mã thời gian của tác giả còn nắm bắt các động lực và xu hướng phi tuyến phức tạp của dữ liệu giao thông theo thời gian.
Mã:
Mô hình hóa biến đổi giao thông theo chu kỳTrong đó, nhúng thời gian được cập nhật thành hai phần:
D^his ∈ ℝ^(R×p×d): Nắm bắt tín hiệu thời gian trong quá khứ.
D^pre ∈ ℝ^(R×p×d): Thông tin thời gian dự đoán trong tương lai.
Mô hình của tác giả mô phỏng rõ ràng các mô hình thời gian hướng tới quá khứ và tương lai, giúp nó học hỏi và tận dụng tốt hơn các đặc trưng chu kỳ của chuỗi thời gian giao thông.
Quá trình này được thực hiện thông qua việc xây dựng cơ chế chú ý đa đầu dịch chuyển thời gian ——
Sử dụng nhúng thời-không trong tương lai làm truy vấn (Query), nhúng thời-không trong quá khứ làm khóa (Key), và đại diện dữ liệu thời-không trong quá khứ làm giá trị (Value).
"Tác giả đã giới thiệu RMSNorm để cải thiện độ ổn định trong quá trình huấn luyện.
Bằng cách mô hình hóa rõ ràng mối quan hệ giữa thông tin thời gian trong quá khứ và tương lai, OpenCity có khả năng phát hiện các mô hình giao thông theo thời gian và không gian có tính chu kỳ.
Mã:
Học hỏi mô hình giao thông độngĐể đạt được điều này, chúng tôi sử dụng cơ chế chú ý tương tự như trong mã hóa biến đổi giao thông chu kỳ.
Điểm khác biệt là đầu vào của truy vấn (Q), khóa (K) và giá trị (V) được thay thế bằng đầu ra đã được chuẩn hóa từ bước trước đó (M).
Sự thay đổi này giúp mô hình tập trung vào việc học hỏi mối quan hệ phụ thuộc động giữa các khoảng thời gian khác nhau, thay vì chỉ các mô hình chu kỳ.
Biểu diễn thời gian thu được H ∈ ℝ^(R×p×d) đã nắm bắt được các mối quan hệ động về thời gian và không gian này.
Mô hình hóa phụ thuộc không gian
Việc nắm bắt sự phụ thuộc không gian là một khía cạnh quan trọng trong thiết kế mô hình, vì mạng lưới giao thông thể hiện sự tương quan mạnh mẽ về mặt không gian; tình trạng giao thông của một khu vực thường bị ảnh hưởng bởi trạng thái của các khu vực lân cận.
Để mô hình hóa những mối liên hệ không gian này, tác giả đã sử dụng mạng lưới tích chập trên đồ thị (GCNs):"
Residual connection, RMSNorm và hàm kích hoạt SwiGLU được sử dụng trong các phép tính tiếp theo.
"Mô hình được đề xuất thông qua việc xếp chồng nhiều lớp mạng mã hóa thời-không, nhằm nắm bắt các mối quan hệ phức tạp về thời gian và không gian, giúp nó có thể học được các mối quan hệ phức tạp trong mạng lưới giao thông.
Kết quả kiểm tra
Dự đoán không mẫu so với toàn bộ mẫu
Tác giả đã kiểm tra toàn diện hiệu suất dự đoán không mẫu của OpenCity, bao gồm ba trường hợp: giữa các khu vực, giữa các thành phố, và giữa các loại dữ liệu, so với hiệu suất trên toàn bộ mẫu.
Trước hết, OpenCity thể hiện hiệu suất dự đoán không mẫu vượt trội.
OpenCity đã đạt được những đột phá lớn trong học tập không mẫu, thậm chí không cần tinh chỉnh mà vẫn vượt qua hầu hết các phương pháp cơ bản.
Điều này nhấn mạnh độ bền vững và hiệu quả của phương pháp này trong việc học các mô hình thời-không phức tạp từ dữ liệu giao thông quy mô lớn, và trích xuất các thông tin chung phù hợp cho các tác vụ tiếp theo.
OpenCity có thể duy trì vị trí trong top hai trên nhiều tập dữ liệu khác nhau, và ngay cả khi không dẫn đầu, khoảng cách cũng được giữ trong phạm vi 8% (MAE).
Hiệu suất dự đoán không mẫu vượt trội đã làm nổi bật tính phổ quát và khả năng thích ứng của OpenCity trong việc xử lý các tập dữ liệu giao thông đa dạng mà không cần đào tạo lại nhiều.
Ưu điểm chính của nó là có thể được triển khai ngay vào các kịch bản mới, giảm thiểu đáng kể thời gian và tài nguyên mà các phương pháp giám sát truyền thống thường yêu cầu, mang lại lợi ích to lớn cho ứng dụng thực tế.
OpenCity còn thể hiện khả năng tổng quát hóa vượt trội trong các tác vụ khác nhau.
Tác giả đã đánh giá OpenCity trong bốn loại dữ liệu giao thông khác nhau: lưu lượng giao thông (CAD3, CAD5), tốc độ giao thông (PEMS07M, TrafficSH), nhu cầu taxi (CHI-TAXI) và quỹ đạo xe đạp (NYC-BIKE).
Phân tích cơ bản cho thấy, mặc dù các mô hình khác nhau có thể xuất sắc trong một loại dữ liệu cụ thể, nhưng không có mô hình nào có thể cung cấp kết quả tốt nhất liên tục cho tất cả các loại.
Tuy nhiên, việc duy trì mức độ hiệu suất đó ở các lĩnh vực khác lại gặp khó khăn.
Ngược lại, OpenCity cung cấp kết quả chất lượng cao liên tục trong tất cả các loại kiểm tra, nổi bật với độ bền vững và tính đa năng của nó.
Ngoài ra, để đánh giá tính phổ quát của khung OpenCity, tác giả đã kiểm tra khả năng tổng quát hóa không mẫu qua các loại dữ liệu khác nhau (NYC-BIKE).
Kết quả cho thấy OpenCity duy trì hiệu suất xuất sắc qua nhiều chỉ số, xác nhận thêm khả năng phổ quát và thích ứng với nhiều loại dữ liệu khác nhau của nó.
Hơn nữa, OpenCity còn có khả năng dự đoán dài hạn mạnh mẽ.
Một lợi thế quan trọng của kiến trúc OpenCity là khả năng tổng quát hóa thời gian tuyệt vời, giúp nó vượt trội so với các phương pháp cơ bản trong các nhiệm vụ dự đoán giao thông dài hạn.
Nhiều mô hình hiện có thường khó duy trì dự đoán chính xác trong phạm vi thời gian kéo dài vì chúng có xu hướng bị overfitting vào các mẫu lịch sử, không nắm bắt đầy đủ các đặc điểm động và tiến hóa của điều kiện giao thông.
OpenCity có khả năng học các biểu diễn thời-không chung từ các nguồn dữ liệu giao thông đa dạng, giúp nó tạo ra các dự đoán bền vững, dù các mẫu giao thông thay đổi và tiến hóa theo thời gian, dự đoán vẫn đáng tin cậy.
“Để xác minh thêm về hiệu suất của OpenCity, tác giả đã thực hiện đánh giá bằng phương pháp học tập có giám sát.
Trong đó, OpenCity được so sánh với các mô hình cơ bản khác trong thử nghiệm huấn luyện đầu-cuối trên một tập dữ liệu đơn lẻ với thiết lập one-for-all.
OpenCity duy trì hiệu suất xuất sắc trong thiết lập có giám sát và dẫn đầu trong hầu hết các chỉ số đánh giá.
Ngoài ra, tác giả nhận thấy rằng hầu hết các mô hình cơ bản khác hoạt động không tốt trên tập dữ liệu CAD-X, có thể do chúng có xu hướng quá khớp với các mô hình thời-không trong quá khứ, làm cho chúng khó có thể tổng quát hóa khi mô hình hóa sự phụ thuộc giao thông dài hạn.
Ngược lại, kiến trúc của OpenCity đã trích xuất hiệu quả các biểu diễn thời-không chu kỳ và động từ giai đoạn tiền huấn luyện của chúng tôi, giúp giải quyết các vấn đề về hiệu suất dự đoán kém do sự lệch phân phối giữa các thời gian và vị trí khác nhau.
Đánh giá hiệu suất được giám sát
Phần này đánh giá khả năng thích ứng nhanh của OpenCity trong các nhiệm vụ hạ nguồn.
Các tác giả đã tập trung vào một tập dữ liệu giao thông chưa từng thấy trước đây và áp dụng phương pháp “tinh chỉnh hiệu quả” với các cài đặt như sau:
- Chỉ cập nhật đầu dự đoán của mô hình (lớp tuyến tính cuối cùng), thực hiện tối đa ba vòng huấn luyện.
Tuy nhiên, sau khi tinh chỉnh hiệu quả, hiệu suất của OpenCity đã được cải thiện đáng kể, vượt qua tất cả các mô hình so sánh.
Đáng chú ý là thời gian huấn luyện của OpenCity chỉ chiếm từ 2% đến 32% thời gian cần thiết cho mô hình cơ bản.
Khả năng thích ứng nhanh này nổi bật khả năng của OpenCity như một mô hình dự đoán giao thông cơ bản, có khả năng nhanh chóng thích ứng với các loại dữ liệu không gian-thời gian mới.
Thí Nghiệm Loại Bỏ
- Hiệu Quả của Mô Hình Giao Thông Động (-DTP): Khi loại bỏ mô-đun mô hình giao thông động, hiệu suất giảm xuống, cho thấy mô-đun này có khả năng phân tích đầy đủ các mẫu giao thông gần đây và hiệu quả trong việc điều chỉnh dự đoán theo các thay đổi đột ngột trong điều kiện giao thông.
- Ảnh Hưởng Của Mô Hình Chuyển Đổi Giao Thông Chu Kỳ (-PTTM): Khi loại bỏ mã hóa liên quan đến chu kỳ và tích hợp trực tiếp các ngữ cảnh thời gian và không gian vào trong nhúng không gian-thời gian, OpenCity đã nắm bắt được các quy tắc chung điều khiển sự phát triển của các mẫu không gian-thời gian bằng cách mô hình hóa sự chuyển giao giữa thời gian lịch sử và tương lai.
- Ảnh Hưởng Của Mô Hình Phụ Thuộc Không Gian (-SDM): Khi loại bỏ mô-đun mã hóa không gian, phân tích cho thấy việc học mối quan hệ không gian đã làm tăng đáng kể khả năng dự đoán không gian-thời gian. Bằng cách tổng hợp thông tin giao thông từ các khu vực không gian phụ thuộc, mô hình đã hiệu quả trong việc nắm bắt các mẫu dòng giao thông động, cung cấp tín hiệu hỗ trợ quý giá cho dự đoán giao thông không có mẫu.
- Ảnh Hưởng Của Mã Hóa Ngữ Cảnh Thời Gian-Không Gian (-STC): Khi loại bỏ mã hóa thông tin ngữ cảnh thời gian-không gian, hiệu suất giảm đáng kể. Thông tin ngữ cảnh thời gian giúp mô hình nhận diện và học các mẫu giao thông phổ biến trong các khoảng thời gian cụ thể, trong khi nhúng khu vực chứa các đặc điểm cụ thể của khu vực quan trọng. Các yếu tố này cùng nhau cung cấp cái nhìn quý giá về sự thay đổi động không gian-thời gian giữa các thành phố.
Tác giả đã khám phá khả năng mở rộng của OpenCity trong hai khía cạnh dữ liệu và tham số.
Cụ thể, khả năng mở rộng tham số bao gồm ba phiên bản: OpenCitymini (2 triệu tham số), OpenCitybase (5 triệu tham số) và OpenCityplus (26 triệu tham số).
Đối với mô hình OpenCityplus, tác giả đã sử dụng 10%, 50% và 100% dữ liệu tiền huấn luyện để khám phá lợi ích của việc đưa vào nhiều dữ liệu hơn.
Để chuẩn hóa so sánh, trục tung đại diện cho giá trị lỗi dự đoán tương đối. Kết quả cho thấy, với sự gia tăng về quy mô tham số và dữ liệu, khả năng tổng quát của OpenCity trong điều kiện không mẫu dần được cải thiện.
Điều này cho thấy OpenCity có khả năng khai thác kiến thức quý giá từ các tập dữ liệu quy mô lớn và cải thiện khả năng học hỏi thông qua việc mở rộng tham số.
Khả năng mở rộng được trình bày hỗ trợ triển vọng của OpenCity trở thành mô hình cơ sở cho các ứng dụng giao thông tổng quát.
Tác giả cũng đã so sánh OpenCity với các mô hình dự đoán thời gian lớn khác, bao gồm UniST và UrbanGPT, nổi bật với khả năng tổng quát không mẫu mạnh mẽ.
Tác giả đã sử dụng tập dữ liệu CHI-TAXI, mà không có trong giai đoạn tiền huấn luyện của cả ba mô hình, để thực hiện đánh giá.
Kết quả cho thấy OpenCity duy trì được lợi thế hiệu suất đáng kể so với các mô hình thời gian lớn tiên tiến khác.
Thêm vào đó, OpenCity và UniST đều cho thấy sự cải thiện đáng kể về hiệu quả so với UrbanGPT. Điều này có thể là do UrbanGPT phụ thuộc vào các mô hình ngôn ngữ lớn (LLM) để dự đoán thông qua định dạng câu hỏi và trả lời, điều này hạn chế khả năng xử lý dữ liệu hàng loạt một cách hiệu quả.
Mô hình OpenCity đã đạt được thành công cả về hiệu suất và hiệu quả, nhấn mạnh tiềm năng mạnh mẽ của nó như là một mô hình quy mô lớn trong các bài kiểm tra tiêu chuẩn giao thông.
OpenCity là một mô hình nền tảng thời gian không gian mở rộng cho dự đoán giao thông, đạt được hiệu suất dự đoán không mẫu chính xác trong nhiều tình huống dự đoán giao thông.
Bằng cách áp dụng cấu trúc mã hóa Transformer làm cốt lõi cho việc mô hình hóa các mối liên hệ động không gian thời gian và thực hiện tiền huấn luyện trên các tập dữ liệu giao thông quy mô lớn, OpenCity đã thể hiện hiệu suất dự đoán không mẫu xuất sắc trên nhiều nhiệm vụ tiếp theo, tương đương với các mô hình tiên tiến nhất trong các thiết lập mẫu đầy đủ.
Bạn đọc có thể tham khảo thêm thông tin tại
Arxiv:
Github:
Thông tin của nhóm phát triển dự án:
Data Intelligence Lab@HKU
Chao Huang Assistant Professor Data Intelligence Lab@HKU Department of Computer Science & Institute of Data Science University of Hong Kong (HKU) 📧 chaohuang75@gmail.com 🎓 Google Scholar 🚀 Lab Github 🌟 团队公众号 📣 Twitter 🌐 Linkedin 📚 小红书
BÀI MỚI ĐANG THẢO LUẬN