NVIDIA ra mắt DGX SuperPOD được hỗ trợ bởi Blackwell cho Siêu máy tính AI tạo sinh ở quy mô nghìn tỷ tham số .
Quy mô lên tới hàng chục nghìn siêu chip Blackwell Grace sử dụng Mạng NVIDIA tiên tiến nhất, Phần mềm AI Full-Stack của NVIDIA và các tính năng lưu trữ lên tới 576 GPU Blackwell được kết nối làm một với NVIDIA NVLink Các chuyên gia hệ thống NVIDIA Triển khai nhanh chóng cho cơ sở hạ tầng AI ngay lập tức.NVIDIA hôm nay đã công bố siêu máy tính AI thế hệ tiếp theo mang tên NVIDIA DGX SuperPOD™ được hỗ trợ bởi NVIDIA GB200 Grace Blackwell Superchips để xử lý các mô hình nghìn tỷ thông số với thời gian hoạt động liên tục cho khối lượng công việc suy luận và đào tạo AI tạo sinh siêu quy mô.
Nổi bật với kiến trúc quy mô giá đỡ mới, hiệu quả cao, làm mát bằng chất lỏng, DGX SuperPOD mới được xây dựng với hệ thống NVIDIA DGX™ GB200 và cung cấp 11,5 exaflop siêu máy tính AI ở độ chính xác FP4 và bộ nhớ nhanh 240 terabyte — mở rộng lên nhiều hơn với các giá đỡ bổ sung .
Mỗi hệ thống DGX GB200 có 36 Siêu chip NVIDIA GB200 — bao gồm 36 CPU NVIDIA Grace và 72 GPU NVIDIA Blackwell — được kết nối thành một siêu máy tính thông qua NVIDIA NVLink® thế hệ thứ năm. Siêu chip GB200 mang lại hiệu suất tăng gấp 30 lần so với GPU NVIDIA H100 Tensor Core cho khối lượng công việc suy luận mô hình ngôn ngữ lớn.
Jensen Huang, người sáng lập và Giám đốc điều hành của NVIDIA cho biết: “Siêu máy tính NVIDIA DGX AI là nhà máy của cuộc cách mạng công nghiệp AI”. “DGX SuperPOD mới kết hợp những tiến bộ mới nhất trong điện toán, mạng và phần mềm tăng tốc của NVIDIA để cho phép mọi công ty, ngành và quốc gia tinh chỉnh và tạo ra AI của riêng họ.”
DGX SuperPOD được hỗ trợ bởi Grace Blackwell có tám hệ thống DGX GB200 trở lên và có thể mở rộng tới hàng chục nghìn Siêu chip GB200 được kết nối qua NVIDIA Quantum InfiniBand. Để có không gian bộ nhớ dùng chung khổng lồ nhằm cung cấp năng lượng cho các mô hình AI thế hệ tiếp theo, khách hàng có thể triển khai cấu hình kết nối 576 GPU Blackwell trong 8 hệ thống DGX GB200 được kết nối qua NVLink.
Kiến trúc DGX SuperPOD quy mô giá đỡ mới cho kỷ nguyên AI tạo sinh
DGX SuperPOD mới với hệ thống DGX GB200 có kết cấu tính toán thống nhất. Ngoài NVIDIA NVLink thế hệ thứ năm, kết cấu này còn bao gồm DNVIDIA BlueField®-3 DPU và sẽ hỗ trợ mạng NVIDIA Quantum-X800 InfiniBand, được công bố riêng trong hôm nay. Kiến trúc này cung cấp băng thông lên tới 1.800 gigabyte mỗi giây cho mỗi GPU trong nền tảng.Ngoài ra, Công nghệ Giao thức Giảm thiểu và Tổng hợp phân cấp có thể mở rộng NVIDIA (NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol SHARP™) thế hệ thứ tư mang đến 14,4 teraflop Điện toán trong mạng, tăng gấp 4 lần trong kiến trúc DGX SuperPOD thế hệ tiếp theo so với thế hệ trước.
Kiến trúc chìa khóa trao tay kết hợp với phần mềm nâng cao để có thời gian hoạt động chưa từng có
DGX SuperPOD mới là siêu máy tính AI hoàn chỉnh, quy mô trung tâm dữ liệu, tích hợp với bộ lưu trữ hiệu suất cao từ các đối tác được NVIDIA chứng nhận để đáp ứng nhu cầu về khối lượng công việc AI tạo sinh. Mỗi thiết bị đều được chế tạo, nối cáp và thử nghiệm tại nhà máy để tăng tốc độ triển khai đáng kể tại các trung tâm dữ liệu của khách hàng.DGX SuperPOD do Grace Blackwell hỗ trợ có khả năng quản lý dự đoán thông minh để liên tục giám sát hàng nghìn điểm dữ liệu trên phần cứng và phần mềm nhằm dự đoán và chặn các nguồn gây ra thời gian ngừng hoạt động và hoạt động kém hiệu quả — tiết kiệm thời gian, năng lượng và chi phí điện toán.
Phần mềm có thể xác định các khu vực cần quan tâm và lập kế hoạch bảo trì, điều chỉnh linh hoạt tài nguyên điện toán cũng như tự động lưu và tiếp tục công việc để ngăn chặn thời gian ngừng hoạt động, ngay cả khi không có quản trị viên hệ thống có mặt.
Nếu phần mềm phát hiện cần có linh kiện thay thế, cluster sẽ kích hoạt dung lượng dự phòng để đảm bảo công việc hoàn thành đúng thời hạn. Mọi thay thế phần cứng cần thiết đều có thể được lên lịch để tránh thời gian ngừng hoạt động ngoài dự kiến.
Siêu máy tính AI tiên tiến của NVIDIA DGX B200 Systems dành cho các ngành công nghiệp
NVIDIA cũng tiết lộ hệ thống NVIDIA DGX B200,, một nền tảng siêu máy tính AI thống nhất để đào tạo, tinh chỉnh và suy luận mô hình AI.DGX B200 là thế hệ thứ sáu của thiết kế DGX gắn trên giá truyền thống, làm mát bằng không khí, được các ngành công nghiệp trên toàn thế giới sử dụng. Hệ thống DGX SuperPOD kiến trúc Blackwell mới bao gồm tám GPU NVIDIA Blackwell và hai bộ xử lý Intel® Xeon® thế hệ thứ 5. Khách hàng cũng có thể xây dựng DGX SuperPOD bằng cách sử dụng hệ thống DGX B200 để tạo ra Trung tâm AI xuất sắc có thể hỗ trợ công việc của các nhóm nhà phát triển lớn đảm nhận nhiều công việc khác nhau.
Các hệ thống DGX B200 bao gồm tính năng chính xác FP4 trong kiến trúc Blackwell mới, cung cấp hiệu suất AI lên tới 144 petaflop, bộ nhớ GPU khổng lồ 1,4TB và băng thông bộ nhớ 64TB/s. Điều này mang lại khả năng suy luận thời gian thực nhanh hơn 15 lần cho các mô hình nghìn tỷ tham số so với thế hệ trước.
Hệ thống DGX B200 bao gồm kết nối mạng tiên tiến với tám NVIDIA ConnectX™-7 NIC và hai BlueField-3 DPU.. Chúng cung cấp băng thông lên tới 400 gigabit/giây cho mỗi kết nối – mang lại hiệu suất AI nhanh chóng với các nền tảng mạng NVIDIA Quantum-2 InfiniBand và NVIDIA Spectrum™-X Ethernet
Hỗ trợ phần mềm và chuyên gia để mở rộng quy mô sản xuất AI
Tất cả các nền tảng NVIDIA DGX đều bao gồm phần mềm NVIDIA AI Enterprise để phát triển và triển khai ở cấp doanh nghiệp. Khách hàng của DGX có thể tăng tốc công việc của họ với các mô hình nền tảng, khung, bộ công cụ NVIDIA đã được đào tạo trước và các dịch vụ vi mô NVIDIA NIM mới có trong nền tảng phần mềm.Các chuyên gia NVIDIA DGX và các đối tác NVIDIA chọn lọc được chứng nhận để hỗ trợ nền tảng DGX hỗ trợ khách hàng trong từng bước triển khai để họ có thể nhanh chóng đưa AI vào sản xuất. Sau khi hệ thống đi vào hoạt động, các chuyên gia của DGX tiếp tục hỗ trợ khách hàng tối ưu hóa quy trình và cơ sở hạ tầng AI của họ.
Tính khả dụng
NVIDIA DGX SuperPOD với hệ thống DGX GB200 và DGX B200 dự kiến sẽ có mặt trên thị trường vào cuối năm nay từ các đối tác toàn cầu của NVIDIA.NVIDIA công bố các Bộ Chuyển Mạch Mạng mới được tối ưu hóa cho cơ sở hạ tầng AI và Điện toán GPU xử lý nghìn tỷ thông số
NVIDIA hôm nay đã công bố một thiết bị chuyển mạch mạng (switch) mới, dòng X800, được thiết kế cho AI quy mô lớn.Các nền tảng mạng đầu tiên trên thế giới có khả năng đạt thông lượng 800Gb/s từ đầu đến cuối, NVIDIA Quantum-X800 InfiniBand và NVIDIA Spectrum™-X800 Ethernet vượt qua các ranh giới về hiệu suất mạng cho khối lượng công việc điện toán và AI. Những nền tảng này có phần mềm giúp tăng tốc hơn nữa các ứng dụng AI, đám mây, xử lý dữ liệu và HPC trong mọi loại trung tâm dữ liệu, bao gồm cả những trung tâm kết hợp dòng sản phẩm dựa trên kiến trúc NVIDIA Blackwell mới được phát hành.
Gilad Shainer, phó chủ tịch cấp cao về Mạng tại NVIDIA cho biết: “Mạng NVIDIA là trung tâm cho khả năng mở rộng cơ sở hạ tầng siêu máy tính AI của chúng tôi. Bộ chuyển mạch NVIDIA X800 là nền tảng mạng đầu cuối cho phép chúng tôi đạt được AI tạo sinh có quy mô nghìn tỷ tham số cần thiết cho cơ sở hạ tầng AI mới.”
Những đơn vị áp dụng đầu tiên của Quantum InfiniBand và Spectrum-X Ethernet bao gồm Microsoft Azure và Cơ sở hạ tầng đám mây Oracle.
“AI là một công cụ mạnh mẽ để biến dữ liệu thành kiến thức. Đằng sau sự chuyển đổi này là sự phát triển của các trung tâm dữ liệu thành các công cụ AI hiệu suất cao với nhu cầu ngày càng tăng về cơ sở hạ tầng mạng” Nidhi Chappell, Phó Chủ tịch Cơ sở hạ tầng AI tại Microsoft Azure cho biết. “Với sự tích hợp mới của các giải pháp mạng NVIDIA, Microsoft Azure sẽ tiếp tục xây dựng cơ sở hạ tầng vượt qua các ranh giới của AI trên đám mây.”
Coreweave cũng nằm trong số những công ty áp dụng sớm các nền tảng nói trên.
Tiêu chuẩn tiếp theo cho hiệu suất cực cao
Nền tảng Quantum-X800 đặt ra tiêu chuẩn mới trong việc mang lại hiệu suất cao nhất cho các cơ sở hạ tầng dành riêng cho AI. Nền tảng này bao gồm bộ chuyển mạch NVIDIA Quantum Q3400 và NVIDIA ConnectX®-8 SuperNIC™ để cùng nhau đạt được bằng thông đầu cuối 800Gb/s. Đây là dung lượng băng thông cao hơn gấp 5 lần và tốc độ tính toán trong mạng tăng gấp 9 lần với Giao thức tổng hợp và giảm thiểu phân cấp có thể mở rộng (SHARPv4) của NVIDIA so với thế hệ trước.Nền tảng Spectrum-X800 mang lại hiệu suất mạng được tối ưu hóa cho cơ sở hạ tầng doanh nghiệp và đám mây AI. Bằng cách sử dụng bộ chuyển đổi Spectrum SN5600 800Gb/s và NVIDIA BlueField®-3 SuperNIC, nền tảng Spectrum-X800 cung cấp các bộ tính năng nâng cao quan trọng cho các đám mây AI tạo sinh cho đối tác thuê dùng và các doanh nghiệp lớn.
Spectrum-X800 tối ưu hóa hiệu suất mạng, tạo điều kiện xử lý, phân tích và thực thi khối lượng công việc AI nhanh hơn, từ đó đẩy nhanh quá trình phát triển, triển khai và thời gian đưa ra thị trường các giải pháp AI. Được thiết kế đặc biệt cho môi trường nhiều người thuê, Spectrum-X800 đảm bảo cách ly hiệu suất cho khối lượng công việc AI của từng người thuê để duy trì mức hiệu suất tối ưu và nhất quán, nâng cao sự hài lòng của khách hàng và chất lượng dịch vụ.
Hỗ trợ phần mềm NVIDIA
NVIDIA cung cấp bộ thư viện tăng tốc mạng, bộ công cụ phát triển phần mềm và phần mềm quản lý toàn diện để tối ưu hóa hiệu suất cho các mô hình AI nghìn tỷ tham số.Điều này bao gồm Thư Viện Truyền Thông Cộng Đồng NVIDIA (NCCL), mở rộng các tác vụ điện toán song song GPU cho kết cấu mạng Quantum-X800, tận dụng khả năng Điện toán trong mạng mạnh mẽ của nền tảng này với SHARPv4 hỗ trợ FP8, tăng hiệu suất cho đào tạo mô hình lớn và AI tạo sinh.
Phương pháp tiếp cận phần mềm đầy đủ của NVIDIA cung cấp khả năng lập trình nâng cao, giúp mạng trung tâm dữ liệu linh hoạt, đáng tin cậy và phản hồi nhanh hơn, cuối cùng là tăng hiệu quả hoạt động tổng thể và hỗ trợ nhu cầu của các ứng dụng và dịch vụ hiện đại.
Động lực hệ sinh thái
Trong năm tới, Quantum-X800 và Spectrum-X800 sẽ có sẵn từ nhiều nhà cung cấp hệ thống và cơ sở hạ tầng hàng đầu trên toàn thế giới, bao gồm Aivres, DDN, Dell Technologies, Eviden, Hitachi Vantara, Hewlett Packard Enterprise, Lenovo, Supermicro và VAST DatNền tảng NVIDIA Blackwell ra mắt để tạo nên kỷ nguyên điện toán mới
Mang sức mạnh cho một kỷ nguyên điện toán mới, NVIDIA hôm nay thông báo rằng nền tảng NVIDIA Blackwell đã được ra mắt, điều này cho phép các tổ chức ở khắp mọi nơi xây dựng và xử lý AI tạo sinh (Generative AI) theo theo thời gian thực trên các mô hình ngôn ngữ lớn với hàng nghìn tỷ tham số cùng chi phí được giảm đi cũng như mức tiêu thụ năng lượng thấp hơn tới 25 lần so với nền tảng trước đây.
Kiến trúc GPU Blackwell có sáu công nghệ biến đổi để tăng tốc điện toán và giúp mở ra những đột phá trong xử lý dữ liệu, mô phỏng kỹ thuật, tự động hóa thiết kế điện tử, phát minh dược phẩm bằng sự hỗ trợ của máy tính, điện toán lượng tử và AI tạo sinh — tất cả các cơ hội ngành mới nổi dành cho NVIDIA.
Jensen Huang, người sáng lập và Giám đốc điều hành của NVIDIA cho biết: “Trong suốt ba thập kỷ, chúng tôi đã theo đuổi điện toán tăng tốc với mục tiêu tạo ra những đột phá mang tính biến đổi như học sâu và AI. AI tạo sinh là công nghệ định hình thời đại của chúng ta. Blackwell chính là động cơ thúc đẩy cuộc cách mạng công nghiệp mới này. Làm việc với những công ty năng động nhất trên thế giới, chúng tôi sẽ hiện thực hóa lời hứa của AI cho mọi ngành công nghiệp.”
Trong số nhiều tổ chức dự kiến áp dụng Blackwell có Amazon Web Services, Dell Technologies, Google, Meta, Microsoft, OpenAI, Oracle, Tesla và xAI.
Sundar Pichai, Giám đốc điều hành của Alphabet và Google cho biết “Việc mở rộng các dịch vụ như Search và Gmail cho hàng tỷ người dùng đã dạy chúng tôi rất nhiều về cách quản lý cơ sở hạ tầng điện toán. Khi bước vào quá trình chuyển đổi nền tảng AI, chúng tôi tiếp tục đầu tư sâu vào cơ sở hạ tầng cho các sản phẩm và dịch vụ của riêng mình cũng như cho khách hàng Đám Mây (Cloud) của mình. Chúng tôi may mắn có được mối quan hệ hợp tác lâu dài với NVIDIA và mong muốn mang những khả năng đột phá của GPU Blackwell đến với các khách hàng phổ thông cũng như nhóm Cloud của chúng tôi trên khắp Google, bao gồm cả Google DeepMind, để tăng tốc những khám phá trong tương lai.”
Andy Jassy, chủ tịch kiêm Giám đốc điều hành của Amazon: “Sự hợp tác sâu sắc của chúng tôi với NVIDIA đã có từ hơn 13 năm trước, khi chúng tôi ra mắt phiên bản đám mây GPU đầu tiên trên thế giới trên AWS. Ngày nay, chúng tôi cung cấp nhiều giải pháp GPU nhất có sẵn ở mọi nơi trên đám mây, hỗ trợ khối lượng công việc được tăng tốc về mặt công nghệ tiên tiến nhất trên thế giới. Đó là lý do tại sao GPU NVIDIA Blackwell mới sẽ chạy tốt như vậy trên AWS và đó là lý do NVIDIA chọn AWS để đồng phát triển Project Ceiba, kết hợp Siêu chip Grace Blackwell thế hệ tiếp theo của
NVIDIA với khả năng ảo hóa tiên tiến và mạng Elastic Fabric Adaptor cực nhanh của Hệ thống AWS Nitro , cho hoạt động nghiên cứu và phát triển AI của NVIDIA. Thông qua nỗ lực chung giữa các kỹ sư AWS và NVIDIA, chúng tôi đang tiếp tục cùng nhau đổi mới để biến AWS trở thành nơi tốt nhất cho bất kỳ ai chạy GPU NVIDIA trên đám mây.”
Michael Dell, người sáng lập và Giám đốc điều hành của Dell Technologies: “AI tạo sinh đóng vai trò quan trọng trong việc tạo ra các hệ thống thông minh hơn, đáng tin cậy hơn và hiệu quả hơn. Dell Technologies và NVIDIA đang hợp tác để định hình tương lai của công nghệ. Với sự ra mắt của Blackwell, chúng tôi sẽ tiếp tục cung cấp thế hệ tiếp theo của các sản phẩm và dịch vụ tăng tốc cho khách hàng, cung cấp cho họ những công cụ họ cần để thúc đẩy sự đổi mới trong các ngành.”
Demis Hassabis, đồng sáng lập và Giám đốc điều hành của Google DeepMind: “Tiềm năng biến đổi của AI là không thể tin được và nó sẽ giúp chúng ta giải quyết một số vấn đề khoa học quan trọng nhất của thế giới. Khả năng công nghệ mang tính đột phá của Blackwell sẽ cung cấp khả năng tính toán quan trọng cần thiết để giúp những bộ óc thông minh nhất thế giới vạch ra những khám phá khoa học mới.”
Mark Zuckerberg, người sáng lập và Giám đốc điều hành của Meta: “AI đã hỗ trợ mọi thứ, từ mô hình ngôn ngữ lớn đến đề xuất nội dung, quảng cáo và hệ thống an toàn của chúng tôi và nó sẽ ngày càng trở nên quan trọng hơn trong tương lai.
Chúng tôi mong muốn sử dụng Blackwell của NVIDIA để giúp đào tạo các mô hình Llama nguồn mở của chúng tôi và xây dựng thế hệ tiếp theo của Meta AI và các sản phẩm tiêu dùng.”
Satya Nadella, Chủ tịch điều hành kiêm Giám đốc điều hành của Microsoft: “Chúng tôi cam kết cung cấp cho khách hàng cơ sở hạ tầng tiên tiến nhất để hỗ trợ khối lượng công việc AI của họ. Bằng cách đưa bộ xử lý GB200 Grace Blackwell đến các trung tâm dữ liệu của chúng tôi trên toàn cầu, chúng tôi đang xây dựng lịch sử lâu dài về việc tối ưu hóa GPU NVIDIA cho đám mây của mình, đồng thời chúng tôi đưa ra lời hứa về AI trở thành hiện thực cho các tổ chức ở khắp mọi nơi.”
Sam Altman, Giám đốc điều hành của OpenAI: “Blackwell mang đến những bước nhảy vọt về hiệu suất và sẽ đẩy nhanh khả năng cung cấp các mô hình tiên tiến nhất của chúng tôi. Chúng tôi rất vui mừng được tiếp tục hợp tác với NVIDIA để nâng cao khả năng tính toán AI.”
Larry Ellison, Chủ tịch kiêm CTO của Oracle: "Sự hợp tác chặt chẽ của Oracle với NVIDIA sẽ tạo ra những đột phá về chất và lượng trong AI, học máy và phân tích dữ liệu. Để khách hàng có thể khám phá thêm những hiểu biết hữu ích, cần có một công cụ mạnh mẽ hơn nữa như Blackwell, được xây dựng có mục đích dành cho điện toán tăng tốc và AI tổng hợp.”
Elon Musk, Giám đốc điều hành của Tesla và xAI: “Hiện tại không có gì tốt hơn phần cứng NVIDIA dành cho AI.”
Blackwell được đặt theo tên của của David Harold Blackwell — một nhà toán học chuyên về lý thuyết trò chơi và thống kê, đồng thời là học giả Da Màu đầu tiên được đề cử vào Viện Hàn lâm Khoa học Quốc gia — Blackwell là kiến trúc mới kế thừa kiến trúc NVIDIA Hopper™, vốn ra mắt hai năm trước.
Những đổi mới của Blackwell nhằm thúc đẩy máy tính tăng tốc và AI sáng tạo
Sáu công nghệ mang tính cách mạng của Blackwell sẽ cùng nhau cho phép đào tạo AI và suy luận LLM theo thời gian thực cho các mô hình có quy mô lên tới 10 nghìn tỷ tham số, bao gồm như dưới đây:Vi xử lý mạnh nhất thế giới — Được trang bị 208 tỷ bóng bán dẫn, GPU mang kiến trúc Blackwell được sản xuất bằng quy trình 4NP TSMC có băng thông
10 TB
Engine chuyển đổi thế hệ thứ hai — Được hỗ trợ bởi khả năng mở rộng quy mô micro-tensor mới cùng các thuật toán quản lý dải động (dynamic range) tiên tiến của NVIDIA sẽ được tích hợp vào các khung NVIDIA TensorRT™-LLM và NeMo Megatron. Blackwell sẽ hỗ trợ gấp đôi kích thước tính toán và mô hình với mới khả năng suy luận 4-bit AI dấu phẩy động.
NVLink thế hệ thứ năm — Để tăng tốc hiệu suất cho các mô hình AI có nhiều nghìn tỷ thông số, phiên bản mới nhất của NVIDIA NVLink® sẽ mang lại băng thông hai chiều đột phá 1,8TB/giây cho mỗi GPU, đảm bảo liên lạc tốc độ cao liền mạch giữa tối đa 576 GPU cho các LLM phức tạp nhất.
RAS Engine — GPU được hỗ trợ bởi Blackwell sẽ có một engine chuyên dụng mang lại độ tin cậy, tính khả dụng và khả năng bảo trì. Ngoài ra, kiến trúc Blackwell bổ sung các khả năng ở cấp độ chip để sử dụng tính năng bảo trì phòng ngừa dựa trên AI để chạy chẩn đoán và dự báo các vấn đề về độ tin cậy. Điều này sẽ tối đa hóa thời gian hoạt động của hệ thống và cải thiện khả năng phục hồi để có thể triển khai AI quy mô lớn và hoạt động không bị gián đoạn trong nhiều tuần hoặc thậm chí nhiều tháng mỗi lần cũng như để giảm chi phí vận hành.
AI bảo mật — Khả năng tính toán bí mật nâng cao bảo vệ các mô hình AI và dữ liệu khách hàng mà không ảnh hưởng đến hiệu suất, với sự hỗ trợ cho các giao thức mã hóa giao diện gốc mới, rất quan trọng đối với các ngành nhạy cảm với quyền riêng tư như dịch vụ chăm sóc sức khỏe và tài chính.
Engine giải nén - Engine giải nén chuyên dụng hỗ trợ các định dạng mới nhất, tăng tốc các truy vấn cơ sở dữ liệu để mang lại hiệu suất cao nhất trong phân tích dữ liệu và khoa học dữ liệu. Trong những năm tới, việc xử lý dữ liệu mà các công ty chi hàng chục tỷ đô la hàng năm sẽ ngày càng được tăng tốc bằng GPU.
Một vi xử lý siêu khổng lồ
NVIDIA GB200 Grace Blackwell Superchip sẽ kết nối hai GPU NVIDIA B200 Tensor Core cùng CPU NVIDIA Grace thông qua kết nối chip-to-chip NVLink cho công suất cực thấp 900GB/s.Để có hiệu suất AI cao nhất, các hệ thống hỗ trợ GB200 có thể được kết nối với nền tảng NVIDIA Quantum-X800 InfiniBand và Spectrum™-X800 Ethernet, cũng được công bố hôm nay, cung cấp kết nối mạng tiên tiến với tốc độ lên tới 800Gb/s.
GB200 là thành phần chính của NVIDIA GB200 NVL72, một hệ thống quy mô gồm giá đỡ, hệ thông làm mát bằng chất lỏng, và nhiều node dành cho khối lượng công việc đòi hỏi nhiều tính toán nhất. GB200 kết hợp 36 Superchip Grace Blackwell, bao gồm 72 GPU Blackwell và 36 CPU Grace được kết nối với nhau bằng NVLink thế hệ thứ năm. Ngoài ra, GB200 NVL72 sẽ có các bộ xử lý dữ liệu NVIDIA BlueField®-3 để cho phép tăng tốc mạng đám mây, lưu trữ có thể kết hợp, bảo mật tin cậy và tính linh hoạt tính toán GPU trong các đám mây AI siêu quy mô. GB200 NVL72 giúp tăng hiệu suất lên tới 30 lần so với cùng GPU NVIDIA H100 Tensor Core khi so sánh về khối lượng công việc suy luận LLM, đồng thời giảm chi phí và mức tiêu thụ năng lượng tới 25 lần.
Nền tảng này hoạt động như một GPU duy nhất với hiệu suất AI 1,4 exaflop và bộ nhớ nhanh 30TB, đồng thời là nền tảng xây dựng cho DGX SuperPOD mới nhất.
NVIDIA mang đến HGX B200 - một bo mạch máy chủ liên kết tám GPU B200 thông qua NVLink để hỗ trợ các nền tảng AI tổng hợp dựa trên x86. HGX B200 hỗ trợ tốc độ mạng lên tới 400Gb/s thông qua nền tảng mạng NVIDIA Quantum-2 InfiniBand và Spectrum-X Ethernet.
Mạng lưới đối tác toàn cầu của Blackwell
Các sản phẩm dựa trên Blackwell sẽ có sẵn từ các đối tác bắt đầu từ cuối năm nay.AWS, Google Cloud, Microsoft Azure và Cơ sở hạ tầng đám mây Oracle sẽ là một trong những nhà cung cấp dịch vụ đám mây đầu tiên cung cấp phiên bản chạy trên nền tảng Blackwell, cũng như các công ty chương trình Đối tác đám mây NVIDIA là Apply Digital, CoreWeave, Crusoe, IBM Cloud và Lambda. Các đám mây AI có chủ quyền cũng sẽ cung cấp cơ sở hạ tầng và dịch vụ đám mây dựa trên Blackwell, bao gồm Indosat Ooredoo Hutchinson, Nebius, Nexgen Cloud, Oracle EU Sovereign
Cloud, Oracle US, UK và Australian Government Clouds, Scalway, Singtel, Northern Data Group's Taiga Cloud, Shakti Cloud và YTL Power International của Yotta Data Services.
GB200 cũng sẽ có sẵn trên NVIDIA DGX™ Cloud, một nền tảng AI được hợp tác thiết kế với các nhà cung cấp dịch vụ đám mây hàng đầu, cung cấp cho các nhà phát triển doanh nghiệp quyền truy cập chuyên biệt vào cơ sở hạ tầng và phần mềm cần thiết để xây dựng và triển khai các mô hình AI tiên tiến. AWS, Google Cloud và Cơ sở hạ tầng đám mây Oracle có kế hoạch lưu trữ các phiên bản dựa trên NVIDIA Grace Blackwell mới vào cuối năm nay.
Cisco, Dell, Hewlett Packard Enterprise, Lenovo và Supermicro dự kiến sẽ cung cấp nhiều loại máy chủ dựa trên các sản phẩm của Blackwell, cũng như Aivres, ASRock Rack, ASUS, Eviden, Foxconn, GIGABYTE, Inventec, Pegatron, QCT, Wistron, Wiwynn và ZT Systems
Ngoài ra, mạng lưới các nhà sản xuất phần mềm đang phát triển, bao gồm Ansys, Cadence và Synopsys - những công ty hàng đầu thế giới về mô phỏng kỹ thuật - sẽ sử dụng bộ xử lý dựa trên Blackwell để tăng tốc phần mềm của họ nhằm thiết kế và mô phỏng các hệ thống và bộ phận điện, cơ khí và sản xuất. Khách hàng của họ có thể sử dụng AI tạo sinh và điện toán tăng tốc để đưa sản phẩm ra thị trường nhanh hơn, với chi phí thấp hơn và hiệu quả năng lượng cao hơn.
Hỗ trợ phần mềm NVIDIA
Danh mục sản phẩm Blackwell được hỗ trợ bởi NVIDIA AI Enterprise -hệ điều hành toàn diện dành cho AI cấp độ sản xuất sẽ bao gồm các dịch vi mô vụ suy luận NVIDIA NIM™ vừa được công bố hôm nay và các khung framework AI, thư viện và công cụ mà doanh nghiệp có thể triển khai trên các đám mây, trung tâm dữ liệu và máy trạm được tăng tốc của NVIDIA.NVIDIA ra mắt các Dịch vụ vi mô AI Tạo sinh dành cho các nhà phát triển để tạo và triển khai các bản sao AI tạo sinh trên cơ sở cài đặt GPU NVIDIA CUDA
NVIDIA hôm nay đã ra mắt hàng tá các dịch vụ vi mô AI tạo sinh cấp độ doanh nghiệp có thể sử dụng để tạo và triển khai các ứng dụng tùy chỉnh trên nền tảng của riêng mình trong khi vẫn giữ toàn quyền sở hữu và kiểm soát tài sản trí tuệ của họ.
Việc tuyển chọn các dịch vụ vi mô được tuyển chọn sẽ bổ sung thêm một lớp mới cho nền tảng điện toán toàn bộ của NVIDIA. Lớp này kết nối hệ sinh thái AI của các nhà phát triển mô hình, nhà cung cấp nền tảng và doanh nghiệp với một đường dẫn được tiêu chuẩn hóa để chạy các mô hình AI tùy chỉnh được tối ưu hóa cho cơ sở CUDA được cài đặt của NVIDIA gồm hàng trăm triệu GPU trên các đám mây, trung tâm dữ liệu, máy trạm và PC.
Trong số những người đầu tiên truy cập vào các vi dịch vụ AI tạo sinh mới của NVIDIA có sẵn trong NVIDIA AI Enterprise 5.0 là các nhà cung cấp nền tảng ứng dụng, dữ liệu và an ninh mạng hàng đầu, bao gồm Adobe, Cadence, CrowdStrike, Getty Images, SAP, ServiceNow, và Shutterstock.
“Các nền tảng doanh nghiệp lâu đời đang nắm giữ một mỏ vàng dữ liệu có thể được chuyển đổi thành các máy điều khiển AI tạo sinh hợp”. Jensen Huang, người sáng lập và Giám đốc điều hành của NVIDIA cho biết: “Được tạo ra từ hệ sinh thái đối tác của chúng tôi, các dịch vụ vi mô AI được đóng gói này là nền tảng để các doanh nghiệp trong mọi ngành trở thành công ty AI.”
Tốc độ triển khai vi dịch vụ suy luận NIM chỉ trong vài tuần đến vài phút
Các dịch vụ vi mô NIM cung cấp các bộ chứa dựng sẵn được hỗ trợ bởi phần mềm suy luận NVIDIA — bao gồm Triton Inference Server™ và TensorRT™-LLM — cho phép các nhà phát triển giảm thời gian triển khai từ vài tuần xuống còn vài phút.NVIDIA cung cấp API tiêu chuẩn ngành cho các lĩnh vực như ngôn ngữ, giọng nói và khám phá ma túy để cho phép các nhà phát triển nhanh chóng xây dựng các ứng dụng AI bằng cách sử dụng dữ liệu độc quyền được lưu trữ an toàn trong cơ sở hạ tầng của riêng họ. Các ứng dụng này có thể mở rộng quy mô theo yêu cầu, mang lại sự linh hoạt và hiệu suất để chạy AI tạo sinh trong sản xuất trên nền tảng điện toán được tăng tốc bởi NVIDIA.
Các dịch vụ vi mô NIM cung cấp vùng chứa AI sản xuất nhanh nhất và hiệu suất cao nhất để triển khai các mô hình từ NVIDIA, A121, Adept, Cohere, Getty Images và Shutterstock cũng như các mô hình mở từ Google, Hugging Face, Meta, Microsoft, Mistral AI và Stability AI.
ServiceNow hôm nay đã thông báo rằng họ đang sử dụng NIM để phát triển và triển khai các máy điều khiển phụ theo miền cụ thể mới cũng như các ứng dụng AI tạo sinh khác nhanh hơn và tiết kiệm chi phí hơn.
Khách hàng sẽ có thể truy cập các dịch vụ vi mô NIM từ Amazon SageMaker, Google Kubernetes Engine và Microsoft Azure AI, đồng thời tích hợp với các khung AI phổ biến như Deepset, LangChain and LlamaIndex.
Dịch vụ vi mô CUDA-X cho RAG, Xử lý dữ liệu, Guardrail, HPC
Các dịch vụ vi mô CUDA-X cung cấp các khối xây dựng toàn diện để chuẩn bị, tùy chỉnh và đào tạo dữ liệu nhằm tăng tốc độ phát triển AI sản xuất trong các ngành.Để đẩy nhanh việc áp dụng AI, các doanh nghiệp có thể sử dụng các vi dịch vụ CUDAX bao gồm NVIDIA Riva cho AI dịch thuật và giọng nói có thể tùy chỉnh, NVIDIA cuOpt™ để tối ưu hóa định tuyến cũng như NVIDIA Earth-2 để mô phỏng thời tiết và khí hậu có độ phân giải cao.
Các dịch vụ vi mô NeMo Retriever™ cho phép các nhà phát triển liên kết các ứng dụng AI với dữ liệu kinh doanh của họ — bao gồm văn bản, hình ảnh và hình ảnh trực quan hóa như biểu đồ thanh, biểu đồ đường và biểu đồ hình tròn — để tạo ra các phản hồi có độ chính xác cao, phù hợp với ngữ cảnh. Với các khả năng RAG này, doanh nghiệp có thể cung cấp nhiều dữ liệu hơn cho các phi công phụ, chatbot và các công cụ năng suất AI tạo sinh để nâng cao độ chính xác và hiểu biết sâu sắc.
Các vi dịch vụ NVIDIA NeMo™ bổ sung sắp ra mắt để phát triển mô hình tùy chỉnh.
Chúng bao gồm NVIDIA NeMo Curator để xây dựng các bộ dữ liệu sạch cho mục đích đào tạo và truy xuất, NVIDIA NeMo Tùy chỉnh để tinh chỉnh LLM với dữ liệu theo miền cụ thể, NVIDIA NeMo Evaluator để phân tích hiệu suất mô hình AI, cũng như NVIDIA NeMo Guardrails cho LLM.
Hệ sinh thái tăng cường nền tảng doanh nghiệp với các vi dịch vụ AI tạo sinh Ngoài các nhà cung cấp ứng dụng hàng đầu, các nhà cung cấp dữ liệu, cơ sở hạ tầng và nền tảng điện toán trong hệ sinh thái NVIDIA đang hợp tác với các dịch vụ vi mô của NVIDIA để mang AI tạo sinh đến cho các doanh nghiệp.
Các nhà cung cấp nền tảng dữ liệu hàng đầu bao gồm Box, Cloudera, Cohesity, Datastax, Dropbox và NetApp đang hợp tác với các dịch vụ vi mô của NVIDIA để giúp khách hàng tối ưu hóa quy trình RAG và tích hợp dữ liệu độc quyền của họ vào các ứng dụng AI tạo sinh. Snowflake tận dụng NeMo Retriever để khai thác dữ liệu doanh nghiệp nhằm xây dựng các ứng dụng AI.
Các doanh nghiệp có thể triển khai các dịch vụ vi mô NVIDIA đi kèm với NVIDIA AI Enterprise 5.0 trên cơ sở hạ tầng mà họ lựa chọn, chẳng hạn như các đám mây hàng đầu Amazon Web Services (AWS), Google Cloud, Azure và Oracle Cloud Infrastructure.
Các dịch vụ vi mô của NVIDIA cũng được hỗ trợ trên hơn 400 Hệ thống được chứng nhận NVIDIA™, bao gồm các máy chủ và máy trạm của Cisco, Dell Technologies, Hewlett Packard Enterprise (HPE) , HP, Lenovo , Lenovo và Supermicro. Riêng hôm nay, HPE đã công bố tính khả dụng của giải pháp điện toán doanh nghiệp của HPE dành cho AI tạo sinh, với kế hoạch tích hợp các mô hình NIM và NVIDIA AI Foundation Models vào phần mềm AI của HPE.
Các dịch vụ vi mô của NVIDIA AI Enterprise đang đến với các nền tảng phần mềm cơ sở hạ tầng bao gồm VMware Private AI Foundation cùng NVIDIA. Red Hat OpenShift hỗ trợ các dịch vụ vi mô NVIDIA NIM để giúp doanh nghiệp dễ dàng tích hợp các khả năng AI tạo sinh vào ứng dụng của họ với các khả năng được tối ưu hóa về bảo mật, tuân thủ và kiểm soát. Canonical đang bổ sung hỗ trợ Charmed Kubernetes cho các dịch vụ vi mô của NVIDIA thông qua NVIDIA AI Enterprise.
Hệ sinh thái của NVIDIA gồm hàng trăm đối tác AI và MLOps, bao gồm Abridge, Anyscale, Dataiku, DataRobot, Glean, H2O.ai, Securiti AI, Scale AI, OctoAI và Weights & Biases,, đang bổ sung hỗ trợ cho các dịch vụ vi mô của NVIDIA thông qua NVIDIA AI Enterprise. Apache Lucene, Datastax, Faiss, Kinetica, Milvus, Redis và Weaviate là một trong những nhà cung cấp dịch vụ tìm kiếm vectơ làm việc với các vi dịch vụ NVIDIA NeMo Retriever để tăng cường khả năng RAG đáp ứng cho doanh nghiệp.
Tính khả dụng
Các nhà phát triển có thể thử nghiệm miễn phí các vi dịch vụ của NVIDIA tại ai.nvidia.com. Các doanh nghiệp có thể triển khai các dịch vụ vi mô NIM ở cấp độ sản xuất với NVIDIA AI Enterprise 5.0 chạy trên Hệ thống được NVIDIA chứng nhận và các nền tảng đám mây hàng đầu.SAP và NVIDIA để tăng tốc việc áp dụng AI sáng tạo trên các ứng dụng doanh nghiệp, hỗ trợ các ngành công nghiệp toàn cầu
SAP SE (NYSE: SAP) và NVIDIA (NASDAQ: NVDA) hôm nay đã công bố mở rộng quan hệ đối tác tập trung vào việc tăng tốc khả năng của các khách hàng doanh nghiệp trong nhu cầu khai thác sức mạnh biến đổi của dữ liệu và AI tạo sinh trên các danh mục ứng dụng và giải pháp đám mây của SAP.
Các công ty đang hợp tác để xây dựng và cung cấp SAP Business AI, bao gồm các tính năng AI tạo sinh dành riêng cho doanh nghiệp, có thể mở rộng bên trong công cụ Joule® copilot và trên các danh mục giải pháp và ứng dụng đám mây của SAP - tất cả đều được củng cố bởi trung tâm AI tạo sinh SAP (SAP generative AI hub.). Trung tâm AI tổng quát tạo điều kiện cho các hoạt động liên quan, đáng tin cậy và có trách nhiệm cho AI doanh nghiệp cung cấp quyền truy cập tức thì vào một loạt các mô hình ngôn ngữ lớn (LLM).
Là một phần trong sáng kiến đang diễn ra của SAP nhằm xây dựng AI tạo sinh trực tiếp vào các ứng dụng hỗ trợ các doanh nghiệp trên thế giới, mối quan hệ hợp tác này nhằm mục đích giúp khách hàng áp dụng các khả năng AI tạo sinh trên quy mô lớn tại các tổ chức của họ. SAP sẽ sử dụng dịch vụ gia công AI tạo sinh của NVIDIA để tinh chỉnh LLM cho các kịch bản theo miền cụ thể và triển khai ứng dụng với vi dịch vụ NVIDIA NIM mới. SAP và NVIDIA có kế hoạch cung cấp các tính năng tích hợp mới vào cuối năm 2024.
Christian Klein, Giám đốc điều hành và Thành viên Ban điều hành của SAP SE cho biết: “Khách hàng doanh nghiệp muốn tận dụng công nghệ tiên tiến để mang lại giá trị kinh doanh thực sự. Các mối quan hệ đối tác công nghệ chiến lược, giống như mối quan hệ giữa SAP và NVIDIA, là cốt lõi trong chiến lược đầu tư vào công nghệ của chúng tôi nhằm tối đa hóa tiềm năng và cơ hội của AI cho doanh nghiệp. Chuyên môn của NVIDIA trong việc cung cấp các khả năng AI trên quy mô lớn sẽ giúp SAP đẩy nhanh tốc độ chuyển đổi và phục vụ khách hàng trên đám mây tốt hơn.”
Jensen Huang, người sáng lập và Giám đốc điều hành của NVIDIA cho biết: “SAP đang nắm giữ một mỏ vàng dữ liệu doanh nghiệp có thể được chuyển đổi thành các tác nhân AI tổng hợp tùy chỉnh để giúp khách hàng tự động hóa hoạt động kinh doanh của họ. Cùng nhau, NVIDIA và SAP sẽ mang AI có thể tạo ra tùy chỉnh cho hàng nghìn doanh nghiệp trên khắp thế giới dựa vào SAP để hỗ trợ hoạt động của họ.”
Khai thác dữ liệu kinh doanh và AI sáng tạo để nâng cao hiểu biết của khách hàng SAP và NVIDIA có kế hoạch hợp tác để tích hợp AI tạo sinh vào các giải pháp đám mây từ SAP, bao gồm bản phát hành mới nhất của giải pháp SAP Datasphere®, SAP Business Technology Platform® (SAP BTP) và RISE with SAP®.
SAP có kế hoạch xây dựng các khả năng AI tổng quát bổ sung trong SAP BTP bằng cách sử dụng dịch vụ gia công AI tạo sinh của NVIDIA, bao gồm siêu máy tính AI đám mây NVIDIA DGX Cloud™ , phần mềm NVIDIA AI Enterprise và các mô hình NVIDIA AI Foundation. Những khả năng mới này được thiết kế để làm nền tảng cho sự phát triển và triển khai AI tổng quát của SAP cho khách hàng và dự kiến sẽ có thể truy cập được trong trung tâm AI tổng quát trong SAP AI Core® và SAP Datasphere.
Các sáng kiến AI mang tính sáng tạo bổ sung bao gồm:
Các tính năng mới dành cho Joule copilot: Joule có thể tận dụng các khả năng tạo sinh tăng cường truy xuất (RAG) do NVIDIA và SAP xây dựng, có thể được triển khai trên các siêu quy mô hàng đầu hoặc môi trường đám mây của chính SAP. Với tư cách là một AI tạo sinh bằng ngôn ngữ tự nhiên, Joule sẽ giúp khách hàng khai thác tiềm năng trong hoạt động kinh doanh của họ bằng cách tự động hóa các nhiệm vụ đang phải tốn thời gian và nhanh chóng phân tích dữ liệu quan trọng trong kinh doanh để mang lại trải nghiệm cá nhân hóa, thông minh hơn.
Các trường hợp sử dụng (use case) tạo sinh tận dụng Đám mây SAP S/4HANA, SAP SuccessFactors® và SAP Signavio®: SAP và NVIDIA đang khám phá hơn 20 trường hợp sử dụng AI tạo sinh trong đó các công ty có thể kết hợp các tài sản để đơn giản hóa và tăng cường chuyển đổi kỹ thuật số. Trong số này có các tính năng AI tạo sinh có thể tự động hóa việc lập kế hoạch nguồn lực doanh nghiệp bằng tính năng khớp hóa đơn thông minh trên Đám mây SAP S/4HANA; cải thiện các trường hợp sử dụng nguồn nhân lực bằng cách tận dụng SAP SuccessFactors; và tăng tốc những hiểu biết sâu sắc về AI tạo sinh mới từ SAP Signavio để xử lý các đề xuất kinh doanh tốt hơn và tối ưu hóa quy trình hỗ trợ khách hàng của SAP.
Hợp nhất các nguồn dữ liệu AI với SAP Datasphere: Được xây dựng trên SAP BTP, SAP Datasphere cho phép tích hợp và xem thống nhất dữ liệu SAP giàu ngữ nghĩa với dữ liệu của bên thứ ba trên toàn bộ doanh nghiệp để giúp khách hàng thích ứng nhanh hơn với những thay đổi của thị trường và thực hiện hiệu quả hơn và tốt hơn- những quyết định sáng suốt. Với SAP Datasphere, khách hàng có thể tự tin truy cập vào cơ cấu dữ liệu chất lượng cao bằng cách sử dụng mô hình AI và máy học (ML). Để tăng tốc khả năng học máy liên kết (FedML) của SAP cho SAP Datasphere, NVIDIA và SAP đang tạo điều kiện cho các nhà khoa học dữ liệu truy cập dữ liệu dễ dàng hơn và nâng cao hiệu suất khối lượng công việc ML với sự hỗ trợ của nền tảng điện toán tăng tốc NVIDIA và phần mềm khoa học dữ liệu NVIDIA AI Enterprise như NVIDIA RAPIDS™.
Sử dụng LLM cho ngôn ngữ lập trình ABAP: Để hỗ trợ các nhà phát triển tạo mã ngôn ngữ dành riêng cho miền, SAP có kế hoạch sử dụng các dịch vụ của NVIDIA AI để hỗ trợ tinh chỉnh LLM. Điều này sẽ dựa trên việc SAP sử dụng các mô hình AI tạo sinh để hỗ trợ các nhà phát triển sử dụng ABAP thông qua mô hình Đám mây ABAP và mô hình Lập trình ứng dụng Đám mây SAP của công ty.
NVIDIA AI Enterprise hỗ trợ các giải pháp AI sáng tạo cấp độ sản xuất trên đám mây từ SAP
Sau khi các mô hình đã sẵn sàng để triển khai trong các giải pháp đám mây của SAP, SAP có kế hoạch sử dụng phần mềm NVIDIA AI Enterprise, bao gồm vi dịch vụ suy luận NVIDIA NIM và vi dịch vụ NVIDIA NeMo Retriever™.
NVIDIA NIM có thể được sử dụng để tăng tốc và tối đa hóa hiệu suất suy luận trên cơ sở hạ tầng được tăng tốc từ SAP. Bằng cách sử dụng vi dịch vụ NVIDIA NeMo Retriever, SAP có kế hoạch bổ sung các khả năng RAG cho phép các ứng dụng AI tổng hợp truy cập dữ liệu chạy trên phần mềm SAP một cách an toàn hơn nhằm cải thiện độ chính xác và thông tin chuyên sâu. Khách hàng có thể lập kế hoạch sử dụng RAG trên cả dữ liệu của SAP và bên thứ ba.
Để tìm hiểu thêm về mối quan hệ hợp tác giữa SAP và NVIDIA, hãy xem bản phát lại bài phát biểu quan trọng GTC của Huang.
