Intel công bố chip AI Gaudi 3, tuyên bố nhanh hơn 50% so với H100 của NVIDIA

Santoso
1712678699_newsroom-intel-gaudi-3-3.jpg.rendition.intel.web.1648.9276d98f98fe768a2ff.jpeg


Intel vừa công bố chip AI mới nhất của mình, Gaudi 3, nhằm thách thức vị thế dẫn đầu của NVIDIA trong ngành công nghiệp AI. Con chip mới hứa hẹn cải thiện đáng kể hiệu năng và hiệu suất so với GPU H100 của NVIDIA, GPU H100 của NVIDIA cũng có HGX H200 nhanh hơn .

Theo Intel, Gaudi 3 tiết kiệm năng lượng hơn gấp đôi và có thể thực hiện các tác vụ AI nhanh hơn gấp rưỡi so với H100. Hiệu quả được cải thiện này có thể giúp giảm chi phí cắt cổ liên quan đến việc đào tạo các mô hình AI lớn. Con chip này cũng có nhiều mô-đun khác nhau, bao gồm cấu hình 8 chip trên bo mạch chủ và thẻ tương thích với các thiết kế máy chủ Intel hiện có.

Intel cho biết họ đã thử nghiệm con chip này trên các mẫu AI phổ biến từ dự án Llama 2 và Falcon của Meta, cho thấy Gaudi 3 có khả năng huấn luyện các máy biến áp và chạy các ứng dụng phức tạp.

Theo điểm chuẩn của Intel, Gaudi 3 trung bình nhanh hơn 50% khi đào tạo các mô hình ngôn ngữ lớn như Llama với 7 tỷ và 13 tỷ tham số và GPT-3 với 175 tỷ tham số. Ngoài ra, Gaudi 3 được kỳ vọng sẽ đạt hiệu suất sử dụng năng lượng tốt hơn 40% so với H100 dành cho suy luận.

So với Nvidia H100, Intel Gaudi 3 dự kiến sẽ mang lại thời gian đào tạo trung bình nhanh hơn 50% trên các mẫu Llama2 với thông số 7B và 13B cũng như mẫu thông số GPT-3 175B. Ngoài ra, thông lượng suy luận của bộ tăng tốc Intel Gaudi 3 được dự đoán sẽ vượt trội hơn H100 trung bình 50%1 và 40% đối với hiệu suất năng lượng suy luận trung bình2 trên các tham số Llama 7B và 70B cũng như các mô hình tham số Falcon 180B.

Chi tiết thông số kỹ thuật đầy đủ của Gaudi 3 được đưa ra trong hình ảnh bên dưới:

1712678704_newsroom-intel-gaudi-3-5.jpg.rendition.intel.web.1648.927d54dffab066448ec.jpeg


Gaudi 3 kết nối với CPU chủ của nó thông qua liên kết PCIe Gen 5 x16 tốc độ cao. Intel cũng đang phát triển các biến thể làm mát bằng chất lỏng để có hiệu suất cao hơn nữa.

Sự ra mắt này đánh dấu thách thức nghiêm trọng nhất của Intel đối với sự thống trị của NVIDIA, ước tính chiếm khoảng 80% thị trường chip AI . Với việc các khách hàng như Dell, HP và Supermicro cùng tham gia xây dựng máy chủ với chip mới, Intel đang nhắm đến việc giành được một thị phần đáng kể.

Intel viết trong bài đăng trên blog: “Gaudi 3 sẽ có sẵn cho các OEM – bao gồm Dell Technologies, HPE, Lenovo và Supermicro – vào quý 2 năm 2024”.