Vn-Z.vn Ngày 14 tháng 03 năm 2024, Cerebras Systems đã phát hành chip tăng tốc AI cấp wafer thế hệ thứ ba mang tên "WSE-3" (Wafer Scal Engine 3). Các thông số kỹ thuật được nâng cấp bá đạo hơn với mức tiêu thụ điện năng và giá cả không thay đổi.
WSE-1 thế hệ đầu tiên được phát hành trong năm 2019 dựa trên tiến trình 16nm của TSMC, tấm wafer có diện tích 46.225 mm vuông, 1,2 nghìn tỷ bóng bán dẫn, 400.000 lõi AI, bộ nhớ đệm SRAM 18GB và hỗ trợ băng thông bộ nhớ 9PB/s và băng thông kết nối 100Pb/s . Điện năng tiêu thụ lên tới 15 kilowatt.
WSE-2 thế hệ thứ 2 phát hành vào năm 2021 được nâng cấp lên tiến trình 7nm của TSMC, diện tích wafer không đổi là 46.225 mm2, số lượng bóng bán dẫn tăng lên 2,6 nghìn tỷ, số lõi tăng lên 850.000, bộ nhớ đệm được mở rộng lên 40GB, băng thông bộ nhớ là 20PB/s, băng thông kết nối là 220Pb/s.
WSE-3 thế hệ thứ ba mới phát hành được nâng cấp lên quy trình 5nm của TSMC, diện tích hiên chưa được xác định nhưng chắc cũng gần như các thế hệ 1 và 2. Nhưng số lượng bóng bán dẫn tiếp tục tăng lên con số đáng kinh ngạc là 4 nghìn tỷ bóng bán dẫn, số lượng lõi AI tiếp tục tăng lên tới con số 900.000, dung lượng bộ đệm đạt 44GB và dung lượng bộ nhớ ngoài tuỳ chọn 1,5TB, 12TB và 1200TB.
Thoạt nhìn, số lượng lõi và dung lượng bộ đệm không tăng nhiều nhưng hiệu suất đã đạt được bước nhảy vọt, sức mạnh tính toán AI đỉnh cao lên tới 125PFlops, tức là 1,25 tỷ phép tính dấu phẩy động mỗi giây, tương đương với các siêu máy tính hàng đầu.
Chip AI mới này có thể giúp đào tạo các mô hình AI lớn thế hệ tiếp theo tương đương hơn mười lần so với GPT-4 và Gemini, đồng thời có thể lưu trữ 24 nghìn tỷ tham số trong một không gian bộ nhớ logic duy nhất mà không cần phân vùng hoặc xây dựng lại.
Chip AI mới khi được sử dụng có tốc độ huấn luyện một mô hình lớn với 1 nghìn tỷ tham số tương đương với việc sử dụng GPU để huấn luyện 1 tỷ tham số.
Với bốn kết nối song song, chip AI mới có thể hoàn thành việc đào tạo 70 tỷ tham số trong một ngày và hỗ trợ lên tới 2048 kết nối, do đó, nó có thể hoàn thành việc đào tạo 70 tỷ tham số của Llama trong một ngày.
Mức tiêu thụ điện năng cụ thể và giá bán của WSE-3 vẫn chưa được công bố, tham chiếu từ thế hệ thứ hai thì Chip AI WSE-3 thế hệ thứ ba cũng sẽ có giá hơn 2 triệu USD.
WSE-2 thế hệ thứ 2 phát hành vào năm 2021 được nâng cấp lên tiến trình 7nm của TSMC, diện tích wafer không đổi là 46.225 mm2, số lượng bóng bán dẫn tăng lên 2,6 nghìn tỷ, số lõi tăng lên 850.000, bộ nhớ đệm được mở rộng lên 40GB, băng thông bộ nhớ là 20PB/s, băng thông kết nối là 220Pb/s.
WSE-3 thế hệ thứ ba mới phát hành được nâng cấp lên quy trình 5nm của TSMC, diện tích hiên chưa được xác định nhưng chắc cũng gần như các thế hệ 1 và 2. Nhưng số lượng bóng bán dẫn tiếp tục tăng lên con số đáng kinh ngạc là 4 nghìn tỷ bóng bán dẫn, số lượng lõi AI tiếp tục tăng lên tới con số 900.000, dung lượng bộ đệm đạt 44GB và dung lượng bộ nhớ ngoài tuỳ chọn 1,5TB, 12TB và 1200TB.
Thoạt nhìn, số lượng lõi và dung lượng bộ đệm không tăng nhiều nhưng hiệu suất đã đạt được bước nhảy vọt, sức mạnh tính toán AI đỉnh cao lên tới 125PFlops, tức là 1,25 tỷ phép tính dấu phẩy động mỗi giây, tương đương với các siêu máy tính hàng đầu.
Chip AI mới này có thể giúp đào tạo các mô hình AI lớn thế hệ tiếp theo tương đương hơn mười lần so với GPT-4 và Gemini, đồng thời có thể lưu trữ 24 nghìn tỷ tham số trong một không gian bộ nhớ logic duy nhất mà không cần phân vùng hoặc xây dựng lại.
Chip AI mới khi được sử dụng có tốc độ huấn luyện một mô hình lớn với 1 nghìn tỷ tham số tương đương với việc sử dụng GPU để huấn luyện 1 tỷ tham số.
Với bốn kết nối song song, chip AI mới có thể hoàn thành việc đào tạo 70 tỷ tham số trong một ngày và hỗ trợ lên tới 2048 kết nối, do đó, nó có thể hoàn thành việc đào tạo 70 tỷ tham số của Llama trong một ngày.
Mức tiêu thụ điện năng cụ thể và giá bán của WSE-3 vẫn chưa được công bố, tham chiếu từ thế hệ thứ hai thì Chip AI WSE-3 thế hệ thứ ba cũng sẽ có giá hơn 2 triệu USD.
| WSE-3 | Nvidia H100 | Cerebras Advantage | |
| Chip Size | 46,225 mm² | 826 mm² | 57 X |
| Cores | 900,000 | 16,896 FP32 + 528 Tensor | 52X |
| On-chip memory | 44 Gigabytes | 0.05 Gigabytes | 880 X |
| Memory bandwidth | 21 Petabytes/sec | 0.003 Petabytes/sec | 7,000 X |
| Fabric bandwidth | 214 Petabits/sec | 0.0576 Petabits/sec | 3,715 X |
