Công nghệ mới của SK Hynix phá vỡ nút thắt tính toán trong bộ nhớ: 3D FeNAND giúp hiệu suất năng lượng tăng 7,17 lần, năng lực tính toán tăng 20,4 lần
Vào tháng 12 năm 2025, SK Hynix đã giới thiệu những thành quả nghiên cứu mới nhất của mình trong lĩnh vực NAND Flash tại Hội nghị Thiết bị Điện tử Quốc tế (IEDM).
Trong đó, ngoài công nghệ bộ nhớ flash NAND 5-bit mới nhất, còn có công nghệ 3D FeNAND nhằm đạt được hiệu suất năng lượng cao và gia tăng mạnh mẽ năng lực tính toán TOPS trên mỗi đơn vị công suất tiêu thụ. Theo trang Blocks and Files, SK Hynix hiện đã chế tạo thành công bộ nhớ flash NAND 5-bit. Tuy nhiên, việc làm thế nào để hiện thực hóa sản xuất hàng loạt với quy mô lớn theo cách hiệu quả về chi phí vẫn còn là vấn đề cần được xác định.
Bộ nhớ flash NAND 6-bit (HLC) truyền thống yêu cầu 64 trạng thái điện áp độc lập, trong khi SK Hynix chỉ cần 8 trạng thái độc lập.
Cùng với sự phát triển nhanh chóng của các mô hình AI quy mô lớn, các hệ thống tính toán phục vụ AI ngày càng đặt ra yêu cầu cao hơn về hiệu suất năng lượng và năng lực thông lượng. Tuy nhiên, các bộ tăng tốc AI hiện nay trong quá trình vận hành phải thường xuyên di chuyển dữ liệu giữa bộ xử lý và bộ nhớ, khiến mức tiêu thụ năng lượng luôn ở mức cao.
Trong bối cảnh đó, tính toán trong bộ nhớ dạng tương tự (Analog Compute-in-Memory – A-CiM), với đặc tính tiêu thụ điện năng thấp và mức độ song song cao, được xem là một giải pháp tiềm năng. Tuy nhiên, phần lớn các phương án hiện có đều gặp khó khăn trong việc vừa đáp ứng hiệu suất năng lượng, vừa đạt được mật độ lưu trữ siêu cao cần thiết để hỗ trợ các mô hình AI lớn.
Trước thực tế này, SK Hynix đã đề xuất một giải pháp tính toán trong bộ nhớ dạng tương tự dựa trên NAND sắt điện ba chiều (3D FeNAND). Giải pháp này vừa đạt mức tiêu thụ điện năng thấp, vừa sở hữu mật độ lưu trữ cực cao. Dẫu vậy, công nghệ này vẫn phải đối mặt với một số thách thức, bao gồm:
(Trái) Sơ đồ cấu trúc của mảng FeNAND 3D cho các ứng dụng A-CiM. (Phải) Những thách thức của mảng FeNAND 3D cho các ứng dụng A-CiM và các tối ưu hóa đồng thời tương ứng.
Ở cấp độ ô nhớ, các nhà nghiên cứu đã cải thiện hiệu năng lưu trữ bằng cách tối ưu hóa thuật toán ghi. Khi số lớp xếp chồng của word line tăng lên, điện trở nối tiếp cũng tăng theo, dẫn đến dải dòng điện bị thu hẹp, từ đó ảnh hưởng đến khả năng phân biệt các trạng thái tương tự.
Để giảm thiểu vấn đề này, nhóm nghiên cứu đã đưa kỹ thuật điều chế số lượng xung (pulse number modulation) vào 3D FeNAND. Trong điều kiện dòng điện thấp có xét đến hiện tượng sụt áp IR, phương án này thể hiện đặc tính lưu trữ đa mức vượt trội hơn, giúp tăng số lượng trạng thái đa mức khả dụng trên mỗi lớp xếp chồng word line.
(a) Sơ đồ cấu trúc của chuỗi FeNAND 3D. (b) Sự thay đổi dòng điện của ô FeNAND 3D theo xung lập trình. (c) Khả năng lưu trữ đa cấp của FeNAND 3D.
Tiếp theo, nhóm nghiên cứu cũng tập trung phân tích ảnh hưởng của hằng số RC của word line đối với hiệu năng của 3D FeNAND. Đặc biệt trong quá trình thực hiện các phép nhân – tích lũy (MAC), việc chuyển mạch liên tục giữa các word line được chọn và không được chọn sẽ làm gia tăng đáng kể mức tiêu thụ điện năng và độ trễ.
Do đó, bằng cách giảm hằng số RC của word line, hệ thống có thể tăng thông lượng tối đa lên 1,4 lần và nâng cao hiệu quả năng lượng tối đa lên 2,2 lần.
a) Sơ đồ mạch điện dung và điện trở ký sinh trong mảng FeNAND 3D. (b) Mối quan hệ giữa TOPS và TOPS/W và WL RC của mảng FeNAND 3D.
Về mặt tính toán, nhóm nghiên cứu đã tối ưu hóa phương thức tính toán song song của 3D FeNAND. Một mặt, thông qua việc cải tiến cơ chế pipeline trong trang (in-page pipelining, IPP), nhóm đã kết hợp sao chép mạng nơ-ron với ánh xạ mạng đa tầng, qua đó giảm số lần tính toán truyền thẳng (forward computation) cũng như số lần chuyển mạch word line.
Mặt khác, bằng cách nghiên cứu chiến lược tách trang (page-splitting), số lượng trang cần thiết cho các khối lượng công việc cụ thể được giảm xuống, từ đó tiếp tục nâng cao hiệu năng tổng thể của A-CiM.
(Bên trái) Sơ đồ minh họa phương pháp IPP: (S1) tham chiếu và (S2) IPP. (Bên phải) Sơ đồ minh họa phương pháp tách trang, với kích thước trang lần lượt là (P1) 16 KB và (P2) 4 KB.
Sau khi áp dụng các biện pháp tối ưu phối hợp ở nhiều tầng như trên, mảng 3D FeNAND đã đạt được sự cải thiện đáng kể về hiệu năng tổng thể. Kết quả đánh giá cho thấy, so với mảng 3D FeNAND trước đây, giải pháp sau tối ưu đã đạt mức tăng thông lượng lên 20,4 lần và nâng cao hiệu quả năng lượng lên 7,17 lần.
(a) FeNAND 3D được tối ưu hóa đồng thời và (b) hiệu năng A-CiM của công nghệ bộ nhớ A-CiM mới nổi.
Ngoài ra, nghiên cứu còn tiến hành đánh giá benchmark hiệu năng của nhiều công nghệ tính toán trong bộ nhớ dạng tương tự (A-CiM) dựa trên các loại bộ nhớ mới nổi khi áp dụng cho mô hình AI quy mô lớn. Trong điều kiện diện tích chip bị hạn chế, các mảng bộ nhớ hai chiều (2D) do có dung lượng thấp nên ngay cả khi chỉ xử lý tác vụ suy luận cũng phải liên tục nạp lại tham số trọng số.
Ngược lại, nhờ mật độ siêu cao, mảng 3D FeNAND không cần cập nhật trọng số, và so với mảng bộ nhớ 2D, có thể đạt mức tăng thông lượng tối đa 16 lần và mức cải thiện hiệu quả năng lượng tối đa lên tới 4.950 lần.
Nghiên cứu này, thông qua thiết kế phối hợp đa tầng từ đơn vị lưu trữ, cấu trúc liên kết cho tới kiến trúc tính toán, đã đề xuất một hướng đi công nghệ đầy tiềm năng nhằm giải quyết nút thắt về hiệu quả năng lượng trong tính toán AI, hứa hẹn sẽ thúc đẩy sự phát triển của thế hệ phần cứng AI hiệu năng cao, tiết kiệm năng lượng trong tương lai.
Trong đó, ngoài công nghệ bộ nhớ flash NAND 5-bit mới nhất, còn có công nghệ 3D FeNAND nhằm đạt được hiệu suất năng lượng cao và gia tăng mạnh mẽ năng lực tính toán TOPS trên mỗi đơn vị công suất tiêu thụ. Theo trang Blocks and Files, SK Hynix hiện đã chế tạo thành công bộ nhớ flash NAND 5-bit. Tuy nhiên, việc làm thế nào để hiện thực hóa sản xuất hàng loạt với quy mô lớn theo cách hiệu quả về chi phí vẫn còn là vấn đề cần được xác định.
Bộ nhớ flash NAND 6-bit (HLC) truyền thống yêu cầu 64 trạng thái điện áp độc lập, trong khi SK Hynix chỉ cần 8 trạng thái độc lập.
Trong bối cảnh đó, tính toán trong bộ nhớ dạng tương tự (Analog Compute-in-Memory – A-CiM), với đặc tính tiêu thụ điện năng thấp và mức độ song song cao, được xem là một giải pháp tiềm năng. Tuy nhiên, phần lớn các phương án hiện có đều gặp khó khăn trong việc vừa đáp ứng hiệu suất năng lượng, vừa đạt được mật độ lưu trữ siêu cao cần thiết để hỗ trợ các mô hình AI lớn.
Trước thực tế này, SK Hynix đã đề xuất một giải pháp tính toán trong bộ nhớ dạng tương tự dựa trên NAND sắt điện ba chiều (3D FeNAND). Giải pháp này vừa đạt mức tiêu thụ điện năng thấp, vừa sở hữu mật độ lưu trữ cực cao. Dẫu vậy, công nghệ này vẫn phải đối mặt với một số thách thức, bao gồm:
- Điện trở nối tiếp quá lớn;
- Mức tiêu thụ điện năng khi chuyển mạch đường word line (WL) còn cao;
- Hiệu suất song song thấp do các phép nhân – cộng tích lũy (MAC) được thực hiện theo trình tự ở cấp trang.
(Trái) Sơ đồ cấu trúc của mảng FeNAND 3D cho các ứng dụng A-CiM. (Phải) Những thách thức của mảng FeNAND 3D cho các ứng dụng A-CiM và các tối ưu hóa đồng thời tương ứng.
Để giảm thiểu vấn đề này, nhóm nghiên cứu đã đưa kỹ thuật điều chế số lượng xung (pulse number modulation) vào 3D FeNAND. Trong điều kiện dòng điện thấp có xét đến hiện tượng sụt áp IR, phương án này thể hiện đặc tính lưu trữ đa mức vượt trội hơn, giúp tăng số lượng trạng thái đa mức khả dụng trên mỗi lớp xếp chồng word line.
(a) Sơ đồ cấu trúc của chuỗi FeNAND 3D. (b) Sự thay đổi dòng điện của ô FeNAND 3D theo xung lập trình. (c) Khả năng lưu trữ đa cấp của FeNAND 3D.
Do đó, bằng cách giảm hằng số RC của word line, hệ thống có thể tăng thông lượng tối đa lên 1,4 lần và nâng cao hiệu quả năng lượng tối đa lên 2,2 lần.
a) Sơ đồ mạch điện dung và điện trở ký sinh trong mảng FeNAND 3D. (b) Mối quan hệ giữa TOPS và TOPS/W và WL RC của mảng FeNAND 3D.
Về mặt tính toán, nhóm nghiên cứu đã tối ưu hóa phương thức tính toán song song của 3D FeNAND. Một mặt, thông qua việc cải tiến cơ chế pipeline trong trang (in-page pipelining, IPP), nhóm đã kết hợp sao chép mạng nơ-ron với ánh xạ mạng đa tầng, qua đó giảm số lần tính toán truyền thẳng (forward computation) cũng như số lần chuyển mạch word line.
Mặt khác, bằng cách nghiên cứu chiến lược tách trang (page-splitting), số lượng trang cần thiết cho các khối lượng công việc cụ thể được giảm xuống, từ đó tiếp tục nâng cao hiệu năng tổng thể của A-CiM.
(Bên trái) Sơ đồ minh họa phương pháp IPP: (S1) tham chiếu và (S2) IPP. (Bên phải) Sơ đồ minh họa phương pháp tách trang, với kích thước trang lần lượt là (P1) 16 KB và (P2) 4 KB.
(a) FeNAND 3D được tối ưu hóa đồng thời và (b) hiệu năng A-CiM của công nghệ bộ nhớ A-CiM mới nổi.
Ngoài ra, nghiên cứu còn tiến hành đánh giá benchmark hiệu năng của nhiều công nghệ tính toán trong bộ nhớ dạng tương tự (A-CiM) dựa trên các loại bộ nhớ mới nổi khi áp dụng cho mô hình AI quy mô lớn. Trong điều kiện diện tích chip bị hạn chế, các mảng bộ nhớ hai chiều (2D) do có dung lượng thấp nên ngay cả khi chỉ xử lý tác vụ suy luận cũng phải liên tục nạp lại tham số trọng số.
Ngược lại, nhờ mật độ siêu cao, mảng 3D FeNAND không cần cập nhật trọng số, và so với mảng bộ nhớ 2D, có thể đạt mức tăng thông lượng tối đa 16 lần và mức cải thiện hiệu quả năng lượng tối đa lên tới 4.950 lần.
Nghiên cứu này, thông qua thiết kế phối hợp đa tầng từ đơn vị lưu trữ, cấu trúc liên kết cho tới kiến trúc tính toán, đã đề xuất một hướng đi công nghệ đầy tiềm năng nhằm giải quyết nút thắt về hiệu quả năng lượng trong tính toán AI, hứa hẹn sẽ thúc đẩy sự phát triển của thế hệ phần cứng AI hiệu năng cao, tiết kiệm năng lượng trong tương lai.