Mô-đun bộ nhớ nén kích thước nhỏ SOCAMM2 (Small Outline Compression Attached Memory Module 2) mới đã được tối ưu hóa cho nền tảng Vera Rubin sắp ra mắt của Nvidia, cho thấy sự hợp tác ngày càng sâu rộng giữa hai công ty.
SOCAMM2 tích hợp 192 gigabyte bộ nhớ sử dụng DRAM LPDDR5X 10 nanomet (1c) thế hệ thứ sáu, một loại bộ nhớ tiết kiệm năng lượng thường được sử dụng trong các thiết bị di động. Không giống như các mô-đun máy chủ thông thường dựa trên DDR5 thông thường, thiết kế này xếp chồng các chip LPDDR theo chiều dọc để cải thiện hiệu quả năng lượng trong khi vẫn duy trì hiệu suất cao.
“Chúng tôi kỳ vọng SOCAMM2 sẽ giải quyết triệt để các nút thắt cổ chai về bộ nhớ trong quá trình huấn luyện và suy luận cho các mô hình ngôn ngữ lớn với hàng trăm tỷ tham số, giúp tăng tốc đáng kể hiệu suất hệ thống tổng thể,” SK hynix cho biết.
Theo công ty, SOCAMM2 cung cấp băng thông gấp hơn hai lần và hiệu suất năng lượng cao hơn 75% so với các mô-đun DDR5 RDIMM thông thường, rất phù hợp cho các tác vụ AI hiệu năng cao.
Hiệu suất cũng được cải thiện so với thế hệ trước, với tốc độ truyền dữ liệu tăng lên 9,6 gigabit/giây từ 8,5 Gbps trong SOCAMM1. Mô-đun được thiết kế với số lượng chân đầu vào/đầu ra – điểm tiếp xúc cho phép truyền dữ liệu – cao hơn so với DRAM truyền thống, giúp tăng cường thông lượng hơn nữa.
Những cải tiến về tốc độ và hiệu suất này dự kiến sẽ làm giảm tổng chi phí sở hữu cho các nhà điều hành trung tâm dữ liệu siêu quy mô, nơi các quyết định đầu tư không chỉ dựa trên chi phí GPU hoặc HBM mà còn dựa trên hiệu suất cấp rack, mức tiêu thụ điện năng, yêu cầu làm mát và hiệu quả hoạt động.
Mặc dù SOCAMM không đạt được băng thông cực cao như bộ nhớ băng thông cao, nhưng kiến trúc dựa trên LPDDR của nó cho phép quy trình sản xuất đơn giản hơn và năng suất cao hơn, mang lại lợi thế về chi phí trên mỗi dung lượng, một quan chức trong ngành cho biết.
SK hynix cho biết thêm, kiểu dáng mô-đun cũng đánh dấu sự khác biệt so với bộ nhớ LPDDR thông thường, vốn thường được hàn vào bo mạch và không thể thay thế, cho phép linh hoạt hơn trong thiết kế và bảo trì hệ thống.
SK hynix cho biết họ đã hợp tác chặt chẽ với Nvidia để tùy chỉnh SOCAMM2 cho nền tảng Vera Rubin, dự kiến ra mắt vào nửa cuối năm nay. Nhà sản xuất chip này cũng dự kiến sẽ cung cấp bộ nhớ HBM4 thế hệ tiếp theo cho nền tảng này.
Theo các quan chức trong ngành, SK hynix cho biết họ kỳ vọng việc sử dụng SOCAMM sẽ cho phép cấu trúc đa tầng bao gồm bộ nhớ băng thông cao, SOCAMM, DDR5 RDIMM và bộ nhớ mở rộng dựa trên CXL.
Một quan chức cho biết: “Trong hệ thống phân cấp này, SOCAMM đóng vai trò là lớp trung gian, xử lý dữ liệu ‘nóng’ được truy cập thường xuyên và đệm khối lượng công việc giữa HBM và bộ nhớ hệ thống để giảm tắc nghẽn”.
Chủ tịch kiêm người đứng đầu bộ phận Cơ sở hạ tầng AI của SK hynix, Kim Ju-seon, cho biết SOCAMM2 192GB thiết lập một chuẩn mực mới cho hiệu năng bộ nhớ AI.
“Chúng tôi sẽ củng cố vị thế của mình với tư cách là nhà cung cấp giải pháp bộ nhớ AI đáng tin cậy thông qua sự hợp tác chặt chẽ với các khách hàng AI toàn cầu,” ông Kim cho biết.