Khi thị trường trí tuệ nhân tạo chuyển hướng sang suy luận, Samsung Electronics và SK hynix đang phát triển bộ nhớ flash băng thông cao (HBM), một dạng mở rộng của bộ nhớ băng thông cao, mặc dù chiến lược của họ trong giai đoạn tiếp theo của cuộc đua bộ nhớ AI lại khác nhau.
Với HBM hiện là một thành phần quan trọng của chip AI, hai nhà sản xuất bộ nhớ Hàn Quốc này đang tìm kiếm chỗ đứng sớm trong chu kỳ bộ nhớ thế hệ tiếp theo.
“Thị trường NAND đã phải đối mặt với sự suy giảm kéo dài do nhu cầu yếu và giá giảm, nhưng HBF có thể mở ra một cơ sở nhu cầu mới trong các trung tâm dữ liệu AI một khi nó được thương mại hóa,” một nguồn tin trong ngành giấu tên cho biết.
Theo các nguồn tin trong ngành hôm thứ Tư (4/2), Samsung Electronics và SK hynix đang áp dụng các phương pháp khác nhau đối với HBF. SK hynix duy trì chiến lược tập trung vào HBM trong khi định vị HBF dựa trên NAND như một giải pháp bổ sung. Ngược lại, Samsung được xem là đang định nghĩa lại vai trò của công nghệ này trong quá trình tái cấu trúc rộng hơn về kiến trúc bộ nhớ và lưu trữ AI.
HBM được thiết kế cho khả năng tính toán cực nhanh. Mặt khác, HBF đóng vai trò là lớp hỗ trợ cho việc lưu trữ dữ liệu quy mô lớn và truyền tải hiệu quả. Nó cung cấp tốc độ khoảng 80 đến 90% so với HBM, nhưng với dung lượng gấp 8 đến 16 lần và mức tiêu thụ điện năng thấp hơn khoảng 40%. Đối với các máy chủ huấn luyện và suy luận AI quy mô lớn, nó được mô tả rộng rãi là "bộ nhớ tầm trung" có thể giải quyết các nút thắt cổ chai của HBM.
Ưu điểm chính của nó là dung lượng. Trong khi HBM ưu tiên tốc độ xử lý, HBF có thể mở rộng quy mô lên đến 10 lần với chi phí thấp hơn, khiến nó trở thành ứng cử viên để giải quyết cả các hạn chế về giá cả và dung lượng liên quan đến HBM.
Về cấu trúc, HBF được phát triển bằng cách xếp chồng nhiều lớp bộ nhớ flash NAND, tương tự như cách HBM được xây dựng từ các lớp DRAM xếp chồng lên nhau. Các sản phẩm thế hệ đầu tiên dự kiến sẽ xếp chồng 16 lớp bộ nhớ flash NAND 32 gigabyte, cung cấp tổng cộng khoảng 512GB.
SK hynix cho biết trong cuộc họp báo cáo thu nhập tuần trước rằng họ đang phát triển HBF như một phần mở rộng của HBM. Nhà sản xuất chip này đang đặt mục tiêu bắt đầu sản xuất hàng loạt HBF vào năm tới và cũng đang hợp tác với SanDisk trong việc phát triển bộ nhớ dựa trên NAND thế hệ tiếp theo và các nỗ lực tiêu chuẩn hóa quốc tế liên quan.
Trọng tâm trong nỗ lực của họ là AIN B, một thiết kế tăng cường băng thông sử dụng NAND xếp chồng. SK hynix đang nghiên cứu các cấu hình trong đó HBF được ghép nối với HBM để giúp bù đắp những hạn chế về dung lượng trong các hệ thống suy luận AI. Họ cũng đang mở rộng hệ sinh thái của mình thông qua hợp tác với các công ty công nghệ toàn cầu và tham gia các sự kiện của Dự án Điện toán Mở (Open Compute Project).
Trong khi đó, Samsung Electronics đang nhấn mạnh vào việc cải tiến toàn diện kiến trúc bộ nhớ và lưu trữ AI. Tại một sự kiện lưu trữ toàn cầu gần đây, họ đã nêu ra các nhu cầu về cơ sở hạ tầng AI — hiệu năng, dung lượng, quản lý nhiệt và bảo mật — đồng thời giới thiệu một tầng thống nhất tích hợp bộ nhớ và lưu trữ.
Tận dụng chuyên môn về thiết kế logic và quy trình của bộ phận sản xuất chip, Samsung cũng đang xem xét các cách để cải thiện hiệu năng điều khiển và hiệu quả năng lượng trong các giải pháp dựa trên NAND thế hệ tiếp theo.
Các nhà quan sát trong ngành xem cách tiếp cận của Samsung như một nỗ lực nhằm định hình lại bối cảnh bộ nhớ và lưu trữ thế hệ tiếp theo — bao gồm cả HBF — xoay quanh môi trường suy luận AI.
“Khi nhu cầu về AI tiếp tục tăng trưởng, trọng tâm của thị trường bộ nhớ đang nhanh chóng chuyển từ DRAM và NAND truyền thống sang các sản phẩm băng thông cao,” một nguồn tin khác trong ngành, người yêu cầu giấu tên, cho biết.
“Cạnh tranh giành vị trí dẫn đầu có khả năng sẽ gay gắt hơn trong hai đến ba năm tới, đặc biệt là xung quanh các công nghệ như HBF và HBM4 thế hệ thứ sáu, được dự đoán sẽ trở thành các thành phần quan trọng của cơ sở hạ tầng trung tâm dữ liệu trong tương lai.”
Theo các công ty chứng khoán, thị trường HBF dự kiến sẽ tăng từ 1 tỷ đô la vào năm 2027 lên 12 tỷ đô la vào năm 2030. Với khả năng tăng băng thông đồng thời mở rộng dung lượng, nó được coi là công nghệ chủ chốt để đáp ứng nhu cầu ngày càng tăng trong các trung tâm dữ liệu AI.
Tuy nhiên, xét đến việc HBM — được phát triển vào năm 2015 — đã mất bảy đến tám năm để đạt được sức hút, HBF cũng có thể phải đối mặt với một quá trình phát triển dài hơi. Tuy nhiên, các nhà phân tích lưu ý rằng lĩnh vực bộ nhớ flash NAND dường như đang bước vào giai đoạn đầu của một sự chuyển đổi rộng lớn hơn.
Kim Joung-ho, giáo sư tại trường kỹ thuật điện thuộc Viện Khoa học và Công nghệ Tiên tiến Hàn Quốc, người tiên phong trong cấu trúc và khái niệm cơ bản của HBM, cho biết tại một cuộc họp báo ở Seoul hôm thứ Tư rằng nhu cầu về HBF sẽ vượt qua HBM bắt đầu từ năm 2038.
“Khi kiến trúc điện toán tập trung vào bộ nhớ — trong đó CPU, GPU và bộ nhớ được tích hợp hữu cơ trên một chip duy nhất — được hiện thực hóa hoàn toàn, khối lượng HBF cần thiết sẽ tăng lên đáng kể,” Kim nói.
Các nhà quan sát trong ngành dự đoán HBF sẽ được đưa vào các nền tảng mới từ Nvidia. Giáo sư nhấn mạnh rằng sau HBM, các nhà sản xuất bộ nhớ Hàn Quốc như Samsung và SK hynix cũng phải đảm bảo vị trí dẫn đầu trong lĩnh vực HBF để duy trì ảnh hưởng trên thị trường AI toàn cầu.