Thứ Hai đầu tuần này, Nvidia đã tiết lộ H200, một bộ xử lý đồ họa được thiết kế để đào tạo và triển khai các loại mô hình trí tuệ nhân tạo đang thúc đẩy sự bùng nổ AI.
GPU mới là bản nâng cấp từ H100, con chip mà OpenAI sử dụng để đào tạo mô hình ngôn ngữ lớn tiên tiến nhất của hãng, GPT-4. Các công ty lớn, các công ty khởi nghiệp và các cơ quan chính phủ đều đang cạnh tranh để có được nguồn cung chip hạn chế.
Theo ước tính của Raymond James, chip H100 có giá từ 25.000 đến 40.000 USD và cần hàng nghìn con chip này làm việc cùng nhau để tạo ra những mô hình lớn nhất trong một quy trình gọi là “đào tạo”.
Sự phấn khích đối với GPU AI của Nvidia đã khiến cổ phiếu của công ty tăng vọt, tăng hơn 230% tính đến thời điểm hiện tại trong năm 2023. Nvidia dự kiến doanh thu khoảng 16 tỷ USD trong quý tài chính thứ ba, tăng 170% so với một năm trước.
Cải tiến quan trọng của H200 là nó bao gồm 141GB bộ nhớ “HBM3” thế hệ tiếp theo sẽ giúp chip thực hiện “suy luận” hoặc sử dụng một mô hình lớn sau khi được đào tạo để tạo văn bản, hình ảnh hoặc dự đoán.
Nvidia cho biết H200 sẽ tạo ra sản lượng nhanh gần gấp đôi so với H100. Điều đó dựa trên thử nghiệm sử dụng Llama 2 LLM của Meta.
H200 dự kiến xuất xưởng vào quý 2 năm 2024 sẽ cạnh tranh với GPU MI300X của AMD. Chip của AMD, tương tự như H200, có bộ nhớ bổ sung so với các phiên bản tiền nhiệm, giúp phù hợp với các mẫu phần cứng lớn để chạy suy luận.
Nvidia cho biết H200 sẽ tương thích với H100, nghĩa là các công ty AI đang đào tạo với mẫu trước đó sẽ không cần thay đổi hệ thống máy chủ hoặc phần mềm của họ để sử dụng phiên bản mới.
Nvidia cho biết nó sẽ có sẵn ở cấu hình máy chủ 4 GPU hoặc 8 GPU trên hệ thống hoàn chỉnh HGX của công ty, cũng như trong một con chip có tên GH200, kết hợp GPU H200 với bộ xử lý dựa trên Arm.
Tuy nhiên, H200 có thể không giữ được ngôi vương chip AI Nvidia nhanh nhất trong thời gian dài.
Trong khi các công ty như Nvidia cung cấp nhiều cấu hình chip khác nhau, chất bán dẫn mới thường có một bước tiến lớn cứ sau hai năm, khi các nhà sản xuất chuyển sang một kiến trúc khác giúp mang lại hiệu suất tăng đáng kể hơn so với việc thêm bộ nhớ hoặc các tối ưu hóa nhỏ hơn khác. Cả H100 và H200 đều dựa trên kiến trúc Hopper của Nvidia.
Vào tháng 10, Nvidia đã thông báo với các nhà đầu tư rằng họ sẽ chuyển từ mô hình kiến trúc hai năm sang mô hình phát hành một năm do nhu cầu cao về GPU. Công ty đã trình chiếu một slide gợi ý rằng họ sẽ công bố và phát hành chip B100, dựa trên kiến trúc Blackwell sắp ra mắt vào năm 2024.