Ba công ty đã ký kết thỏa thuận hợp tác hôm thứ Năm để xây dựng giải pháp máy chủ kết hợp bộ xử lý trung tâm dữ liệu mới của Arm, Arm AGI CPU, với chip AI sắp ra mắt của Rebellion, RebelCard, dự kiến phát hành vào quý 3.
SK Telecom đang hợp tác với Arm và công ty khởi nghiệp chip AI Hàn Quốc Rebellion để phát triển cơ sở hạ tầng trung tâm dữ liệu AI, khi ngành công nghiệp chuyển từ huấn luyện mô hình sang suy luận, nhà mạng di động Hàn Quốc cho biết hôm thứ Sáu.
Ba công ty đã ký kết thỏa thuận hợp tác hôm thứ Năm để xây dựng giải pháp máy chủ kết hợp bộ xử lý trung tâm dữ liệu mới của Arm, Arm AGI CPU, với chip AI sắp ra mắt của Rebellion, RebelCard, dự kiến phát hành vào quý 3.
SK Telecom cho biết nhu cầu trên thị trường AI đang chuyển từ việc huấn luyện các mô hình ngôn ngữ lớn sang chạy chúng trong các ứng dụng thực tế.
Không giống như khối lượng công việc huấn luyện, suy luận phải hoạt động liên tục, khiến hiệu quả năng lượng trở thành yếu tố then chốt trong chi phí vận hành. Các công ty đặt mục tiêu giảm mức tiêu thụ điện năng bằng cách sử dụng các đơn vị xử lý thần kinh của Rebellion, được thiết kế đặc biệt cho quá trình xử lý suy luận AI.
CPU AGI của Arm là chip trung tâm dữ liệu nội bộ đầu tiên được tạo ra dành riêng cho suy luận AI, trong khi RebelCard của Rebellion được thiết kế để đạt hiệu suất cao trong các khối lượng công việc suy luận quy mô lớn.
Hai công ty đã trình diễn giải pháp kết hợp này tại sự kiện "Arm Everywhere" ở San Francisco vào tháng 3, chạy một dịch vụ AI tác nhân thời gian thực dựa trên mô hình GPT 120 tỷ tham số, nhấn mạnh tính khả thi thương mại của nó.
SKT cho biết họ có kế hoạch triển khai giải pháp mới này trong các trung tâm dữ liệu AI của mình để kiểm tra hiệu suất và độ ổn định. Công ty cũng đang xem xét việc sử dụng mô hình nền tảng độc quyền của mình, A.X K1, trên hệ thống này, như một phần của chiến lược rộng hơn nhằm cung cấp cơ sở hạ tầng và phần mềm AI tích hợp.
"Bằng cách kết hợp cơ sở hạ tầng được tối ưu hóa cho suy luận với mô hình nền tảng độc quyền của chúng tôi, chúng tôi đặt mục tiêu tăng cường khả năng cạnh tranh của mình trong các trung tâm dữ liệu AI," Lee Jae-shin, người đứng đầu bộ phận phát triển kinh doanh AI tại SKT, cho biết.
Phó chủ tịch Arm, Eddie Ramirez, cho biết sự tăng trưởng nhanh chóng của suy luận đang thúc đẩy nhu cầu về các kiến trúc trung tâm dữ liệu mới được tối ưu hóa cho việc triển khai quy mô lớn.
Giám đốc công nghệ của Rebellion, Oh Jin-wook, cho biết sự hợp tác này đã kết hợp những thế mạnh bổ sung cho nhau về phần cứng và phần mềm, đồng thời tạo tiền lệ cho việc xây dựng cơ sở hạ tầng chuyên biệt về trí tuệ nhân tạo.