Trong một tòa nhà văn phòng nằm ở phía nam Seoul, hàng chục con chip được đặt cạnh nhau trên kệ, mỗi con chip nằm cạnh một chiếc quạt điện riêng để làm mát khi nó hoạt động.
Những con chip này, được gọi là ATOM, là các đơn vị xử lý thần kinh (NPU) mới nhất được phát triển bởi công ty khởi nghiệp Rebellions của Hàn Quốc, nhắm đến các mô hình AI có tới 7 tỷ tham số. Hiệu suất của chúng đang được thử nghiệm và so sánh với một số GPU A100 của Nvidia, được đặt trong một phòng riêng trên cùng một tầng.
Được coi là thế hệ chip AI tiếp theo, NPU là bộ xử lý được tối ưu hóa cho các hoạt động ma trận đồng thời, nghĩa là chúng tiến thêm một bước trong lĩnh vực học sâu so với các bộ xử lý trung tâm (CPU) và bộ xử lý đồ họa (GPU) đa năng.
Rebellions, công ty khởi nghiệp về chip AI cao cấp do 5 kỹ sư Hàn Quốc đồng sáng lập vào năm 2020 để tập trung vào suy luận AI thay vì đào tạo, được coi là hy vọng tốt nhất để sánh ngang hoặc cạnh tranh với Nvidia trong lĩnh vực đó.
Park Sung-hyun, Giám đốc điều hành và đồng sáng lập của Rebellions, cho biết trong một cuộc phỏng vấn đầu tuần qua rằng, ATOM sẽ được sản xuất hàng loạt bằng công nghệ 5nm của Samsung vào nửa đầu năm 2024.
Đó sẽ là một cột mốc quan trọng đối với ngành công nghiệp chip Hàn Quốc, vì ATOM sẽ là chip được phát triển trong nước đầu tiên hỗ trợ các mô hình ngôn ngữ ở cấp độ sản xuất hàng loạt.
Park Sung-hyun, CEO và đồng sáng lập của Rebellions.
Park cho biết: “Chúng tôi tiết kiệm năng lượng hơn nhiều so với GPU của Nvidia trong suy luận AI,” Park nói, đề cập đến quá trình chạy dữ liệu trực tiếp thông qua mô hình AI được đào tạo để đưa ra dự đoán hoặc giải quyết một nhiệm vụ. Ông nói thêm rằng ATOM tiết kiệm năng lượng hơn tới 5 lần so với A100 của Nvidia, với độ trễ chỉ bằng một nửa – thước đo tốc độ cho chip – của Nvidia A2 trong bài kiểm tra điểm chuẩn suy luận mô hình ngôn ngữ.
Trực quan hơn, chip ATOM chỉ cần quạt để làm mát, trong khi chip Nvidia cần hoạt động trong môi trường máy lạnh – đồng nghĩa với việc tiêu thụ nhiều điện năng hơn và chi phí vận hành cao hơn.
Sự trỗi dậy của Rebellions xảy ra khi ngành công nghiệp bán dẫn toàn cầu đang trong một cuộc chiến nảy lửa về chip AI, được thúc đẩy bởi sự phổ biến rộng rãi của ChatGPT của openAI và nhu cầu ngày càng tăng về GPU Nvidia để cung cấp sức mạnh tính toán khổng lồ mà LLM cần.
Hàn Quốc, nổi tiếng với vị thế trong lĩnh vực sản xuất chip nhớ, đang sẵn sàng có được chỗ đứng vững chắc trong thị trường đang bùng nổ này. Chẳng hạn, Samsung Electronics đang đối đầu với TSMC để thách thức sự thống trị của họ trong lĩnh vực sản xuất chip AI, trong khi chính phủ Hàn Quốc đặt mục tiêu tăng tỷ lệ chip AI được phát triển trong nước trong các trung tâm dữ liệu trong nước lên 80% vào năm 2030.
Rebellions đã giành được sự hỗ trợ từ một số tên tuổi lớn nhất trong ngành công nghệ Hàn Quốc – bao gồm Samsung, KT và Kakao.
Vào tháng 1, Rebellions đã hoàn thành vòng cấp vốn mới nhất với tổng trị giá 124 triệu USD, dẫn đầu là KT, cho đến nay đã đầu tư hơn 50 triệu USD vào công ty khởi nghiệp. Điều đó đã nâng mức định giá của Rebellions lên 650 triệu USD, trở thành công ty khởi nghiệp về chip được tài trợ nhiều nhất tại Hàn Quốc.
Park cho biết việc đi vào sản xuất hàng loạt sẽ là động lực lớn cho doanh thu của công ty sau nhiều năm ở giai đoạn nguyên mẫu. Theo Park, KT, nhà khai thác viễn thông lớn thứ hai và công ty trung tâm dữ liệu lớn nhất Hàn Quốc, sẽ trở thành khách hàng đầu tiên của Rebellions sau khi công ty này bắt đầu sản xuất hàng loạt ATOM. Ông tin rằng các công ty viễn thông là khách hàng lý tưởng nhất cho chip AI.
“Tương lai của ngành AI sẽ là cuộc chơi về cơ sở hạ tầng. Các công ty viễn thông sẵn sàng đầu tư số tiền lớn vào việc xây dựng các trung tâm dữ liệu”, ông nói.
Park cũng hy vọng sự hợp tác với công ty trung tâm dữ liệu lớn nhất Hàn Quốc sẽ đóng vai trò là điểm tham chiếu cho việc mở rộng toàn cầu của công ty, đặc biệt là tại thị trường Mỹ. Park cho biết, công ty đã đàm phán với một số công ty siêu quy mô lớn của Hoa Kỳ như IBM.
Park, người tốt nghiệp MIT năm 2014 với bằng Tiến sĩ về kỹ thuật điện và khoa học máy tính, đã dành sáu năm phát triển chip ở Mỹ, làm việc cho các công ty trong đó có bộ phận nghiên cứu của Samsung ở Mỹ, Intel và SpaceX.
Mặc dù có kinh nghiệm trong ngành công nghiệp chip của Hoa Kỳ, Park vẫn nhận thấy cơ hội tốt hơn để thành lập công ty bán dẫn ở Hàn Quốc. Ông nói: “Trong hệ sinh thái phần cứng bán dẫn, châu Á sẽ là khu vực lớn tiếp theo”. “Hàn Quốc và Đài Loan đang bắt kịp”.
Park trở về quê hương và thành lập Rebellions vào năm 2020, cùng với Oh Jin-wook – một chuyên gia chip AI khác của Hàn Quốc có kiến thức nền tảng về ngành ở Hoa Kỳ – cùng với những người đồng sáng lập khác.
Đối với Park, đó không phải là một quyết định dễ dàng, vì hầu hết mạng lưới ngành của ông vào thời điểm đó đều nằm trong nhóm phiến quân Hoa Kỳ. Các thành viên ban đầu trong nhóm nổi dậy bao gồm các nhân vật từ IBM, Intel và Apple, cũng như Samsung USA.
ATOM, NPU thế hệ thứ hai của Rebellions, nhắm đến các mô hình AI có tới 7 tỷ thông số chỉ bằng một con chip.
Hiện nay, công ty có khoảng 120 nhân viên trong đó có gần 100 kỹ sư. Theo Park, khi nhóm mở rộng qua nhiều năm, nhóm đã thu hút được các chuyên gia có nền tảng địa phương, trong đó những người đến từ các công ty dấu chấm phẩy lớn của Hàn Quốc chiếm gần 70% nhân viên.
Rebellions ra mắt sản phẩm đầu tiên mang tên ION vào năm 2021, nhắm đến các nhiệm vụ AI trong ngành tài chính bằng chip do TSMC sản xuất. Sau đó, công ty quyết định tái tập trung vào chip cho các mô hình AI sau khi nhận thấy nhu cầu cao hơn từ các công ty trung tâm dữ liệu thay vì các công ty tài chính.
Samsung, nhà sản xuất chip lớn nhất Hàn Quốc, là đối tác sản xuất ATOM của Rebellions. Hai công ty đã tăng cường hợp tác vào tháng 10 năm ngoái bằng cách công bố kế hoạch cùng phát triển REBEL, NPU thế hệ tiếp theo của công ty khởi nghiệp sau ATOM, được thiết lập để nhắm mục tiêu LLM có kích thước tham số lớn hơn và so sánh với GPU H200 thông số kỹ thuật hàng đầu của Nvidia trong các tác vụ suy luận.
Park đang đặt hy vọng lớn hơn vào REBEL, dự kiến sẽ hoàn thành quá trình phát triển và bắt đầu sản xuất hàng loạt vào nửa cuối năm nay, sử dụng quy trình chế tạo 4nm của Samsung.
Khi thị trường AI tổng hợp tiếp tục mở rộng, Park kỳ vọng nhu cầu về chip suy luận sẽ trở thành điểm tăng trưởng quan trọng.
Park cho biết: “Lưu lượng đào tạo AI phụ thuộc vào số lượng nhà phát triển, trong khi lưu lượng suy luận AI tăng lên khi số lượng người dùng cuối tăng lên”. “Hiện tại, thị trường đào tạo và suy luận đã chiếm gần một nửa, nhưng lưu lượng suy luận sẽ cao hơn nhiều trong tương lai.”
Trong vòng hai năm rưỡi, Park đã thấy thị phần của công ty tại thị trường LLM Hàn Quốc tăng lên 30% về nhiệm vụ suy luận và chiếm “ít nhất 3 đến 5%” trên toàn cầu. Theo các nhà phân tích, hiện tại, Nvidia được ước tính chiếm thị phần khổng lồ lên tới 90% trên thị trường chip AI toàn cầu.
Park nói: “Nếu bạn chỉ nắm bắt được một phần nhỏ của thị trường LLM thì con số đó đã là rất lớn rồi”.