Mô hình ngôn ngữ lớn mới của Google, mà công ty đã công bố vào tuần trước, sử dụng lượng dữ liệu đào tạo gần gấp năm lần so với mô hình ngôn ngữ tiền nhiệm từ năm 2022, cho phép nó thực hiện các tác vụ viết mã, toán học và sáng tạo nâng cao hơn.
PaLM 2, mô hình ngôn ngữ lớn sử dụng chung (LLM) mới của công ty đã được công bố tại Google I/O, được đào tạo trên 3,6 nghìn tỷ mã thông báo. Các mã thông báo, là các chuỗi từ, là một khối xây dựng quan trọng để đào tạo LLM, bởi vì chúng dạy cho mô hình dự đoán từ tiếp theo sẽ xuất hiện trong một chuỗi.
Phiên bản PaLM trước đây của Google, viết tắt của Mô hình ngôn ngữ con đường, được phát hành vào năm 2022 và được đào tạo trên 780 tỷ mã thông báo.
Mặc dù Google háo hức giới thiệu sức mạnh của công nghệ trí tuệ nhân tạo và cách nó có thể được nhúng vào tìm kiếm, email, xử lý văn bản và bảng tính, nhưng công ty đã không muốn công bố kích thước hoặc các chi tiết khác về dữ liệu đào tạo của mình. OpenAI, Microsoft
-người tạo ra ChatGPT được hỗ trợ, cũng đã giữ bí mật các chi tiết cụ thể của LLM mới nhất của mình có tên là GPT-4.
Các công ty cho biết lý do thiếu công bố thông tin là bản chất cạnh tranh của hoạt động kinh doanh. Google và OpenAI đang gấp rút thu hút những người dùng có thể muốn tìm kiếm thông tin bằng chatbot đàm thoại thay vì các công cụ tìm kiếm truyền thống.
Nhưng khi cuộc chạy đua AI đang nóng lên, cộng đồng nghiên cứu đang đòi hỏi sự minh bạch cao hơn.
Kể từ khi công bố PaLM 2, Google đã cho biết mô hình mới nhỏ hơn so với các LLM trước đó, điều này rất quan trọng vì điều đó có nghĩa là công nghệ của công ty đang trở nên hiệu quả hơn trong khi hoàn thành các tác vụ phức tạp hơn. PaLM 2, theo các tài liệu nội bộ, được đào tạo trên 340 tỷ tham số, một dấu hiệu cho thấy mức độ phức tạp của mô hình. PaLM ban đầu được đào tạo trên 540 tỷ thông số.
Google đã không đưa ra bình luận ngay lập tức cho câu chuyện này.
Google cho biết trong một bài đăng trên blog về PaLM 2 rằng mô hình này sử dụng một “kỹ thuật mới” được gọi là “mở rộng quy mô điện toán tối ưu”. Điều đó làm cho LLM “hiệu quả hơn với hiệu suất tổng thể tốt hơn, bao gồm suy luận nhanh hơn, cung cấp ít tham số hơn và chi phí phục vụ thấp hơn”.
Khi công bố PaLM 2, Google đã xác nhận báo cáo trước đây rằng, mô hình này được đào tạo trên 100 ngôn ngữ và thực hiện nhiều nhiệm vụ khác nhau. Nó đã được sử dụng để cung cấp năng lượng cho 25 tính năng và sản phẩm, bao gồm cả chatbot thử nghiệm Bard của công ty. Nó có bốn kích cỡ, từ nhỏ nhất đến lớn nhất: Tắc kè, Rái cá, Bò rừng và Kỳ lân.
PaLM 2 mạnh hơn bất kỳ mô hình hiện có nào, dựa trên các tiết lộ công khai. LLM của Facebook được gọi là LLaMA, được công bố vào tháng 2, được đào tạo trên 1,4 nghìn tỷ mã thông báo. Lần cuối cùng OpenAI chia sẻ quy mô đào tạo của ChatGPT là với GPT-3, khi công ty cho biết họ đã được đào tạo trên 300 tỷ mã thông báo vào thời điểm đó. OpenAI đã phát hành GPT-4 vào tháng 3 và cho biết nó thể hiện “hiệu suất ở cấp độ con người” trong nhiều bài kiểm tra chuyên nghiệp.
LaMDA, một LLM hội thoại mà Google đã giới thiệu hai năm trước và chào hàng vào tháng 2 cùng với Bard, đã được đào tạo trên 1,5 nghìn tỷ mã thông báo, theo các tài liệu mới nhất được CNBC xem.
Khi các ứng dụng AI mới nhanh chóng trở thành xu hướng chủ đạo, những tranh cãi xung quanh công nghệ cơ bản ngày càng gay gắt hơn.
El Mahdi El Mhamdi, một nhà khoa học cấp cao của Google Research, đã từ chức vào tháng Hai vì sự thiếu minh bạch của công ty. Vào thứ Ba, Giám đốc điều hành OpenAI Sam Altman đã làm chứng tại phiên điều trần của tiểu ban Tư pháp Thượng viện về quyền riêng tư và công nghệ, đồng thời đồng ý với các nhà lập pháp rằng cần có một hệ thống mới để đối phó với AI.
“Đối với một công nghệ rất mới, chúng tôi cần một khuôn khổ mới,” Altman nói. “Chắc chắn những công ty như công ty của chúng tôi chịu rất nhiều trách nhiệm đối với các công cụ mà chúng tôi đưa ra thế giới.”