Công nghệ
Mô hình A.I. mới nhất của Google sử dụng dữ liệu văn bản nhiều hơn gần năm lần để đào tạo so với mô hình trước đó
Nam Phong - Thứ Tư, 17/05/2023 11:35 SA
Vietnet24h - Mô hình ngôn ngữ lớn PaLM 2 của Google đang sử dụng gần gấp năm lần lượng dữ liệu văn bản để đào tạo so với LLM tiền nhiệm của nó
Mô hình ngôn ngữ lớn mới của Google, mà công ty đã công bố vào tuần trước, sử dụng lượng dữ liệu đào tạo gần gấp năm lần so với mô hình ngôn ngữ tiền nhiệm từ năm 2022, cho phép nó thực hiện các tác vụ viết mã, toán học và sáng tạo nâng cao hơn.
 
PaLM 2, mô hình ngôn ngữ lớn sử dụng chung (LLM) mới của công ty đã được công bố tại Google I/O, được đào tạo trên 3,6 nghìn tỷ mã thông báo. Các mã thông báo, là các chuỗi từ, là một khối xây dựng quan trọng để đào tạo LLM, bởi vì chúng dạy cho mô hình dự đoán từ tiếp theo sẽ xuất hiện trong một chuỗi.
 
Phiên bản PaLM trước đây của Google, viết tắt của Mô hình ngôn ngữ con đường, được phát hành vào năm 2022 và được đào tạo trên 780 tỷ mã thông báo.
 
Mặc dù Google háo hức giới thiệu sức mạnh của công nghệ trí tuệ nhân tạo và cách nó có thể được nhúng vào tìm kiếm, email, xử lý văn bản và bảng tính, nhưng công ty đã không muốn công bố kích thước hoặc các chi tiết khác về dữ liệu đào tạo của mình. OpenAI, Microsoft
-người tạo ra ChatGPT được hỗ trợ, cũng đã giữ bí mật các chi tiết cụ thể của LLM mới nhất của mình có tên là GPT-4.
 
Các công ty cho biết lý do thiếu công bố thông tin là bản chất cạnh tranh của hoạt động kinh doanh. Google và OpenAI đang gấp rút thu hút những người dùng có thể muốn tìm kiếm thông tin bằng chatbot đàm thoại thay vì các công cụ tìm kiếm truyền thống.
 
Nhưng khi cuộc chạy đua AI đang nóng lên, cộng đồng nghiên cứu đang đòi hỏi sự minh bạch cao hơn.
 
Kể từ khi công bố PaLM 2, Google đã cho biết mô hình mới nhỏ hơn so với các LLM trước đó, điều này rất quan trọng vì điều đó có nghĩa là công nghệ của công ty đang trở nên hiệu quả hơn trong khi hoàn thành các tác vụ phức tạp hơn. PaLM 2, theo các tài liệu nội bộ, được đào tạo trên 340 tỷ tham số, một dấu hiệu cho thấy mức độ phức tạp của mô hình. PaLM ban đầu được đào tạo trên 540 tỷ thông số.
 
Google đã không đưa ra bình luận ngay lập tức cho câu chuyện này.

Google cho biết trong một bài đăng trên blog về PaLM 2 rằng mô hình này sử dụng một “kỹ thuật mới” được gọi là “mở rộng quy mô điện toán tối ưu”. Điều đó làm cho LLM “hiệu quả hơn với hiệu suất tổng thể tốt hơn, bao gồm suy luận nhanh hơn, cung cấp ít tham số hơn và chi phí phục vụ thấp hơn”.
 
Khi công bố PaLM 2, Google đã xác nhận báo cáo trước đây rằng, mô hình này được đào tạo trên 100 ngôn ngữ và thực hiện nhiều nhiệm vụ khác nhau. Nó đã được sử dụng để cung cấp năng lượng cho 25 tính năng và sản phẩm, bao gồm cả chatbot thử nghiệm Bard của công ty. Nó có bốn kích cỡ, từ nhỏ nhất đến lớn nhất: Tắc kè, Rái cá, Bò rừng và Kỳ lân.
 
PaLM 2 mạnh hơn bất kỳ mô hình hiện có nào, dựa trên các tiết lộ công khai. LLM của Facebook được gọi là LLaMA, được công bố vào tháng 2, được đào tạo trên 1,4 nghìn tỷ mã thông báo. Lần cuối cùng OpenAI chia sẻ quy mô đào tạo của ChatGPT là với GPT-3, khi công ty cho biết họ đã được đào tạo trên 300 tỷ mã thông báo vào thời điểm đó. OpenAI đã phát hành GPT-4 vào tháng 3 và cho biết nó thể hiện “hiệu suất ở cấp độ con người” trong nhiều bài kiểm tra chuyên nghiệp.
 
LaMDA, một LLM hội thoại mà Google đã giới thiệu hai năm trước và chào hàng vào tháng 2 cùng với Bard, đã được đào tạo trên 1,5 nghìn tỷ mã thông báo, theo các tài liệu mới nhất được CNBC xem.
 
Khi các ứng dụng AI mới nhanh chóng trở thành xu hướng chủ đạo, những tranh cãi xung quanh công nghệ cơ bản ngày càng gay gắt hơn.
 
El Mahdi El Mhamdi, một nhà khoa học cấp cao của Google Research, đã từ chức vào tháng Hai vì sự thiếu minh bạch của công ty. Vào thứ Ba, Giám đốc điều hành OpenAI Sam Altman đã làm chứng tại phiên điều trần của tiểu ban Tư pháp Thượng viện về quyền riêng tư và công nghệ, đồng thời đồng ý với các nhà lập pháp rằng cần có một hệ thống mới để đối phó với AI.
 
“Đối với một công nghệ rất mới, chúng tôi cần một khuôn khổ mới,” Altman nói. “Chắc chắn những công ty như công ty của chúng tôi chịu rất nhiều trách nhiệm đối với các công cụ mà chúng tôi đưa ra thế giới.”
Người đứng đầu ChatGPT sẽ điều trần trước Quốc hội Hoa Kỳ về trí tuệ nhân tạo Vietnet24h - Người đứng đầu công ty trí tuệ nhân tạo tạo ra ChatGPT sẽ điều trần trước Quốc hội (Hoa kỳ) khi các nhà lập pháp kêu gọi các quy tắc mới để hướng dẫn sự phát triển nhanh chóng của công nghệ AI.
Trí tuệ nhân tạo của Google đang đến với nhiều công ty gần bạn hơn Vietnet24h - Báo cáo tài chính, hoạt động tiếp thị hàng may mặc và trợ lý trò chuyện mà bạn tương tác có thể sớm phản ánh một nguồn gốc chung: trí tuệ nhân tạo từ Google.
Theo CNBC
Tin khác cùng chuyên mục
Tin đọc nhiều
Vì sao màn hình kép và AI khiến Yoga Book 9i trở nên khác biệt? Vietnet24h - Không phải là chiếc laptop đầu tiên có màn hình kép, nhưng Yoga Book 9i kết hợp công nghệ OLED, AI và thiết kế xoay gập linh hoạt theo cách mà rất ít sản phẩm trên thị trường có thể làm được. Đâu là điểm khiến nó trở thành công cụ mơ ước cho người làm sáng tạo?
Muốn dùng AI không cần mạng? Google đã có giải pháp mới cho bạn Vietnet24h - Không cần Wi-Fi, không cần 4G, bạn vẫn có thể tạo ảnh, viết code hay tóm tắt văn bản nhờ AI. Với AI Edge Gallery, Google mang trải nghiệm trí tuệ nhân tạo về ngay trong túi áo của bạn – gọn nhẹ, bảo mật và sẵn sàng mọi lúc.
Thiết kế siêu mỏng "đòi hỏi" đánh đổi – iPhone 17 Air và bài toán năng lượng Vietnet24h - Việc Apple chuẩn bị trình làng iPhone 17 Air với thiết kế siêu mỏng chỉ 5,5 mm, theo tiết lộ mới nhất từ tài khoản yeux1122 trên Naver, đang tạo ra nhiều kỳ vọng về mặt thẩm mỹ – nhưng cũng đồng thời đặt ra những dấu hỏi lớn về hiệu suất pin và trải nghiệm người dùng trong thực tế.
MediaTek ra mắt bộ xử lý AI cho Chromebook Plus Vietnet24h - MediaTek Inc., nhà thiết kế IC lớn nhất tại Đài Loan, đã giới thiệu bộ xử lý mới -- Kompanio Ultra -- vào thứ Hai, công ty mô tả đây là cột mốc mới nhất trong Chromebook hiệu suất cao, chạy bằng trí tuệ nhân tạo.
Chuẩn GPMI của Trung Quốc: ‘Một dây cáp cho mọi thiết bị’ Vietnet24h - GPMI được thiết kế để tối giản hóa kết nối số bằng cách gộp cả dữ liệu và điện năng vào một sợi cáp duy nhất. Nếu được phổ biến, đây có thể là bước ngoặt định hình lại hệ sinh thái điện tử trong tương lai.
Rò rỉ cách Apple sẽ làm cho màn hình bên trong của iPhone gập trở nên quen thuộc với người dùng iPad Vietnet24h - Chiếc điện thoại có thể gập đầu tiên của Apple dự kiến ​​sẽ được sản xuất hàng loạt vào cuối năm sau và có thể ra mắt vào quý 4 năm 2026 hoặc quý 1 năm 2027.
Alibaba cung cấp miễn phí mô hình tạo video AI trên toàn cầu Vietnet24h - Gã khổng lồ Trung Quốc cho biết họ đang mở mã nguồn bốn mô hình thuộc dòng Wan2.1, phiên bản mới nhất của mô hình AI nền tảng của công ty, có khả năng tạo hình ảnh và video từ dữ liệu đầu vào là văn bản và hình ảnh.
Từ Gmail đến Word, cài đặt quyền riêng tư và AI của bạn đang bước vào một mối quan hệ mới Vietnet24h - Các chương trình như Gmail, Microsoft và Facebook đã tồn tại trong nhiều năm qua đã âm thầm kích hoạt và tích hợp các tính năng AI.
AI trong Gmail, Word: Tiện ích hay mối đe dọa quyền riêng tư? Vietnet24h - AI đang dần xâm nhập vào mọi ngóc ngách của cuộc sống số, từ email đến sổ sách kế toán. Tuy nhiên, sự thiếu rõ ràng trong chính sách bảo mật khiến nhiều chuyên gia cảnh báo về nguy cơ dữ liệu cá nhân bị lạm dụng.
OpenAI bật mí 5 mẹo dùng ChatGPT mà bạn chưa biết Vietnet24h - Nick Turley, chuyên gia của OpenAI, tiết lộ các tính năng như tải tập tin, tạo GPT tùy chỉnh và sử dụng giọng nói, hứa hẹn thay đổi cách người dùng tương tác với ChatGPT.
Dữ liệu mới cho thấy chip Nvidia đạt được tiến bộ trong việc đào tạo các hệ thống AI lớn nhất Vietnet24h - Trong kết quả nhanh nhất cho chip mới của Nvidia, 2.496 chip Blackwell đã hoàn thành bài kiểm tra đào tạo trong 27 phút.
iPhone 17: Khi Apple buộc phải lắng nghe người dùng Vietnet24h - Từ màn hình lớn hơn đến tốc độ làm mới 120Hz, dòng iPhone 17 cho thấy Apple đang phá bỏ ranh giới giữa tiêu chuẩn và cao cấp. Đặc biệt, phiên bản iPhone 17 Air có thể là quân bài chiến lược để đối đầu trực tiếp với Samsung trong cuộc đua thiết kế mỏng nhẹ.
Nvidia vượt qua Microsoft, giành lại danh hiệu công ty có giá trị nhất lần đầu tiên kể từ tháng Giêng Vietnet24h - Nvidia đã vượt qua Microsoft về vốn hóa thị trường vào thứ Ba, một lần nữa trở thành công ty đại chúng có giá trị nhất thế giới.
Trung Quốc chỉ trích Trump vì 'lạm dụng' kiểm soát xuất khẩu chất bán dẫn Vietnet24h - Trung Quốc lên tiếng phản đối việc kiểm soát xuất khẩu chất bán dẫn của Hoa Kỳ để đáp trả cáo buộc của Trump rằng nền kinh tế lớn thứ hai thế giới đã vi phạm thỏa thuận thương mại sơ bộ giữa hai nước.
Tàu vũ trụ Starship của SpaceX phát nổ lần thứ ba liên tiếp Vietnet24h - SpaceX chứng kiến ​​hệ thống Starship của mình phát nổ vào thứ ba trong chuyến bay thử nghiệm, đây là thất bại thứ ba liên tiếp của nhà sản xuất tên lửa của Elon Musk.
Samsung sẽ bổ sung model Edge vào Galaxy S26 vào năm sau Vietnet24h - Samsung đang có kế hoạch bổ sung thêm một mẫu Edge vào dòng điện thoại thông minh Galaxy S26 của mình vào năm tới,
CEO Nvidia công bố sáng kiến ​​xây dựng siêu máy tính AI cho Đài Loan Vietnet24h - CEO Nvidia Huang Jensen công bố sáng kiến xây dựng "siêu máy tính AI khổng lồ đầu tiên" cho Đài Loan vào thứ Hai (19/5).
Samsung Display ra mắt tại Computex, tiết lộ màn hình OLED CNTT thế hệ tiếp theo Vietnet24h - Samsung Display đã công bố vào ngày 20 tháng 5 việc công ty sẽ lần đầu tiên tham gia Computex, triển lãm công nghệ thông tin (CNTT) lớn nhất châu Á được tổ chức tại Đài Loan, giới thiệu một loạt các tấm nền diode phát quang hữu cơ (OLED) hàng đầu trong ngành.
Nvidia công bố công nghệ mới để giữ vị trí trung tâm trong phát triển AI Vietnet24h - Chương trình “NVLink Fusion” mới của Nvidia sẽ cho phép khách hàng và đối tác sử dụng CPU và GPU không phải của Nvidia cùng với các sản phẩm của Nvidia và NVLink.
Nvidia, Cisco, Oracle và OpenAI đang hỗ trợ dự án trung tâm dữ liệu Stargate của UAE Vietnet24h - Các gã khổng lồ công nghệ Hoa Kỳ là Nvidia, Cisco, Oracle và OpenAI đang hỗ trợ trung tâm dữ liệu trí tuệ nhân tạo “UAE Stargate” được công bố trong tuần này.
LG Innotek ra mắt mô-đun xe truyền thông vệ tinh 5G đầu tiên trên thế giới Vietnet24h - Mô-đun mới nhất hỗ trợ 5G NR-NTN, một mạng truyền thông di động hoạt động trên các vệ tinh quỹ đạo Trái đất thấp, cho phép truyền dữ liệu khối lượng lớn theo thời gian thực.
Công nghệ như phim viễn tưởng: Đeo kính áp tròng, nhắm mắt vẫn thấy rõ! Vietnet24h - Ngỡ chỉ có trong phim Marvel, nhưng loại kính áp tròng siêu nhỏ gọn vừa ra đời tại Trung Quốc lại có thể giúp người dùng nhìn thấy trong đêm tối mà không cần mở mắt. Chuyện thật như đùa, nhưng khoa học đã chứng minh điều đó là khả thi.
Google, Samsung sẽ ra mắt kính thông minh XR trong năm nay Vietnet24h - Samsung bước lên vị trí dẫn đầu về phần cứng trong sự trở lại của kính thông minh Google, mở rộng vai trò trong hệ sinh thái XR đang phát triển
Neuralink: cấy chip não, biên tập video và đăng YouTube bằng suy nghĩ Vietnet24h - Trong một bước đột phá ấn tượng, Bradford Smith, người mắc bệnh ALS, đã chứng minh khả năng tuyệt vời của công nghệ giao diện não-máy tính (BCI) khi có thể biên tập video và đăng tải lên YouTube chỉ bằng suy nghĩ, mà không cần sự trợ giúp từ bất kỳ thiết bị hay người khác. Đây không chỉ là sự tiến bộ trong lĩnh vực công nghệ mà còn mang lại hy vọng mới cho những người khuyết tật vận động.
LG Display công bố màn hình OLED màu xanh huỳnh quang thương mại đầu tiên trên thế giới Vietnet24h - LG Display đã xác minh thành công hiệu suất sản xuất của tấm nền điốt phát quang hữu cơ phát quang màu xanh lam (OLED) cho dây chuyền sản xuất hàng loạt lần đầu tiên trên thế giới, công ty cho biết hôm thứ Năm (1/5).
Người Trung Quốc chuẩn bị bay như Iron Man! Vietnet24h - Một thiết bị bay cá nhân vừa được trình diễn tại Hàng Châu khiến nhiều người liên tưởng đến các bộ phim siêu anh hùng. Nhưng lần này, không phải Hollywood mà chính các nhà khoa học Trung Quốc mới là người hiện thực hóa giấc mơ bay cá nhân.
Công nghệ cấy ghép não được FDA chấp thuận cho Precision Neuroscience Vietnet24h - Precision Neuroscience thông báo rằng một thành phần cốt lõi của hệ thống cấy ghép não đã được Cục Quản lý Thực phẩm và Dược phẩm Hoa Kỳ chấp thuận.
Từ ghi hình kép đến UX sáng tạo: iPhone 17 Pro có thể mở ra chương mới trong thiết kế trải nghiệm Vietnet24h - Không chỉ là tính năng mới, ghi hình kép trên iPhone 17 Pro là phép thử đầu tiên cho cách Apple xây dựng trải nghiệm người dùng kiểu mới – nơi cảm xúc, phản ứng và câu chuyện của người quay trở thành trung tâm của mọi khung hình.
Kim loại lỏng: Apple đang thử nghiệm cho iPhone gập, bền hơn titan 2,5 lần Vietnet24h - Công nghệ bản lề kim loại lỏng có thể giúp iPhone gập không chỉ bền hơn mà còn có thiết kế sang trọng hơn. Liệu đây có phải là bước tiến lớn trong công nghệ smartphone gập?
Apple áp dụng kim loại lỏng cho iPhone gập, mở ra kỷ nguyên mới Vietnet24h - Apple được cho là sẽ sử dụng kim loại lỏng để chế tạo bản lề cho iPhone gập, giúp tăng độ bền và hạn chế nếp gấp màn hình. Công nghệ này có thể tạo ra bước đột phá trên thị trường smartphone gập.