Văn hóa - Thể thao
Mô hình A.I. mới nhất của Google sử dụng dữ liệu văn bản nhiều hơn gần năm lần để đào tạo so với mô hình trước đó
Nam Phong - Thứ Tư, 17/05/2023 11:35 SA
Vietnet24h - Mô hình ngôn ngữ lớn PaLM 2 của Google đang sử dụng gần gấp năm lần lượng dữ liệu văn bản để đào tạo so với LLM tiền nhiệm của nó
Mô hình ngôn ngữ lớn mới của Google, mà công ty đã công bố vào tuần trước, sử dụng lượng dữ liệu đào tạo gần gấp năm lần so với mô hình ngôn ngữ tiền nhiệm từ năm 2022, cho phép nó thực hiện các tác vụ viết mã, toán học và sáng tạo nâng cao hơn.
 
PaLM 2, mô hình ngôn ngữ lớn sử dụng chung (LLM) mới của công ty đã được công bố tại Google I/O, được đào tạo trên 3,6 nghìn tỷ mã thông báo. Các mã thông báo, là các chuỗi từ, là một khối xây dựng quan trọng để đào tạo LLM, bởi vì chúng dạy cho mô hình dự đoán từ tiếp theo sẽ xuất hiện trong một chuỗi.
 
Phiên bản PaLM trước đây của Google, viết tắt của Mô hình ngôn ngữ con đường, được phát hành vào năm 2022 và được đào tạo trên 780 tỷ mã thông báo.
 
Mặc dù Google háo hức giới thiệu sức mạnh của công nghệ trí tuệ nhân tạo và cách nó có thể được nhúng vào tìm kiếm, email, xử lý văn bản và bảng tính, nhưng công ty đã không muốn công bố kích thước hoặc các chi tiết khác về dữ liệu đào tạo của mình. OpenAI, Microsoft
-người tạo ra ChatGPT được hỗ trợ, cũng đã giữ bí mật các chi tiết cụ thể của LLM mới nhất của mình có tên là GPT-4.
 
Các công ty cho biết lý do thiếu công bố thông tin là bản chất cạnh tranh của hoạt động kinh doanh. Google và OpenAI đang gấp rút thu hút những người dùng có thể muốn tìm kiếm thông tin bằng chatbot đàm thoại thay vì các công cụ tìm kiếm truyền thống.
 
Nhưng khi cuộc chạy đua AI đang nóng lên, cộng đồng nghiên cứu đang đòi hỏi sự minh bạch cao hơn.
 
Kể từ khi công bố PaLM 2, Google đã cho biết mô hình mới nhỏ hơn so với các LLM trước đó, điều này rất quan trọng vì điều đó có nghĩa là công nghệ của công ty đang trở nên hiệu quả hơn trong khi hoàn thành các tác vụ phức tạp hơn. PaLM 2, theo các tài liệu nội bộ, được đào tạo trên 340 tỷ tham số, một dấu hiệu cho thấy mức độ phức tạp của mô hình. PaLM ban đầu được đào tạo trên 540 tỷ thông số.
 
Google đã không đưa ra bình luận ngay lập tức cho câu chuyện này.

Google cho biết trong một bài đăng trên blog về PaLM 2 rằng mô hình này sử dụng một “kỹ thuật mới” được gọi là “mở rộng quy mô điện toán tối ưu”. Điều đó làm cho LLM “hiệu quả hơn với hiệu suất tổng thể tốt hơn, bao gồm suy luận nhanh hơn, cung cấp ít tham số hơn và chi phí phục vụ thấp hơn”.
 
Khi công bố PaLM 2, Google đã xác nhận báo cáo trước đây rằng, mô hình này được đào tạo trên 100 ngôn ngữ và thực hiện nhiều nhiệm vụ khác nhau. Nó đã được sử dụng để cung cấp năng lượng cho 25 tính năng và sản phẩm, bao gồm cả chatbot thử nghiệm Bard của công ty. Nó có bốn kích cỡ, từ nhỏ nhất đến lớn nhất: Tắc kè, Rái cá, Bò rừng và Kỳ lân.
 
PaLM 2 mạnh hơn bất kỳ mô hình hiện có nào, dựa trên các tiết lộ công khai. LLM của Facebook được gọi là LLaMA, được công bố vào tháng 2, được đào tạo trên 1,4 nghìn tỷ mã thông báo. Lần cuối cùng OpenAI chia sẻ quy mô đào tạo của ChatGPT là với GPT-3, khi công ty cho biết họ đã được đào tạo trên 300 tỷ mã thông báo vào thời điểm đó. OpenAI đã phát hành GPT-4 vào tháng 3 và cho biết nó thể hiện “hiệu suất ở cấp độ con người” trong nhiều bài kiểm tra chuyên nghiệp.
 
LaMDA, một LLM hội thoại mà Google đã giới thiệu hai năm trước và chào hàng vào tháng 2 cùng với Bard, đã được đào tạo trên 1,5 nghìn tỷ mã thông báo, theo các tài liệu mới nhất được CNBC xem.
 
Khi các ứng dụng AI mới nhanh chóng trở thành xu hướng chủ đạo, những tranh cãi xung quanh công nghệ cơ bản ngày càng gay gắt hơn.
 
El Mahdi El Mhamdi, một nhà khoa học cấp cao của Google Research, đã từ chức vào tháng Hai vì sự thiếu minh bạch của công ty. Vào thứ Ba, Giám đốc điều hành OpenAI Sam Altman đã làm chứng tại phiên điều trần của tiểu ban Tư pháp Thượng viện về quyền riêng tư và công nghệ, đồng thời đồng ý với các nhà lập pháp rằng cần có một hệ thống mới để đối phó với AI.
 
“Đối với một công nghệ rất mới, chúng tôi cần một khuôn khổ mới,” Altman nói. “Chắc chắn những công ty như công ty của chúng tôi chịu rất nhiều trách nhiệm đối với các công cụ mà chúng tôi đưa ra thế giới.”
Người đứng đầu ChatGPT sẽ điều trần trước Quốc hội Hoa Kỳ về trí tuệ nhân tạo Vietnet24h - Người đứng đầu công ty trí tuệ nhân tạo tạo ra ChatGPT sẽ điều trần trước Quốc hội (Hoa kỳ) khi các nhà lập pháp kêu gọi các quy tắc mới để hướng dẫn sự phát triển nhanh chóng của công nghệ AI.
Trí tuệ nhân tạo của Google đang đến với nhiều công ty gần bạn hơn Vietnet24h - Báo cáo tài chính, hoạt động tiếp thị hàng may mặc và trợ lý trò chuyện mà bạn tương tác có thể sớm phản ánh một nguồn gốc chung: trí tuệ nhân tạo từ Google.
Theo CNBC
Tin khác cùng chuyên mục
Tin đọc nhiều
Cổ phiếu Super Micro giảm do kế hoạch chào bán trái phiếu chuyển đổi trị giá 2 tỷ đô la Vietnet24h - Cổ phiếu của Super Micro Computer đã giảm vào thứ Hai sau khi nhà sản xuất máy chủ này công bố kế hoạch phát hành trái phiếu chuyển đổi trị giá 2 tỷ đô la.
Cổ phiếu AMD tăng 9% sau khi các nhà phân tích kỳ vọng một sự 'phục hồi' cho nhà sản xuất chip Vietnet24h - Đó là thời điểm các nhà phân tích kỳ vọng nhà sản xuất chip này sẽ phải chịu phần lớn khoản phí 800 triệu đô la mà AMD cho biết sẽ phải chịu do xuất khẩu sang Trung Quốc.
Cổ phiếu SK Hynix tăng vọt lên mức cao nhất trong hơn 2 thập kỷ Vietnet24h - Cổ phiếu của SK Hynix của Hàn Quốc đã mở rộng mức tăng lên mức cao nhất trong hơn 2 thập kỷ vào thứ Ba. Công ty mẹ của công ty, SK Group, được cho là có kế hoạch xây dựng trung tâm dữ liệu AI hợp tác với Amazon Web Services tại Ulsan.
Thế giới có thể phải đối mặt với một "cú sốc Trung Quốc" khác, nhưng nó cũng đi kèm với một tia hy vọng Vietnet24h - Sự gia tăng sản xuất của Trung Quốc đang lan rộng khắp thị trường toàn cầu, gây lo ngại ở châu Á rằng làn sóng nhập khẩu giá rẻ có thể gây sức ép lên các ngành công nghiệp địa phương.
Cổ phiếu của Microsoft đạt kỷ lục mới, giành lại vị trí công ty có giá trị vốn hóa lớn nhất thế giới Vietnet24h - Cổ phiếu Microsoft đã đạt mức kỷ lục đầu tiên vào thứ năm kể từ tháng 7 năm 2024.
Cổ phiếu Tesla tăng 22% vào tháng 5 khi Elon Musk kết thúc thời gian với DOGE của Trump Vietnet24h - Cổ phiếu của hãng sản xuất ô tô Tesla do Elon Musk đứng đầu đã tăng giá vào tháng 5 mặc dù doanh số bán ô tô của công ty tại Trung Quốc và Châu Âu không mấy khả quan.
Apple, Huawei, Xiaomi dẫn đầu bảng xếp hạng 500 thương hiệu tiêu dùng hàng đầu của Trung Quốc Vietnet24h - Theo báo cáo của Đại học Bắc Kinh, bảng xếp hạng này dựa trên hành vi mua sắm trực tuyến của người tiêu dùng trong nước
Cổ phiếu Sony tăng trong phiên giao dịch đầy biến động khi nhà sản xuất PlayStation công bố mua lại cổ phiếu trị giá 1,7 tỷ đô la Vietnet24h - Thu nhập hoạt động trong ba tháng cuối năm tài chính đạt 203,6 tỷ yên, vượt qua ước tính trung bình của các nhà phân tích là 192,2 tỷ yên, mặc dù giảm 11% so với cùng kỳ năm ngoái.
Cổ phiếu Nvidia tăng sau báo cáo Trump sẽ chấm dứt lệnh hạn chế xuất khẩu chip Vietnet24h - Cổ phiếu Nvidia tăng sau báo cáo cho biết chính quyền Trump có kế hoạch sửa đổi một loạt các hạn chế về thương mại chip được gọi là quy tắc “khuyến khích AI”.
Cổ phiếu Arm giảm do dự báo yếu Vietnet24h - Arm đạt được doanh thu và lợi nhuận cao nhưng lại đưa ra dự báo đáng thất vọng trong báo cáo quý vào thứ Tư (7/5).
Tòa án tối cao sẽ đưa ra phán quyết cuối cùng về Chủ tịch Samsung Lee vào ngày 17 tháng 7 Vietnet24h - Phán quyết, dự kiến ​​vào ngày 17 tháng 7, được đưa ra bốn năm 10 tháng sau khi Lee lần đầu tiên bị đưa ra xét xử và khoảng năm tháng sau khi tòa phúc thẩm giữ nguyên phán quyết tuyên trắng án của ông.
Meta thắng kiện bản quyền AI, nhưng thẩm phán cho biết những người khác có thể khởi kiện Vietnet24h - Vào thứ Tư, Meta đã thắng thế trước một nhóm gồm 13 tác giả, bao gồm Sarah Silverman và Ta-Nehisi Coates, trong một vụ kiện bản quyền lớn liên quan đến mô hình trí tuệ nhân tạo Llama của công ty.
Amazon tuyên bố AI sẽ giúp cắt giảm nhân sự trong vài năm tới Vietnet24h - CEO Andy Jassy cho biết công ty sẽ đẩy mạnh ứng dụng AI tạo sinh và các tác nhân thông minh nhằm tăng hiệu suất, đồng thời giảm nhu cầu nhân lực trong thời gian tới. Động thái này phản ánh làn sóng tự động hóa đang ảnh hưởng sâu sắc tới thị trường lao động công nghệ.
Chính phủ Anh phân bổ nhiều tiền hơn cho nguồn nhân lực bán dẫn Vietnet24h - Chính phủ Anh đã xác nhận kế hoạch phân bổ thêm 35 triệu bảng Anh cho chương trình mở rộng nhân tài bán dẫn.
Apple Ấn Độ đặt mục tiêu tuyển dụng 5.000 nhân viên cho cơ sở ở Hyderabad Vietnet24h - Apple đã tuyển dụng 3.500 người cho trung tâm phát triển của họ tại đây và dự kiến ​​sẽ nâng con số này lên 5.000 người, một viên chức cấp cao của Chính phủ Telangana cho biết.
Trump gia hạn thời hạn TikTok lần thứ ba, lùi quyết định thêm 90 ngày nữa Vietnet24h - Tổng thống Donald Trump có kế hoạch một lần nữa gia hạn thời hạn yêu cầu ByteDance của Trung Quốc phải thoái vốn khỏi hoạt động kinh doanh của TikTok tại Hoa Kỳ hoặc sẽ bị cấm tại quốc gia này.
Tai nạn máy bay Air India: Những điều cần biết về thảm kịch chết người đầu tiên của Boeing Dreamliner Vietnet24h - Chuyến bay 171 của Air India đã bị rơi vào thứ năm ngay sau khi cất cánh từ Ahmedabad, Ấn Độ, trên đường đến London.
Vụ cá cược AI lớn nhất của CEO Meta Vietnet24h - Để hoàn tất thỏa thuận đầu tư 14 tỷ đô la vào Scale AI, Mark Zuckerberg của Meta đang thuê người đồng sáng lập Alexandr Wang để giúp công ty truyền thông xã hội này thực hiện tốt hơn tham vọng về AI của mình.
Trung Quốc siết AI trong kỳ thi đại học: Bảo vệ công bằng hay giới hạn đổi mới? Vietnet24h - Kỳ thi Cao khảo (kỳ thi đại học) tại Trung Quốc, được tổ chức từ ngày 7 đến 10 tháng 6, không chỉ là một cuộc thử thách trí tuệ mà còn là nơi các cơ quan giáo dục và chính quyền thể hiện sự kiểm soát nghiêm ngặt đối với công nghệ, đặc biệt là trí tuệ nhân tạo (AI). Việc các hãng công nghệ Trung Quốc khóa hoặc hạn chế tính năng AI trong suốt kỳ thi đã dấy lên một cuộc tranh luận sâu sắc về sự công bằng, sáng tạo và tính kiểm soát trong giáo dục.
Cuộc đấu khẩu giữa Trump và Musk gây ra phản ứng từ các tỷ phú, chính trị gia và chuyên gia Vietnet24h - Trump đe dọa sẽ rút lại hàng tỷ đô la trong các hợp đồng của chính phủ dành cho Musk.
iPhone đang làm tổn thương giới trẻ? Người thiết kế ra nó lên tiếng Vietnet24h - Jony Ive, cha đẻ của iPhone, thừa nhận công nghệ smartphone đã dẫn đến những hậu quả đáng lo cho sức khỏe tâm thần. Cùng bà Powell Jobs, ông đang âm thầm phát triển một thiết bị mới để “sửa sai” cho chính di sản của mình.
Meta tìm đến trọng tài để ngăn chặn người tố giác quảng bá cuốn sách tiết lộ tất cả Vietnet24h - Meta đang tìm cách ngăn chặn việc quảng bá cuốn hồi ký mới của một cựu nhân viên có nội dung mô tả công ty theo hướng không hay, bao gồm cả cáo buộc quấy rối tình dục của giám đốc chính sách công ty.
KT kết hợp AI với thể thao, K-pop tại Đại hội Thế giới Di động (MWC) 2025 Vietnet24h - K-Stadium được thiết kế để tăng cường sự tương tác của người hâm mộ bằng AI. Một trong những tính năng chính của nó là hệ thống dịch phụ đề thời gian thực do AI hỗ trợ.
Amazon sẽ giành quyền kiểm soát sáng tạo cho loạt phim James Bond từ gia đình Broccoli Vietnet24h - Amazon sắp giành được quyền sáng tạo đối với loạt phim James Bond béo bở.
Squid Game mùa 2: Cơn sốt hay bẫy lừa đảo tiền số? Vietnet24h - Với sự phổ biến của Squid Game mùa hai, các token liên quan đến bộ phim này đã thu hút hàng triệu USD. Tuy nhiên, không ít nhà đầu tư đã mất trắng khi các token này bị sụt giảm giá trị chỉ trong thời gian ngắn, báo hiệu một làn sóng lừa đảo "rút thảm" trên thị trường tiền số.
Lễ chùa thời công nghệ: Nhật Bản số hóa nghi lễ đầu năm Vietnet24h - Chùa Zojoji, biểu tượng Phật giáo tại Tokyo, đang tiên phong tích hợp công nghệ thanh toán QR cho nghi lễ Saisen, vừa tiện lợi vừa giữ nguyên tinh thần truyền thống.
TikTok gặp rắc rối tại Nga: bị phạt vì không gỡ nội dung cấm Vietnet24h - Vừa qua, TikTok bị phạt gần 30.000 USD tại Nga vì vi phạm các quy định pháp lý về nội dung. Quyết định này cho thấy Nga đang quyết liệt hơn trong việc kiểm soát các nền tảng mạng xã hội.
Hoàn thiện hạ tầng viễn thông tại làng Nủ sau thảm họa lũ quét Vietnet24h - Vừa qua, nhà mạng VNPT đã chính thức khởi công lắp đặt trạm phát sóng di động (BTS) tại khu vực xây dựng bản tái định cư mới cho người dân thôn Làng Nủ, huyện Bảo Yên, tỉnh Lào Cai.
Thành công rực rỡ: Black Myth - Wukong thu về gần 1 tỷ USD Vietnet24h - Black Myth: Wukong, tựa game hành động nhập vai của Game Science, đã ghi dấu ấn mạnh mẽ trên thị trường game quốc tế, với doanh thu gần chạm ngưỡng 1 tỷ USD chỉ sau hai tuần ra mắt.
Trải nghiệm âm nhạc kết hợp công nghệ đỉnh cao của Galaxy AI Immersive Vietnet24h - Sự kiện hoành tráng chào đón thế hệ điện thoại gập mới Galaxy Z Fold6 và Galaxy Z Flip6 - nơi âm nhạc và công nghệ hội tụ, thể hiện vị thế tiên phong dẫn đầu kỷ nguyên AI mới đã bùng nổ với 50.000 người tham gia.