Tài chính, Kinh doanh
Mô hình A.I. mới nhất của Google sử dụng dữ liệu văn bản nhiều hơn gần năm lần để đào tạo so với mô hình trước đó
Nam Phong - Thứ Tư, 17/05/2023 11:35 SA
Vietnet24h - Mô hình ngôn ngữ lớn PaLM 2 của Google đang sử dụng gần gấp năm lần lượng dữ liệu văn bản để đào tạo so với LLM tiền nhiệm của nó
Mô hình ngôn ngữ lớn mới của Google, mà công ty đã công bố vào tuần trước, sử dụng lượng dữ liệu đào tạo gần gấp năm lần so với mô hình ngôn ngữ tiền nhiệm từ năm 2022, cho phép nó thực hiện các tác vụ viết mã, toán học và sáng tạo nâng cao hơn.
 
PaLM 2, mô hình ngôn ngữ lớn sử dụng chung (LLM) mới của công ty đã được công bố tại Google I/O, được đào tạo trên 3,6 nghìn tỷ mã thông báo. Các mã thông báo, là các chuỗi từ, là một khối xây dựng quan trọng để đào tạo LLM, bởi vì chúng dạy cho mô hình dự đoán từ tiếp theo sẽ xuất hiện trong một chuỗi.
 
Phiên bản PaLM trước đây của Google, viết tắt của Mô hình ngôn ngữ con đường, được phát hành vào năm 2022 và được đào tạo trên 780 tỷ mã thông báo.
 
Mặc dù Google háo hức giới thiệu sức mạnh của công nghệ trí tuệ nhân tạo và cách nó có thể được nhúng vào tìm kiếm, email, xử lý văn bản và bảng tính, nhưng công ty đã không muốn công bố kích thước hoặc các chi tiết khác về dữ liệu đào tạo của mình. OpenAI, Microsoft
-người tạo ra ChatGPT được hỗ trợ, cũng đã giữ bí mật các chi tiết cụ thể của LLM mới nhất của mình có tên là GPT-4.
 
Các công ty cho biết lý do thiếu công bố thông tin là bản chất cạnh tranh của hoạt động kinh doanh. Google và OpenAI đang gấp rút thu hút những người dùng có thể muốn tìm kiếm thông tin bằng chatbot đàm thoại thay vì các công cụ tìm kiếm truyền thống.
 
Nhưng khi cuộc chạy đua AI đang nóng lên, cộng đồng nghiên cứu đang đòi hỏi sự minh bạch cao hơn.
 
Kể từ khi công bố PaLM 2, Google đã cho biết mô hình mới nhỏ hơn so với các LLM trước đó, điều này rất quan trọng vì điều đó có nghĩa là công nghệ của công ty đang trở nên hiệu quả hơn trong khi hoàn thành các tác vụ phức tạp hơn. PaLM 2, theo các tài liệu nội bộ, được đào tạo trên 340 tỷ tham số, một dấu hiệu cho thấy mức độ phức tạp của mô hình. PaLM ban đầu được đào tạo trên 540 tỷ thông số.
 
Google đã không đưa ra bình luận ngay lập tức cho câu chuyện này.

Google cho biết trong một bài đăng trên blog về PaLM 2 rằng mô hình này sử dụng một “kỹ thuật mới” được gọi là “mở rộng quy mô điện toán tối ưu”. Điều đó làm cho LLM “hiệu quả hơn với hiệu suất tổng thể tốt hơn, bao gồm suy luận nhanh hơn, cung cấp ít tham số hơn và chi phí phục vụ thấp hơn”.
 
Khi công bố PaLM 2, Google đã xác nhận báo cáo trước đây rằng, mô hình này được đào tạo trên 100 ngôn ngữ và thực hiện nhiều nhiệm vụ khác nhau. Nó đã được sử dụng để cung cấp năng lượng cho 25 tính năng và sản phẩm, bao gồm cả chatbot thử nghiệm Bard của công ty. Nó có bốn kích cỡ, từ nhỏ nhất đến lớn nhất: Tắc kè, Rái cá, Bò rừng và Kỳ lân.
 
PaLM 2 mạnh hơn bất kỳ mô hình hiện có nào, dựa trên các tiết lộ công khai. LLM của Facebook được gọi là LLaMA, được công bố vào tháng 2, được đào tạo trên 1,4 nghìn tỷ mã thông báo. Lần cuối cùng OpenAI chia sẻ quy mô đào tạo của ChatGPT là với GPT-3, khi công ty cho biết họ đã được đào tạo trên 300 tỷ mã thông báo vào thời điểm đó. OpenAI đã phát hành GPT-4 vào tháng 3 và cho biết nó thể hiện “hiệu suất ở cấp độ con người” trong nhiều bài kiểm tra chuyên nghiệp.
 
LaMDA, một LLM hội thoại mà Google đã giới thiệu hai năm trước và chào hàng vào tháng 2 cùng với Bard, đã được đào tạo trên 1,5 nghìn tỷ mã thông báo, theo các tài liệu mới nhất được CNBC xem.
 
Khi các ứng dụng AI mới nhanh chóng trở thành xu hướng chủ đạo, những tranh cãi xung quanh công nghệ cơ bản ngày càng gay gắt hơn.
 
El Mahdi El Mhamdi, một nhà khoa học cấp cao của Google Research, đã từ chức vào tháng Hai vì sự thiếu minh bạch của công ty. Vào thứ Ba, Giám đốc điều hành OpenAI Sam Altman đã làm chứng tại phiên điều trần của tiểu ban Tư pháp Thượng viện về quyền riêng tư và công nghệ, đồng thời đồng ý với các nhà lập pháp rằng cần có một hệ thống mới để đối phó với AI.
 
“Đối với một công nghệ rất mới, chúng tôi cần một khuôn khổ mới,” Altman nói. “Chắc chắn những công ty như công ty của chúng tôi chịu rất nhiều trách nhiệm đối với các công cụ mà chúng tôi đưa ra thế giới.”
Người đứng đầu ChatGPT sẽ điều trần trước Quốc hội Hoa Kỳ về trí tuệ nhân tạo Vietnet24h - Người đứng đầu công ty trí tuệ nhân tạo tạo ra ChatGPT sẽ điều trần trước Quốc hội (Hoa kỳ) khi các nhà lập pháp kêu gọi các quy tắc mới để hướng dẫn sự phát triển nhanh chóng của công nghệ AI.
Trí tuệ nhân tạo của Google đang đến với nhiều công ty gần bạn hơn Vietnet24h - Báo cáo tài chính, hoạt động tiếp thị hàng may mặc và trợ lý trò chuyện mà bạn tương tác có thể sớm phản ánh một nguồn gốc chung: trí tuệ nhân tạo từ Google.
Theo CNBC
Tin khác cùng chuyên mục
Tin đọc nhiều
Ô tô Nhật Bản gặp khó: Cạnh tranh gay gắt và lợi nhuận sụt giảm mạnh Vietnet24h - Sự sụt giảm 57% lợi nhuận của bảy hãng xe lớn Nhật Bản phản ánh một thị trường ô tô đang gặp phải không ít khó khăn. Các hãng xe hàng đầu như Toyota và Nissan đang đối mặt với không chỉ thách thức từ chi phí mà còn với áp lực cạnh tranh khốc liệt từ xe điện Trung Quốc.
Sự sụt giảm 45% của Super Micro trong tuần này đã xóa sạch mức tăng của cổ phiếu trong năm Vietnet24h - Đợt bán tháo cổ phiếu Super Micro tiếp tục diễn ra vào thứ Sáu, khi giá cổ phiếu giảm thêm 10%, nâng mức lỗ trong tuần lên 44%.
Samsung Electronics công bố doanh thu quý 3 cao kỷ lục, nhưng doanh thu ộ phận bán dẫn vẫn yếu Vietnet24h - Samsung Electronics đã ghi nhận doanh thu quý cao nhất từ ​​trước đến nay trong quý 3 năm nay, mặc dù lợi nhuận trong lĩnh vực bán dẫn (DS) chậm chạp do chi phí một lần tăng.
Cổ phiếu Tesla đóng cửa ở mức cao nhất trong vòng 13 tháng gần đây Vietnet24h - Sau ngày giao dịch tốt nhất của Tesla trên thị trường kể từ năm 2013, cổ phiếu này đã tăng hơn 3% vào thứ Sáu, đóng cửa ở mức cao nhất kể từ tháng 9 năm ngoái.
SK Hynix công bố lợi nhuận quý kỷ lục nhờ sự bùng nổ chip AI Vietnet24h - Lợi nhuận hoạt động trong quý 3 đạt mức kỷ lục 7,03 nghìn tỷ won (5,08 tỷ đô la), vượt qua dự báo 6,8 nghìn tỷ won của LSEG và phục hồi sau khoản lỗ 1,8 nghìn tỷ won trong cùng kỳ năm ngoái.
Cổ phiếu bán dẫn châu Á tăng sau khi cổ phiếu của Nvidia, công ty chip AI được yêu thích, đạt mức cao kỷ lục Vietnet24h - Giá cổ phiếu tăng của Nvidia vào thứ Hai đã nâng giá trị thị trường của công ty lên 3,4 nghìn tỷ đô la, vượt qua Microsoft để trở thành công ty có giá trị thứ hai trên Phố Wall và chỉ thấp hơn một chút so với mức định giá khoảng 3,55 nghìn tỷ đô la của Apple.
LG Electronics chứng kiến ​​lợi nhuận giảm 20% mặc dù doanh thu đạt kỷ lục Vietnet24h - Lợi nhuận của LG Electronics trong quý 3 giảm mạnh mặc dù cũng ghi nhận con số doanh thu cao nhất trong quý.
Cổ phiếu Nvidia tăng 25% trong tháng qua Vietnet24h - Cổ phiếu của Nvidia đã tăng 25% trong tháng qua và đang tiến gần đến mức cao kỷ lục khi mùa báo cáo thu nhập của các công ty công nghệ đang đến gần.
Thu nhập quý 3 của Samsung Electronics thấp hơn kỳ vọng của thị trường Vietnet24h - Hôm thứ Ba (7/10), Samsung Electronics dự báo lợi nhuận hoạt động trong quý 3 của mình sẽ giảm xuống dưới kỳ vọng của thị trường do nhu cầu chip cho điện thoại thông minh yếu và chi phí một lần.
Foxconn vượt bậc doanh thu quý III, hướng tới quý IV đầy hứa hẹn Vietnet24h - Trong bối cảnh nhu cầu trí tuệ nhân tạo gia tăng, Foxconn đã công bố kết quả kinh doanh quý III vượt xa kỳ vọng với mức doanh thu kỷ lục 1,85 nghìn tỷ Đài tệ. Các nhà phân tích dự đoán công ty sẽ tiếp tục đà tăng trưởng mạnh mẽ trong những tháng tới.
TSMC "đóng cửa" nguồn cung chip cao cấp cho Trung Quốc: áp lực từ lệnh trừng phạt Mỹ Vietnet24h - Với việc ngừng cung cấp chip tiên tiến cho các đối tác Trung Quốc, TSMC muốn giữ an toàn trước quy định kiểm soát của Mỹ, sau khi chip của họ bị phát hiện trong thiết bị Huawei. Động thái này có thể làm ảnh hưởng lớn đến ngành công nghệ Trung Quốc.
Tăng tốc toàn cầu hóa: doanh nghiệp Việt đẩy mạnh hợp tác với nhà máy Trung Quốc Vietnet24h - Trong bối cảnh nền kinh tế toàn cầu đang chuyển mình mạnh mẽ, doanh nghiệp Việt Nam đã quyết định gia tăng tốc độ tham gia vào dòng chảy toàn cầu hóa bằng cách thiết lập những mối quan hệ hợp tác chiến lược với các nhà máy Trung Quốc. Sự kiện hợp tác gần đây đã mở ra nhiều cơ hội mới cho các doanh nghiệp Việt, từ việc tối ưu hóa chi phí sản xuất đến tiếp cận nguồn hàng chất lượng cao, qua đó nhanh chóng tạo dựng được vị thế trên thị trường quốc tế.
Cuộc khủng hoảng phúc lợi tại Thung lũng Silicon Vietnet24h - Năm 2021 đánh dấu sự chuyển mình của Thung lũng Silicon, khi các đặc quyền mà nhân viên công nghệ từng được chiều chuộng giờ đây trở thành vấn đề đau đầu cho các công ty. Những vụ việc lạm dụng phúc lợi khiến nhiều nhân viên phải đối diện với hệ quả nghiêm trọng.
AI tại Google viết mã chiếm 25%: Cơ hội hay thách thức cho lập trình viên? Vietnet24h - Google đang tiên phong trong việc ứng dụng AI vào lập trình, với hơn một phần tư mã nguồn mới được tạo bởi trí tuệ nhân tạo. Nhưng liệu sự phát triển này có đẩy lập trình viên vào thế khó?
Vingroup ra mắt quỹ đầu tư VinVentures Vietnet24h - Ngày 28/10/2024, Tập đoàn Vingroup công bố ra mắt quỹ đầu tư VinVentures, với tổng tài sản quản lý là 150 triệu đô la Mỹ.
TSMC bị nghi ngờ vi phạm lệnh cấm vận khi chip xuất hiện trong thiết bị của Huawei Vietnet24h - Một báo cáo nội bộ cho thấy chip của TSMC đang được sử dụng trong máy chủ AI của Huawei. Vụ việc đặt ra nghi vấn về khả năng vi phạm lệnh cấm vận của Mỹ và thu hút sự chú ý từ giới chức Mỹ.
Studio game AAA của Netflix đóng cửa: Ngành công nghiệp game chao đảo Vietnet24h - Quyết định đóng cửa studio phát triển game AAA của Netflix tại Los Angeles sau hai năm hoạt động đã khiến nhiều người bất ngờ. Trong bối cảnh công ty đang tái cấu trúc, động thái này không chỉ ảnh hưởng đến nhân viên mà còn gợi lên những câu hỏi về tương lai của mảng game của Netflix.
Cuộc chiến công nghệ Mỹ-Trung sẽ nóng lên bất kể Trump hay Harris thắng Vietnet24h - Cuộc chiến công nghệ giữa Hoa Kỳ và Trung Quốc chắc chắn sẽ nóng lên bất kể ứng cử viên Cộng hòa Donald Trump hay Phó Tổng thống Kamala Harris giành chiến thắng trong cuộc bầu cử tổng thống Hoa Kỳ vào ngày 5 tháng 11, với đảng Dân chủ có khả năng đưa ra các quy tắc mới có mục tiêu và Trump có cách tiếp cận thẳng thắn hơn.
Kế hoạch bí mật của FBI: Tạo tiền số để "bẫy" tội phạm thao túng Vietnet24h - Thông qua đồng tiền số NexFundAI, FBI đã khéo léo vạch trần chiêu trò bơm thổi giá tiền số của nhiều đối tượng lừa đảo, khiến hàng triệu USD của nhà đầu tư rơi vào tay kẻ gian.
Bí ẩn danh tính Satoshi Nakamoto tiếp tục được khơi gợi Vietnet24h - Trong phim tài liệu "Money Electric: The Bitcoin Mystery," Peter Todd được coi là Satoshi Nakamoto, nhưng sự phủ nhận sau đó của anh đã làm dấy lên nhiều nghi vấn. Liệu danh tính thật sự của người sáng lập Bitcoin có bao giờ được làm sáng tỏ?
Hoàn thiện hạ tầng viễn thông tại làng Nủ sau thảm họa lũ quét Vietnet24h - Vừa qua, nhà mạng VNPT đã chính thức khởi công lắp đặt trạm phát sóng di động (BTS) tại khu vực xây dựng bản tái định cư mới cho người dân thôn Làng Nủ, huyện Bảo Yên, tỉnh Lào Cai.
Thành công rực rỡ: Black Myth - Wukong thu về gần 1 tỷ USD Vietnet24h - Black Myth: Wukong, tựa game hành động nhập vai của Game Science, đã ghi dấu ấn mạnh mẽ trên thị trường game quốc tế, với doanh thu gần chạm ngưỡng 1 tỷ USD chỉ sau hai tuần ra mắt.
Trải nghiệm âm nhạc kết hợp công nghệ đỉnh cao của Galaxy AI Immersive Vietnet24h - Sự kiện hoành tráng chào đón thế hệ điện thoại gập mới Galaxy Z Fold6 và Galaxy Z Flip6 - nơi âm nhạc và công nghệ hội tụ, thể hiện vị thế tiên phong dẫn đầu kỷ nguyên AI mới đã bùng nổ với 50.000 người tham gia.
Tùng Tán Lâm - Vẻ đẹp thiêng liêng giữa lòng Shangri-La Vietnet24h - Đối với những tín đồ đam mê du lịch tâm linh, tu viện Tùng Tán Lâm (Songzanlin) là một điểm đến không thể bỏ qua. Những người từng đặt chân đến Shangri-la đều khẳng định đây là một trong những tu viện đáng ghé thăm nhất trên thế giới.
Galaxy S24 của Samsung sẽ phát trực tiếp lễ khai mạc Thế vận hội Paris Vietnet24h - Samsung, đối tác chính thức của các sự kiện Olympic và Paralympic toàn cầu, đã thông báo rằng họ sẽ lắp đặt hơn 200 chiếc điện thoại thông minh hiện đại nhất của mình ở mũi và hai bên của mỗi chiếc trong số 85 chiếc tàu sẽ chở 10.500 vận động viên khi bơi trên mặt nước. xuôi sông Seine trong cuộc diễu hành khai mạc Thế vận hội.
Euro 2024: Những dự đoán sắc bén từ AI Vietnet24h - Trong bối cảnh Euro 2024 đang diễn ra, các mô hình AI từ khắp nơi trên thế giới đã bắt đầu "tranh tài", đưa ra những dự đoán thú vị về kết quả của giải đấu.
Starlink - Sự hiện diện đột phá trong cuộc sống của bộ tộc Marubo Vietnet24h - Với sự đổ bộ của dự án Internet vệ tinh Starlink vào vùng Amazon, bộ tộc Marubo đã chứng kiến một sự hiện diện đột phá trong cuộc sống hàng ngày. Sự kết nối này không chỉ mở ra cánh cửa cho tiềm năng mới, mà còn đem lại những thách thức và cơ hội cho bộ tộc.
SKT mang dịch vụ cộng đồng người hâm mộ K-pop lên nền tảng metaverse Vietnet24h - Nhà cung cấp dịch vụ di động Hàn Quốc SK Telecom đã tiết lộ dịch vụ K-pop mới cho nền tảng metaverse của mình, ifland, được thiết kế như một đấu trường nơi các thần tượng K-pop và người hâm mộ toàn cầu của họ tụ tập và giao tiếp với nhau.
5 điều hối tiếc nhất của con người khi qua đời Vietnet24h - Vào cuối cuộc đời, nhiều người có xu hướng suy ngẫm về những điều họ ước mình đã làm khác đi.
Học nhạc tại Kim Bảo Nam: lắng nghe lời tâm sự từ học viên Vietnet24h - Những lời tâm sự chân thành từ học viên sẽ giúp bạn hiểu rõ hơn về chất lượng đào tạo, cơ sở vật chất và đội ngũ giảng viên tại trung tâm âm nhạc Kim Bảo Nam. Qua đó, bạn có thể đưa ra lựa chọn phù hợp với nhu cầu và mục tiêu học nhạc của mình.