Tầm nhìn
Mô hình A.I. mới nhất của Google sử dụng dữ liệu văn bản nhiều hơn gần năm lần để đào tạo so với mô hình trước đó
Nam Phong - Thứ Tư, 17/05/2023 11:35 SA
Vietnet24h - Mô hình ngôn ngữ lớn PaLM 2 của Google đang sử dụng gần gấp năm lần lượng dữ liệu văn bản để đào tạo so với LLM tiền nhiệm của nó
Mô hình ngôn ngữ lớn mới của Google, mà công ty đã công bố vào tuần trước, sử dụng lượng dữ liệu đào tạo gần gấp năm lần so với mô hình ngôn ngữ tiền nhiệm từ năm 2022, cho phép nó thực hiện các tác vụ viết mã, toán học và sáng tạo nâng cao hơn.
 
PaLM 2, mô hình ngôn ngữ lớn sử dụng chung (LLM) mới của công ty đã được công bố tại Google I/O, được đào tạo trên 3,6 nghìn tỷ mã thông báo. Các mã thông báo, là các chuỗi từ, là một khối xây dựng quan trọng để đào tạo LLM, bởi vì chúng dạy cho mô hình dự đoán từ tiếp theo sẽ xuất hiện trong một chuỗi.
 
Phiên bản PaLM trước đây của Google, viết tắt của Mô hình ngôn ngữ con đường, được phát hành vào năm 2022 và được đào tạo trên 780 tỷ mã thông báo.
 
Mặc dù Google háo hức giới thiệu sức mạnh của công nghệ trí tuệ nhân tạo và cách nó có thể được nhúng vào tìm kiếm, email, xử lý văn bản và bảng tính, nhưng công ty đã không muốn công bố kích thước hoặc các chi tiết khác về dữ liệu đào tạo của mình. OpenAI, Microsoft
-người tạo ra ChatGPT được hỗ trợ, cũng đã giữ bí mật các chi tiết cụ thể của LLM mới nhất của mình có tên là GPT-4.
 
Các công ty cho biết lý do thiếu công bố thông tin là bản chất cạnh tranh của hoạt động kinh doanh. Google và OpenAI đang gấp rút thu hút những người dùng có thể muốn tìm kiếm thông tin bằng chatbot đàm thoại thay vì các công cụ tìm kiếm truyền thống.
 
Nhưng khi cuộc chạy đua AI đang nóng lên, cộng đồng nghiên cứu đang đòi hỏi sự minh bạch cao hơn.
 
Kể từ khi công bố PaLM 2, Google đã cho biết mô hình mới nhỏ hơn so với các LLM trước đó, điều này rất quan trọng vì điều đó có nghĩa là công nghệ của công ty đang trở nên hiệu quả hơn trong khi hoàn thành các tác vụ phức tạp hơn. PaLM 2, theo các tài liệu nội bộ, được đào tạo trên 340 tỷ tham số, một dấu hiệu cho thấy mức độ phức tạp của mô hình. PaLM ban đầu được đào tạo trên 540 tỷ thông số.
 
Google đã không đưa ra bình luận ngay lập tức cho câu chuyện này.

Google cho biết trong một bài đăng trên blog về PaLM 2 rằng mô hình này sử dụng một “kỹ thuật mới” được gọi là “mở rộng quy mô điện toán tối ưu”. Điều đó làm cho LLM “hiệu quả hơn với hiệu suất tổng thể tốt hơn, bao gồm suy luận nhanh hơn, cung cấp ít tham số hơn và chi phí phục vụ thấp hơn”.
 
Khi công bố PaLM 2, Google đã xác nhận báo cáo trước đây rằng, mô hình này được đào tạo trên 100 ngôn ngữ và thực hiện nhiều nhiệm vụ khác nhau. Nó đã được sử dụng để cung cấp năng lượng cho 25 tính năng và sản phẩm, bao gồm cả chatbot thử nghiệm Bard của công ty. Nó có bốn kích cỡ, từ nhỏ nhất đến lớn nhất: Tắc kè, Rái cá, Bò rừng và Kỳ lân.
 
PaLM 2 mạnh hơn bất kỳ mô hình hiện có nào, dựa trên các tiết lộ công khai. LLM của Facebook được gọi là LLaMA, được công bố vào tháng 2, được đào tạo trên 1,4 nghìn tỷ mã thông báo. Lần cuối cùng OpenAI chia sẻ quy mô đào tạo của ChatGPT là với GPT-3, khi công ty cho biết họ đã được đào tạo trên 300 tỷ mã thông báo vào thời điểm đó. OpenAI đã phát hành GPT-4 vào tháng 3 và cho biết nó thể hiện “hiệu suất ở cấp độ con người” trong nhiều bài kiểm tra chuyên nghiệp.
 
LaMDA, một LLM hội thoại mà Google đã giới thiệu hai năm trước và chào hàng vào tháng 2 cùng với Bard, đã được đào tạo trên 1,5 nghìn tỷ mã thông báo, theo các tài liệu mới nhất được CNBC xem.
 
Khi các ứng dụng AI mới nhanh chóng trở thành xu hướng chủ đạo, những tranh cãi xung quanh công nghệ cơ bản ngày càng gay gắt hơn.
 
El Mahdi El Mhamdi, một nhà khoa học cấp cao của Google Research, đã từ chức vào tháng Hai vì sự thiếu minh bạch của công ty. Vào thứ Ba, Giám đốc điều hành OpenAI Sam Altman đã làm chứng tại phiên điều trần của tiểu ban Tư pháp Thượng viện về quyền riêng tư và công nghệ, đồng thời đồng ý với các nhà lập pháp rằng cần có một hệ thống mới để đối phó với AI.
 
“Đối với một công nghệ rất mới, chúng tôi cần một khuôn khổ mới,” Altman nói. “Chắc chắn những công ty như công ty của chúng tôi chịu rất nhiều trách nhiệm đối với các công cụ mà chúng tôi đưa ra thế giới.”
Người đứng đầu ChatGPT sẽ điều trần trước Quốc hội Hoa Kỳ về trí tuệ nhân tạo Vietnet24h - Người đứng đầu công ty trí tuệ nhân tạo tạo ra ChatGPT sẽ điều trần trước Quốc hội (Hoa kỳ) khi các nhà lập pháp kêu gọi các quy tắc mới để hướng dẫn sự phát triển nhanh chóng của công nghệ AI.
Trí tuệ nhân tạo của Google đang đến với nhiều công ty gần bạn hơn Vietnet24h - Báo cáo tài chính, hoạt động tiếp thị hàng may mặc và trợ lý trò chuyện mà bạn tương tác có thể sớm phản ánh một nguồn gốc chung: trí tuệ nhân tạo từ Google.
Theo CNBC
Tin khác cùng chuyên mục
Tin đọc nhiều
Đảng cầm quyền Hàn Quốc đề xuất luật chip đặc biệt để ngăn chặn Trump Vietnet24h - Đảng cầm quyền Hàn Quốc đã đề xuất một đạo luật chip đặc biệt vào thứ Hai (11/11) để trợ cấp cho các nhà sản xuất chip và miễn trừ giới hạn giờ làm việc trên toàn quốc, nhằm giải quyết các rủi ro tiềm ẩn từ các biện pháp mà Tổng thống Hoa Kỳ sắp nhậm chức Donald Trump đe dọa.
Chiến lược phát triển công nghiệp bán dẫn Việt Nam đến năm 2030 và tầm nhìn 2050 Vietnet24h - Ngày 21/9/2024, Thủ tướng Phạm Minh Chính đã ký Quyết định số 1018/QĐ-TTg ban hành Chiến lược phát triển công nghiệp bán dẫn Việt Nam đến năm 2030 và tầm nhìn 2050. Đây là bước tiến lớn trong việc đưa Việt Nam trở thành một trong những trung tâm hàng đầu thế giới trong lĩnh vực bán dẫn, một ngành công nghiệp đang trở thành trụ cột trong nền kinh tế toàn cầu.
Tổng giám đốc điều hành Intel vạch ra con đường phía trước cho công ty Vietnet24h - Sau cuộc họp hội đồng quản trị kéo dài ba ngày vào tuần trước, Tổng giám đốc điều hành của Intel, Pat Gelsinger đã vạch ra con đường phía trước của công ty trong một lá thư gửi cho nhân viên.
Hoa Kỳ triển khai các biện pháp kiểm soát xuất khẩu liên quan đến chip mới Vietnet24h - Chính quyền Biden đang triển khai các biện pháp kiểm soát xuất khẩu mới đối với các công nghệ quan trọng, bao gồm máy tính lượng tử và hàng hóa bán dẫn, trong bối cảnh Trung Quốc đang đạt được những tiến bộ trong ngành chip toàn cầu.
Các nhà lập pháp lo ngại về quảng cáo ma túy bất hợp pháp trên Facebook và Instagram Vietnet24h - Một nhóm nhà lập pháp lưỡng đảng đã gửi cho Giám đốc điều hành Meta, Mark Zuckerberg một lá thư bày tỏ quan ngại về các quảng cáo ma túy bất hợp pháp trên Facebook và Instagram.
Thành lập Ban Chỉ đạo quốc gia về phát triển ngành công nghiệp bán dẫn Vietnet24h - Thủ tướng Chính phủ Phạm Minh Chính đã ký Quyết định số 791/QĐ-TTg về việc thành lập Ban Chỉ đạo quốc gia về phát triển ngành công nghiệp bán dẫn (Ban Chỉ đạo).
Khuyến nghị cấm trẻ dưới 16 tuổi sử dụng smartphone và mạng xã hội Vietnet24h - Theo báo cáo của Ủy ban giáo dục Hạ viện Anh, việc khuyến nghị cấm trẻ dưới 16 tuổi sử dụng smartphone và tăng độ tuổi tối thiểu để mở tài khoản mạng xã hội lên 16 nhằm giảm tác động tiêu cực của công nghệ đối với sức khỏe và giáo dục của thanh thiếu niên.
Hội nghị thượng đỉnh AI toàn cầu lần thứ hai đảm bảo các cam kết an toàn từ các công ty Vietnet24h - Mười sáu công ty đi đầu trong việc phát triển Trí tuệ nhân tạo đã cam kết vào thứ Ba tại một cuộc họp toàn cầu để phát triển công nghệ này một cách an toàn vào thời điểm các cơ quan quản lý đang cố gắng theo kịp sự đổi mới nhanh chóng và những rủi ro mới nổi.
Hàn Quốc thiết lập hệ thống bản quyền nội dung AI vào cuối năm nay Vietnet24h - Theo Bộ Khoa học và CNTT Hàn Quốc hôm nay thứ Ba (21/5) cho biết, Chính phủ Hàn Quốc có kế hoạch thiết lập các giao thức kỹ thuật số mới bằng cách cải tiến hệ thống bản quyền cho nội dung do AI tạo ra và giải quyết các tin tức giả mạo do deepfake tạo ra.
Hàn Quốc chuẩn bị gói hỗ trợ trị giá hơn 7 tỷ USD cho ngành công nghiệp chip Vietnet24h - Tổng thống Hàn Quốc Yoon Suk Yeol tuyên bố sẽ dồn mọi nguồn lực có thể để giành chiến thắng trong "cuộc chiến" về chip, hứa hẹn lợi ích về thuế cho các khoản đầu tư.
Việt Nam mở rộng dấu chân trong mảng đóng gói chip Vietnet24h - Ngành sản xuất bán dẫn hậu cần, vốn ít thâm dụng vốn hơn so với sản xuất chip tiền tuyến mang tính chiến lược hơn tại các xưởng đúc, hiện do Trung Quốc và Đài Loan thống trị, nhưng Việt Nam là một trong những quốc gia tăng trưởng nhanh nhất trong phân khúc 95 tỷ đô la.
Huawei kêu gọi nhà mạng cùng xây dựng tương lai AI di động Vietnet24h - Phó chủ tịch Huawei, ông Li Peng, cho rằng mạng 5.5G sẽ là bệ phóng cho AI di động, giúp các nhà mạng khai thác tối đa cơ hội tăng trưởng từ nhu cầu sử dụng AI ngày càng tăng của người dùng.
Tại sao Meta và Snap chi hàng tỷ đô la cho kính AR Vietnet24h - Sau một thập kỷ phát triển và hàng tỷ đô la, vào tháng 9, CEO của Meta, Mark Zuckerberg đã vén bức màn về một trong những dự án đầy tham vọng nhất của công ty: một nguyên mẫu thực tế tăng cường có tên là Orion.
Tấn công mạng: khi AI trở thành vũ khí mới của tội phạm Vietnet24h - Một báo cáo mới từ Imperva chỉ ra rằng, với sự phổ biến của trí tuệ nhân tạo và mô hình ngôn ngữ lớn, ngành bán lẻ đang phải đối mặt với một làn sóng tấn công mạng ngày càng tinh vi. Hơn 500.000 cuộc tấn công mỗi ngày đang đe dọa nghiêm trọng đến an ninh thông tin và uy tín doanh nghiệp.
CEO Tesla Elon Musk ra mắt robotaxi 'Cybercab' Vietnet24h - Vào thứ năm (10/10), CEO của Tesla, Elon Musk đã giới thiệu một chiếc xe taxi robot được mong đợi từ lâu với hai cửa cánh chim và không có vô lăng hoặc bàn đạp và gây bất ngờ với xe tải robot, đặt cược vào sự thay đổi trọng tâm từ những chiếc xe giá rẻ dành cho thị trường đại chúng sang xe robot.
Có gì trong Triển lãm Quốc tế Thang máy lớn nhất Việt Nam? Vietnet24h - Nằm trong khuôn khổ Hội chợ Vietnam Expo, Vietnam Elevator Expo là triển lãm thang máy duy nhất, quy mô lớn nhất tại Việt Nam được tổ chức dưới sự hợp tác giữa Hiệp hội Thang máy Việt Nam (VNEA) và Công ty VINEXAD.
Liệu Samsung có kịp chuẩn bị cho sự suy thoái của ngành chip không? Vietnet24h - Các báo cáo cáo buộc cắt giảm việc làm trên toàn thế giới trong bối cảnh lo ngại về chip ngày càng tăng.
Kỷ nguyên mới: Mark Zuckerberg dự đoán kính AR sẽ thay thế smartphone Vietnet24h - Mark Zuckerberg, CEO Meta, đã công bố mẫu kính AR Orion và tin tưởng rằng trong thập kỷ tới, kính AR sẽ trở thành công cụ thay thế smartphone. Được trang bị nhiều tính năng tiên tiến và thiết kế nhẹ hơn, kính AR của Meta hứa hẹn thay đổi cách chúng ta tương tác với thế giới số.
Chủ đề 'Khuếch đại trí tuệ' của Huawei chiếm vị trí trung tâm tại Huawei Connect 2024 Vietnet24h - Huawei đã công bố những tiến bộ đáng kể trong công nghệ AI và điện toán tại Huawei Connect 2024, khai mạc vào ngày 19/9 tại Thượng Hải, Trung Quốc.
Samsung đang rất cần tăng năng suất đúc chip cho bộ vi xử lý AI Vietnet24h - Samsung Electronics đang phải đối mặt với nhu cầu cấp thiết là phải tăng năng suất sản xuất tại xưởng đúc cho bộ xử lý trí tuệ nhân tạo (AI) vì Nvidia đã gợi ý khả năng chuyển các đơn đặt hàng khỏi TSMC của Đài Loan, với lý do nhu cầu mạnh mẽ liên tục đối với chipset của công ty.
Luật năng lượng mới giúp Trung Quốc tiến nhanh trên lộ trình trung hòa Carbon Vietnet24h - Hướng tới phát triển bền vững, Trung Quốc vừa thông qua luật năng lượng mới, tăng cường đầu tư vào năng lượng tái tạo và xe năng lượng sạch. Động thái này góp phần cải thiện chất lượng môi trường và nâng cao vai trò của nước này trong cuộc chiến chống biến đổi khí hậu.
Không khí trong nhà ô nhiễm ảnh hưởng đến sức khỏe như thế nào? Vietnet24h - Trong khi chúng ta luôn chú trọng đến môi trường sống bên ngoài, ít ai để ý rằng không khí trong chính ngôi nhà của mình có thể là một sát thủ vô hình, âm thầm gây ra nhiều vấn đề nghiêm trọng cho sức khỏe. Không khí trong nhà, nếu không được quản lý đúng cách, có thể ô nhiễm hơn gấp nhiều lần so với bên ngoài, đe dọa trực tiếp đến sức khỏe của cả gia đình.
Pin mặt trời trên mái nhà: Cân bằng giữa năng lượng sạch và nhiệt độ đô thị Vietnet24h - Dữ liệu từ nghiên cứu mới cho thấy các tấm pin mặt trời vừa giúp giảm ô nhiễm vừa thay đổi nhiệt độ đô thị, yêu cầu các thành phố cần giải pháp tối ưu để tận dụng năng lượng tái tạo.
UNDP và IBM cùng nhau tạo ra bước đột phá trong dự báo năng lượng bằng AI Vietnet24h - Với sự ra mắt của GeoHub, UNDP và IBM đã phát triển các mô hình AI giúp người dùng phân tích và đưa ra quyết định dựa trên dữ liệu năng lượng, mở ra hy vọng cho một tương lai bền vững hơn.
LG Energy Solution tái chế pin hướng tới tương lai bền vững Vietnet24h - LG Energy Solution (LGES) đã tìm kiếm các cơ hội kinh doanh mới trên thị trường tái sử dụng và tái chế pin.
Septic: Giải pháp bể tự hoại thông minh giúp ngăn ngừa ô nhiễm nguồn nước Vietnet24h - Với khả năng chống thấm và xử lý chất thải tối ưu, bể tự hoại thông minh Septic đang được nhiều gia đình lựa chọn để thay thế cho các bể phốt bê tông cũ, giúp bảo vệ môi trường và đảm bảo an toàn sức khỏe.
Samsung SDI giới thiệu pin thế hệ tiếp theo tại IAA Transportation 2024 Vietnet24h - Samsung SDI đang giới thiệu dòng sản phẩm pin thế hệ tiếp theo được tối ưu hóa cho xe thương mại điện tại IAA Transportation 2024 ở Hanover, CHLB Đức.
Phát triển Kinh tế tuần hoàn: Xu hướng thế giới và định hướng chính sách tại Việt Nam Vietnet24h - Ngày 12/09/2024 tại Thành phố Hải Phòng đã diễn ra Diễn đàn Phát triển kinh tế tuần hoàn: Xu hướng thế giới và định hướng chính sách tại Việt Nam do Bộ Kế hoạch và Đầu tư tổ chức. Diễn đàn tập trung đánh giá những kết quả đạt được, phân tích những tồn tại, hạn chế và nguyên nhân của việc thúc đẩy phát triển các mô hình kinh tế tuần hoàn tại Việt Nam.
Viettronics Tân Bình: Doanh nghiệp Xanh năm 2024 Vietnet24h - Vào tối ngày 29/08/2024, tại Khách sạn Rex, Quận 1, TP. HCM, Hiệp hội Doanh nghiệp TP. HCM (HUBA) và Báo Sài Gòn Giải Phóng phối hợp tổ chức Lễ Tôn vinh và trao Danh hiệu “Doanh nghiệp xanh TP. HCM năm 2024” .
Việc sử dụng nhiên liệu bền vững sẽ bắt buộc cho tất cả các chuyến bay quốc tế từ năm 2027 Vietnet24h - Tổ chức Hàng không Dân dụng Quốc tế (ICAO) bắt buộc các quốc gia áp dụng Chương trình Bù trừ và Giảm phát thải Carbon cho Hàng không Quốc tế (CORSIA) đối với 193 quốc gia thành viên bắt đầu từ năm 2027.