Tầm nhìn
Mô hình A.I. mới nhất của Google sử dụng dữ liệu văn bản nhiều hơn gần năm lần để đào tạo so với mô hình trước đó
Nam Phong - Thứ Tư, 17/05/2023 11:35 SA
Vietnet24h - Mô hình ngôn ngữ lớn PaLM 2 của Google đang sử dụng gần gấp năm lần lượng dữ liệu văn bản để đào tạo so với LLM tiền nhiệm của nó
Mô hình ngôn ngữ lớn mới của Google, mà công ty đã công bố vào tuần trước, sử dụng lượng dữ liệu đào tạo gần gấp năm lần so với mô hình ngôn ngữ tiền nhiệm từ năm 2022, cho phép nó thực hiện các tác vụ viết mã, toán học và sáng tạo nâng cao hơn.
 
PaLM 2, mô hình ngôn ngữ lớn sử dụng chung (LLM) mới của công ty đã được công bố tại Google I/O, được đào tạo trên 3,6 nghìn tỷ mã thông báo. Các mã thông báo, là các chuỗi từ, là một khối xây dựng quan trọng để đào tạo LLM, bởi vì chúng dạy cho mô hình dự đoán từ tiếp theo sẽ xuất hiện trong một chuỗi.
 
Phiên bản PaLM trước đây của Google, viết tắt của Mô hình ngôn ngữ con đường, được phát hành vào năm 2022 và được đào tạo trên 780 tỷ mã thông báo.
 
Mặc dù Google háo hức giới thiệu sức mạnh của công nghệ trí tuệ nhân tạo và cách nó có thể được nhúng vào tìm kiếm, email, xử lý văn bản và bảng tính, nhưng công ty đã không muốn công bố kích thước hoặc các chi tiết khác về dữ liệu đào tạo của mình. OpenAI, Microsoft
-người tạo ra ChatGPT được hỗ trợ, cũng đã giữ bí mật các chi tiết cụ thể của LLM mới nhất của mình có tên là GPT-4.
 
Các công ty cho biết lý do thiếu công bố thông tin là bản chất cạnh tranh của hoạt động kinh doanh. Google và OpenAI đang gấp rút thu hút những người dùng có thể muốn tìm kiếm thông tin bằng chatbot đàm thoại thay vì các công cụ tìm kiếm truyền thống.
 
Nhưng khi cuộc chạy đua AI đang nóng lên, cộng đồng nghiên cứu đang đòi hỏi sự minh bạch cao hơn.
 
Kể từ khi công bố PaLM 2, Google đã cho biết mô hình mới nhỏ hơn so với các LLM trước đó, điều này rất quan trọng vì điều đó có nghĩa là công nghệ của công ty đang trở nên hiệu quả hơn trong khi hoàn thành các tác vụ phức tạp hơn. PaLM 2, theo các tài liệu nội bộ, được đào tạo trên 340 tỷ tham số, một dấu hiệu cho thấy mức độ phức tạp của mô hình. PaLM ban đầu được đào tạo trên 540 tỷ thông số.
 
Google đã không đưa ra bình luận ngay lập tức cho câu chuyện này.

Google cho biết trong một bài đăng trên blog về PaLM 2 rằng mô hình này sử dụng một “kỹ thuật mới” được gọi là “mở rộng quy mô điện toán tối ưu”. Điều đó làm cho LLM “hiệu quả hơn với hiệu suất tổng thể tốt hơn, bao gồm suy luận nhanh hơn, cung cấp ít tham số hơn và chi phí phục vụ thấp hơn”.
 
Khi công bố PaLM 2, Google đã xác nhận báo cáo trước đây rằng, mô hình này được đào tạo trên 100 ngôn ngữ và thực hiện nhiều nhiệm vụ khác nhau. Nó đã được sử dụng để cung cấp năng lượng cho 25 tính năng và sản phẩm, bao gồm cả chatbot thử nghiệm Bard của công ty. Nó có bốn kích cỡ, từ nhỏ nhất đến lớn nhất: Tắc kè, Rái cá, Bò rừng và Kỳ lân.
 
PaLM 2 mạnh hơn bất kỳ mô hình hiện có nào, dựa trên các tiết lộ công khai. LLM của Facebook được gọi là LLaMA, được công bố vào tháng 2, được đào tạo trên 1,4 nghìn tỷ mã thông báo. Lần cuối cùng OpenAI chia sẻ quy mô đào tạo của ChatGPT là với GPT-3, khi công ty cho biết họ đã được đào tạo trên 300 tỷ mã thông báo vào thời điểm đó. OpenAI đã phát hành GPT-4 vào tháng 3 và cho biết nó thể hiện “hiệu suất ở cấp độ con người” trong nhiều bài kiểm tra chuyên nghiệp.
 
LaMDA, một LLM hội thoại mà Google đã giới thiệu hai năm trước và chào hàng vào tháng 2 cùng với Bard, đã được đào tạo trên 1,5 nghìn tỷ mã thông báo, theo các tài liệu mới nhất được CNBC xem.
 
Khi các ứng dụng AI mới nhanh chóng trở thành xu hướng chủ đạo, những tranh cãi xung quanh công nghệ cơ bản ngày càng gay gắt hơn.
 
El Mahdi El Mhamdi, một nhà khoa học cấp cao của Google Research, đã từ chức vào tháng Hai vì sự thiếu minh bạch của công ty. Vào thứ Ba, Giám đốc điều hành OpenAI Sam Altman đã làm chứng tại phiên điều trần của tiểu ban Tư pháp Thượng viện về quyền riêng tư và công nghệ, đồng thời đồng ý với các nhà lập pháp rằng cần có một hệ thống mới để đối phó với AI.
 
“Đối với một công nghệ rất mới, chúng tôi cần một khuôn khổ mới,” Altman nói. “Chắc chắn những công ty như công ty của chúng tôi chịu rất nhiều trách nhiệm đối với các công cụ mà chúng tôi đưa ra thế giới.”
Người đứng đầu ChatGPT sẽ điều trần trước Quốc hội Hoa Kỳ về trí tuệ nhân tạo Vietnet24h - Người đứng đầu công ty trí tuệ nhân tạo tạo ra ChatGPT sẽ điều trần trước Quốc hội (Hoa kỳ) khi các nhà lập pháp kêu gọi các quy tắc mới để hướng dẫn sự phát triển nhanh chóng của công nghệ AI.
Trí tuệ nhân tạo của Google đang đến với nhiều công ty gần bạn hơn Vietnet24h - Báo cáo tài chính, hoạt động tiếp thị hàng may mặc và trợ lý trò chuyện mà bạn tương tác có thể sớm phản ánh một nguồn gốc chung: trí tuệ nhân tạo từ Google.
Theo CNBC
Tin khác cùng chuyên mục
Tin đọc nhiều
Google sẽ bị chia tách? Bộ Tư pháp Mỹ yêu cầu thay đổi lớn trong hoạt động của Alphabet Vietnet24h - Trong một động thái quyết liệt, Bộ Tư pháp Mỹ đã yêu cầu Tòa án chia tách Google và yêu cầu Alphabet áp dụng các biện pháp để ngừng hành vi ưu tiên công cụ tìm kiếm trên Android. Đề xuất này cho thấy chính quyền Mỹ đang nghiêm túc trong việc kiểm soát quyền lực của các công ty công nghệ lớn.
Hàn Quốc theo dõi chặt chẽ những thay đổi có thể có trong chính sách tín dụng thuế xe điện của Hoa Kỳ Vietnet24h - Hàn Quốc đang theo dõi chặt chẽ những thay đổi tiềm tàng đối với chính sách của Hoa Kỳ về xe điện (EV) dưới thời chính quyền Donald Trump sắp nhậm chức, nhưng chưa có thay đổi nào được xác nhận, Bộ Công nghiệp Hàn Quốc cho biết hôm thứ Sáu.
Chiến thắng của ông Trump có thể mang lại cho TikTok cơ hội tiếp tục ở lại Hoa Kỳ. Vietnet24h - Chiến thắng trong cuộc bầu cử của Donald Trump có thể mang lại cơ hội cho TikTok, ứng dụng đang phải đối mặt với lệnh cấm tiềm tàng của Hoa Kỳ vào tháng 1 nếu không được thoái vốn khỏi công ty mẹ ByteDance.
Đảng cầm quyền Hàn Quốc đề xuất luật chip đặc biệt để ngăn chặn Trump Vietnet24h - Đảng cầm quyền Hàn Quốc đã đề xuất một đạo luật chip đặc biệt vào thứ Hai (11/11) để trợ cấp cho các nhà sản xuất chip và miễn trừ giới hạn giờ làm việc trên toàn quốc, nhằm giải quyết các rủi ro tiềm ẩn từ các biện pháp mà Tổng thống Hoa Kỳ sắp nhậm chức Donald Trump đe dọa.
Chiến lược phát triển công nghiệp bán dẫn Việt Nam đến năm 2030 và tầm nhìn 2050 Vietnet24h - Ngày 21/9/2024, Thủ tướng Phạm Minh Chính đã ký Quyết định số 1018/QĐ-TTg ban hành Chiến lược phát triển công nghiệp bán dẫn Việt Nam đến năm 2030 và tầm nhìn 2050. Đây là bước tiến lớn trong việc đưa Việt Nam trở thành một trong những trung tâm hàng đầu thế giới trong lĩnh vực bán dẫn, một ngành công nghiệp đang trở thành trụ cột trong nền kinh tế toàn cầu.
Tổng giám đốc điều hành Intel vạch ra con đường phía trước cho công ty Vietnet24h - Sau cuộc họp hội đồng quản trị kéo dài ba ngày vào tuần trước, Tổng giám đốc điều hành của Intel, Pat Gelsinger đã vạch ra con đường phía trước của công ty trong một lá thư gửi cho nhân viên.
Hoa Kỳ triển khai các biện pháp kiểm soát xuất khẩu liên quan đến chip mới Vietnet24h - Chính quyền Biden đang triển khai các biện pháp kiểm soát xuất khẩu mới đối với các công nghệ quan trọng, bao gồm máy tính lượng tử và hàng hóa bán dẫn, trong bối cảnh Trung Quốc đang đạt được những tiến bộ trong ngành chip toàn cầu.
Các nhà lập pháp lo ngại về quảng cáo ma túy bất hợp pháp trên Facebook và Instagram Vietnet24h - Một nhóm nhà lập pháp lưỡng đảng đã gửi cho Giám đốc điều hành Meta, Mark Zuckerberg một lá thư bày tỏ quan ngại về các quảng cáo ma túy bất hợp pháp trên Facebook và Instagram.
Thành lập Ban Chỉ đạo quốc gia về phát triển ngành công nghiệp bán dẫn Vietnet24h - Thủ tướng Chính phủ Phạm Minh Chính đã ký Quyết định số 791/QĐ-TTg về việc thành lập Ban Chỉ đạo quốc gia về phát triển ngành công nghiệp bán dẫn (Ban Chỉ đạo).
Khuyến nghị cấm trẻ dưới 16 tuổi sử dụng smartphone và mạng xã hội Vietnet24h - Theo báo cáo của Ủy ban giáo dục Hạ viện Anh, việc khuyến nghị cấm trẻ dưới 16 tuổi sử dụng smartphone và tăng độ tuổi tối thiểu để mở tài khoản mạng xã hội lên 16 nhằm giảm tác động tiêu cực của công nghệ đối với sức khỏe và giáo dục của thanh thiếu niên.
AI và robot: ranh giới mong manh giữa tiện ích và mối nguy hiểm Vietnet24h - Robot tích hợp AI đang ngày càng thông minh, nhưng cũng là nguyên nhân của nhiều lo ngại. Một video thử nghiệm tại Trung Quốc cho thấy, chỉ cần một mệnh lệnh sai, trí tuệ nhân tạo có thể dẫn dắt máy móc đi lệch quỹ đạo và gây nguy hiểm cho nhân loại.
Samsung, LG ôm trọn Giải thưởng Đổi mới tại CES 2025 Vietnet24h - Trong chương trình năm nay, Samsung đã giành được 29 giải thưởng, bao gồm bốn sản phẩm đổi mới tốt nhất, trong khi LG nhận được 24 giải thưởng với ba giải thưởng đổi mới hàng đầu.
Liệu Samsung có hợp tác với đối thủ cạnh tranh trong lĩnh vực đúc là TSMC không? Vietnet24h - Sự thay đổi chiến lược đang hiện hữu khi gã khổng lồ chip Hàn Quốc đang phải vật lộn để đảm bảo lợi thế trong lĩnh vực chip AI tiên tiến
LG thảo luận về hợp tác chiến lược với nhà thiết kế chip nổi tiếng Jim Keller Vietnet24h - Tổng giám đốc điều hành LG Electronics Cho Joo-wan đã gặp Jim Keller, một nhà thiết kế chip nổi tiếng và là Tổng giám đốc điều hành của công ty khởi nghiệp bán dẫn trí tuệ nhân tạo (AI) Tenstorrent của Hoa Kỳ.
Hội chợ Thương mại Quốc tế Việt Nam lần thứ 22 tại TP. Hồ Chí Minh VIETNAM EXPO 2024 HCMC - Giải pháp cho cuộc sống hiện đại Vietnet24h - Hội chợ Thương mại Quốc tế Việt Nam lần thứ 22 tại Thành phố Hồ Chí Minh (VIETNAM EXPO 2024 HCMC) với chủ đề “Giải pháp cho cuộc sống hiện đại” sẽ diễn ra từ ngày 5-7 tháng 12 năm 2024 tại Trung tâm Hội nghị và Triển lãm Sài Gòn (SECC) – 799 Nguyễn Văn Linh, Quận 7, TP. Hồ Chí Minh.
Việt Nam mở rộng dấu chân trong mảng đóng gói chip Vietnet24h - Ngành sản xuất bán dẫn hậu cần, vốn ít thâm dụng vốn hơn so với sản xuất chip tiền tuyến mang tính chiến lược hơn tại các xưởng đúc, hiện do Trung Quốc và Đài Loan thống trị, nhưng Việt Nam là một trong những quốc gia tăng trưởng nhanh nhất trong phân khúc 95 tỷ đô la.
Huawei kêu gọi nhà mạng cùng xây dựng tương lai AI di động Vietnet24h - Phó chủ tịch Huawei, ông Li Peng, cho rằng mạng 5.5G sẽ là bệ phóng cho AI di động, giúp các nhà mạng khai thác tối đa cơ hội tăng trưởng từ nhu cầu sử dụng AI ngày càng tăng của người dùng.
Tại sao Meta và Snap chi hàng tỷ đô la cho kính AR Vietnet24h - Sau một thập kỷ phát triển và hàng tỷ đô la, vào tháng 9, CEO của Meta, Mark Zuckerberg đã vén bức màn về một trong những dự án đầy tham vọng nhất của công ty: một nguyên mẫu thực tế tăng cường có tên là Orion.
Tấn công mạng: khi AI trở thành vũ khí mới của tội phạm Vietnet24h - Một báo cáo mới từ Imperva chỉ ra rằng, với sự phổ biến của trí tuệ nhân tạo và mô hình ngôn ngữ lớn, ngành bán lẻ đang phải đối mặt với một làn sóng tấn công mạng ngày càng tinh vi. Hơn 500.000 cuộc tấn công mỗi ngày đang đe dọa nghiêm trọng đến an ninh thông tin và uy tín doanh nghiệp.
CEO Tesla Elon Musk ra mắt robotaxi 'Cybercab' Vietnet24h - Vào thứ năm (10/10), CEO của Tesla, Elon Musk đã giới thiệu một chiếc xe taxi robot được mong đợi từ lâu với hai cửa cánh chim và không có vô lăng hoặc bàn đạp và gây bất ngờ với xe tải robot, đặt cược vào sự thay đổi trọng tâm từ những chiếc xe giá rẻ dành cho thị trường đại chúng sang xe robot.
Các công ty LG cắt giảm 4,25 triệu tấn khí thải vào năm 2023 Vietnet24h - Bảy công ty liên kết của Tập đoàn LG đã giảm 4,25 triệu tấn khí thải carbon vào năm ngoái như một phần trong nỗ lực của tập đoàn nhằm đạt được trạng thái phát thải ròng bằng 0 vào năm 2050.
Tín hiệu tốt cho ngành pin Hàn Quốc trên đất Mỹ Vietnet24h - Ngành công nghiệp pin Hàn Quốc đặt kỳ vọng vào các chính sách bảo hộ và quan hệ đối tác chiến lược tại Mỹ, trong bối cảnh chính quyền mới của ông Trump có thể mang lại lợi thế cạnh tranh trước các đối thủ Trung Quốc.
Luật năng lượng mới giúp Trung Quốc tiến nhanh trên lộ trình trung hòa Carbon Vietnet24h - Hướng tới phát triển bền vững, Trung Quốc vừa thông qua luật năng lượng mới, tăng cường đầu tư vào năng lượng tái tạo và xe năng lượng sạch. Động thái này góp phần cải thiện chất lượng môi trường và nâng cao vai trò của nước này trong cuộc chiến chống biến đổi khí hậu.
Không khí trong nhà ô nhiễm ảnh hưởng đến sức khỏe như thế nào? Vietnet24h - Trong khi chúng ta luôn chú trọng đến môi trường sống bên ngoài, ít ai để ý rằng không khí trong chính ngôi nhà của mình có thể là một sát thủ vô hình, âm thầm gây ra nhiều vấn đề nghiêm trọng cho sức khỏe. Không khí trong nhà, nếu không được quản lý đúng cách, có thể ô nhiễm hơn gấp nhiều lần so với bên ngoài, đe dọa trực tiếp đến sức khỏe của cả gia đình.
Pin mặt trời trên mái nhà: Cân bằng giữa năng lượng sạch và nhiệt độ đô thị Vietnet24h - Dữ liệu từ nghiên cứu mới cho thấy các tấm pin mặt trời vừa giúp giảm ô nhiễm vừa thay đổi nhiệt độ đô thị, yêu cầu các thành phố cần giải pháp tối ưu để tận dụng năng lượng tái tạo.
UNDP và IBM cùng nhau tạo ra bước đột phá trong dự báo năng lượng bằng AI Vietnet24h - Với sự ra mắt của GeoHub, UNDP và IBM đã phát triển các mô hình AI giúp người dùng phân tích và đưa ra quyết định dựa trên dữ liệu năng lượng, mở ra hy vọng cho một tương lai bền vững hơn.
LG Energy Solution tái chế pin hướng tới tương lai bền vững Vietnet24h - LG Energy Solution (LGES) đã tìm kiếm các cơ hội kinh doanh mới trên thị trường tái sử dụng và tái chế pin.
Septic: Giải pháp bể tự hoại thông minh giúp ngăn ngừa ô nhiễm nguồn nước Vietnet24h - Với khả năng chống thấm và xử lý chất thải tối ưu, bể tự hoại thông minh Septic đang được nhiều gia đình lựa chọn để thay thế cho các bể phốt bê tông cũ, giúp bảo vệ môi trường và đảm bảo an toàn sức khỏe.
Samsung SDI giới thiệu pin thế hệ tiếp theo tại IAA Transportation 2024 Vietnet24h - Samsung SDI đang giới thiệu dòng sản phẩm pin thế hệ tiếp theo được tối ưu hóa cho xe thương mại điện tại IAA Transportation 2024 ở Hanover, CHLB Đức.
Phát triển Kinh tế tuần hoàn: Xu hướng thế giới và định hướng chính sách tại Việt Nam Vietnet24h - Ngày 12/09/2024 tại Thành phố Hải Phòng đã diễn ra Diễn đàn Phát triển kinh tế tuần hoàn: Xu hướng thế giới và định hướng chính sách tại Việt Nam do Bộ Kế hoạch và Đầu tư tổ chức. Diễn đàn tập trung đánh giá những kết quả đạt được, phân tích những tồn tại, hạn chế và nguyên nhân của việc thúc đẩy phát triển các mô hình kinh tế tuần hoàn tại Việt Nam.