Tầm nhìn
Mô hình A.I. mới nhất của Google sử dụng dữ liệu văn bản nhiều hơn gần năm lần để đào tạo so với mô hình trước đó
Nam Phong - Thứ Tư, 17/05/2023 11:35 SA
Vietnet24h - Mô hình ngôn ngữ lớn PaLM 2 của Google đang sử dụng gần gấp năm lần lượng dữ liệu văn bản để đào tạo so với LLM tiền nhiệm của nó
Mô hình ngôn ngữ lớn mới của Google, mà công ty đã công bố vào tuần trước, sử dụng lượng dữ liệu đào tạo gần gấp năm lần so với mô hình ngôn ngữ tiền nhiệm từ năm 2022, cho phép nó thực hiện các tác vụ viết mã, toán học và sáng tạo nâng cao hơn.
 
PaLM 2, mô hình ngôn ngữ lớn sử dụng chung (LLM) mới của công ty đã được công bố tại Google I/O, được đào tạo trên 3,6 nghìn tỷ mã thông báo. Các mã thông báo, là các chuỗi từ, là một khối xây dựng quan trọng để đào tạo LLM, bởi vì chúng dạy cho mô hình dự đoán từ tiếp theo sẽ xuất hiện trong một chuỗi.
 
Phiên bản PaLM trước đây của Google, viết tắt của Mô hình ngôn ngữ con đường, được phát hành vào năm 2022 và được đào tạo trên 780 tỷ mã thông báo.
 
Mặc dù Google háo hức giới thiệu sức mạnh của công nghệ trí tuệ nhân tạo và cách nó có thể được nhúng vào tìm kiếm, email, xử lý văn bản và bảng tính, nhưng công ty đã không muốn công bố kích thước hoặc các chi tiết khác về dữ liệu đào tạo của mình. OpenAI, Microsoft
-người tạo ra ChatGPT được hỗ trợ, cũng đã giữ bí mật các chi tiết cụ thể của LLM mới nhất của mình có tên là GPT-4.
 
Các công ty cho biết lý do thiếu công bố thông tin là bản chất cạnh tranh của hoạt động kinh doanh. Google và OpenAI đang gấp rút thu hút những người dùng có thể muốn tìm kiếm thông tin bằng chatbot đàm thoại thay vì các công cụ tìm kiếm truyền thống.
 
Nhưng khi cuộc chạy đua AI đang nóng lên, cộng đồng nghiên cứu đang đòi hỏi sự minh bạch cao hơn.
 
Kể từ khi công bố PaLM 2, Google đã cho biết mô hình mới nhỏ hơn so với các LLM trước đó, điều này rất quan trọng vì điều đó có nghĩa là công nghệ của công ty đang trở nên hiệu quả hơn trong khi hoàn thành các tác vụ phức tạp hơn. PaLM 2, theo các tài liệu nội bộ, được đào tạo trên 340 tỷ tham số, một dấu hiệu cho thấy mức độ phức tạp của mô hình. PaLM ban đầu được đào tạo trên 540 tỷ thông số.
 
Google đã không đưa ra bình luận ngay lập tức cho câu chuyện này.

Google cho biết trong một bài đăng trên blog về PaLM 2 rằng mô hình này sử dụng một “kỹ thuật mới” được gọi là “mở rộng quy mô điện toán tối ưu”. Điều đó làm cho LLM “hiệu quả hơn với hiệu suất tổng thể tốt hơn, bao gồm suy luận nhanh hơn, cung cấp ít tham số hơn và chi phí phục vụ thấp hơn”.
 
Khi công bố PaLM 2, Google đã xác nhận báo cáo trước đây rằng, mô hình này được đào tạo trên 100 ngôn ngữ và thực hiện nhiều nhiệm vụ khác nhau. Nó đã được sử dụng để cung cấp năng lượng cho 25 tính năng và sản phẩm, bao gồm cả chatbot thử nghiệm Bard của công ty. Nó có bốn kích cỡ, từ nhỏ nhất đến lớn nhất: Tắc kè, Rái cá, Bò rừng và Kỳ lân.
 
PaLM 2 mạnh hơn bất kỳ mô hình hiện có nào, dựa trên các tiết lộ công khai. LLM của Facebook được gọi là LLaMA, được công bố vào tháng 2, được đào tạo trên 1,4 nghìn tỷ mã thông báo. Lần cuối cùng OpenAI chia sẻ quy mô đào tạo của ChatGPT là với GPT-3, khi công ty cho biết họ đã được đào tạo trên 300 tỷ mã thông báo vào thời điểm đó. OpenAI đã phát hành GPT-4 vào tháng 3 và cho biết nó thể hiện “hiệu suất ở cấp độ con người” trong nhiều bài kiểm tra chuyên nghiệp.
 
LaMDA, một LLM hội thoại mà Google đã giới thiệu hai năm trước và chào hàng vào tháng 2 cùng với Bard, đã được đào tạo trên 1,5 nghìn tỷ mã thông báo, theo các tài liệu mới nhất được CNBC xem.
 
Khi các ứng dụng AI mới nhanh chóng trở thành xu hướng chủ đạo, những tranh cãi xung quanh công nghệ cơ bản ngày càng gay gắt hơn.
 
El Mahdi El Mhamdi, một nhà khoa học cấp cao của Google Research, đã từ chức vào tháng Hai vì sự thiếu minh bạch của công ty. Vào thứ Ba, Giám đốc điều hành OpenAI Sam Altman đã làm chứng tại phiên điều trần của tiểu ban Tư pháp Thượng viện về quyền riêng tư và công nghệ, đồng thời đồng ý với các nhà lập pháp rằng cần có một hệ thống mới để đối phó với AI.
 
“Đối với một công nghệ rất mới, chúng tôi cần một khuôn khổ mới,” Altman nói. “Chắc chắn những công ty như công ty của chúng tôi chịu rất nhiều trách nhiệm đối với các công cụ mà chúng tôi đưa ra thế giới.”
Người đứng đầu ChatGPT sẽ điều trần trước Quốc hội Hoa Kỳ về trí tuệ nhân tạo Vietnet24h - Người đứng đầu công ty trí tuệ nhân tạo tạo ra ChatGPT sẽ điều trần trước Quốc hội (Hoa kỳ) khi các nhà lập pháp kêu gọi các quy tắc mới để hướng dẫn sự phát triển nhanh chóng của công nghệ AI.
Trí tuệ nhân tạo của Google đang đến với nhiều công ty gần bạn hơn Vietnet24h - Báo cáo tài chính, hoạt động tiếp thị hàng may mặc và trợ lý trò chuyện mà bạn tương tác có thể sớm phản ánh một nguồn gốc chung: trí tuệ nhân tạo từ Google.
Theo CNBC
Tin khác cùng chuyên mục
Tin đọc nhiều
Hoa Kỳ đã đưa ra những yêu cầu 'khó khăn' đối với Việt Nam trong các cuộc đàm phán thương mại Vietnet24h -Washington muốn các nhà máy tại Việt Nam giảm sử dụng vật liệu và linh kiện từ Trung Quốc và yêu cầu nước này kiểm soát chặt chẽ hơn chuỗi sản xuất và cung ứng của mình.
Số hóa hộ kinh doanh: Khi chính sách cần một lực đẩy công nghệ từ khu vực tư nhân Vietnet24h - Từ chợ truyền thống đến xe buýt, mô hình thanh toán số đang từng bước len lỏi vào đời sống thường nhật của hộ kinh doanh. Nhờ sự hợp tác giữa khu vực công và các nền tảng công nghệ, quá trình chuyển đổi số tại khu vực tư nhân nhỏ lẻ đang diễn ra mạnh mẽ hơn bao giờ hết.
Hoa Kỳ cấm sử dụng chip AI của Huawei ở mọi quốc gia, bao gồm cả Trung Quốc Vietnet24h - Cục Công nghiệp và An ninh Hoa Kỳ (BIS) tuyên bố sử dụng chipset AI của Huawei là vi phạm kiểm soát xuất khẩu.
Trump không muốn Apple sản xuất sản phẩm tại Ấn Độ Vietnet24h - Tổng thống Trump hôm thứ năm cho biết ông đã nói với CEO Apple Tim Cook rằng ông không muốn gã khổng lồ công nghệ này sản xuất sản phẩm tại Ấn Độ.
Việt Nam “gọi tên” Meta: Thị trường tỷ đô không thể mãi là vùng xám thuế số Vietnet24h - Khi Việt Nam trở thành điểm đến chiến lược của các tập đoàn công nghệ, yêu cầu Meta xác lập hiện diện thương mại tại thị trường 100 triệu dân không chỉ là câu chuyện pháp lý – đó là bước đi chiến lược nhằm thiết lập trật tự mới cho đầu tư số, công bằng thuế và cân bằng lợi ích song phương.
Thấy gì từ thoả thuận thương mại Mỹ - Anh và việc định hình lại trật tự thương mại toàn cầu? Vietnet24h - Thỏa thuận thương mại Mỹ - Anh, được công bố ngày 8/5/2025, đánh dấu một bước ngoặt quan trọng trong bối cảnh trật tự thương mại toàn cầu đang tái định hình.
Tuyên ngôn bảo vệ sự thật trong thời đại AI – truyền thông không thể đứng ngoài cuộc chơi Vietnet24h - Sự kiện hàng nghìn cơ quan báo chí toàn cầu cùng lên tiếng kêu gọi các công ty phát triển AI tuân thủ nguyên tắc đạo đức và tôn trọng giá trị tin tức, không đơn thuần là một phản ứng bị động trước làn sóng công nghệ mới. Đó là một tuyên ngôn chiến lược – cho thấy ngành truyền thông truyền thống đã không còn chỉ trông đợi “quy định pháp lý” từ chính phủ, mà chủ động bước vào cuộc thương lượng trực tiếp với Big Tech để đòi lại quyền kiểm soát đối với sự thật.
Thuế phụ tùng ô tô của Trump lo ngại sẽ làm suy yếu xuất khẩu của Hàn Quốc Vietnet24h - Theo dữ liệu và các quan chức trong ngành vào thứ Sáu, kế hoạch áp thuế 25 phần trăm đối với phụ tùng ô tô của Hoa Kỳ được lo ngại sẽ gây sức ép nặng nề lên xuất khẩu của Hàn Quốc trong bối cảnh tầm quan trọng chiến lược ngày càng tăng của Hoa Kỳ đối với các nhà sản xuất linh kiện trong nước.
Các quan chức của chính quyền Trump để mắt đến những thay đổi đối với quy định xuất khẩu chip AI của Biden Vietnet24h - Chính quyền Trump đang thực hiện các thay đổi đối với quy định thời Biden nhằm hạn chế quyền tiếp cận toàn cầu đối với chip AI.
Chính quyền Trump công bố mức phí đối với tàu Trung Quốc cập cảng Hoa Kỳ Vietnet24h - Chính quyền Trump hôm thứ năm (17/4) đã công bố mức phí đối với tàu do Trung Quốc đóng.
Huawei và cuộc phản công âm thầm: Khi lệnh trừng phạt trở thành chất xúc tác cho giấc mơ bán dẫn Trung Quốc Vietnet24h - Bị dồn vào thế bí bởi các lệnh cấm vận công nghệ của Mỹ, Huawei không lùi bước mà ngấm ngầm xây dựng một mạng lưới đầu tư chiến lược vào hơn 60 công ty bán dẫn trong nước. Chiến lược này không chỉ nhằm cứu lấy chính mình, mà còn phản ánh một bước ngoặt lớn trong tham vọng tự chủ công nghệ của Trung Quốc.
Việt Nam: Hơn 8.700 ứng dụng bị Apple xóa vì gian lận – cao nhất thế giới Vietnet24h - Số liệu trong báo cáo minh bạch của Apple cho thấy Việt Nam vượt Trung Quốc và Pakistan để trở thành quốc gia có số ứng dụng bị xóa vì gian lận nhiều nhất toàn cầu trong năm qua. Trong số hơn 9.600 app bị gỡ, phần lớn là các ứng dụng tiện ích, game và giải trí.
Tổng giám đốc điều hành của Intel Lip-Bu Tan có thành tích lâu dài trong ngành chip khi ông cần một khách hàng lớn Vietnet24h - Lip-Bu Tan đã điều hành Intel được hơn hai tháng và ông đang thể hiện rõ ý định phát triển mảng kinh doanh đúc chip.
Các gã khổng lồ công nghệ Trung Quốc tiết lộ cách họ đối phó với lệnh hạn chế chip của Hoa Kỳ để tiếp tục cuộc đua AI Vietnet24h - Hai gã khổng lồ công nghệ Trung Quốc Tencent và Baidu tiết lộ cách họ tiếp tục cuộc đua trí tuệ nhân tạo toàn cầu ngay cả khi Hoa Kỳ thắt chặt một số hạn chế đối với các chất bán dẫn quan trọng.
Tại sao lời đe dọa đánh thuế iPhone của Trump có thể không đủ để đưa sản xuất trở về Hoa Kỳ Vietnet24h - Tổng thống Donald Trump muốn Apple sản xuất iPhone tại Hoa Kỳ và đe dọa sẽ áp dụng mức thuế 25% đối với điện thoại được sản xuất bên ngoài nước này.
Samsung Electronics sắp ra quyết định về việc tách mảng kinh doanh đúc chip Vietnet24h - Đánh giá của Ban quản lý sắp kết thúc; Khả năng tái cấu trúc đang hiện hữu.
Jensen Huang của Nvidia cho rằng lệnh hạn chế chip của Hoa Kỳ đã thất bại — và ông không đơn độc Vietnet24h - Ông Huang cho biết các biện pháp hạn chế chip của Hoa Kỳ đối với Trung Quốc đã không đạt được mục tiêu.
CEO Nvidia cho biết siêu máy tính sẽ giúp Đài Loan xây dựng ngành công nghiệp AI Vietnet24h - Nvidia đang có kế hoạch xây dựng một siêu máy tính nhà máy AI cho Đài Loan vì họ muốn hỗ trợ ngành AI và môi trường nghiên cứu AI của Đài Loan, CEO Jensen Huang của Nvidia cho biết hôm thứ Tư (21/5).
Microsoft giới thiệu GitHub AI agent có thể viết mã cho bạn Vietnet24h - Đơn vị GitHub của Microsoft đang cho phép các nhà phát triển triệu tập trợ lý trí tuệ nhân tạo Copilot và yêu cầu nó xử lý các tác vụ cụ thể, chẳng hạn như sửa lỗi hoặc viết lại mã.
Xiaomi của Trung Quốc cam kết đầu tư 6,9 tỷ đô la vào chip nội bộ Vietnet24h - Xiaomi dự kiến ​​sẽ ra mắt bộ vi xử lý Xring O1 dành cho điện thoại thông minh hàng đầu của mình vào thứ năm tuần này (22/5).
Elon Musk cho biết Tesla, xAI dự kiến ​​sẽ tiếp tục mua chip từ Nvidia và AMD Vietnet24h - Elon Musk cho biết công ty trí tuệ nhân tạo xAI của ông đặt mục tiêu xây dựng một cơ sở sản xuất 1 triệu GPU bên ngoài Memphis, Tennessee.
Cuộc Chiến Công Nghệ Toàn Cầu: Điện Lực Và Nguồn Nước - Yếu Tố Cốt Lõi Trong Sự Phát Triển Vietnet24h - Cuộc chiến công nghệ toàn cầu hiện nay không chỉ là cuộc đua về phần mềm, chip bán dẫn hay trí tuệ nhân tạo (AI), mà còn là cuộc chiến giành quyền kiểm soát các nguồn lực thiết yếu như điện lực và nước, vốn đóng vai trò nền tảng cho mọi lĩnh vực công nghệ cao.
Khi đại dương gọi tên khoa học: Việt Nam đón tàu nghiên cứu từ nước Nga xa xôi Vietnet24h - Không chỉ là một con tàu, “Giáo sư Gagarinsky” mang theo khát vọng khám phá đại dương, nơi những nhà khoa học Việt - Nga cùng viết tiếp hành trình tìm hiểu về biển cả, từ độ sâu thẳm đến vi mô của hệ sinh thái.
Khi những đoàn tàu mang theo ánh nắng: Câu chuyện về nhà máy điện mặt trời độc nhất vô nhị ở Thụy Sĩ Vietnet24h - Từ ý tưởng táo bạo đến thực tế vận hành trên đường ray Val-de-Travers, Sun-Ways đã viết nên một chương mới trong lịch sử năng lượng. Nhưng phía sau những tấm pin sáng bóng ấy, câu hỏi về độ bền và hiệu suất dài hạn vẫn còn bỏ ngỏ.
Vượt bão tuyết, xuyên trời xanh: Trung Quốc dựng "thành phố năng lượng" trên nóc thế giới Vietnet24h - Trong môi trường lạnh giá và thiếu oxy của cao nguyên Tây Tạng, Caipeng – nhà máy điện mặt trời cao nhất thế giới – vươn lên như một biểu tượng cho khả năng chinh phục tự nhiên của công nghệ năng lượng sạch thế kỷ 21.
Tái chế đất hiếm và cobalt: Apple đang viết lại công nghệ sản xuất thiết bị điện tử như thế nào? Vietnet24h - Với việc chuyển gần như toàn bộ nam châm và pin sang vật liệu tái chế, Apple đang ứng dụng những công nghệ phân loại, chiết tách và thu hồi tài nguyên tiên tiến nhất để tái định hình chuỗi cung ứng. Cuộc cách mạng “khai thác ngược” này không chỉ là giải pháp môi trường, mà còn là chiến lược dài hơi trong bối cảnh tài nguyên hiếm dần và chi phí leo thang.
Công nghệ đột phá: Trang phục tạo ra điện từ năng lượng Mặt Trời Vietnet24h - Công ty Toyoda Gosei của Nhật Bản đang thử nghiệm áo vest tích hợp pin năng lượng Mặt Trời perovskite siêu mỏng. Sản phẩm không chỉ cấp điện cho thiết bị nhỏ mà còn mở ra tiềm năng lớn trong ngành thời trang thông minh.
VinFast và BNI ký kết quan hệ đối tác chiến lược toàn diện để thúc đẩy quá trình chuyển đổi xanh và tăng trưởng bền vững Vietnet24h - VinFast và PT Bank Negara Indonesia (Persero) Tbk (BNI) đã ký Biên bản ghi nhớ (MOU) trong Đối thoại doanh nghiệp cấp cao Việt Nam-Indonesia với chủ đề "Việt Nam-Indonesia: Quan hệ đối tác vì sự tiến bộ và thịnh vượng".
Chủ tịch Tập đoàn SK gặp gỡ Tổng bí thư Tô Lâm thảo luận về hợp tác năng lượng Vietnet24h - Ông Chey đã có cuộc hội đàm với quan chức cấp cao của Việt Nam tại Hà Nội vào thứ Sáu (15/2), cùng với các giám đốc của SK Innovation E&S, SK Energy, SKC và SK Earth On.
Hội nghị năng lượng điện khai mạc tại Seoul giới thiệu nhiều công nghệ tiên tiến Vietnet24h - Một hội nghị về năng lượng điện đã khai mạc tại Seoul vào hôm nay, thứ Tư (12/2), để giới thiệu các công nghệ điện tiên tiến của các công ty trong và ngoài Hàn Quốc.