Tầm nhìn công nghệ
Mô hình A.I. mới nhất của Google sử dụng dữ liệu văn bản nhiều hơn gần năm lần để đào tạo so với mô hình trước đó
Nam Phong - Thứ Tư, 17/05/2023 11:35 SA
Vietnet24h - Mô hình ngôn ngữ lớn PaLM 2 của Google đang sử dụng gần gấp năm lần lượng dữ liệu văn bản để đào tạo so với LLM tiền nhiệm của nó
Mô hình ngôn ngữ lớn mới của Google, mà công ty đã công bố vào tuần trước, sử dụng lượng dữ liệu đào tạo gần gấp năm lần so với mô hình ngôn ngữ tiền nhiệm từ năm 2022, cho phép nó thực hiện các tác vụ viết mã, toán học và sáng tạo nâng cao hơn.
 
PaLM 2, mô hình ngôn ngữ lớn sử dụng chung (LLM) mới của công ty đã được công bố tại Google I/O, được đào tạo trên 3,6 nghìn tỷ mã thông báo. Các mã thông báo, là các chuỗi từ, là một khối xây dựng quan trọng để đào tạo LLM, bởi vì chúng dạy cho mô hình dự đoán từ tiếp theo sẽ xuất hiện trong một chuỗi.
 
Phiên bản PaLM trước đây của Google, viết tắt của Mô hình ngôn ngữ con đường, được phát hành vào năm 2022 và được đào tạo trên 780 tỷ mã thông báo.
 
Mặc dù Google háo hức giới thiệu sức mạnh của công nghệ trí tuệ nhân tạo và cách nó có thể được nhúng vào tìm kiếm, email, xử lý văn bản và bảng tính, nhưng công ty đã không muốn công bố kích thước hoặc các chi tiết khác về dữ liệu đào tạo của mình. OpenAI, Microsoft
-người tạo ra ChatGPT được hỗ trợ, cũng đã giữ bí mật các chi tiết cụ thể của LLM mới nhất của mình có tên là GPT-4.
 
Các công ty cho biết lý do thiếu công bố thông tin là bản chất cạnh tranh của hoạt động kinh doanh. Google và OpenAI đang gấp rút thu hút những người dùng có thể muốn tìm kiếm thông tin bằng chatbot đàm thoại thay vì các công cụ tìm kiếm truyền thống.
 
Nhưng khi cuộc chạy đua AI đang nóng lên, cộng đồng nghiên cứu đang đòi hỏi sự minh bạch cao hơn.
 
Kể từ khi công bố PaLM 2, Google đã cho biết mô hình mới nhỏ hơn so với các LLM trước đó, điều này rất quan trọng vì điều đó có nghĩa là công nghệ của công ty đang trở nên hiệu quả hơn trong khi hoàn thành các tác vụ phức tạp hơn. PaLM 2, theo các tài liệu nội bộ, được đào tạo trên 340 tỷ tham số, một dấu hiệu cho thấy mức độ phức tạp của mô hình. PaLM ban đầu được đào tạo trên 540 tỷ thông số.
 
Google đã không đưa ra bình luận ngay lập tức cho câu chuyện này.

Google cho biết trong một bài đăng trên blog về PaLM 2 rằng mô hình này sử dụng một “kỹ thuật mới” được gọi là “mở rộng quy mô điện toán tối ưu”. Điều đó làm cho LLM “hiệu quả hơn với hiệu suất tổng thể tốt hơn, bao gồm suy luận nhanh hơn, cung cấp ít tham số hơn và chi phí phục vụ thấp hơn”.
 
Khi công bố PaLM 2, Google đã xác nhận báo cáo trước đây rằng, mô hình này được đào tạo trên 100 ngôn ngữ và thực hiện nhiều nhiệm vụ khác nhau. Nó đã được sử dụng để cung cấp năng lượng cho 25 tính năng và sản phẩm, bao gồm cả chatbot thử nghiệm Bard của công ty. Nó có bốn kích cỡ, từ nhỏ nhất đến lớn nhất: Tắc kè, Rái cá, Bò rừng và Kỳ lân.
 
PaLM 2 mạnh hơn bất kỳ mô hình hiện có nào, dựa trên các tiết lộ công khai. LLM của Facebook được gọi là LLaMA, được công bố vào tháng 2, được đào tạo trên 1,4 nghìn tỷ mã thông báo. Lần cuối cùng OpenAI chia sẻ quy mô đào tạo của ChatGPT là với GPT-3, khi công ty cho biết họ đã được đào tạo trên 300 tỷ mã thông báo vào thời điểm đó. OpenAI đã phát hành GPT-4 vào tháng 3 và cho biết nó thể hiện “hiệu suất ở cấp độ con người” trong nhiều bài kiểm tra chuyên nghiệp.
 
LaMDA, một LLM hội thoại mà Google đã giới thiệu hai năm trước và chào hàng vào tháng 2 cùng với Bard, đã được đào tạo trên 1,5 nghìn tỷ mã thông báo, theo các tài liệu mới nhất được CNBC xem.
 
Khi các ứng dụng AI mới nhanh chóng trở thành xu hướng chủ đạo, những tranh cãi xung quanh công nghệ cơ bản ngày càng gay gắt hơn.
 
El Mahdi El Mhamdi, một nhà khoa học cấp cao của Google Research, đã từ chức vào tháng Hai vì sự thiếu minh bạch của công ty. Vào thứ Ba, Giám đốc điều hành OpenAI Sam Altman đã làm chứng tại phiên điều trần của tiểu ban Tư pháp Thượng viện về quyền riêng tư và công nghệ, đồng thời đồng ý với các nhà lập pháp rằng cần có một hệ thống mới để đối phó với AI.
 
“Đối với một công nghệ rất mới, chúng tôi cần một khuôn khổ mới,” Altman nói. “Chắc chắn những công ty như công ty của chúng tôi chịu rất nhiều trách nhiệm đối với các công cụ mà chúng tôi đưa ra thế giới.”
Người đứng đầu ChatGPT sẽ điều trần trước Quốc hội Hoa Kỳ về trí tuệ nhân tạo Vietnet24h - Người đứng đầu công ty trí tuệ nhân tạo tạo ra ChatGPT sẽ điều trần trước Quốc hội (Hoa kỳ) khi các nhà lập pháp kêu gọi các quy tắc mới để hướng dẫn sự phát triển nhanh chóng của công nghệ AI.
Trí tuệ nhân tạo của Google đang đến với nhiều công ty gần bạn hơn Vietnet24h - Báo cáo tài chính, hoạt động tiếp thị hàng may mặc và trợ lý trò chuyện mà bạn tương tác có thể sớm phản ánh một nguồn gốc chung: trí tuệ nhân tạo từ Google.
Theo CNBC
Tin khác cùng chuyên mục
Tin đọc nhiều
Bộ TT&TT chặn và gỡ bỏ hàng trăm nghìn nội dung vi phạm trên Facebook, TikTok Vietnet24h - Thời gian vừa qua, các nền tảng mạng xã hội xuyên biên giới như TikTok, Facebook, Youtube đã phát tán nhiều nội dung độc hại, vi phạm. Nếu muốn tiếp tục hoạt động, các nền tảng này phải tuân thủ pháp luật Việt Nam, tránh ảnh hưởng xấu đến người dùng.
Bộ Tài chính không đồng tình với loạt kiến nghị của các “ông lớn” ngành ô tô Vietnet24h - Trước kiến nghị của Toyota, Ford về nới điều kiện và bổ sung một số linh kiện, phụ tùng vào diện hưởng thuế 0%, Bộ Tài chính không đồng tình do trong nước đã sản xuất được.
Hội nghị Xúc tiến đầu tư tài chính tại Hoa Kỳ: Kết nối các nhà đầu tư Hoa Kỳ với Việt Nam Vietnet24h - Theo tin từ Bộ Tài chính cho biết, Hội nghị Xúc tiến đầu tư tài chính tại Hoa Kỳ vừa được tổ chức ở Los Angeles (Hoa Kỳ). Hội nghị do Bộ trưởng Bộ Tài chính Hồ Đức Phớc chủ trì, với sự tham dự của bà Vũ Thị Chân Phương - Chủ tịch Ủy ban Chứng khoán Nhà nước, ông Mai Xuân Thành – Tổng cục trưởng Tổng cục Thuế và đại diện lãnh đạo các bộ ngành liên quan.
Canada cấm sử dụng WeChat và Kaspersky trên các thiết bị di động của chính phủ Vietnet24h - Theo đó, các ứng dụng này sẽ bị xóa ngay lập tức khỏi các thiết bị do Chính phủ Canada cung cấp và người dùng sẽ bị chặn tải chúng xuống trong tương lai.
Chi tiêu cho R&D chiếm gần 4% GDP của Đài Loan vào năm 2022 Vietnet24h - Theo Hội đồng Khoa học và Công nghệ Quốc gia Đài Loan (NSTC), chi tiêu cho nghiên cứu và phát triển chiếm gần 4% tổng sản phẩm quốc nội (GDP) của Đài Loan vào năm 2022, mức cao nhất trong lịch sử khu vực này.
Malaysia đặt mục tiêu thu hút đầu tư nước ngoài vào ngành công nghiệp xe điện, công nghiệp chip Vietnet24h - Hôm nay, Thứ Năm (3/11), Bộ trưởng Thương mại và Đầu tư Malaysia cho biết, Malaysia đang tìm kiếm các nhà đầu tư nước ngoài trong các ngành công nghiệp có giá trị cao như xe điện, chất bán dẫn và thu hồi carbon.
Cựu nhà nghiên cứu Samsung Display bị bắt vì tiết lộ bí mật OLED cho Trung Quốc Vietnet24h - Các công tố viên tuyên bố họ làm rò rỉ bí mật thương mại.
TSMC chờ đợi sự chấp thuận của Hoa Kỳ trong việc nhập khẩu các công cụ sản xuất chip cho nhà máy của họ tại Trung Quốc Vietnet24h - Thứ Sáu tuần qua ((13/10), TSMC của Đài Loan cho biết, họ dự kiến sẽ nhận được sự cho phép của Hoa Kỳ để cung cấp vô thời hạn cho nhà máy ở Trung Quốc các công cụ sản xuất chip của Hoa Kỳ.
Bảo mật kém, bị hack Facebook, chủ tài khoản có thể bị phạt Vietnet24h - Có những Facebook vi phạm luật an ninh mạng nhưng để lách luật, các chủ tài khoản lấy lý do người khác dùng chung hoặc bị hack
Nhật Bản cấm xuất khẩu ô tô cũ sang Nga Vietnet24h - Việc Nhật Bản cấm hầu hết các hình thức bán xe ô tô đã qua sử dụng cho Nga đã chấm dứt hoạt động thương mại trị giá gần 2 tỷ USD mỗi năm.
Amazon công bố chip AI mới và làm sâu sắc thêm mối quan hệ với Nvidia Vietnet24h - Amazon Web Services đã công bố Trainium2, một con chip dùng để đào tạo các mô hình trí tuệ nhân tạo và nó cũng sẽ cung cấp quyền truy cập vào các bộ xử lý đồ họa H200 Tensor Core thế hệ tiếp theo của Nvidia.
Nhà sản xuất iPhone của Apple, Foxconn đầu tư 1,5 tỷ USD vào Ấn Độ Vietnet24h - Nhà cung cấp của Apple, Foxconn, cho biết họ có kế hoạch đầu tư hơn 1,5 tỷ USD vào Ấn Độ cho một dự án xây dựng chưa xác định nhằm đáp ứng “nhu cầu hoạt động” của mình.
LG sẽ ra mắt bộ sạc EV tại Mỹ vào năm tới Vietnet24h - LG Electronics sẽ ra mắt chính thức tại thị trường bộ sạc xe điện Hoa Kỳ với các mẫu bộ sạc chậm và nhanh của riêng mình, gã khổng lồ công nghệ cho biết hôm nay, thứ Năm (16/11).
Hon Hai phát triển vệ tinh phóng lên vũ trụ Vietnet24h - Hai vệ tinh quỹ đạo trái đất thấp (LEO) do gã khổng lồ sản xuất Hon Hai Precision Industry Co. (Foxconn) có trụ sở tại Đài Loan phát triển đã được phóng thành công lên vũ trụ trên tên lửa SpaceX Falcon 9 vào đầu giờ Chủ nhật (Giờ Đài Loan, UTC+8).
Sự phát triển và tầm ảnh hưởng nhanh chóng của Starlink đã khiến nó trở thành một phần không thể thiếu trong SpaceX của Elon Musk Vietnet24h - SpaceX của Elon Musk được biết đến với những lần phóng thường xuyên, hiện đang thống trị ngành công nghiệp vũ trụ.
Nhật Bản chi 13 tỷ USD để hỗ trợ ngành công nghiệp chip trong ngân sách bổ sung Vietnet24h - Quốc gia này là nhà cung cấp hàng đầu các công cụ và vật liệu sản xuất chip đã mất lợi thế sản xuất trong những thập kỷ gần đây và hiện đang trợ cấp cho các nhà sản xuất chip để xây dựng năng lực.
Các xu hướng công nghệ và tương lai của AI tạo sinh tại Diễn đàn Samsung AI 2023 Vietnet24h - Samsung Electronics hôm nay đã tổ chức ngày thứ hai của Diễn đàn Samsung AI 2023 do Samsung Research chủ trì với trọng tâm là generative AI (AI tạo sinh).
Huawei có kế hoạch cạnh tranh với Nvidia trong lĩnh vực kinh doanh chip AI như thế nào Vietnet24h - Việc Hoa Kỳ hạn chế bán chip nhân tạo tiên tiến của Nvidia sang Trung Quốc đang tạo cơ hội cho Huawei giành thị phần, với các nguồn tin cho biết họ đã giành được đơn đặt hàng chip AI khá lớn từ gã khổng lồ công nghệ Trung Quốc Baidu trong năm nay.
CEO Samsung nhấn mạnh việc nghiên cứu AI an toàn Vietnet24h - Đồng Giám đốc điều hành Samsung Electronics, Kyung Kye-hyun, người giám sát hoạt động kinh doanh chip của gã khổng lồ công nghệ, đã kêu gọi các chuyên gia tiến hành nghiên cứu sâu hơn về sự an toàn, độ tin cậy và tính bền vững của trí tuệ nhân tạo phù hợp với những tiến bộ nhanh chóng của công nghệ.
Samsung đặt cược lớn vào mảng đóng gói chip trong tương lai Vietnet24h - Với nhu cầu ngày càng tăng về chất bán dẫn thế hệ tiếp theo trên toàn cầu, Samsung Electro-Mechanics, một chi nhánh sản xuất linh kiện điện tử của Samsung Electronics, đã tìm cách dẫn đầu trong thị trường chất nền đóng gói chip.
TRIỂN LÃM QUỐC TẾ CÔNG NGHỆ LÀM VƯỜN & TRANG TRÍ CẢNH QUAN VIỆT NAM 2023 Vietnet24h - Sự kiện sẽ diễn ra từ ngày 07 - 09/12 tại Trung tâm Triển lãm & Hội chợ Sài Gòn (SECC) - 799 Nguyễn Văn Linh, P. Tân Phú, Q.7, TP.HCM.
Samsung cung cấp hệ thống nhà tương lai thân thiện với môi trường cho Thụy Điển Vietnet24h - Samsung Electronics sẽ cung cấp giải pháp nhà ở thân thiện với môi trường Net Zero Home cho một thành phố thông minh, hiện đang được xây dựng gần thủ đô Stockholm của Thụy Điển
Apple sẽ không chuyển chi phí của các mục tiêu khí hậu sang người tiêu dùng Vietnet24h - Apple sẽ không tính phí nhiều hơn cho những nỗ lực giảm lượng carbon đối với các sản phẩm công nghệ tiêu dùng được sử dụng rộng rãi của mình, giám đốc điều hành hàng đầu về tính bền vững của hãng cho biết hôm thứ Tư tại hội nghị Reuters NEXT ở New York.
Tập đoàn Trina Solar sẽ đầu tư vào dự án năng lượng tại Thái Nguyên Vietnet24h - Trina Solar - tập đoàn lớn trong lĩnh vực pin năng lượng mặt trời của Trung Quốc đang có kế hoạch tiếp tục đầu tư tại tỉnh Thái Nguyên với số vốn khoảng 420 triệu USD (hơn 10.000 tỷ đồng).
Diễn đàn đầu tư thế giới: kêu gọi đầu tư phát triển bền vững Vietnet24h - Từ ngày 16-20/10, Hội nghị Liên hợp quốc về Thương mại và Phát triển (UNCTAD) đã tổ chức Diễn đàn Đầu tư Thế giới (WIF) lần thứ 8 tại Abu Dhabi, Các Tiểu Vương quốc Arab Thống nhất (UAE). Đoàn Việt Nam do Thứ trưởng Bộ Kế hoạch và Đầu tư Trần Quốc Phương dẫn đầu tham dự.
SKC xây dựng nhà máy nhựa sinh học tại Việt Nam Vietnet24h - Nhà sản xuất vật liệu tiên tiến SKC của Hàn Quốc hôm thứ Hai (25/9) cho biết, họ đã quyết định chọn một địa điểm ở thành phố Hải Phòng, Việt Nam để thành lập một nhà máy sản xuất nhựa phân hủy sinh học, nhằm thúc đẩy mở rộng hoạt động kinh doanh thân thiện với môi trường.
Microsoft đang tuyển dụng chuyên gia năng lượng hạt nhân giúp cho các trung tâm dữ liệu đám mây và AI của họ Vietnet24h - Microsoft đang tìm cách thuê một “người quản lý chương trình chính về công nghệ hạt nhân”.
Apple khẳng định iPhone 12 không vi phạm quy định về bức xạ Vietnet24h - Apple tuyên bố dòng iPhone 12 đã được nhiều tổ chức quốc tế xác nhận tuân thủ các tiêu chuẩn quốc tế về bức xạ.
Samsung đưa ra tầm nhìn về cuộc sống thông minh hơn, bền vững hơn tại IFA Vietnet24h - Thứ Năm tuần này (31/8), Samsung Electronics Co. đã chia sẻ tầm nhìn và sự phát triển công nghệ của mình cho lối sống mà họ coi là tương lai: những ngôi nhà được kết nối đầy đủ và lối sống thân thiện với môi trường.
Google bắt đầu bán dữ liệu bản đồ cho các công ty sản xuất sản phẩm năng lượng mặt trời Vietnet24h - Google đang có kế hoạch bán các API bản đồ mới cho phép các công ty xây dựng các sản phẩm sử dụng dữ liệu về năng lượng và môi trường.