Hướng dẫn công nghệ
Mô hình A.I. mới nhất của Google sử dụng dữ liệu văn bản nhiều hơn gần năm lần để đào tạo so với mô hình trước đó
Nam Phong - Thứ Tư, 17/05/2023 11:35 SA
Vietnet24h - Mô hình ngôn ngữ lớn PaLM 2 của Google đang sử dụng gần gấp năm lần lượng dữ liệu văn bản để đào tạo so với LLM tiền nhiệm của nó
Mô hình ngôn ngữ lớn mới của Google, mà công ty đã công bố vào tuần trước, sử dụng lượng dữ liệu đào tạo gần gấp năm lần so với mô hình ngôn ngữ tiền nhiệm từ năm 2022, cho phép nó thực hiện các tác vụ viết mã, toán học và sáng tạo nâng cao hơn.
 
PaLM 2, mô hình ngôn ngữ lớn sử dụng chung (LLM) mới của công ty đã được công bố tại Google I/O, được đào tạo trên 3,6 nghìn tỷ mã thông báo. Các mã thông báo, là các chuỗi từ, là một khối xây dựng quan trọng để đào tạo LLM, bởi vì chúng dạy cho mô hình dự đoán từ tiếp theo sẽ xuất hiện trong một chuỗi.
 
Phiên bản PaLM trước đây của Google, viết tắt của Mô hình ngôn ngữ con đường, được phát hành vào năm 2022 và được đào tạo trên 780 tỷ mã thông báo.
 
Mặc dù Google háo hức giới thiệu sức mạnh của công nghệ trí tuệ nhân tạo và cách nó có thể được nhúng vào tìm kiếm, email, xử lý văn bản và bảng tính, nhưng công ty đã không muốn công bố kích thước hoặc các chi tiết khác về dữ liệu đào tạo của mình. OpenAI, Microsoft
-người tạo ra ChatGPT được hỗ trợ, cũng đã giữ bí mật các chi tiết cụ thể của LLM mới nhất của mình có tên là GPT-4.
 
Các công ty cho biết lý do thiếu công bố thông tin là bản chất cạnh tranh của hoạt động kinh doanh. Google và OpenAI đang gấp rút thu hút những người dùng có thể muốn tìm kiếm thông tin bằng chatbot đàm thoại thay vì các công cụ tìm kiếm truyền thống.
 
Nhưng khi cuộc chạy đua AI đang nóng lên, cộng đồng nghiên cứu đang đòi hỏi sự minh bạch cao hơn.
 
Kể từ khi công bố PaLM 2, Google đã cho biết mô hình mới nhỏ hơn so với các LLM trước đó, điều này rất quan trọng vì điều đó có nghĩa là công nghệ của công ty đang trở nên hiệu quả hơn trong khi hoàn thành các tác vụ phức tạp hơn. PaLM 2, theo các tài liệu nội bộ, được đào tạo trên 340 tỷ tham số, một dấu hiệu cho thấy mức độ phức tạp của mô hình. PaLM ban đầu được đào tạo trên 540 tỷ thông số.
 
Google đã không đưa ra bình luận ngay lập tức cho câu chuyện này.

Google cho biết trong một bài đăng trên blog về PaLM 2 rằng mô hình này sử dụng một “kỹ thuật mới” được gọi là “mở rộng quy mô điện toán tối ưu”. Điều đó làm cho LLM “hiệu quả hơn với hiệu suất tổng thể tốt hơn, bao gồm suy luận nhanh hơn, cung cấp ít tham số hơn và chi phí phục vụ thấp hơn”.
 
Khi công bố PaLM 2, Google đã xác nhận báo cáo trước đây rằng, mô hình này được đào tạo trên 100 ngôn ngữ và thực hiện nhiều nhiệm vụ khác nhau. Nó đã được sử dụng để cung cấp năng lượng cho 25 tính năng và sản phẩm, bao gồm cả chatbot thử nghiệm Bard của công ty. Nó có bốn kích cỡ, từ nhỏ nhất đến lớn nhất: Tắc kè, Rái cá, Bò rừng và Kỳ lân.
 
PaLM 2 mạnh hơn bất kỳ mô hình hiện có nào, dựa trên các tiết lộ công khai. LLM của Facebook được gọi là LLaMA, được công bố vào tháng 2, được đào tạo trên 1,4 nghìn tỷ mã thông báo. Lần cuối cùng OpenAI chia sẻ quy mô đào tạo của ChatGPT là với GPT-3, khi công ty cho biết họ đã được đào tạo trên 300 tỷ mã thông báo vào thời điểm đó. OpenAI đã phát hành GPT-4 vào tháng 3 và cho biết nó thể hiện “hiệu suất ở cấp độ con người” trong nhiều bài kiểm tra chuyên nghiệp.
 
LaMDA, một LLM hội thoại mà Google đã giới thiệu hai năm trước và chào hàng vào tháng 2 cùng với Bard, đã được đào tạo trên 1,5 nghìn tỷ mã thông báo, theo các tài liệu mới nhất được CNBC xem.
 
Khi các ứng dụng AI mới nhanh chóng trở thành xu hướng chủ đạo, những tranh cãi xung quanh công nghệ cơ bản ngày càng gay gắt hơn.
 
El Mahdi El Mhamdi, một nhà khoa học cấp cao của Google Research, đã từ chức vào tháng Hai vì sự thiếu minh bạch của công ty. Vào thứ Ba, Giám đốc điều hành OpenAI Sam Altman đã làm chứng tại phiên điều trần của tiểu ban Tư pháp Thượng viện về quyền riêng tư và công nghệ, đồng thời đồng ý với các nhà lập pháp rằng cần có một hệ thống mới để đối phó với AI.
 
“Đối với một công nghệ rất mới, chúng tôi cần một khuôn khổ mới,” Altman nói. “Chắc chắn những công ty như công ty của chúng tôi chịu rất nhiều trách nhiệm đối với các công cụ mà chúng tôi đưa ra thế giới.”
Người đứng đầu ChatGPT sẽ điều trần trước Quốc hội Hoa Kỳ về trí tuệ nhân tạo Vietnet24h - Người đứng đầu công ty trí tuệ nhân tạo tạo ra ChatGPT sẽ điều trần trước Quốc hội (Hoa kỳ) khi các nhà lập pháp kêu gọi các quy tắc mới để hướng dẫn sự phát triển nhanh chóng của công nghệ AI.
Trí tuệ nhân tạo của Google đang đến với nhiều công ty gần bạn hơn Vietnet24h - Báo cáo tài chính, hoạt động tiếp thị hàng may mặc và trợ lý trò chuyện mà bạn tương tác có thể sớm phản ánh một nguồn gốc chung: trí tuệ nhân tạo từ Google.
Theo CNBC
Tin khác cùng chuyên mục
Tin đọc nhiều
AI trong Gmail, Word: Tiện ích hay mối đe dọa quyền riêng tư? Vietnet24h - AI đang dần xâm nhập vào mọi ngóc ngách của cuộc sống số, từ email đến sổ sách kế toán. Tuy nhiên, sự thiếu rõ ràng trong chính sách bảo mật khiến nhiều chuyên gia cảnh báo về nguy cơ dữ liệu cá nhân bị lạm dụng.
OpenAI bật mí 5 mẹo dùng ChatGPT mà bạn chưa biết Vietnet24h - Nick Turley, chuyên gia của OpenAI, tiết lộ các tính năng như tải tập tin, tạo GPT tùy chỉnh và sử dụng giọng nói, hứa hẹn thay đổi cách người dùng tương tác với ChatGPT.
Ghi âm cuộc gọi và cải tiến camera: Những điểm nổi bật trong iOS 18.1 của Apple Vietnet24h - Vào tối 28 tháng 10, Apple phát hành phiên bản iOS 18.1, mang đến tính năng ghi âm cuộc gọi lần đầu tiên cho người dùng iPhone. Cùng với đó là những cải tiến cho camera và giao diện, hứa hẹn sẽ nâng cao trải nghiệm người dùng trên các thiết bị mới.
Orion sắp ra mắt: OpenAI mở ra chương mới cho trí tuệ nhân tạo Vietnet24h - Với việc ra mắt mô hình AI mới mang tên Orion vào tháng 12/2024, OpenAI đang tạo ra những bước tiến mạnh mẽ trong lĩnh vực công nghệ. Orion được kỳ vọng sẽ có sức mạnh vượt trội gấp 100 lần GPT-4, đánh dấu một cột mốc quan trọng trong hành trình phát triển trí tuệ nhân tạo tổng quát.
Chỉnh sửa ảnh thông minh với Microsoft Paint nhờ AI Vietnet24h - Microsoft Paint không ngừng cải tiến với sự ra mắt của Generative Fill và Generative Erase. Hai tính năng mới này giúp người dùng dễ dàng thêm hoặc xóa các chi tiết trong ảnh, mang lại trải nghiệm chỉnh sửa ảnh phong phú và trực quan hơn bao giờ hết.
Nút bấm mới trên iPhone 17 Pro: Tích hợp âm lượng và Action Vietnet24h - Thông tin từ các nguồn đáng tin cậy cho thấy iPhone 17 Pro có thể ra mắt với nút bấm đa năng, thay thế cho nút Action và âm lượng riêng biệt, hứa hẹn mang lại trải nghiệm người dùng mới lạ.
Phiên bản iPhone nào đủ sức chạy Apple Intelligence? Vietnet24h - Apple vừa đưa ra thông tin về dung lượng bộ nhớ mà các mẫu iPhone cần để hỗ trợ tính năng Apple Intelligence, cho biết tối thiểu 4 GB dung lượng trống là cần thiết và dự kiến sẽ tăng lên trong tương lai. Điều này được đề cập trong tài liệu hướng dẫn mới nhất của hãng dành cho bản cập nhật iOS 18.1 Developer Beta 5.
Liệu Apple Intelligence có lợi thế hơn Galaxy AI không? Vietnet24h - Tại Hội nghị các nhà phát triển toàn cầu hôm thứ Hai, Apple đã giới thiệu Apple Intelligence, hệ thống AI sẽ được tích hợp trên các sản phẩm từ iPhone đến Macbook.
Apple Intelligence trên iPhone của bạn có thể yêu cầu nâng cấp Vietnet24h - Apple cuối cùng đã lao đầu vào lĩnh vực trí tuệ nhân tạo vào thứ Hai với thông báo về Apple Intelligence.
Khám phá iOS 18: Sức mạnh của trí tuệ nhân tạo trên iPhone 15 Pro/Pro Max Vietnet24h - iOS 18 đem lại chuỗi tính năng AI độc đáo, từ cải thiện Siri đến xử lý dữ liệu mạnh mẽ trên đám mây. Chip A17 Pro và Neural Engine trên iPhone 15 Pro/Pro Max cho phép trải nghiệm toàn diện, trong khi các thiết bị khác chỉ hỗ trợ tính năng AI hạn chế.
Apple bắt đầu phát triển MacBook Air màn hình LCD oxit Vietnet24h - Apple đã bắt đầu phát triển MacBook Air với màn hình tinh thể lỏng (LCD) bóng bán dẫn màng mỏng oxit (TFT).
Cạnh tranh ngày càng gay gắt về vật liệu nền thủy tinh dùng cho chip máy tính Vietnet24h - Cuộc cạnh tranh giành vị trí dẫn đầu trong lĩnh vực chất nền thủy tinh dùng cho sản xuất chip máy tính đang nóng lên, khi các công ty linh kiện dự đoán rằng việc thương mại hóa cái gọi là "vật liệu thế hệ tiếp theo" này có thể diễn ra sớm hơn dự kiến ​​ban đầu.
SK Telecom ra mắt dịch vụ đăng ký xử lý AI Vietnet24h - SK Telecom đã công bố chính thức ra mắt SKT GPU-as-a-Service (GPUaaS) sau khi hoàn tất các hoạt động thí điểm tại trung tâm dữ liệu AI mới ở phía tây Seoul, khai trương vào ngày 30 tháng 12.
Chiếc máy tính nhỏ 3.000 đô la của Nvidia dành cho các nhà phát triển AI đã chiếm trọn sự chú ý tại CES Vietnet24h - Tuần này, Nvidia đã cho ra mắt một chiếc máy tính mini giá 3.000 đô la dành cho các nhà phát triển AI.
Nvidia phát hành chip chơi game cho PC, khai thác các tính năng AI từ GPU của trung tâm dữ liệu Vietnet24h - Tại CES ở Las Vegas, Nvidia đã chứng minh rằng họ vẫn tập trung vào việc phục vụ game thủ mặc dù hoạt động kinh doanh chính của công ty hiện nay là doanh nghiệp.
Những gì được mong đợi từ Triển lãm Điện tử Tiêu dùng CES lớn nhất thế giới năm nay Vietnet24h - Triển lãm Điện tử Tiêu dùng thường niên lớn nhất thế giới sẽ được khai mạc vào đêm nay, ngày 7 tháng 1 năm 2025 (giờ địa phương) tại Las Vegas, Hoa Kỳ.
Cổ phiếu chip toàn cầu tăng khi kết quả kinh doanh bội thu của Foxconn cho thấy sự tiếp tục bùng nổ của AI Vietnet24h - Hon Hai Precision Industry, hoạt động kinh doanh trên toàn cầu với tên gọi Foxconn, đã báo cáo doanh thu đạt 2,1 nghìn tỷ đô la Đài Loan (63,9 tỷ đô la) trong quý 4 năm 2024, tăng 15% so với cùng kỳ năm trước.
SK hynix sẽ giới thiệu chip HBM3e 16 lớp tại CES 2025 Vietnet24h - Theo SK hynix cho biết, Tổng giám đốc điều hành Kwak Noh-jung, Giám đốc tiếp thị Kim Ju-seon và một số giám đốc điều hành cấp C khác sẽ tham dự CES 2025 dự kiến ​​diễn ra từ ngày 7 đến ngày 10 tháng 1 tại Las Vegas.
10 công nghệ mới nổi năm 2024 sẽ cách mạng hóa tương lai Vietnet24h - Diễn đàn Kinh tế Thế giới (WEF) đã công bố báo cáo mới nhất “10 công nghệ mới nổi hàng đầu năm 2024”, cung cấp phân tích chuyên sâu về 10 công nghệ mới nổi năm 2024 dự kiến ​​sẽ có tác động đáng kể trong năm năm tới.
TSMC phát triển công nghệ quang tử silicon để giảm tình trạng quá nhiệt trong GPU Vietnet24h - TSMC có kế hoạch mở rộng quy mô sản xuất CPO vào năm 2026; Nvidia có kế hoạch áp dụng công nghệ CPO bắt đầu từ chip GB300 ra mắt năm 2025 và chip Rubin tiếp theo vào năm 2026.
Smartphone gập ba: Samsung chạm đỉnh công nghệ, người dùng chạm đáy túi tiền Vietnet24h - Với tham vọng thay đổi cách người dùng trải nghiệm thiết bị di động, Samsung sắp ra mắt điện thoại gập ba. Dù mang thiết kế tiên phong, giá bán lên đến 2.800 USD sẽ là rào cản lớn để sản phẩm đến tay người dùng đại chúng.
Samsung Display sẽ ra mắt màn hình gập 18,1 inch tại CES Vietnet24h - Samsung Display cho biết hôm Chủ Nhật rằng họ sẽ ra mắt màn hình OLED có thể gập 18,1 inch đầu tiên trên thế giới tại CES 2025, dự kiến ​​sẽ khai mạc vào thứ Ba (7/1) tại Las Vegas.
Khí quyển của TRAPPIST-1: một phát hiện thú vị về sự tồn tại sự sống ngoài trái đất Vietnet24h - TRAPPIST-1b, hành tinh cách Trái đất 40 năm ánh sáng, đã gây bất ngờ khi các nhà khoa học phát hiện rằng nó có khí quyển dày đặc và một lớp sương mù đặc biệt, mở ra triển vọng mới trong nghiên cứu sự sống ngoài hành tinh.
Elon Musk biến Texas thành trung tâm không gian mới: Starbase và những giấc mơ vũ trụ Vietnet24h - Elon Musk đang làm một điều chưa từng có: biến một vùng đất xa xôi tại Texas thành một thị trấn vũ trụ mang tên Starbase. Với dự án này, ông không chỉ mong muốn tạo ra một cộng đồng phục vụ cho SpaceX mà còn muốn mở ra một kỷ nguyên mới cho ngành công nghiệp không gian, với tầm nhìn đưa con người lên Sao Hỏa.
Parker Solar Probe: Tàu vũ trụ “siêu tốc” của NASA chính thức đến gần mặt trời nhất Vietnet24h - NASA vừa thực hiện một bước tiến quan trọng trong sứ mệnh khám phá vũ trụ, khi tàu thăm dò Parker Solar Probe đã tiến gần mặt trời hơn bao giờ hết. Cùng với đó, tàu vũ trụ này cũng lập kỷ lục mới về tốc độ, giúp giải quyết nhiều câu hỏi lâu dài về nguồn gốc gió mặt trời và vầng nhật hoa.
Các nhà nghiên cứu Đài Loan phát triển kính hiển vi 4D để quét não nhanh hơn và rõ hơn Vietnet24h - Tại một cuộc họp báo, nhóm các nhà nghiên cứu từ Đại học Quốc gia Đài Loan (NTU) và Đại học Quốc gia Thanh Hoa cho biết kính hiển vi mới cung cấp hình ảnh nhanh hơn hàng nghìn lần so với kính hiển vi truyền thống.
Nhóm nghiên cứu Hàn Quốc phát triển robot ‘Iron Man’ giúp người liệt nửa người đi lại Vietnet24h - Các nhà nghiên cứu Hàn Quốc đã phát triển một robot đeo nhẹ có thể đi đến gần người bị liệt nửa người và gắn chặt người dùng vào thiết bị, cho phép họ đi bộ, vượt chướng ngại vật và leo cầu thang.
LG Innotek phát triển mô-đun camera trong cabin tiên tiến Vietnet24h - LG Innotek đã công bố hôm thứ Ba về việc phát triển một mô-đun camera trong cabin hiệu suất cao dành cho xe được trang bị cảm biến kép RGB-IR năm megapixel. RGB là viết tắt của đỏ, xanh lá cây và xanh lam, trong khi IR là hồng ngoại.
LG Display ra mắt màn hình có thể kéo giãn lên đến 50% Vietnet24h - LG Display đã ra mắt sản phẩm mà họ tuyên bố là màn hình có khả năng kéo dài đầu tiên trên thế giới, có thể kéo dài tới 50% tại Công viên Khoa học LG ở Seoul.
LG Electronics hợp tác với nhà sản xuất chip AI của Hoa Kỳ để phát triển công nghệ cảm biến trong cabin Vietnet24h - Thứ Năm tuần này (5/12), LG Electronics cho biết rằng, họ sẽ hợp tác với nhà sản xuất chip trí tuệ nhân tạo (AI) của Hoa Kỳ là Ambarella để triển khai giải pháp cảm biến trong cabin tiên tiến, theo dõi trạng thái của người lái xe và cabin xe.