Công nghệ
Cách DeepSeek sử dụng phương pháp chưng cất để đào tạo mô hình trí tuệ nhân tạo
Minh Ngọc - Chủ Nhật, 23/02/2025 8:34 SA
Vietnet24h - Phòng thí nghiệm trí tuệ nhân tạo Trung Quốc DeepSeek đã khuấy động thị trường vào tháng 1, gây ra một đợt bán tháo công nghệ và chất bán dẫn lớn sau khi công bố các mô hình AI mà họ cho là rẻ hơn và hiệu quả hơn so với các mô hình của Mỹ.
Nhưng nỗi sợ hãi và đột phá tiềm ẩn đã thúc đẩy đợt bán tháo này còn sâu sắc hơn nhiều so với một công ty khởi nghiệp AI. Thung lũng Silicon hiện đang tính đến một kỹ thuật trong phát triển AI được gọi là chưng cất, một kỹ thuật có thể đảo ngược bảng xếp hạng AI.
 
Chưng cất là một quá trình trích xuất kiến ​​thức từ một mô hình AI lớn hơn để tạo ra một mô hình nhỏ hơn. Nó có thể cho phép một nhóm nhỏ hầu như không có nguồn lực nào tạo ra một mô hình tiên tiến.
 
Một công ty công nghệ hàng đầu đầu tư nhiều năm và hàng triệu đô la để phát triển một mô hình hàng đầu từ đầu. Sau đó, một nhóm nhỏ hơn như DeepSeek lao vào và đào tạo mô hình chuyên biệt hơn của riêng mình bằng cách đặt câu hỏi cho mô hình "giáo viên" lớn hơn. Quá trình này tạo ra một mô hình mới có khả năng gần như mô hình của công ty lớn nhưng đào tạo nhanh hơn và hiệu quả hơn.
 
“Kỹ thuật chưng cất này cực kỳ mạnh mẽ và cực kỳ rẻ, và nó dành cho bất kỳ ai”, Ali Ghodsi, CEO của Databricks, cho biết, đồng thời nói thêm rằng ông hy vọng sẽ thấy sự đổi mới khi nói đến cách xây dựng các mô hình ngôn ngữ lớn hay LLM. “Chúng ta sẽ thấy rất nhiều sự cạnh tranh cho LLM. Đó là những gì sẽ xảy ra trong kỷ nguyên mới mà chúng ta đang bước vào”.
 
Hiện nay, chưng cất đang cho phép các công ty khởi nghiệp và phòng nghiên cứu ít vốn cạnh tranh ở vị trí tiên tiến nhanh hơn bao giờ hết.
 
Các nhà nghiên cứu tại Berkeley cho biết, sử dụng kỹ thuật này, họ đã tái tạo mô hình lý luận của OpenAI với giá 450 đô la trong 19 giờ vào tháng trước. Ngay sau đó, các nhà nghiên cứu tại Stanford và Đại học Washington đã tạo ra mô hình lý luận của riêng họ chỉ trong 26 phút, sử dụng chưa đến 50 đô la tín dụng tính toán, họ cho biết. Công ty khởi nghiệp Hugging Face đã tái tạo tính năng mới nhất và hấp dẫn nhất của OpenAI, Nghiên cứu sâu, dưới dạng thử thách mã hóa trong 24 giờ.
 
DeepSeek không phát minh ra quá trình chưng cất, nhưng nó đã đánh thức thế giới AI về tiềm năng phá vỡ của nó. Nó cũng mở ra sự trỗi dậy của một trật tự nguồn mở mới — một niềm tin rằng tính minh bạch và khả năng tiếp cận thúc đẩy sự đổi mới nhanh hơn so với nghiên cứu đóng cửa.
 
"Nguồn mở luôn chiến thắng trong ngành công nghệ", Arvind Jain, CEO của Glean, công ty tạo ra công cụ tìm kiếm hỗ trợ AI cho các doanh nghiệp, cho biết. "Bạn không thể đánh bại được động lực mà một dự án nguồn mở thành công thực sự có thể tạo ra".
 
Bản thân OpenAI đã quay lại chiến lược nguồn đóng của mình sau thành tích của DeepSeek.
 
"Cá nhân tôi nghĩ rằng chúng ta đã đi sai hướng trong lịch sử và cần tìm ra một chiến lược nguồn mở khác", CEO của OpenAI Sam Altman đã viết trong một bài đăng trên Reddit vào ngày 31 tháng 1.
 
Sự kết hợp giữa sức hút mới tìm thấy của quá trình chưng cất và sự gia tăng phổ biến của nguồn mở đang hoàn toàn thay đổi động lực cạnh tranh trong AI.
Bắc Kinh áp dụng DeepSeek để dẫn đầu việc áp dụng AI khi tìm kiếm động lực tăng trưởng mới Vietnet24h - DeepSeek cũng đã làm rung chuyển hệ sinh thái AI của Trung Quốc, với các tổ chức nhà nước cũng như các công ty công nghệ lớn, bao gồm cả các đối thủ cạnh tranh, tận dụng kiến ​​trúc nguồn mở của nó.
Mô hình AI của Deepseek, là một tác phẩm tốt nhất của Trung Quốc nhưng hơi quá "cường điệu", Giám đốc điều hành của Google Deepmind nói Vietnet24h - Mô hình AI của Deepseek, có lẽ là tác phẩm hay nhất của Trung Quốc, Demis Hassabis, CEO của Google Deepmind cho biết vào Chủ nhật.
Tin khác cùng chuyên mục
Tin đọc nhiều
Từ Gmail đến Word, cài đặt quyền riêng tư và AI của bạn đang bước vào một mối quan hệ mới Vietnet24h - Các chương trình như Gmail, Microsoft và Facebook đã tồn tại trong nhiều năm qua đã âm thầm kích hoạt và tích hợp các tính năng AI.
AI trong Gmail, Word: Tiện ích hay mối đe dọa quyền riêng tư? Vietnet24h - AI đang dần xâm nhập vào mọi ngóc ngách của cuộc sống số, từ email đến sổ sách kế toán. Tuy nhiên, sự thiếu rõ ràng trong chính sách bảo mật khiến nhiều chuyên gia cảnh báo về nguy cơ dữ liệu cá nhân bị lạm dụng.
OpenAI bật mí 5 mẹo dùng ChatGPT mà bạn chưa biết Vietnet24h - Nick Turley, chuyên gia của OpenAI, tiết lộ các tính năng như tải tập tin, tạo GPT tùy chỉnh và sử dụng giọng nói, hứa hẹn thay đổi cách người dùng tương tác với ChatGPT.
Ghi âm cuộc gọi và cải tiến camera: Những điểm nổi bật trong iOS 18.1 của Apple Vietnet24h - Vào tối 28 tháng 10, Apple phát hành phiên bản iOS 18.1, mang đến tính năng ghi âm cuộc gọi lần đầu tiên cho người dùng iPhone. Cùng với đó là những cải tiến cho camera và giao diện, hứa hẹn sẽ nâng cao trải nghiệm người dùng trên các thiết bị mới.
Orion sắp ra mắt: OpenAI mở ra chương mới cho trí tuệ nhân tạo Vietnet24h - Với việc ra mắt mô hình AI mới mang tên Orion vào tháng 12/2024, OpenAI đang tạo ra những bước tiến mạnh mẽ trong lĩnh vực công nghệ. Orion được kỳ vọng sẽ có sức mạnh vượt trội gấp 100 lần GPT-4, đánh dấu một cột mốc quan trọng trong hành trình phát triển trí tuệ nhân tạo tổng quát.
Chỉnh sửa ảnh thông minh với Microsoft Paint nhờ AI Vietnet24h - Microsoft Paint không ngừng cải tiến với sự ra mắt của Generative Fill và Generative Erase. Hai tính năng mới này giúp người dùng dễ dàng thêm hoặc xóa các chi tiết trong ảnh, mang lại trải nghiệm chỉnh sửa ảnh phong phú và trực quan hơn bao giờ hết.
Nút bấm mới trên iPhone 17 Pro: Tích hợp âm lượng và Action Vietnet24h - Thông tin từ các nguồn đáng tin cậy cho thấy iPhone 17 Pro có thể ra mắt với nút bấm đa năng, thay thế cho nút Action và âm lượng riêng biệt, hứa hẹn mang lại trải nghiệm người dùng mới lạ.
Phiên bản iPhone nào đủ sức chạy Apple Intelligence? Vietnet24h - Apple vừa đưa ra thông tin về dung lượng bộ nhớ mà các mẫu iPhone cần để hỗ trợ tính năng Apple Intelligence, cho biết tối thiểu 4 GB dung lượng trống là cần thiết và dự kiến sẽ tăng lên trong tương lai. Điều này được đề cập trong tài liệu hướng dẫn mới nhất của hãng dành cho bản cập nhật iOS 18.1 Developer Beta 5.
Liệu Apple Intelligence có lợi thế hơn Galaxy AI không? Vietnet24h - Tại Hội nghị các nhà phát triển toàn cầu hôm thứ Hai, Apple đã giới thiệu Apple Intelligence, hệ thống AI sẽ được tích hợp trên các sản phẩm từ iPhone đến Macbook.
Apple Intelligence trên iPhone của bạn có thể yêu cầu nâng cấp Vietnet24h - Apple cuối cùng đã lao đầu vào lĩnh vực trí tuệ nhân tạo vào thứ Hai với thông báo về Apple Intelligence.
Merck giới thiệu các giải pháp vật liệu cho kiến ​​trúc chip mới tại Triển lãm SEMICON Hàn Quốc Vietnet24h - Merck, một công ty hàng đầu thế giới về khoa học và công nghệ, đã giới thiệu các giải pháp vật liệu do trí tuệ nhân tạo (AI) thúc đẩy và khả năng số hóa thông qua nền tảng trí tuệ vật liệu của mình tại hội chợ công nghệ SEMICON Korea 2025.
xAI của Elon Musk phát hành mô hình trí tuệ nhân tạo Grok 3, tuyên bố hiệu suất tốt hơn so với các đối thủ Vietnet24h - Công ty khởi nghiệp AI của Elon Musk vừa công bố mô hình AI mới nhất của mình, Grok 3, mà theo họ là vượt trội hơn các mô hình tiên tiến của đối thủ cạnh tranh.
Đài Loan đặt mục tiêu tăng sức mạnh tính toán lên hơn bảy lần vào năm 2029 Vietnet24h - Đài Loan có kế hoạch tăng cường sức mạnh tính toán quốc gia từ mức 160 petaflop hiện tại lên khoảng 1.200 petaflop vào năm 2029, tăng gấp 7,5 lần trong bốn năm tới, Hội đồng Khoa học và Công nghệ Quốc gia (NSTC) cho biết hôm thứ Năm.
Apple sẽ tích hợp AI của Alibaba vào iPhone tại Trung Quốc Vietnet24h - Chủ tịch Tập đoàn Alibaba Joe Tsai đã xác nhận quan hệ đối tác AI của công ty mình với Apple khi phát biểu tại Hội nghị thượng đỉnh các chính phủ thế giới ở Dubai vào thứ Năm (13/2).
FuriosaAI thu hút sự chú ý về khả năng vượt mặt Meta Vietnet24h - Meta đang thảo luận để mua lại FuriosaAI và các cuộc đàm phán có thể kết thúc sớm nhất là trong tháng này.
Cải cách giờ làm việc cho các nhà sản xuất chip: Linh hoạt trong R&D hay bóc lột công nhân? Vietnet24h - Hàn Quốc - quê hương của các nhà sản xuất chip hàng đầu Samsung Electronics và SK hynix - đang áp dụng tuần làm việc 52 giờ, bao gồm 40 giờ làm việc bình thường và tối đa 12 giờ làm thêm (nếu có sự đồng ý của nhân viên).
Hội nghị thượng đỉnh AI Paris thu hút các nhà lãnh đạo và CEO thế giới háo hức đón làn sóng công nghệ Vietnet24h - Các nhà lãnh đạo thế giới và giám đốc điều hành công nghệ sẽ đến Paris vào thứ Hai để thảo luận về cách áp dụng trí tuệ nhân tạo một cách an toàn vào thời điểm ngày càng có nhiều sự phản đối đối với thủ tục hành chính rườm rà mà các doanh nghiệp cho rằng kìm hãm sự đổi mới.
Cuộc chiến pháp lý kéo dài hàng thập kỷ của người đứng đầu Samsung đã kết thúc Vietnet24h - Chủ tịch Samsung Electronics Lee Jae-yong đã thoát khỏi nhiều năm đấu tranh pháp lý vào thứ Hai (3/2), sau khi tòa phúc thẩm tuyên bố ông không phạm tội gian lận chứng khoán và kế toán liên quan đến vụ sáp nhập các công ty liên kết của Samsung năm 2015.
Tổng thống Hoa Kỳ Donald Trump gặp gỡ CEO Nvidia để thảo luận về DeepSeek, xuất khẩu chip AI Vietnet24h - Cuộc họp vào chiều thứ Sáu (1/2) diễn ra khi chính phủ Hoa Kỳ chuẩn bị hạn chế hơn nữa việc xuất khẩu chip AI vào mùa xuân này để đảm bảo sức mạnh điện toán tiên tiến vẫn ở lại Hoa Kỳ và các đồng minh của mình, đồng thời tìm kiếm nhiều cách hơn để ngăn chặn sự tiếp cận của Trung Quốc.
Diễn đàn công nghệ Galaxy: Tái định nghĩa mô hình trải nghiệm di động Vietnet24h - Vào ngày 23 tháng 1, Samsung đã tổ chức Diễn đàn công nghệ Galaxy tại San Jose, California. Các phiên thảo luận đã cung cấp thông tin chuyên sâu về những đột phá công nghệ AI của Samsung và thách thức mà chúng giải quyết trong bốn lĩnh vực chính — Phát triển bền vững, Health AI, Galaxy AI và Home AI. Trong phiên thảo luận về Galaxy AI, các chuyên gia đã đáng giá tiềm năng của các tác nhân AI và vai trò của chúng trong việc định hình tương lai.
Smartphone gập ba: Samsung chạm đỉnh công nghệ, người dùng chạm đáy túi tiền Vietnet24h - Với tham vọng thay đổi cách người dùng trải nghiệm thiết bị di động, Samsung sắp ra mắt điện thoại gập ba. Dù mang thiết kế tiên phong, giá bán lên đến 2.800 USD sẽ là rào cản lớn để sản phẩm đến tay người dùng đại chúng.
Samsung Display sẽ ra mắt màn hình gập 18,1 inch tại CES Vietnet24h - Samsung Display cho biết hôm Chủ Nhật rằng họ sẽ ra mắt màn hình OLED có thể gập 18,1 inch đầu tiên trên thế giới tại CES 2025, dự kiến ​​sẽ khai mạc vào thứ Ba (7/1) tại Las Vegas.
Khí quyển của TRAPPIST-1: một phát hiện thú vị về sự tồn tại sự sống ngoài trái đất Vietnet24h - TRAPPIST-1b, hành tinh cách Trái đất 40 năm ánh sáng, đã gây bất ngờ khi các nhà khoa học phát hiện rằng nó có khí quyển dày đặc và một lớp sương mù đặc biệt, mở ra triển vọng mới trong nghiên cứu sự sống ngoài hành tinh.
Elon Musk biến Texas thành trung tâm không gian mới: Starbase và những giấc mơ vũ trụ Vietnet24h - Elon Musk đang làm một điều chưa từng có: biến một vùng đất xa xôi tại Texas thành một thị trấn vũ trụ mang tên Starbase. Với dự án này, ông không chỉ mong muốn tạo ra một cộng đồng phục vụ cho SpaceX mà còn muốn mở ra một kỷ nguyên mới cho ngành công nghiệp không gian, với tầm nhìn đưa con người lên Sao Hỏa.
Parker Solar Probe: Tàu vũ trụ “siêu tốc” của NASA chính thức đến gần mặt trời nhất Vietnet24h - NASA vừa thực hiện một bước tiến quan trọng trong sứ mệnh khám phá vũ trụ, khi tàu thăm dò Parker Solar Probe đã tiến gần mặt trời hơn bao giờ hết. Cùng với đó, tàu vũ trụ này cũng lập kỷ lục mới về tốc độ, giúp giải quyết nhiều câu hỏi lâu dài về nguồn gốc gió mặt trời và vầng nhật hoa.
Các nhà nghiên cứu Đài Loan phát triển kính hiển vi 4D để quét não nhanh hơn và rõ hơn Vietnet24h - Tại một cuộc họp báo, nhóm các nhà nghiên cứu từ Đại học Quốc gia Đài Loan (NTU) và Đại học Quốc gia Thanh Hoa cho biết kính hiển vi mới cung cấp hình ảnh nhanh hơn hàng nghìn lần so với kính hiển vi truyền thống.
Nhóm nghiên cứu Hàn Quốc phát triển robot ‘Iron Man’ giúp người liệt nửa người đi lại Vietnet24h - Các nhà nghiên cứu Hàn Quốc đã phát triển một robot đeo nhẹ có thể đi đến gần người bị liệt nửa người và gắn chặt người dùng vào thiết bị, cho phép họ đi bộ, vượt chướng ngại vật và leo cầu thang.
LG Innotek phát triển mô-đun camera trong cabin tiên tiến Vietnet24h - LG Innotek đã công bố hôm thứ Ba về việc phát triển một mô-đun camera trong cabin hiệu suất cao dành cho xe được trang bị cảm biến kép RGB-IR năm megapixel. RGB là viết tắt của đỏ, xanh lá cây và xanh lam, trong khi IR là hồng ngoại.
LG Display ra mắt màn hình có thể kéo giãn lên đến 50% Vietnet24h - LG Display đã ra mắt sản phẩm mà họ tuyên bố là màn hình có khả năng kéo dài đầu tiên trên thế giới, có thể kéo dài tới 50% tại Công viên Khoa học LG ở Seoul.
LG Electronics hợp tác với nhà sản xuất chip AI của Hoa Kỳ để phát triển công nghệ cảm biến trong cabin Vietnet24h - Thứ Năm tuần này (5/12), LG Electronics cho biết rằng, họ sẽ hợp tác với nhà sản xuất chip trí tuệ nhân tạo (AI) của Hoa Kỳ là Ambarella để triển khai giải pháp cảm biến trong cabin tiên tiến, theo dõi trạng thái của người lái xe và cabin xe.