Alibaba, đứng đầu trong lĩnh vực công nghệ, đã đặt dấu ấn mạnh mẽ trong thế giới trí tuệ nhân tạo (AI) với sự ra đời của sản phẩm đột phá EMO (Emotive Portrait Alive). Được phát triển bởi nhóm nghiên cứu tại Viện Điện toán Thông minh (IIC) của Alibaba, EMO là kết quả của nỗ lực nghiên cứu sâu từ các nhà khoa học hàng đầu như LinRui Tian, Qi Wang, LieFeng Bo, và Bang.
EMO có khả năng "hô biến" hình ảnh tĩnh thành video có khả năng nói và hát như thật. Nói một cách đơn giản, AI của Alibaba có thể chuyển đổi một bức tranh tĩnh và âm thanh giọng nói thành một video chân thực với biểu cảm tự nhiên, với đặc điểm nổi bật là miệng tạo ra bởi AI trông vô cùng tự nhiên.
Trong các video mà Alibaba đã công bố, chúng ta đã thấy hình ảnh trở nên sống động và bắt đầu hát các bài hát chỉ trong vài giây. Một trong những ví dụ đáng chú ý nhất là bức tranh Mona Lisa biểu diễn đoạn độc thoại của nhân vật Rosalind trong vở kịch "As You Like It" của William Shakespeare.
EMO không chỉ là một bước tiến lớn trong việc biến đổi hình ảnh tĩnh thành video mà còn mở ra nhiều khả năng mới cho ngành công nghiệp công nghệ. Có lẽ chúng ta sẽ được chứng kiến những ứng dụng thú vị và độc đáo mà EMO mang lại trong tương lai.
Công nghệ EMO của Alibaba được phát triển thông qua một quá trình đào tạo sâu với hơn 250 giờ video đa dạng, đa ngôn ngữ, bao gồm các bài phát biểu, phim và biểu diễn âm nhạc. Thay vì phụ thuộc vào mô hình 3D truyền thống, hệ thống này trực tiếp tạo ra khung hình video thông qua mô hình khuếch tán.
EMO sử dụng công nghệ nhận diện khuôn mặt và xử lý ngôn ngữ tự nhiên để tạo ra hình ảnh và âm thanh đồng bộ, mang lại trải nghiệm thực tế ảo chưa từng có. Alibaba cho biết họ đã huấn luyện AI với một lượng lớn dữ liệu về hình ảnh, âm thanh và video để tạo ra biểu cảm khuôn mặt chân thực thông qua mô hình khuếch tán riêng biệt có tên là Audio2Video.
Đại diện của nhóm nghiên cứu lý giải rằng mục tiêu của họ là vượt qua thách thức lớn hiện nay về tính chân thực và biểu cảm khi chuyển đổi hình ảnh và âm thanh thành video. Họ tập trung vào mối liên hệ và sắc thái giữa tín hiệu âm thanh và chuyển động trên khuôn mặt, áp dụng phương pháp tổng hợp, bỏ qua các mô hình 3D trung gian hoặc các điểm mốc trên khuôn mặt để tạo ra khung hình video liền mạch và bảo toàn tính nhất quán, mang lại cho video động tính biểu cảm và sống động như thật.