Công nghệ AI giúp dựng lại chân dung gần như tạc chỉ từ giọng nói

Thông tin Khoa học công nghệ

Công nghệ AI giúp dựng lại chân dung gần như tạc chỉ từ giọng nói

Thứ năm, 31/10/2024

Các nhà khoa học tại Học viện Công nghệ Massachusetts (MIT-Mỹ) lần đầu tiên thành công trong việc ứng dụng thuật toán để tái tạo lại chân dung chỉ từ giọng nói.

Bạn có thể đã nghe nói về máy ảnh được hỗ trợ bởi AI (trí tuệ nhân tạo) có thể nhận ra mọi người chỉ bằng cách phân tích các đặc điểm trên khuôn mặt của họ, nhưng điều gì sẽ xảy ra nếu có một cách để trí thông minh nhân tạo tìm ra bạn trông như thế nào chỉ bằng âm thanh của giọng nói và không cần so sánh giọng nói với cơ sở dữ liệu?

Đó chính xác là những gì mà một nhóm các nhà khoa học tại Phòng thí nghiệm Khoa học Máy tính và Trí tuệ Nhân tạo MIT (CSAIL) đã và đang nghiên cứu, kết quả công việc của họ thật ấn tượng.

Mặc dù thuật toán AI có tên là có tên là Speech2Face, vẫn chưa thể tìm ra các đặc điểm khuôn mặt chính xác của con người chỉ bằng giọng nói của họ, nhưng nó chắc chắn có rất nhiều chi tiết đúng.

Thuật toán AI có tên là Speech2Face được các nhà khoa học trí tuệ nhân tạo (AI) tại Phòng thí nghiệm Khoa học máy tính và Trí tuệ nhân tạo (CSAIL) của MIT phát triển, giúp tái tạo lại khuôn mặt của một người chỉ bằng một đoạn ghi âm ngắn giọng nói và kết quả rất ấn tượng.

“Mô hình của chúng tôi được thiết kế để tiết lộ các mối tương quan thống kê tồn tại giữa các đặc điểm trên khuôn mặt và giọng nói của người nói.

Dữ liệu đào tạo mà chúng tôi sử dụng là tập hợp các video giáo dục từ YouTube và không đại diện cho toàn bộ dân số thế giới", những người sáng tạo của Speech2Face cho biết.

Nhiệm vụ của nhóm nghiên cứu là tái tạo lại hình ảnh khuôn mặt của một người từ đoạn ghi âm ngắn giọng nói. (Ảnh: Speech2Face).

Đầu tiên, các nhà nghiên cứu thiết kế và đào tạo một mạng neuron nhân tạo học sâu, bằng cách sử dụng hàng triệu video từ YouTube và internet lúc mọi người đang nói chuyện.

Trong quá trình đào tạo này, AI đã học được mối tương quan giữa âm thanh của giọng nói và người nói trông như thế nào. Những mối tương quan đó cho phép AI đưa ra những phỏng đoán tốt nhất về độ tuổi, giới tính và quốc tịch của người nói.

Không có sự tham gia của con người trong quá trình đào tạo. AI chỉ được cung cấp một lượng lớn video và có nhiệm vụ tìm ra mối tương quan giữa đặc điểm giọng nói và đặc điểm khuôn mặt.

Sau khi được đào tạo, AI đã rất giỏi trong việc tạo ra các bức chân dung chỉ dựa trên các bản ghi âm giọng nói giống với những gì người nói thực sự trông như thế nào.

Hình ảnh thực tế của người nói (trái) và hình được tái tạo bởi AI từ giọng nói của họ (phải). (Ảnh: Speech2Face).

Để phân tích thêm độ chính xác của việc tái tạo khuôn mặt, các nhà nghiên cứu đã xây dựng "bộ giải mã khuôn mặt". Bộ giải mã sẽ tạo ra một bản tái tạo tiêu chuẩn cho khuôn mặt của một người từ hình ảnh tĩnh của họ khi bỏ qua "các biến thể không liên quan", chẳng hạn như tư thế chụp ảnh và ánh sáng. Điều này cho phép các nhà khoa học dễ dàng so sánh các bản tái tạo giọng nói với các đặc trưng thực tế của người nói.

Một lần nữa, kết quả của AI rất gần với khuôn mặt thật trong rất nhiều các trường hợp được nghiên cứu từ nhiều độ tuổi, giới tính và dân tộc khác nhau.

Hình ảnh thực tế của người nói (bên trái), hình được tái tạo bởi AI từ ảnh chụp của họ (ở giữa) và hình được tái tạo bởi AI từ giọng nói của họ (bên phải). (Ảnh: Speech2Face)

AI tái tạo chân dung từ giọng nói, có thể tạo ra hình ảnh hoạt hình của một người trên điện thoại hoặc cuộc gọi hội nghị truyền hình khi danh tính của người đó không xác định và họ không muốn chia sẻ khuôn mặt thực của mình.

Các nhà nghiên cứu đã viết trong bài báo được công bố tại một hội thảo về thị giác máy tính và nhận diện mẫu (CVPR): "Các khuôn mặt được tái tạo cũng có thể được sử dụng trực tiếp để gán cho giọng nói do máy tạo ra được sử dụng trong các thiết bị gia đình và trợ lý ảo".

Cơ quan thực thi pháp luật cũng có thể sử dụng AI để tạo ra một bức chân dung của kẻ tình nghi từ bằng chứng duy nhất là một đoạn ghi âm giọng nói. Tuy nhiên, các ứng dụng của chính phủ chắc chắn sẽ là chủ đề của rất nhiều tranh cãi và tranh luận liên quan đến quyền riêng tư và đạo đức.