Được đặt tên là VASA-1, mô hình chuyển đổi hình ảnh thành video dựa trên AI có thể tạo video chỉ từ một bức ảnh và một đoạn âm thanh giọng nói. Microsoft cho biết các video được tạo sẽ có chuyển động môi đồng bộ để phù hợp với âm thanh cũng như nét mặt và chuyển động đầu để khiến nó trông tự nhiên. Đáng chú ý, Microsoft không có ý định phát hành sản phẩm hoặc API với mô hình VASA-1, thay vào đó tuyên bố rằng nó sẽ được sử dụng để tạo ra các nhân vật ảo thực tế.
Trong một bài đăng trên trang thông báo nghiên cứu của mình, Microsoft đã trình bày chi tiết hoạt động của mô hình AI đang được phát triển và nêu bật các khả năng của nó. Công ty tuyên bố rằng mẫu VASA-1 có thể tạo video có độ phân giải 512 x 512p với tốc độ lên tới 40 FPS. Mô hình AI cũng được cho là hỗ trợ tạo video trực tuyến với độ trễ khởi động không đáng kể. Người dùng X, Kaio Ken, đã chia sẻ một video về mô hình AI đang hoạt động.
Mặc dù thành tựu lớn nhất của VASA-1 là hiển thị video dài tối đa một phút (theo bản demo) với chất lượng cao chỉ bằng một hình ảnh tĩnh, công ty cũng nhấn mạnh khả năng tạo chuyển động môi phù hợp với tệp âm thanh và nét mặt đi cùng với nó. Mô hình tạo video AI này cũng cung cấp khả năng kiểm soát chi tiết cho người dùng để kiểm soát các khía cạnh khác nhau của video như hướng nhìn của mắt chính, khoảng cách đầu, sự bù đắp cảm xúc,…
Hơn nữa, VASA-1 cũng có thể tạo video bằng cách sử dụng các bức ảnh nghệ thuật, âm thanh ca hát và lời nói không phải tiếng Anh. Các nhà nghiên cứu của Microsoft chỉ ra rằng khả năng thực hiện các chức năng này không có trong dữ liệu của nó, điều này cho thấy khả năng tự học của AI.
Khả năng tạo video siêu thực của mô hình AI về người thật với bất kỳ âm thanh nào là rất ấn tượng, nhưng nó cũng đặt ra câu hỏi về cách sử dụng phi đạo đức, đặc biệt là để tạo ra các deepfake. Công ty nhấn mạnh rằng họ không có ý định phát hành mô hình AI ra công chúng.
Microsoft cũng cho biết kỹ thuật này có thể được sử dụng để nâng cao khả năng phát hiện giả mạo, nâng cao công bằng giáo dục, cải thiện khả năng tiếp cận cho những cá nhân gặp khó khăn trong giao tiếp và cung cấp sự đồng hành hoặc hỗ trợ trị liệu cho những người có nhu cầu, nhấn mạnh tầm quan trọng của nghiên cứu và các khám phá liên quan khác.
Thái An
