Chia sẻ  Thay đổi khuôn mặt thời gian thực bằng AI Avatarify

VNZ-ROAD
Trong thời gian dịch bệnh COVID 19 diễn ra, nhiều người dùng phải sử dụng phần mềm như Zoom và Skype để làm việc trực tuyến, hội họp.v.v.v. Một lập trình viên thấy rằng những cuộc họp online như vậy là quá nhàm chán. Để thêm phần thú vị anh ấy đã phát triển một phần mềm mã nguồn mở "thay đổi khuôn mặt" Avatarify có thể biến khuôn mặt của bạn thành của người khác. Bạn nên dùng vào mục đích giải trí chứ đừng làm gì phạm pháp.

20200527092743_7942.jpg

Phần mềm có thể biến khuôn mặt của anh ta trong thời gian thực thành của Elon Musk với đầy đủ biểu cảm
Tương tự như các công nghệ trao đổi khuôn mặt AI khác ( deepfakes), thuật toán của Avatarify cũng được đào tạo nhận biết khuôn mặt bạn muốn trao đổi. Phần mềm sẽ sử dụng chất liệu từ hình ảnh khuôn mặt của người bạn muốn bắt chước. Tính toán và đưa ra biểu thức thời gian thực biểu cảm khuôn mặt bằng cách đào tạo các thuật toán trên các loại mục tiêu tương tự như khuôn mặt người. Phần mềm xử lý video theo thời gian thực,nên bạn phải mở phần mềm video trực tuyến như Zoom, Skype.v.v. và Avatarify cùng một lúc. Phần mềm cũng yêu cầu cấu hình GPU tương đối cao bài test sử dụng 1080 Ti, hầu như không thể đạt chất lượng khung hình 33 FPS.


ezgif-6-74224a37b4ac.gif


Các bạn có thể tham khảo mã nguồn


Có thể thử nghiêm

- Có camera hoặc Camera ảo
- Bộ thư viện đã đào tào cho AI
Dropbox

Yandex.Disk

Google Drive

Linux

- Tạo camera ảo bằng v4l2loopback
1. Tải xuống Miniconda Python 3.7 và chạy lệnh cài đặt:
Mã:
bash Miniconda3-latest-Linux-x86_64.sh
2. .Sao chép kho lưu trữ nhân bản avatarify , cài đặt các phụ kiện liên quan (sudo):
Mã:
git clone https://github.com/alievk/avatarify.git
cd avatarify
bash scripts/install.sh
3. Chuyển file vox-adv-cpk.pth.tar đã được tải trước đó vào thư mục avatarify (chú ý không giải nén).

Windows 10

1. Cài đặt Miniconda Python 3.7.
2. Cài đặt Git.
3. Vào Start nhập "miniconda" chạy. Chạy Anaconda làm theo các thông báo.
4. Nhập lệnh sau để tải xuống và cài đặt Avatarify:
Mã:
git clone https://github.com/alievk/avatarify.git
cd avatarify
scriptsinstall_windows.bat
5. Chuyển file vox-adv-cpk.pth.tar mà bạn đã tải xuống trước đó vào trong thư mục avatarify (không giải nén).
6. Chạy run_windows.bat. Nếu cài đặt thành công, máy tính để bàn sẽ mở hai giao diện camera (một là camera mặc định và một là camera avatarify). Không tắt để chuẩn bị cho bước tiếp theo.
7. Cài đặt OBS Studio để lấy nội dung của camera Avatarify (OBS là phần mềm thường được sử dụng để phát sóng trực tiếp).
8. Cài đặt plugin VirtualCam. Chọn Cài đặt và chỉ đăng ký 1 camera ảo.
9. Chạy OBS Studio.
10. Nhấp vào "+" chọn nguồn phát livestream VD "[python.exe]: avatarify" trong màn hình
OBS.jpg

11. Trong OBS Studio, nhấp vào thanh công cụ - VirtualCam, chọn tự động bắt đầu, khung bộ đệm đặt thành 0, bắt đầu.
Bây giờ OBS-Camera có thể được sử dụng trong ZOOM hoặc phần mềm hội nghị trực tuyến video khác. (10-11 bước chỉ cần cài đặt một lần)

Ngoài Linux và Windows 10, tác giả cũng cung cấp hệ điều hành Mac và phương pháp thử nghiệm từ xa kết nối với nền tảng Google.
Các bạn có thể tham khảo thêm hướng dẫn tại đây

Tác giả cung cấpbộ dữ liệu của những người nổi tiếng trong dự án Avatarify (Einstein, Mona Lisa, v.v.), bạn cũng có thể cài đặt những hình ảnh người nổi tiếng khác mà bạn muốn trở thành trong thư mục avatar, theo quy định:

1. Hình ảnh nhân vật phải là một hình vuông.

2. Tham khảo các hình ảnh mặc định trong thư mục. Khuôn mặt không được quá xa hoặc quá gần.

3. Bối cảnh hình ảnh nhân vật không nên quá phức tạp, với một tông màu sẽ cho chất lượng tốt hơn.

Avatarify hỗ trợ bất kỳ ứng dụng hội nghị video nào, miễn là có thể thay đổi nguồn đầu vào video (ZOOM, Skype, Hangouts, Slack ...).

Tham khảo thêm hướng dẫn tại