TRANG THÔNG TIN LUẬN ÁN TIẾN SĨ 

Tên đề tài luận án tiến sĩ: “Nghiên cứu cải tiến kỹ thuật nhận dạng và thay thế đối tượng trong video”

Chuyên ngành: Khoa học máy tính                                  Mã số: 9.48.01.01

Họ và tên NCS: Lê Đình Nghiệp

Người hướng dẫn khoa học:

1. TS. Phạm Việt Bình
2. TS. Đỗ Năng Toàn

Cơ sở đào tạo: Trường Đại học Công nghệ Thông tin và Truyền thông - Đại học Thái Nguyên

NHỮNG KẾT QUẢ MỚI CỦA LUẬN ÁN

1. Cải tiến mô hình đối tượng dựa trên kiến trúc mạng tích chập học sâu (YOLO-Adv) cho độ chính xác cao đáp ứng thời gian thực khi dò tìm đối tượng trong video.
2. Phát triển kỹ thuật lập chỉ mục lượng tử hóa tích đề các cụm vector (Product sub-vector quantization - PSVQ). Sử dụng phương pháp duyệt cây phân cụm thứ bậc trên tập vector đặc trưng đã được lượng tử bằng kỹ thuật PSVQ để tìm ra hình dạng của đối tượng.
3. Cải tiến mô hình tái tạo vùng ảnh bị phá hủy RBPconv áp dụng cho bài toán hoàn thiện và tái tạo vùng ảnh bị phá hủy sinh ra trong video sau khi loại bỏ, thay thế đối tượng.

CÁC ỨNG DỤNG, KHẢ NĂNG ỨNG DỤNG TRONG THỰC TIỄN

HOẶC NHỮNG VẤN ĐỀ CÒN BỎ NGỎ CẦN TIẾP TỤC NGHIÊN CỨU

1. Khả năng ứng dụng trong thực tiễn:

- Sử dụng để loại bỏ đối tượng không mong muốn, thay thế các đối tượng có hình dạng đơn giản như logo, trademark bằng các đối tượng tương đồng khác ứng dụng trong quảng bá sản phẩm, thương hiệu, phân tích thị trường trong các video thể thao, quảng cáo, phim ảnh.

- Từng mô hình cải tiến có thể được ứng dụng trong nhiều lĩnh vực như: nhận dạng ký tự, nhận dạng thương hiệu, lái xe tự động, an ninh, giám sát, truy vết đối tượng, trích xuất đối tượng trong video, thống kê đối tượng xuất hiện trong video, truy vấn ảnh/video, phân loại ảnh/video, phân loại tin tức, nâng cao chất lượng video sau khi xử lý.

2. Những vấn đề còn bỏ ngỏ cần tiếp tục nghiên cứu:

- Nghiên cứu tổng thể mô hình đầu-cuối dò tìm, nhận dạng, thay thế và hoàn thiện video.

-  Xây dựng bộ dữ liệu video hoàn chỉnh dùng trong pha huấn luyện cho mô hình phát hiện và thay thế đối tượng.

INFORMATION OF THE DOCTORAL DISSERTATION

Dissertation title: "Research on improving techniques for objects recognition and replacement in video"

Major: Computer Science                                                 Code No: 9.48.01.01

Full name of PhD student:  Le Dinh Nghiep

1st Scientific supervisor: Ass. Prof., Dr.  Pham Viet Binh

2nd Scientific supervisor: Ass. Prof., Dr.  Do Nang Toan

Training unit: Thai Nguyen University of Information and Communication Technology 

Training institution: Thai Nguyen University

NEW SCIENTIFIC FINDINGS OF THE DISSERTATION

1. Improving the detection model based on deep convolutional network architecture (YOLO-Adv) achieves high precision rate in real-time for detecting object in video.
2. Developing a feature indexing technique which names product sub-vector quantization (PSVQ). Using embedding hierarchical clustering tree in PSVQ for feature indexing to find out the object's shape.
3. Improving the deep video inpainting model (V-RBPconv) to fill in missing regions of a given video sequence with contents that are both spatially and temporally coherent. This model is applied for reconstructing destroyed parts with abitrary shape which are generated in the video after removing or replacing the object.

APPLICABILITY AND FURTHER RESEARCH

1.Practical applicability

- Used to remove unwanted objects and replace objects that have simple shapes such as logos, trademark with other similar objects applied in promoting products, trademarks, and analyzing markets in sports videos, advertisements, movies.

- Each improved technique can be applied in many areas such as: character recognition, brand recognition, autonomous driving, security, surveillance, object tracking, video object extraction, object statistics appear in video, query photos / videos, photos, videos classification,  news classification, video quality improvement after processing.

2. Further research

- Overall study of the end-to-end model for video detection, identification, replacement and completion.

- Build complete video data set used in training phase for object detection and replacement model.

Nguồn: Trường Đại học Công nghệ Thông tin và Truyền thông - Đại học Thái Nguyên.