ClearGS: Reliability-Aware Gaussian Splatting from Handheld Videos

{"tags": ["3D Gaussian Splatting", "Computer Vision", "Handheld Video", "3D Reconstruction", "Image Restoration", "Novel View Synthesis"], "risks": ["Chi phí tính toán tăng thêm do phải kết hợp mô hình phục hồi no-reference và bước củng cố toàn quỹ đạo.", "Nguy cơ sinh ảo giác hình ảnh (hallucination) từ mô hình phục hồi chuyên gia nếu các khung hình bị mờ hoặc biến dạng quá nặng.", "Phụ thuộc vào thuật toán ước lượng quỹ đạo camera (pose estimation) ban đầu trước các khung hình chất lượng kém."], "category": "Research", "entities": ["ClearGS", "3D Gaussian Splatting (3DGS)", "Reliability-aware View Allocation (RVA)", "Render-Guided In-Video Restoration (RIVR)", "Full-Trajectory Repair Consolidation", "GS2E", "GSOTM", "CLIP-IQA", "MUSIQ", "LPIPS"], "summary_vi": "ClearGS là phương pháp tối ưu hóa 3D Gaussian Splatting (3DGS) từ video quay cầm tay có góc quay không đều và chất lượng khung hình hỗn tạp. Thay vì loại bỏ khung hình theo cách nhị phân, ClearGS sử dụng cơ chế Phân bổ Góc nhìn Nhận biết Độ tin cậy (RVA) để gán trọng số mượt mà dựa trên chất lượng ngoại hình, nguy cơ suy hao và độ hữu ích hình học, đồng thời kích hoạt nhẹ các khung hình bị nén để bảo toàn quỹ đạo. Để bù đắp chi tiết bị mờ hoặc biến dạng, ClearGS tích hợp Phục hồi Video Định hướng bởi Render (RIVR) - sử dụng bản render làm khung cấu trúc kết hợp chuyên gia phục hồi không tham chiếu (no-reference), sau đó củng cố sửa chữa dọc toàn bộ quỹ đạo (Full-Trajectory Repair Consolidation). Phương pháp đạt SOTA trên GS2E và GSOTM mà không cần dữ liệu cặp hay ảnh sắc nét tham chiếu.", "key_changes": ["Thay thế phương pháp chọn/bỏ khung hình nhị phân bằng phân bổ trọng số giám sát mượt mà (RVA) dựa trên độ tin cậy ngoại hình, rủi ro suy giảm và tính hữu ích hình học.", "Kích hoạt yếu (weak reactivation) các khung hình bị triệt tiêu để duy trì độ phủ quỹ đạo di chuyển.", "Giới thiệu Render-Guided In-Video Restoration (RIVR), kết hợp bản render 3DGS làm cấu trúc định hướng với chuyên gia phục hồi no-reference để tái tạo chi tiết bị mờ.", "Sử dụng điểm số cảm nhận no-reference để chọn ứng viên tối ưu giữa ảnh render, ảnh phục hồi và ảnh kết hợp tần số cao.", "Bổ sung Full-Trajectory Repair Consolidation nhằm kiểm tra lại các vùng sửa chữa và bảo toàn chi tiết ban đầu dọc theo toàn bộ quỹ đạo."], "sub_category": "3D Computer Vision", "novelty_score": 80, "business_score": 72, "research_score": 84, "why_it_matters": "Khắc phục hạn chế cố hữu của 3DGS khi áp dụng vào thực tế: dữ liệu video thực tế từ người dùng thường xuyên bị rung lắc, mờ nhòe và phân bố góc nhìn kém. ClearGS cho phép tái tạo 3D độ trung thực cao từ video cầm tay mà không cần thiết bị chuyên nghiệp hay dữ liệu tham chiếu sắc nét.", "developer_score": 76, "importance_score": 78, "possible_use_cases": ["Quét và tái tạo không gian 3D chất lượng cao từ video quay bằng điện thoại thông minh phổ thông.", "Số hóa hiện trường, bảo tàng và bất động sản trong điều kiện di chuyển cầm tay rung lắc.", "Tạo tài nguyên 3D cho AR/VR và thương mại điện tử từ video người dùng tự quay.", "Hỗ trợ dựng hình VFX và novel-view synthesis từ các đoạn phim tư liệu có khung hình chất lượng kém."], "actionability_score": 74}