Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

ViTeX-Bench: Benchmarking High-Fidelity Video Scene Text Editing

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

67 RADAR
Research Video Editing & Computer Vision · 1 nguồn đối chiếu · 2026-09-30 17:59:33 +0000 UTC

ViTeX-Bench: Benchmarking High-Fidelity Video Scene Text Editing

Nguồn: arXiv AI
↗

ViTeX-Bench là bộ benchmark đầu tiên chuyên sâu về chỉnh sửa văn bản cảnh trong video (video scene text editing), bao gồm ViTeX-Dataset (387 video 720p thực tế kèm mặt nạ vùng chữ và hướng dẫn) cùng giao thức đánh giá 3 trục qua 13 chỉ số. Nghiên cứu cũng công bố mô hình mã nguồn mở ViTeX-Edit-14B sử dụng kỹ thuật motion-aligned glyph-video conditioning, đạt CharAcc 0.688 và độ biến dạng text-crop Warp thấp nhất trong các editor video gốc.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Chỉnh sửa văn bản trong video thực tế là bài toán phức tạp đòi hỏi đồng thời tính chính xác của chữ, tính nhất quán theo thời gian và khả năng bảo toàn chuyển động khung cảnh xung quanh. ViTeX-Bench đặt nền tảng chuẩn hóa giúp cộng đồng đo lường các đánh đổi kỹ thuật, đồng thời mở ra tiềm năng thương mại lớn cho tự động hóa bản địa hóa nội dung video và biên tập hậu kỳ.

Developer 73
Business 72
Novelty 82
Actionable 80

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Recent video generation is increasingly realistic and controllable, yet video editing remains less developed, particularly for precise local edits that must preserve the original scene dynamics. Video scene text editing replaces text on scene surfaces, such as storefront signs, whiteboards, and product labels, while preserving the surrounding content, motion, and camera dynamics. Although scene text editing is well studied for images, video scene text editing that achieves high visual quality, temporal consistency, and edit locality remains underexplored. Existing resources offer limited paired real-video data, and general video-editing metrics do not directly measure whether the requested text remains correct over time. We introduce ViTeX-Bench, a benchmark suite comprising ViTeX-Dataset and a three-axis evaluation protocol. The dataset contains 387 real-world 720p videos with text-region masks and editing instructions: 230 provide reviewed, pipeline-generated paired edits for training, and 157 form a frozen evaluation split. The protocol evaluates text correctness, visual and temporal quality, and edit locality through 13 metrics, with one primary metric per axis and a Pareto comparison of their trade-offs. OCR calibration, human evaluation, and annotation-sensitivity analyses support the interpretation of these scores. Across eight baselines from four editing families, accurate text, temporal stability, and scene preservation remain difficult to achieve together. We also release ViTeX-Edit-14B, an open-source reference editor fine-tuned on the paired training split with motion-aligned glyph-video conditioning. It achieves CharAcc 0.688, the highest mean among the evaluated video-native editors, and the lowest comparable text-crop Warp among raw editor outputs. ViTeX-Bench provides a reproducible foundation for studying these trade-offs in video scene text editing.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-10-01 09:38:32 +0000 UTC
{"tags": ["ViTeX-Bench", "ViTeX-Edit-14B", "Video Editing", "Scene Text Editing", "Computer Vision", "Benchmark", "Generative AI"], "risks": ["Độ chính xác và độ ổn định thời gian còn giới hạn: mô hình tham chiếu tốt nhất mới đạt CharAcc 0.688, chưa hoàn toàn sẵn sàng cho môi trường sản xuất khắt khe.", "Nguy cơ bị lạm dụng để tạo video giả mạo thông tin, biển hiệu hoặc nhãn hàng phục vụ mục đích lừa đảo.", "Quy mô tập dữ liệu còn nhỏ (387 video 720p), có thể chưa bao phủ hết các góc quay phức tạp, phông chữ dị biệt hoặc chuyển động nhanh."], "category": "Research", "entities": ["ViTeX-Bench", "ViTeX-Dataset", "ViTeX-Edit-14B"], "summary_vi": "ViTeX-Bench là bộ benchmark đầu tiên chuyên sâu về chỉnh sửa văn bản cảnh trong video (video scene text editing), bao gồm ViTeX-Dataset (387 video 720p thực tế kèm mặt nạ vùng chữ và hướng dẫn) cùng giao thức đánh giá 3 trục qua 13 chỉ số. Nghiên cứu cũng công bố mô hình mã nguồn mở ViTeX-Edit-14B sử dụng kỹ thuật motion-aligned glyph-video conditioning, đạt CharAcc 0.688 và độ biến dạng text-crop Warp thấp nhất trong các editor video gốc.", "key_changes": ["Giới thiệu ViTeX-Bench: bộ benchmark chuyên biệt cho tác vụ chỉnh sửa văn bản cảnh trong video (video scene text editing).", "Cung cấp ViTeX-Dataset gồm 387 video thực tế độ phân giải 720p kèm mặt nạ vùng văn bản và hướng dẫn chỉnh sửa (230 video huấn luyện, 157 video đánh giá cố định).", "Đề xuất giao thức đánh giá 3 trục (độ chính xác văn bản, chất lượng thị giác/thời gian, tính cục bộ chỉnh sửa) với 13 chỉ số và phân tích Pareto.", "Thực nghiệm trên 8 phương pháp cơ sở từ 4 họ mô hình chỉnh sửa, chỉ ra sự đánh đổi giữa văn bản chính xác, độ ổn định thời gian và bảo toàn khung cảnh.", "Phát hành mô hình mã nguồn mở ViTeX-Edit-14B với cơ chế motion-aligned glyph-video conditioning, đạt CharAcc 0.688 và độ biến dạng text-crop Warp thấp nhất."], "sub_category": "Video Editing & Computer Vision", "novelty_score": 82, "business_score": 74, "research_score": 88, "why_it_matters": "Chỉnh sửa văn bản trong video thực tế là bài toán phức tạp đòi hỏi đồng thời tính chính xác của chữ, tính nhất quán theo thời gian và khả năng bảo toàn chuyển động khung cảnh xung quanh. ViTeX-Bench đặt nền tảng chuẩn hóa giúp cộng đồng đo lường các đánh đổi kỹ thuật, đồng thời mở ra tiềm năng thương mại lớn cho tự động hóa bản địa hóa nội dung video và biên tập hậu kỳ.", "developer_score": 76, "importance_score": 78, "possible_use_cases": ["Bản địa hóa video quảng cáo và thương mại điện tử bằng cách thay thế văn bản trên nhãn sản phẩm, áp phích, biển hiệu theo ngôn ngữ thị trường mà không cần quay lại.", "Hậu kỳ video: cập nhật hoặc sửa lỗi văn bản trên bảng trắng, biển chỉ dẫn và đạo cụ trong cảnh quay thực tế.", "Tự động che mờ hoặc thay thế thông tin nhạy cảm (PII), nhãn hiệu có bản quyền trong video nhằm tuân thủ pháp lý.", "Làm bộ đo lường chuẩn và dữ liệu huấn luyện để phát triển các mô hình generative AI chỉnh sửa video cục bộ."], "actionability_score": 80}