Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

FlowTranslator: Training-Free In-Image Machine Translation with Flow-Based Editing

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

63 RADAR
Research In-Image Machine Translation · 1 nguồn đối chiếu · 2026-11-03 04:33:47 +0000 UTC

FlowTranslator: Training-Free In-Image Machine Translation with Flow-Based Editing

Nguồn: arXiv AI
↗

FlowTranslator là khung dịch máy trong ảnh (IIMT) không cần huấn luyện (training-free), kết hợp OCR và LLM để sinh prompt rồi đưa vào mô hình Text-to-Image diffusion. Bằng cách áp dụng hai cơ chế kiểm soát quỹ đạo Region Coupling Release (RCR) và Coupling Expansion (CE), hệ thống dịch và tái tạo văn bản tự nhiên, giữ nguyên ngữ cảnh hình ảnh và vượt qua mô hình có huấn luyện UniTranslator.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Nghiên cứu giải quyết bài toán thiếu dữ liệu cặp ảnh trước-sau dịch vốn vô cùng đắt đỏ của phương pháp IIMT truyền thống. Bằng cách chứng minh mô hình diffusion T2I kết hợp kiểm soát quỹ đạo có thể thay thế mô hình chuyên biệt được huấn luyện tốn kém, FlowTranslator mở ra giải pháp bản địa hóa hình ảnh chi phí thấp, linh hoạt và dễ áp dụng vào thực tế.

Developer 70
Business 72
Novelty 78
Actionable 72

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

In-image machine translation (IIMT) replaces text in an image with its translation while preserving the surrounding visual context. Existing task-specific models achieve convincing performance but require massive paired training images before and after translation. As advanced text-to-image (T2I) models have reached a practically usable level of multilingual text generation, we argue that this capability can be transferred to IIMT and present FlowTranslator. It is a training-free IIMT framework that first employs an OCR model and an LLM to generate the translation prompt, which is injected into the T2I-based diffusion model. To optimize the accurate and natural generation of translated text, we introduce two trajectory controls: Region Coupling Release (RCR) partially decorrelates target-branch noise inside the text region early in the trajectory, while Coupling Expansion (CE) amplifies the emerging edit displacement mid-trajectory. Under the EasyOCR read-back protocol, FlowTranslator achieves average PRIM BLEU and COMET scores of 20.6 and 57.2, respectively, substantially outperforming the strong training-based baseline UniTranslator. On the more challenging and realistic whole-image ScenePair photographs translated into Chinese, it reaches 40.1\% exact-match accuracy and surpasses existing editing systems, some of which only address the text-rendering stage rather than the complete IIMT task. These results establish flow-based editing as a strong, fully training-free baseline for IIMT.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-11-04 09:34:00 +0000 UTC
{"tags": ["FlowTranslator", "In-Image Machine Translation", "IIMT", "Diffusion Models", "Training-Free", "Computer Vision", "LLM", "OCR"], "risks": ["Độ chính xác khớp tuyệt đối (exact-match) trên ảnh thực tế ScenePair mới đạt 40.1%, vẫn còn tỷ lệ lỗi hiển thị ký tự đáng kể.", "Phụ thuộc dây chuyền vào độ chính xác của OCR và LLM; lỗi nhận dạng hoặc dịch sai ngữ cảnh sẽ ảnh hưởng trực tiếp đến kết quả sinh ảnh.", "Độ trễ và chi phí tính toán cao do kết hợp tuần tự OCR -> LLM -> Diffusion model, khó áp dụng cho xử lý thời gian thực."], "category": "Research", "entities": ["FlowTranslator", "UniTranslator", "EasyOCR", "ScenePair", "BLEU", "COMET"], "summary_vi": "FlowTranslator là khung dịch máy trong ảnh (IIMT) không cần huấn luyện (training-free), kết hợp OCR và LLM để sinh prompt rồi đưa vào mô hình Text-to-Image diffusion. Bằng cách áp dụng hai cơ chế kiểm soát quỹ đạo Region Coupling Release (RCR) và Coupling Expansion (CE), hệ thống dịch và tái tạo văn bản tự nhiên, giữ nguyên ngữ cảnh hình ảnh và vượt qua mô hình có huấn luyện UniTranslator.", "key_changes": ["Đề xuất FlowTranslator, khung dịch máy trong ảnh (IIMT) hoàn toàn không cần huấn luyện (training-free), tận dụng năng lực sinh văn bản đa ngữ của mô hình Text-to-Image (T2I) diffusion.", "Kết hợp OCR và LLM để trích xuất văn bản và tạo prompt dịch thuật, sau đó đưa vào mô hình diffusion T2I.", "Đưa ra kỹ thuật Region Coupling Release (RCR) giúp giải tương quan một phần nhiễu nhánh đích trong vùng văn bản ở giai đoạn đầu quỹ đạo.", "Đưa ra kỹ thuật Coupling Expansion (CE) nhằm khuếch đại độ dịch chuyển chỉnh sửa ở giai đoạn giữa quỹ đạo để kết xuất chữ tự nhiên và chính xác.", "Vượt trội so với baseline huấn luyện chuyên biệt UniTranslator với điểm PRIM BLEU đạt 20.6 và COMET đạt 57.2; đạt 40.1% độ chính xác exact-match trên ảnh chụp thực tế ScenePair sang tiếng Trung."], "sub_category": "In-Image Machine Translation", "novelty_score": 78, "business_score": 76, "research_score": 82, "why_it_matters": "Nghiên cứu giải quyết bài toán thiếu dữ liệu cặp ảnh trước-sau dịch vốn vô cùng đắt đỏ của phương pháp IIMT truyền thống. Bằng cách chứng minh mô hình diffusion T2I kết hợp kiểm soát quỹ đạo có thể thay thế mô hình chuyên biệt được huấn luyện tốn kém, FlowTranslator mở ra giải pháp bản địa hóa hình ảnh chi phí thấp, linh hoạt và dễ áp dụng vào thực tế.", "developer_score": 74, "importance_score": 75, "possible_use_cases": ["Bản địa hóa tự động hình ảnh quảng cáo, banner tiếp thị và infographics đa ngôn ngữ mà không cần thiết kế lại từ đầu.", "Dịch tự động truyện tranh (manga/comics) với khả năng xóa chữ cũ và vẽ chữ dịch mới hài hòa với phong cách ảnh.", "Bản địa hóa hình ảnh sản phẩm cho các nền tảng thương mại điện tử xuyên biên giới.", "Ứng dụng dịch văn bản trên biển hiệu, thực đơn du lịch trực tiếp từ ảnh chụp ngoài đời thực."], "actionability_score": 72}