Back-Translation Still Matters: Leveraging Monolingual Data for Low-Resource Machine Translation with LLMs

{"tags": ["Machine Translation", "Back-Translation", "Low-Resource Languages", "Large Language Models", "Monolingual Data", "Fine-Tuning", "XCOMET-XXL"], "risks": ["Hiện tượng lan truyền lỗi (error propagation): nếu bản dịch đơn ngữ ban đầu kém chất lượng, dữ liệu tổng hợp sinh ra có thể làm suy giảm độ chính xác của mô hình.", "Gia tăng chi phí tính toán khi phải thực hiện giải mã beam và dịch ngược hai chiều trên quy mô dữ liệu đơn ngữ lớn.", "Hiệu quả trên các mô hình ngôn ngữ quy mô lớn (như 70B+) chưa được chứng minh do nghiên cứu mới đánh giá trên backbone 3B.", "Sự phụ thuộc vào nguồn và độ sạch của văn bản đơn ngữ; dữ liệu rác có thể dẫn đến hiện tượng ảo giác (hallucination)."], "category": "Research", "entities": ["Odia", "Swahili", "Sanskrit", "Hindi", "XCOMET-XXL", "LLMs (3B)"], "summary_vi": "Nghiên cứu chứng minh kỹ thuật Back-Translation (dịch ngược) truyền thống khai thác dữ liệu đơn ngữ hiệu quả hơn đáng kể so với việc tiếp tục tiền huấn luyện (Continued Pretraining) đối với các mô hình ngôn ngữ lớn (LLM) trong dịch máy ngôn ngữ ít tài nguyên. Bằng cách dùng LLM đã tinh chỉnh để dịch văn bản đơn ngữ rồi dùng dữ liệu sinh ra huấn luyện chiều ngược lại kết hợp cập nhật xen kẽ với tập song ngữ, phương pháp này vượt 7.7 - 16.4 điểm XCOMET-XXL so với tiếp tục tiền huấn luyện trên Odia và Swahili (với 1K cặp song ngữ). Khi kết hợp giải mã beam và truy xuất ví dụ in-context, mô hình vượt qua cả hệ thống có dữ liệu song ngữ gấp 10 lần, cải thiện 16-173% điểm số trên 5 ngôn ngữ ít tài nguyên và được xác thực qua đánh giá người mù.", "key_changes": ["Chứng minh Back-Translation (BT) khai thác dữ liệu đơn ngữ hiệu quả hơn Continued Pretraining (CPT), vượt từ 7.7 đến 16.4 điểm XCOMET-XXL trên Odia và Swahili.", "Áp dụng cơ chế cập nhật xen kẽ (interleaved updates) giữa tập dữ liệu song ngữ gốc và dữ liệu dịch ngược nhằm đảm bảo độ ổn định khi huấn luyện.", "Sử dụng giải mã beam (beam decoding) cho các bản dịch trung gian, giúp mô hình với 1K mẫu song ngữ đánh bại mô hình có lượng dữ liệu song ngữ gấp 10 lần.", "Tích hợp các ví dụ in-context được truy xuất từ dữ liệu song ngữ để nâng cao chất lượng sinh dữ liệu dịch ngược.", "Cải thiện điểm XCOMET-XXL từ 16% đến 173% trên 5 ngôn ngữ nghèo tài nguyên (với 2 backbone 3B) so với phương pháp chỉ tinh chỉnh trên dữ liệu song ngữ."], "sub_category": "Machine Translation", "novelty_score": 70, "business_score": 80, "research_score": 88, "why_it_matters": "Nghiên cứu định hình lại chiến lược xử lý dữ liệu dịch máy cho ngôn ngữ ít tài nguyên trong kỷ nguyên LLM: kỹ thuật Back-Translation cổ điển vượt trội hơn tiếp tục tiền huấn luyện cả về hiệu năng lẫn chi phí. Doanh nghiệp và kỹ sư AI có thể tiết kiệm tới 90% chi phí tạo dữ liệu song ngữ đắt đỏ, chỉ cần khoảng 1.000 cặp câu đối chiếu kết hợp với dữ liệu đơn ngữ sẵn có và mô hình 3B để xây dựng công cụ dịch thuật chính xác cao.", "developer_score": 82, "importance_score": 78, "possible_use_cases": ["Xây dựng hệ thống dịch máy chất lượng cao cho các ngôn ngữ nghèo tài nguyên khi chỉ có khoảng 1.000 cặp câu song ngữ.", "Bản địa hóa sản phẩm và nội dung số cho các thị trường ngách hoặc ngôn ngữ khu vực với chi phí tạo dữ liệu tối thiểu.", "Dịch thuật và bảo tồn các ngôn ngữ cổ (như Sanskrit) có sẵn lượng văn bản đơn ngữ lớn nhưng thiếu dữ liệu đối chiếu song ngữ.", "Tối ưu hóa chi phí huấn luyện mô hình dịch thuật cho doanh nghiệp bằng cách tận dụng kho văn bản đơn ngữ nội bộ thay vì thuê dịch thủ công."], "actionability_score": 85}