Multi-Dimensional Prosody Judgment For Live Streaming Speech Synthesis

{"tags": ["TTS", "Speech Synthesis", "Prosody Evaluation", "Live Streaming", "LLM-as-a-Judge", "Qwen3-Omni", "Gemini", "GRPO", "Model Distillation"], "risks": ["Độ trễ và chi phí suy luận khi dùng 10 mẫu (10-sample balanced-order) vẫn cao hơn các bộ dự đoán MOS truyền thống dạng nhỏ gọn.", "Khả năng phụ thuộc vào chất lượng mô hình nền tảng Qwen3-Omni và độ chính xác của nhãn chưng cất ban đầu từ Gemini.", "Rủi ro tối ưu hóa quá mức (reward hacking / Goodhart's Law) khi huấn luyện RL nếu mô hình đánh giá bỏ qua các lỗi ngữ âm cơ bản khác."], "category": "Research", "entities": ["Gemini", "Qwen3-Omni", "Live-ProsodyJudge (LPJ)", "Decoupled-Live-ProsodyJudge (D-LPJ)", "MOS", "GRPO", "SFT"], "summary_vi": "Nghiên cứu giới thiệu Live-ProsodyJudge (LPJ) và Decoupled-Live-ProsodyJudge (D-LPJ) để giải quyết bài toán đánh giá ngữ điệu đa chiều (cảm xúc, cao độ, năng lượng) trong tổng hợp giọng nói phát trực tiếp. LPJ được chưng cất từ Gemini sang Qwen3-Omni nhằm tối ưu chi phí. Nhằm khắc phục lỗi 'verdict coupling' (thẩm phán LLM đồng nhất điểm chi tiết với phán quyết chung), D-LPJ loại bỏ nhãn phán quyết tổng thể, mask các chiều không chắc chắn trong SFT và áp dụng kỹ thuật span-local GRPO. Thực nghiệm cho thấy LPJ đạt độ chính xác cao hơn Gemini đơn lẻ, D-LPJ tạo ra các đánh giá độc lập, và giúp chọn mẫu TTS lọt top-3 con người chọn đạt 85,29% trong giải đấu Best-of-8.", "key_changes": ["Đề xuất Live-ProsodyJudge (LPJ): Mô hình đánh giá cặp (pairwise) chi phí thấp được chưng cất từ Gemini sang Qwen3-Omni phục vụ đánh giá ngữ điệu giọng đọc phát trực tiếp (live streaming TTS).", "Phát hiện hiện tượng 'verdict coupling': Lỗi thẩm phán LLM tự động đồng nhất điểm từng tiêu chí chi tiết theo cảm tính tổng thể, làm suy giảm giá trị thang đánh giá đa chiều.", "Phát triển Decoupled-Live-ProsodyJudge (D-LPJ): Loại bỏ mục tiêu phán quyết tổng thể và áp dụng cơ chế mask các cặp tiêu chí không chắc chắn trong quá trình SFT.", "Đưa vào chiến lược span-local GRPO: Kỹ thuật tối ưu hóa chính sách nhóm tương đối mới, chỉ áp dụng normalized advantages trực tiếp vào đúng các span lập luận (rationale spans) tương ứng.", "Kết quả thực nghiệm vượt trội: LPJ với 10 mẫu cân bằng thứ tự đạt độ chính xác cao hơn một lệnh gọi Gemini đơn lẻ; D-LPJ phân tách độc lập các tiêu chí; hỗ trợ chọn mẫu Best-of-8 TTS đạt top-3 con người trong 85,29% trường hợp độ tin cậy cao."], "sub_category": "Speech Synthesis", "novelty_score": 82, "business_score": 76, "research_score": 88, "why_it_matters": "Nghiên cứu giải quyết trực diện nút thắt 'verdict coupling' của LLM-as-a-judge trong đánh giá chất lượng giọng nói phức tạp, đồng thời chứng minh mô hình mã nguồn mở kích thước vừa phải sau khi chưng cất và tinh chỉnh bằng span-local GRPO có thể vượt qua LLM độc quyền đắt đỏ như Gemini, mở rộng tiềm năng ứng dụng RLHF/RLAIF quy mô lớn cho ngành công nghiệp giọng nói AI.", "developer_score": 78, "importance_score": 78, "possible_use_cases": ["Hệ thống chọn lọc mẫu TTS thời gian thực (Best-of-N selection) cho livestream với ngữ điệu biểu cảm và năng lượng cao.", "Xây dựng mô hình phần thưởng (Reward Model) cho RLHF/RLAIF trong huấn luyện các mô hình tạo giọng nói (expressive speech synthesis).", "Đánh giá chất lượng âm thanh tự động đa chiều (cảm xúc, ngữ điệu, năng lượng) thay thế các chỉ số MOS truyền thống hoặc thẩm phán người tốn kém.", "Áp dụng phương pháp span-local GRPO và kỹ thuật decoupling vào các hệ thống LLM-as-a-judge đa tiêu chí khác để tránh thiên vị phán quyết."], "actionability_score": 75}