Aligning Language Models with General Preferences: An Empirical Study of Direct Nash Optimization

{"tags": ["Direct Nash Optimization", "DNO-Prct", "LLM Alignment", "DPO", "AlpacaEval 2.0", "Post-training", "On-policy Sampling", "Open-weight Models"], "risks": ["Thiên vị đánh giá (Evaluation bias): GPT-4o vừa đóng vai trò teacher vừa làm giám khảo đánh giá AlpacaEval 2.0, có thể làm sai lệch hoặc thổi phồng hiệu quả thực tế.", "Độ tin cậy thống kê hạn chế do tất cả kết quả thực nghiệm đều chỉ dựa trên một lượt chạy đơn lẻ (single runs).", "Khoảng cách giữa lý thuyết và thực hành: Biến thể thực tế DNO-Prct có nhiều điểm sai khác so với lý thuyết xấp xỉ cân bằng Nash gốc.", "Gia tăng chi phí tính toán khi phải lấy mẫu on-policy và chấm điểm lặp lại qua nhiều vòng."], "category": "Research", "entities": ["Direct Nash Optimization (DNO)", "DNO-Prct", "Llama 3.1 8B Instruct", "Mistral 7B Instruct v0.1", "Llama 3.1 70B Instruct", "GPT-4o", "AlpacaEval 2.0"], "summary_vi": "Nghiên cứu thực nghiệm độc lập về Direct Nash Optimization (DNO), cụ thể là biến thể thực tế DNO-Prct dùng để căn chỉnh mô hình ngôn ngữ lớn theo hàm sở thích tổng quát thông qua xấp xỉ cân bằng Nash. Quy trình lặp gồm: lấy mẫu on-policy, LLM chấm điểm mẫu cùng câu trả lời chuẩn (gold response) của teacher, chọn cặp sở thích với biên độ lớn (large-margin) và cập nhật tương phản kiểu DPO. Đánh giá trên Llama 3.1 8B Instruct và Mistral 7B Instruct v0.1 cho thấy sau 3 vòng lặp, tỷ lệ thắng kiểm soát độ dài (LC win rate) trên AlpacaEval 2.0 (với GPT-4o làm giám khảo) tăng mạnh từ 31,7% lên 45,3% đối với Llama và 6,8% lên 18,4% đối với Mistral, giúp mô hình 8B vượt qua cả Llama 3.1 70B Instruct. Đáng chú ý, việc dùng annotator mã nguồn mở cùng họ vẫn giữ được 62% - 82% mức cải thiện so với GPT-4o. Phân tích cắt bỏ (ablation) chứng minh gold response và data look-back là hai thành phần then chốt (giảm 6-10 điểm LC nếu thiếu).", "key_changes": ["Tái triển khai độc lập và đánh giá thực nghiệm thuật toán Direct Nash Optimization (DNO-Prct) nhằm căn chỉnh LLM theo cân bằng Nash trong bài toán preference game 2 người chơi.", "Quy trình DNO-Prct gồm vòng lặp 4 bước: lấy mẫu on-policy, LLM chấm điểm kèm gold response của teacher, chọn cặp sở thích biên độ lớn (large-margin) và cập nhật tương phản kiểu DPO.", "Nâng cao đáng kể tỷ lệ thắng LC (length-controlled win rate) trên AlpacaEval 2.0 sau 3 vòng lặp: Llama 3.1 8B từ 31,7% lên 45,3% (vượt Llama 3.1 70B Instruct trên mọi tỷ lệ thắng báo cáo), Mistral 7B từ 6,8% lên 18,4%.", "Annotator mã nguồn mở cùng họ giữ lại được 62% (Llama) và 82% (Mistral) mức cải thiện so với annotator GPT-4o, chứng minh không bắt buộc dùng mô hình thương mại đóng để chấm điểm.", "Ablation cho thấy việc bỏ gold response, bỏ data look-back hoặc chỉ chấp nhận cặp teacher ưu tiên làm giảm 6-10 điểm LC; trong khi số mẫu on-policy (1-7) và quét margin (1-5) chỉ làm thay đổi tỷ lệ thắng tối đa 2,1-2,4 điểm."], "sub_category": "LLM Alignment", "novelty_score": 70, "business_score": 65, "research_score": 85, "why_it_matters": "Nghiên cứu xác nhận tính hiệu quả thực tế của DNO-Prct trong việc nâng tầm các mô hình mã nguồn mở cỡ nhỏ (8B) vượt qua cả mô hình 70B mà không nhất thiết phải phụ thuộc vào API độc quyền như GPT-4o cho khâu gán nhãn sở thích. Điều này giúp các nhà phát triển và doanh nghiệp tối ưu hóa chi phí và tự chủ hoàn toàn pipeline căn chỉnh mô hình AI nội bộ.", "developer_score": 80, "importance_score": 75, "possible_use_cases": ["Hậu huấn luyện (post-training/alignment) cho các LLM mã nguồn mở cỡ nhỏ (7B, 8B) để đạt chất lượng phản hồi cạnh tranh với mô hình 70B.", "Xây dựng quy trình tự căn chỉnh khép kín (self-alignment / on-policy alignment) nội bộ cho doanh nghiệp sử dụng annotator mã nguồn mở thay vì phụ thuộc API ngoài.", "Cải tiến các pipeline DPO truyền thống bằng cách bổ sung on-policy sampling và lọc cặp dữ liệu large-margin kết hợp gold responses."], "actionability_score": 75}