A Zeroth-Order Paradigm for LLM Preference Alignment

{"tags": ["LLM Alignment", "ComPO", "Preference Optimization", "Zeroth-Order Optimization", "Post-Training", "Likelihood Displacement"], "risks": ["Phương pháp bậc không dựa trên comparison oracle có thể đòi hỏi chi phí tính toán truy vấn bổ sung so với lan truyền ngược tiêu chuẩn.", "Bảo chứng lý thuyết dựa trên các giả định cụ thể về độ trơn, gradient sparsity và độ phủ cục bộ (local coverage), có thể không phải lúc nào cũng thỏa mãn trong môi trường dữ liệu thực tế hỗn tạp."], "category": "Research", "entities": ["ComPO", "Mistral", "Llama", "Gemma-2", "Qwen3", "Gemma-3"], "summary_vi": "Nghiên cứu giới thiệu Comparison-based Preference Optimization (ComPO), một phương pháp căn chỉnh sở thích bậc không (zeroth-order) dựa trên comparison oracles cho mô hình ngôn ngữ lớn (LLM). ComPO giải quyết vấn đề dịch chuyển likelihood (likelihood displacement) bằng cách trích xuất thông tin định hướng từ các cặp sở thích có biên likelihood nhỏ mà không cần tối ưu hóa trực tiếp hàm mất mát khả vi. Bài báo thiết lập bảo chứng hội tụ toán học cho sơ đồ offline, đồng thời phát triển phiên bản online với kiểm soát reverse-KL đối với mô hình tham chiếu. Thực nghiệm trên Mistral, Llama, Gemma-2, Qwen3 và Gemma-3 chứng minh ComPO cải thiện tỷ lệ thắng có kiểm soát độ dài và giảm thiểu hiệu quả hiện tượng dịch chuyển likelihood so với các phương pháp căn chỉnh trực tiếp hiện hành.", "key_changes": ["Đề xuất mô hình căn chỉnh bậc không ComPO (Comparison-based Preference Optimization) sử dụng comparison oracles thay vì tối ưu trực tiếp loss khả vi.", "Trích xuất tín hiệu định hướng từ các cặp dữ liệu sở thích có biên likelihood hẹp nhằm khắc phục hiện tượng likelihood displacement.", "Thiết lập bảo chứng hội tụ lý thuyết cho sơ đồ offline và bảo chứng hiệu năng cho sơ đồ online có ràng buộc reverse-KL.", "Kiểm chứng thực nghiệm trên nhiều họ mô hình (Mistral, Llama, Gemma-2, Qwen3, Gemma-3), ghi nhận cải thiện rõ rệt về win rate có kiểm soát độ dài câu trả lời."], "sub_category": "LLM Alignment", "novelty_score": 85, "business_score": 65, "research_score": 90, "why_it_matters": "Các phương pháp direct preference alignment hiện tại (như DPO) thường bị suy giảm chất lượng khi gặp các cặp sở thích có biên xác suất nhỏ do lỗi dịch chuyển likelihood. ComPO cung cấp một khung làm việc bậc không có nền tảng toán học vững chắc, giải quyết nút thắt cổ chai này để nâng cao chất lượng căn chỉnh mô hình mà không làm bóp méo phân phối xác suất.", "developer_score": 75, "importance_score": 82, "possible_use_cases": ["Ứng dụng trong pipeline hậu huấn luyện (post-training) của LLM để căn chỉnh phản hồi theo sở thích người dùng hoặc AI feedback.", "Thay thế hoặc bổ trợ cho DPO/RLHF trong các kịch bản dữ liệu gán nhãn có độ chênh lệch chất lượng giữa cặp câu trả lời rất nhỏ.", "Cải thiện chất lượng sinh câu trả lời trong trợ lý AI thương mại nhằm tránh hiện tượng mô hình sinh phản hồi thiên lệch hoặc dài dòng không cần thiết."], "actionability_score": 70}