Correct Choices, Failed Sequences: Choice2Seq Benchmarks Correctness Retention Across Output Interfaces

{"tags": ["Choice2Seq", "Sequence Composition Rate", "LLM Benchmark", "Sequential Construction", "Output Interfaces", "Constrained Decoding"], "risks": ["Suy giảm nghiêm trọng độ chính xác khi mô hình chuyển từ chọn lựa sang sinh tuần tự trong thực tế (điển hình Jev giảm từ 99.5% xuống 2.1%).", "Mô hình có thể nắm bắt đúng kế hoạch/nhiệm vụ nhưng thất bại trong việc tuân thủ định dạng đầu ra (plan fidelity vs output compliance).", "Hiệu quả can thiệp không đồng nhất giữa các mô hình (phương pháp có lợi cho Jev có thể làm giảm hiệu năng của Qwen).", "Gia tăng độ trễ và chi phí tính toán (request cost) khi phải áp dụng các cơ chế kiểm soát và can thiệp tuần tự."], "category": "Research", "entities": ["Choice2Seq", "Jev", "StartLux", "Qwen"], "summary_vi": "Choice2Seq là benchmark chẩn đoán đo lường khả năng duy trì độ chính xác (correctness retention) của mô hình ngôn ngữ giữa việc chọn đáp án trọn gói và tự xây dựng tuần tự qua các quyết định cục bộ. Nghiên cứu giới thiệu chỉ số Sequence Composition Rate (SCR), ghi nhận sự sụt giảm hiệu năng nghiêm trọng trên các mô hình như Jev, StartLux và Qwen khi sinh tuần tự, đồng thời chứng minh các biện pháp can thiệp như giới hạn ký tự ứng viên và đánh chỉ mục vị trí giúp cải thiện rõ rệt độ chính xác.", "key_changes": ["Giới thiệu Choice2Seq: Benchmark chẩn đoán đo lường mức độ duy trì tính chính xác (correctness retention) giữa lựa chọn toàn bộ câu trả lời và tự xây dựng tuần tự qua các quyết định cục bộ.", "Đề xuất chỉ số Sequence Composition Rate (SCR): Đo lường tỷ lệ các câu trả lời được chọn đúng mà vẫn được tạo chính xác qua quá trình sinh tuần tự.", "Khoảng cách hiệu năng lớn giữa chọn lựa và khởi tạo: Mô hình Jev đạt 97.1% (số học) và 99.5% (truy xuất từ vựng) khi chọn đáp án, nhưng chỉ giữ được lần lượt 33.0% và 2.1% khi sinh tuần tự; khoảng cách tương tự xuất hiện trên StartLux và Qwen.", "Các kỹ thuật can thiệp hiệu quả: Giới hạn các tùy chọn cục bộ theo ký tự được hỗ trợ bởi ứng viên giúp cải thiện việc tạo chuỗi; đánh chỉ mục vị trí tường minh (explicit position indexing) cải thiện độ trung thực sao chép.", "Tác động phân hóa theo giao diện và mô hình: Tạo trường cục bộ bảo toàn tốt trạng thái đúng của Jev trong đánh giá hội thoại nhưng làm giảm độ chính xác trung bình mỗi lượt của Qwen."], "sub_category": "LLM Benchmarking", "novelty_score": 75, "business_score": 55, "research_score": 88, "why_it_matters": "Nghiên cứu phơi bày điểm yếu cốt lõi trong việc đánh giá LLM hiện nay: việc mô hình chọn đúng đáp án trong bài kiểm tra trắc nghiệm không đảm bảo nó có thể tự sinh câu trả lời đó tuần tự trong ứng dụng thực tế. Đối với lập trình viên và doanh nghiệp phát triển agent hay hệ thống trích xuất thông tin, kết quả này cảnh báo nguy cơ lỗi nghiêm trọng nếu chỉ tin vào benchmark chọn đáp án, đồng thời gợi ý các giải pháp thiết thực như giới hạn không gian token và đánh chỉ mục vị trí để tăng cường độ tin cậy.", "developer_score": 80, "importance_score": 78, "possible_use_cases": ["Đánh giá độ tin cậy thực tế của LLM khi chuyển từ bài toán phân loại/trắc nghiệm sang sinh chuỗi cục bộ hoặc sinh mã/dữ liệu có cấu trúc.", "Tối ưu hóa hệ thống sinh có ràng buộc (constrained generation) bằng cách thu hẹp không gian ký tự/token theo các ứng viên hợp lệ.", "Nâng cao độ chính xác sao chép thông tin trong pipeline RAG hoặc trích xuất dữ liệu bằng cách bổ sung chỉ mục vị trí rõ ràng.", "Lựa chọn kiến trúc giao tiếp phù hợp (single-turn selection vs serial construction) cho từng mô hình cụ thể trong dialogue state tracking và agent workflows."], "actionability_score": 72}