Cost-Aware Abstention for LLM-Based IT Ticket Classification

{"tags": ["IT Service Management", "Ticket Classification", "Cost-Aware Abstention", "LLM Evaluation", "Model Calibration", "DistilBERT", "Selective Classification"], "risks": ["LLM dạng prompt thiếu khả năng phân biệt độ tin cậy (AUROC thấp), có nguy cơ chuyển nhầm gây chi phí cao hoặc từ chối xử lý toàn bộ ticket ở ngưỡng hòa vốn.", "Kỹ thuật Isotonic Regression chỉ giảm sai số hiệu chuẩn kỳ vọng (ECE) mà không cải thiện khả năng phân biệt đúng/sai của mô hình.", "Kết quả phụ thuộc vào tập dữ liệu cụ thể (47.837 ticket, 8 nhãn) và mô hình chi phí giả định; không đại diện cho mọi môi trường IT."], "category": "Automation", "entities": ["DistilBERT", "GPT-4o-mini", "Claude Haiku", "TF-IDF", "Logistic Regression"], "summary_vi": "Nghiên cứu đánh giá phương pháp từ chối phân loại dựa trên chi phí (cost-aware abstention) cho bài toán định tuyến ticket IT trên tập dữ liệu 47.837 mẫu. Với mô hình chi phí giả định (đúng: 0, thủ công: 1, sai: 5), việc áp dụng ngưỡng 0,60 cho TF-IDF kết hợp Logistic Regression giúp giảm 38,1% chi phí và hạ tỷ lệ chuyển nhầm từ 15,3% xuống 3,5%. Đáng chú ý, DistilBERT tinh chỉnh đạt độ chính xác 0,879, vượt xa LLM prompt tốt nhất (0,477). Nghiên cứu chỉ ra LLM (như GPT-4o-mini) hiệu chuẩn độ tin cậy rất kém (AUROC 0,500), đồng thời khuyến nghị đo lường AUROC độ chính xác và risk-coverage area thay vì chỉ dựa vào ECE.", "key_changes": ["Đề xuất khung đánh giá chi phí từ chối (cost-aware abstention) offline để xác định chính sách định tuyến ticket IT tối ưu trước khi triển khai thực tế.", "Chứng minh các mô hình truyền thống tinh chỉnh (DistilBERT đạt độ chính xác 0,879) vượt trội hoàn toàn so với LLM dạng prompt (chỉ đạt tối đa 0,477 trên cùng tập mẫu).", "Chỉ ra sự cố hiệu chuẩn nghiêm trọng ở LLM: GPT-4o-mini few-shot chỉ đưa ra một mức độ tin cậy duy nhất với AUROC phân biệt là 0,500 (tương đương đoán ngẫu nhiên).", "Áp dụng ngưỡng phân loại (0,60) với TF-IDF + Logistic Regression giúp giảm 38,1% chi phí thử nghiệm và giảm tỷ lệ định tuyến sai từ 15,3% xuống 3,5%."], "sub_category": "IT Operations / Ticket Routing", "novelty_score": 65, "business_score": 85, "research_score": 74, "why_it_matters": "Việc định tuyến sai ticket hỗ trợ IT tốn kém gấp 5 lần so với phân loại thủ công bởi con người. Nghiên cứu chỉ ra việc vội vã đưa LLM dạng prompt vào quy trình tự động hóa có thể gây lãng phí lớn do hiệu chuẩn kém và độ chính xác thấp hơn nhiều so với các mô hình nhỏ được tinh chỉnh (DistilBERT). Đây là cơ sở thực nghiệm quan trọng giúp doanh nghiệp thiết lập ngưỡng can thiệp của con người và tối ưu hóa chi phí vận hành IT.", "developer_score": 80, "importance_score": 75, "possible_use_cases": ["Tự động hóa định tuyến ticket hỗ trợ IT với cơ chế phân luồng dự phòng (fallback) về chuyên viên khi độ tin cậy dưới ngưỡng.", "Định lượng điểm hòa vốn và đánh giá tính sẵn sàng (readiness assessment) trước khi đưa LLM vào xử lý quy trình vận hành nhạy cảm về chi phí.", "Thay thế LLM dạng prompt tốn kém bằng mô hình phân loại nhỏ gọn được tinh chỉnh (như DistilBERT) cho các tác vụ phân loại cố định."], "actionability_score": 82}