Label-Wording Augmentation in a Typed-Decision Encoder: Gains on Unfamiliar Words, Not on Abbreviations or Codes

{"tags": ["NLP", "Cross-Encoder", "Data Augmentation", "Zero-Shot Routing", "Model Evaluation", "Ru-Jev"], "risks": ["Gia tăng lỗi tự tin sai lệch (confident errors) khi không gian nhãn mở rộng (18 ứng viên), gây khó khăn cho việc kiểm soát rủi ro bằng ngưỡng tin cậy.", "Hoàn toàn thất bại hoặc giảm hiệu năng khi áp dụng trên các từ viết tắt kỹ thuật hoặc mã hệ thống không tường minh.", "Hiệu năng khái quát hóa không ổn định trên miền dữ liệu hoàn toàn mới (-8.4 điểm và +5.6 điểm)."], "category": "Research", "entities": ["Ru-Jev", "Typed-decision models", "Cross-encoder"], "summary_vi": "Nghiên cứu đánh giá kỹ thuật tăng cường biểu diễn nhãn (label-wording augmentation) trên mô hình cross-encoder Ru-Jev (307M tham số). Việc huấn luyện nhãn dưới nhiều dạng diễn đạt bề mặt giúp tăng độ chính xác lên tới 0.24 trên các từ vựng mới như thuật ngữ vay mượn, tiếng lóng văn phòng và tên phòng ban. Tuy nhiên, phương pháp này hoàn toàn không cải thiện hiệu năng đối với từ viết tắt và mã định danh ẩn (opaque codes), đồng thời làm tăng các lỗi dự đoán sai nhưng tự tin cao khi số lượng nhãn ứng viên mở rộng lên 18.", "key_changes": ["Tích hợp kỹ thuật tăng cường biểu diễn nhãn (label-wording augmentation) với nhiều dạng bề mặt (surface forms) cho cross-encoder đa ngữ Ru-Jev (307M tham số).", "Đánh giá hệ thống trên 10 bộ từ vựng nhãn và 18 nhãn điều hướng ở quy mô 5 và 18 ứng viên/câu hỏi.", "Cải thiện độ chính xác lên tới +0.24 đối với các từ vựng mới bao gồm tiếng lóng văn phòng, thuật ngữ mượn tiếng Anh và tên phòng ban (11/14 trường hợp vượt qua kiểm định Holm).", "Xác định giới hạn: kỹ thuật không đem lại hiệu quả trên từ viết tắt (abbreviations) và mã định danh ẩn (opaque codes), độ chính xác giảm xuống ngang hoặc dưới mức ngẫu nhiên.", "Ghi nhận sự gia tăng các lỗi sai có độ tự tin cao (confident errors) trên tiếng lóng và thuật ngữ khi số lượng ứng viên tăng lên 18."], "sub_category": "Cross-Encoders / Natural Language Understanding", "novelty_score": 66, "business_score": 60, "research_score": 82, "why_it_matters": "Nghiên cứu vạch rõ giới hạn kỹ thuật của việc tăng cường nhãn trong mô hình cross-encoder: kỹ thuật này chỉ phát huy tác dụng trên ngôn ngữ tự nhiên và tiếng lóng, hoàn toàn vô hiệu trước mã số hoặc từ viết tắt; do đó các kỹ sư không thể ỷ lại vào mô hình để xử lý mã hệ thống mà bắt buộc phải kết hợp từ điển ánh xạ tường minh.", "developer_score": 76, "importance_score": 68, "possible_use_cases": ["Xây dựng hệ thống điều hướng ticket/yêu cầu người dùng (intent routing) nơi nhãn phân loại do người dùng cấu hình động tại thời gian chạy (runtime).", "Huấn luyện cross-encoder zero-shot xử lý tốt hơn biệt ngữ công sở và thuật ngữ kỹ thuật vay mượn.", "Thiết lập kiến trúc lai: dùng model cho nhãn ngữ nghĩa tự nhiên và dùng bảng tra cứu/rule-based cho mã định danh hoặc từ viết tắt."], "actionability_score": 72}