Same Feedback, Different Answer: Measuring Run-to-Run Instability in Frontier-Model Customer Feedback Analysis

{"tags": ["AI Agents", "Taxonomy-Grounded Agent", "LLM Consistency", "Evaluation Framework", "Customer Feedback Analysis", "Theme Churn"], "risks": ["Cần đầu tư công sức xây dựng và chuẩn hóa bộ taxonomy ban đầu trước khi vận hành.", "Nếu taxonomy bị đóng khung quá cứng, hệ thống có thể gặp khó khăn trong việc phát hiện các xu hướng hoặc chủ đề hoàn toàn mới ngoài danh mục có sẵn."], "category": "Agents", "entities": ["Taxonomy-Grounded Agent (TGA)", "Claude Opus 4.8"], "summary_vi": "Nghiên cứu giới thiệu khung đánh giá độ lặp lại (repeat-run evaluation) nhằm lượng hóa tính bất ổn định giữa các lần chạy khi mô hình ngôn ngữ lớn phân tích dữ liệu phi cấu trúc. Để giải quyết hiện tượng cùng dữ liệu nhưng trả về danh mục và số lượng khác nhau, nhóm tác giả đề xuất kiến trúc Taxonomy-Grounded Agent (TGA). Thử nghiệm trên Claude Opus 4.8 với 1.000 bản ghi cho thấy TGA giúp giảm 86-88% độ biến động danh mục (theme churn) và đạt độ sai lệch số lượng bằng 0, chứng minh hiệu quả vượt trội so với sinh tự do.", "key_changes": ["Đề xuất khung đánh giá độ lặp lại (repeat-run evaluation framework) nhằm đo lường tính bất ổn định qua các lần chạy (run-to-run instability) với 2 chỉ số: theme churn (biến động danh mục) và volume disagreement (lệch số lượng bản ghi).", "Thử nghiệm trên 8 mô hình frontier, quy mô dữ liệu từ 100 đến 5.000 bản ghi trên 3 thiết kế thực thi: sinh trực tiếp (raw generation), phân rã phân cấp không taxonomy, và tác nhân neo theo taxonomy (TGA).", "TGA giúp giảm 86-88% theme churn trên mô hình Claude Opus 4.8 với tập dữ liệu 1.000 bản ghi và triệt tiêu hoàn toàn sai lệch số lượng (volume disagreement) đối với các chủ đề trùng khớp."], "sub_category": "Agent Reliability & Evaluation", "novelty_score": 78, "business_score": 85, "research_score": 82, "why_it_matters": "Tính lặp lại và nhất quán là điều kiện tiên quyết để doanh nghiệp tin tưởng tự động hóa công việc tri thức bằng AI agent. Nếu cùng một dữ liệu đầu vào mà mỗi lần chạy cho ra số liệu và danh mục khác nhau, các báo cáo phân tích không thể dùng để ra quyết định kinh doanh. Kiến trúc TGA mang lại giải pháp kỹ thuật cụ thể giúp các kỹ sư và doanh nghiệp chuẩn hóa quy trình phân tích dữ liệu phi cấu trúc đáng tin cậy.", "developer_score": 85, "importance_score": 82, "possible_use_cases": ["Phân tích và phân loại phản hồi khách hàng định kỳ với độ nhất quán cao giữa các chu kỳ báo cáo.", "Tự động hóa tổng hợp báo cáo tài chính và hồ sơ sự cố mà không lo lệch số liệu giữa các lần chạy.", "Rà soát tài liệu pháp lý và tổng hợp tài liệu khoa học đòi hỏi danh mục phân loại cố định và kiểm soát được."], "actionability_score": 85}