Circe: Training-Free LLM Self-Evaluation via Component Interaction Consistency

{"tags": ["LLM Evaluation", "Model Interpretability", "Hallucination Detection", "Internal States", "Component Interaction Consistency", "Representation Geometry", "Training-Free"], "risks": ["Yêu cầu quyền truy cập vào cấu trúc nội bộ (trạng thái ẩn, activations, weights) của mô hình, do đó không áp dụng được cho các API hộp đen thương mại như GPT-4 hay Claude.", "Làm tăng độ trễ và chi phí tính toán tài nguyên bộ nhớ/GPU trong quá trình suy luận để trích xuất và đo lường tương tác giữa các tầng.", "Chưa có bảo đảm mức độ chính xác tuyệt đối trên các tác vụ suy luận trừu tượng hoặc miền chuyên ngành đặc thù vượt ngoài các benchmark thử nghiệm."], "category": "Research", "entities": ["Circe", "LLM", "Attention Mechanism", "Feed-Forward Networks (FFN)", "Component Interaction Consistency (CIC)", "Representation Geometry (RG)", "Likelihood Confidence (LC)"], "summary_vi": "Circe là phương pháp tự đánh giá độ chính xác câu trả lời của LLM không cần huấn luyện (training-free) và không cần đáp án tham chiếu. Phương pháp kết hợp tín hiệu nội bộ gồm độ nhất quán tương tác giữa Attention và FFN (CIC) cùng hình học biểu diễn trạng thái ẩn (RG), với tín hiệu bên ngoài là độ tin cậy log-likelihood (LC) để phân biệt câu trả lời đúng và sai mà không cần lấy mẫu nhiều lần. Thử nghiệm trên 5 LLM và 6 benchmark chứng minh Circe vượt trội hơn các phương pháp cơ sở và tổng quát hóa tốt trên đa ngôn ngữ và đa phương thức.", "key_changes": ["Đề xuất phương pháp Circe: Tự đánh giá độ chính xác câu trả lời của LLM mà không cần huấn luyện lại (training-free), không cần câu trả lời tham chiếu và không cần lấy mẫu nhiều lần.", "Giới thiệu cơ chế Component Interaction Consistency (CIC): Đo lường mức độ căn chỉnh định hướng giữa các cập nhật attention ở tầng sớm với các thay đổi đầu ra FFN do attention kích hoạt ở tầng muộn.", "Tích hợp Representation Geometry (RG): Phân tích độ dịch chuyển chuẩn hóa và biến thiên góc dọc theo quỹ đạo trạng thái ẩn qua từng tầng.", "Bổ sung Likelihood Confidence (LC): Chuẩn hóa mean negative log-likelihood của các token được sinh ra thành điểm tin cậy bị chặn làm tín hiệu bên ngoài.", "Hợp nhất tín hiệu nội bộ (CIC, RG) và ngoại vi (LC) thành một điểm số đánh giá duy nhất, hoạt động hiệu quả trên cả thiết lập đa ngôn ngữ, đa phương thức và môi trường mở."], "sub_category": "LLM Evaluation & Interpretability", "novelty_score": 84, "business_score": 72, "research_score": 88, "why_it_matters": "Giải quyết điểm nghẽn lớn trong triển khai LLM thực tế: kiểm tra độ đúng của câu trả lời mà không cần ground-truth hay lấy mẫu lặp lại tốn kém. Bằng cách khai thác sự tương tác trực tiếp giữa Attention và FFN bên trong mô hình, Circe mở ra hướng tiếp cận nhẹ, hiệu quả và đáng tin cậy hơn cho các hệ thống AI chạy mô hình mã nguồn mở.", "developer_score": 78, "importance_score": 82, "possible_use_cases": ["Tự động phát hiện hallucination và câu trả lời sai trong hệ thống RAG và Agent mà không tốn chi phí gọi thêm mô hình trọng tài (LLM-as-a-judge).", "Thay thế phương pháp self-consistency sampling tốn kém bằng việc tự đánh giá chỉ qua một lần suy luận (single-pass inference).", "Kiểm định và lọc dữ liệu chất lượng cao trong quy trình tạo dữ liệu tổng hợp (synthetic data generation) phục vụ fine-tuning.", "Cổng kiểm soát độ tin cậy (confidence guardrail) cho các mô hình mã nguồn mở phục vụ dịch vụ khách hàng hoặc phân tích kỹ thuật."], "actionability_score": 68}