Beyond QASecClaw: Agent Scaling, Verifier Feedback, and Evidence Reliability in Software Assurance

{"tags": ["Agent Scaling", "Software Assurance", "Verifier Feedback", "Deterministic Verification", "Qwen2.5-Coder", "Code Security", "Benchmark"], "risks": ["Lãng phí tài nguyên tính toán lớn (chi phí token tăng 49 lần) mà không mang lại giá trị cải thiện bảo đảm an toàn.", "Tăng rủi ro phán đoán sai (ảo giác bảo mật) khi cho mô hình tự xử lý phản hồi thô từ verifier mà thiếu kiểm chứng tất định.", "Bỏ lọt lỗ hổng nghiêm trọng do mô hình có xu hướng từ chối nhầm các phản ví dụ hợp lệ (tỷ lệ từ chối lên đến 70-100%)."], "category": "Research", "entities": ["QASecClaw", "Qwen2.5-Coder-7B-Instruct", "Qwen2.5-Coder-1.5B", "OWASP Benchmark", "Defects4J", "SV-COMP", "JBMC", "JVM"], "summary_vi": "Nghiên cứu đánh giá việc mở rộng ngữ cảnh agent LLM (sử dụng Qwen2.5-Coder-7B-Instruct và bản 1.5B qua 13.638 lượt truy vấn) trong kiểm định phần mềm khi đã có công cụ tất định. Kết quả qua 5 thực nghiệm (cảnh báo Java, OWASP, Defects4J, SV-COMP và gói bằng chứng nhiễu) chỉ ra: tăng từ 1 lên 50 ngữ cảnh khiến lượng token tăng gấp 49 lần mà không cải thiện việc loại bỏ cảnh báo không an toàn; phản hồi verifier dạng thô làm tăng phán đoán đúng nhưng cũng khiến phán đoán sai tăng từ 1 lên 7 (thua kém baseline JBMC-plus-JVM đạt 26 đúng và 0 sai); mô hình từ chối 70-100% phản ví dụ hợp lệ và không tìm thấy lỗi nào trong Defects4J. Kết quả khẳng định sự cần thiết của việc công nhận bằng chứng tất định thay vì lạm dụng mở rộng ngữ cảnh LLM.", "key_changes": ["Tăng số lượng ngữ cảnh từ 1 lên 50 làm tăng lượng token tiêu thụ gấp 49 lần nhưng không cải thiện tỷ lệ xử lý cảnh báo không an toàn (unsafe clearance).", "Phản hồi thô từ bộ kiểm chứng (raw verifier feedback) trên SV-COMP giúp tăng phán đoán đúng trung bình từ 12.7 lên 22.0 nhưng làm tăng phán đoán sai từ 1 lên 7 trường hợp (kém hơn baseline JBMC + JVM đạt 26 đúng và 0 sai).", "Mô hình LLM từ chối từ 70% đến 100% các phản ví dụ hợp lệ trong các gói bằng chứng gây nhiễu, trong khi kiểm tra phạm vi tất định (scope checks) phân loại chính xác 100%.", "Cấu hình 10 ngữ cảnh chỉ đánh giá được 96 trên tổng số 160 trường hợp OWASP do sự đánh đổi giữa việc giải tỏa cảnh báo và trạng thái chưa giải quyết (unresolved).", "Không phát hiện được lỗi mục tiêu nào trong 3 bài kiểm tra Defects4J thử nghiệm (trong đó 1 trường hợp không được bộ chuyển đổi kiểm thử hỗ trợ)."], "sub_category": "Software Assurance & AI Reliability", "novelty_score": 74, "business_score": 68, "research_score": 88, "why_it_matters": "Nghiên cứu vạch rõ giới hạn thực tế của việc mở rộng quy mô agent LLM trong bảo đảm an ninh phần mềm. Việc phụ thuộc hoàn toàn vào LLM hoặc nạp phản hồi verifier chưa qua xử lý làm tăng nguy cơ phán đoán sai và lãng phí chi phí token, chứng minh rằng các công cụ xác minh tất định (như JBMC) vẫn là nền tảng cốt lõi không thể thay thế.", "developer_score": 85, "importance_score": 78, "possible_use_cases": ["Xây dựng kiến trúc kiểm thử lai (hybrid testing) kết hợp LLM với công cụ xác minh tất định như JBMC thay vì chỉ dựa vào LLM.", "Tối ưu hóa chi phí token và ngăn ngừa bùng nổ tài nguyên trong quy trình CI/CD bảo mật mã nguồn tự động.", "Sử dụng bộ lọc phạm vi tất định (scope checks) làm cổng tiền xử lý trước khi nạp bằng chứng/phản ví dụ vào context của LLM."], "actionability_score": 78}