Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

Towards Automatically Pruning Logging Code with Coding Agents: How Far Are We?

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

57 RADAR
Research AI for Software Engineering (AI4SE) · 1 nguồn đối chiếu · 2026-10-03 19:11:19 +0000 UTC

Towards Automatically Pruning Logging Code with Coding Agents: How Far Are We?

Nguồn: arXiv AI
↗

Nghiên cứu đầu tiên khảo sát việc sử dụng coding agents để tự động loại bỏ mã logging dư thừa. Nhóm tác giả đã phân tích các kho lưu trữ Python và Java, rút ra 10 mẫu xóa và 11 lý do xóa logging, đồng thời xây dựng tập dữ liệu LogRem gồm 387 trường hợp thực tế. Đánh giá 4 coding agent cho thấy dù 95.6% - 100.0% kết quả vượt qua kiểm tra tính hợp lệ cú pháp, chỉ 11.1% - 19.6% thực sự xóa đúng mã logging giống thay đổi thực tế mà không gây ảnh hưởng đến các đoạn mã khác. Chi phí thực thi cao không bảo đảm độ chính xác tốt hơn, trong khi commit message và thảo luận của lập trình viên đem lại sự cải thiện lớn nhất về độ căn chỉnh.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Nghiên cứu vạch rõ khoảng cách lớn giữa khả năng sinh code hợp lệ cú pháp và năng lực hiểu đúng phạm vi bảo trì thực tế của coding agent. Mặc dù log dư thừa gây nhiễu và tốn tài nguyên runtime, việc tự động hóa dọn dẹp logging hiện tại vẫn tiềm ẩn nguy cơ cao nếu thiếu sự giám sát của lập trình viên cùng ngữ cảnh chi tiết (commit message, thảo luận).

Developer 71
Business 58
Novelty 80
Actionable 55

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Logging code supports debugging, monitoring, and software maintenance, but excessive logging can add noise, impose runtime overhead, and obscure diagnostic information. While prior research has extensively studied logging code generation and modification, logging removal remains comparatively underexplored. In this paper, we study developer logging removal practices and explore the use of coding agents for this task. We extract and manually validate logging removal cases from Python and Java repositories and derive 10 removal patterns and 11 removal reasons that characterize how and why logging code was removed in real-world software changes. We further construct LogRem, a dataset of 387 real-world cases covering direct logging statement removal, logging infrastructure removal, and logging replacement. We evaluate four coding agents with multiple model settings and compare their outputs with accepted real-world changes. Although 95.6% to 100.0% of outputs pass validity checks, only 11.1% to 19.6% remove the same logging code as the corresponding real-world change while preserving unrelated code. Agents differ through missed removals, extra removals, and unrelated code edits, with substantial variation across logging removal categories and trajectories. Execution cost varies widely, but higher cost does not consistently yield closer alignment. Commit messages and developer discussions provide the largest alignment gains, while taxonomy guidance consistently reduces runtime. Overall, our study establishes logging removal as a distinct software maintenance task and shows that reliable automation depends on accurately determining removal scope while preserving necessary code. To the best of our knowledge, this is the first study to examine logging code removal from this perspective.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-10-06 09:11:26 +0000 UTC
{"tags": ["coding-agents", "logging-removal", "LogRem", "code-maintenance", "software-engineering", "llm-benchmark"], "risks": ["Tỷ lệ căn chỉnh chính xác còn thấp (11.1% - 19.6%), tiềm ẩn rủi ro xóa sót hoặc xóa nhầm các log quan trọng phục vụ giám sát hệ thống.", "Coding agent có xu hướng thực hiện các sửa đổi không liên quan (unrelated code edits), có thể gây lỗi hồi quy trong mã nguồn.", "Lãng phí chi phí API/token khi sử dụng các mô hình đắt tiền mà không đem lại sự cải thiện tương xứng về chất lượng."], "category": "Research", "entities": ["LogRem", "Python", "Java"], "summary_vi": "Nghiên cứu đầu tiên khảo sát việc sử dụng coding agents để tự động loại bỏ mã logging dư thừa. Nhóm tác giả đã phân tích các kho lưu trữ Python và Java, rút ra 10 mẫu xóa và 11 lý do xóa logging, đồng thời xây dựng tập dữ liệu LogRem gồm 387 trường hợp thực tế. Đánh giá 4 coding agent cho thấy dù 95.6% - 100.0% kết quả vượt qua kiểm tra tính hợp lệ cú pháp, chỉ 11.1% - 19.6% thực sự xóa đúng mã logging giống thay đổi thực tế mà không gây ảnh hưởng đến các đoạn mã khác. Chi phí thực thi cao không bảo đảm độ chính xác tốt hơn, trong khi commit message và thảo luận của lập trình viên đem lại sự cải thiện lớn nhất về độ căn chỉnh.", "key_changes": ["Phân tích các kho lưu trữ Python và Java thực tế để xác định 10 mẫu xóa (removal patterns) và 11 lý do xóa (removal reasons) mã logging.", "Xây dựng bộ dữ liệu benchmark LogRem gồm 387 trường hợp thực tế, bao gồm xóa câu lệnh log trực tiếp, xóa hạ tầng log và thay thế log.", "Đánh giá 4 coding agent cho thấy 95.6% - 100.0% output hợp lệ cú pháp, nhưng chỉ 11.1% - 19.6% xóa đúng mã logging như lập trình viên thực tế và giữ nguyên mã không liên quan.", "Chỉ ra việc tăng chi phí thực thi (execution cost) không đồng nghĩa với việc cải thiện độ căn chỉnh (alignment) với thay đổi thực tế.", "Chứng minh commit message và thảo luận của developer giúp tăng độ căn chỉnh lớn nhất, trong khi taxonomy guidance giúp giảm thời gian thực thi."], "sub_category": "AI for Software Engineering (AI4SE)", "novelty_score": 80, "business_score": 58, "research_score": 88, "why_it_matters": "Nghiên cứu vạch rõ khoảng cách lớn giữa khả năng sinh code hợp lệ cú pháp và năng lực hiểu đúng phạm vi bảo trì thực tế của coding agent. Mặc dù log dư thừa gây nhiễu và tốn tài nguyên runtime, việc tự động hóa dọn dẹp logging hiện tại vẫn tiềm ẩn nguy cơ cao nếu thiếu sự giám sát của lập trình viên cùng ngữ cảnh chi tiết (commit message, thảo luận).", "developer_score": 78, "importance_score": 70, "possible_use_cases": ["Hỗ trợ lập trình viên rà soát và dọn dẹp các câu lệnh log debug dư thừa trước khi đưa code vào production.", "Tối ưu hóa chi phí lưu trữ log và giảm tải runtime cho các hệ thống phần mềm lớn bằng cách lược bỏ logging không cần thiết.", "Làm tập dữ liệu chuẩn (benchmark) để đánh giá và cải tiến độ chính xác về phạm vi chỉnh sửa của các coding agent trong bảo trì phần mềm."], "actionability_score": 55}