Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

Toward Bounding Coding-Agent Autonomy in Software Maintenance: A Pilot Study of Boundary Contracts

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

61 RADAR
Agents Coding Agents · 1 nguồn đối chiếu · 2026-10-31 21:03:30 +0000 UTC

Toward Bounding Coding-Agent Autonomy in Software Maintenance: A Pilot Study of Boundary Contracts

Nguồn: arXiv AI
↗

Nghiên cứu thử nghiệm giới thiệu Boundary Contracts – một trừu tượng hóa máy đọc giúp xác định rõ vai trò artifact (editable, inspect-only, required, protected) trước khi coding agent sửa đổi kho mã. Thử nghiệm trên 40 tác vụ bảo trì thực tế với tác nhân dựa trên Codex cho thấy Boundary Contracts giúp tăng macro F1 chọn vùng sửa từ 0.440 lên 0.682, tỷ lệ bao phủ hành vi yêu cầu từ 0.429 lên 0.673, và tăng gấp đôi số bản vá đạt chuẩn từ 9/40 lên 18/40.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Khi coding agent ngày càng tự chủ hơn, việc chỉ cung cấp ngữ cảnh là chưa đủ để ngăn chặn các sửa đổi sai lệch hoặc thiếu sót. Boundary Contracts thiết lập ranh giới thẩm quyền vận hành cụ thể, giúp giảm thiểu rủi ro tác động xấu đến mã nguồn doanh nghiệp và tăng gấp đôi tỷ lệ bản vá phần mềm thành công.

Developer 75
Business 68
Novelty 76
Actionable 74

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

As coding agents gain greater autonomy to modify software repositories, relevant context alone does not define their operational authority. An artifact may be relevant to a maintenance task while being inappropriate to edit; conversely, another artifact may be required even when it is not explicitly mentioned in the request. We explore Boundary Contracts, a machine-readable abstraction that makes task-specific artifact roles (editable, inspect-only, required, and protected) explicit before repository modification begins. We conduct a pilot study on 40 maintenance tasks from a real enterprise repository, comparing the same Codex-based coding agent with and without Boundary Contract information. The boundary-informed condition improves macro edit-selection F1 from 0.440 to 0.682, required-behavior coverage from 0.429 to 0.673, and the number of strictly acceptable patches from 9 of 40 to 18 of 40. To probe whether these gains are explained only by improved file localization, we additionally analyze 21 tasks in which both conditions modify at least one identical file. Differences remain in edit selectivity and patch outcomes, providing initial evidence that explicit artifact roles may influence maintenance behavior beyond localization alone. This pilot does not establish the general effectiveness of Boundary Contracts. Rather, it provides initial evidence for a broader research question: how should the operational boundaries of coding agents be generated, validated, revised, and ultimately enforced as repository-level maintenance becomes increasingly autonomous?

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-11-03 10:30:01 +0000 UTC
{"tags": ["Coding Agents", "Boundary Contracts", "Software Maintenance", "Agent Autonomy", "Code Governance", "Codex"], "risks": ["Nghiên cứu mới chỉ là thử nghiệm sơ bộ (pilot study) trên 40 tác vụ tại một kho mã doanh nghiệp, chưa khái quát hóa cho mọi môi trường.", "Thử nghiệm thực hiện trên mô hình Codex, chưa đánh giá tác động trên các thế hệ LLM hiện đại hơn.", "Việc tự động sinh, kiểm thực, điều chỉnh và cưỡng chế (enforce) các Boundary Contracts trong môi trường thực tế vẫn là bài toán mở.", "Nguy cơ định nghĩa sai vai trò artifact có thể cản trở agent hoàn thành tác vụ bảo trì bắt buộc."], "category": "Agents", "entities": ["Codex", "Boundary Contracts"], "summary_vi": "Nghiên cứu thử nghiệm giới thiệu Boundary Contracts – một trừu tượng hóa máy đọc giúp xác định rõ vai trò artifact (editable, inspect-only, required, protected) trước khi coding agent sửa đổi kho mã. Thử nghiệm trên 40 tác vụ bảo trì thực tế với tác nhân dựa trên Codex cho thấy Boundary Contracts giúp tăng macro F1 chọn vùng sửa từ 0.440 lên 0.682, tỷ lệ bao phủ hành vi yêu cầu từ 0.429 lên 0.673, và tăng gấp đôi số bản vá đạt chuẩn từ 9/40 lên 18/40.", "key_changes": ["Đề xuất Boundary Contracts: trừu tượng hóa máy đọc xác định 4 vai trò của artifact trước khi sửa mã: editable, inspect-only, required và protected.", "Phân định rõ giữa ngữ cảnh liên quan (relevant context) và thẩm quyền thao tác (operational authority) của coding agent.", "Nâng macro edit-selection F1 từ 0.440 lên 0.682 và độ phủ hành vi yêu cầu (required-behavior coverage) từ 0.429 lên 0.673.", "Tăng số lượng bản vá được chấp nhận nghiêm ngặt (strictly acceptable patches) từ 9/40 lên 18/40 trong thử nghiệm trên repo doanh nghiệp thực tế.", "Chứng minh qua 21 tác vụ trùng tệp sửa đổi rằng vai trò artifact tác động trực tiếp tới hành vi sửa mã chứ không chỉ đơn thuần là cải thiện khả năng định vị tệp (localization)."], "sub_category": "Coding Agents", "novelty_score": 76, "business_score": 72, "research_score": 79, "why_it_matters": "Khi coding agent ngày càng tự chủ hơn, việc chỉ cung cấp ngữ cảnh là chưa đủ để ngăn chặn các sửa đổi sai lệch hoặc thiếu sót. Boundary Contracts thiết lập ranh giới thẩm quyền vận hành cụ thể, giúp giảm thiểu rủi ro tác động xấu đến mã nguồn doanh nghiệp và tăng gấp đôi tỷ lệ bản vá phần mềm thành công.", "developer_score": 82, "importance_score": 78, "possible_use_cases": ["Thiết lập cơ chế kiểm soát quyền hạn (guardrails/operational boundaries) cho coding agent trong các kho mã doanh nghiệp lớn.", "Bảo vệ các tệp nhạy cảm, cấu hình hoặc lõi hệ thống khỏi bị agent chỉnh sửa ngoài ý muốn trong quá trình bảo trì tự động.", "Tích hợp vào scaffolding của agentic IDE và CI/CD pipeline để thẩm định ranh giới can thiệp mã trước khi tạo pull request.", "Cải thiện tỷ lệ thành công của các bản vá lỗi tự động trên hệ thống phần mềm có độ phức tạp cao."], "actionability_score": 74}
← Trang trước Trang 1