Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

VeriFine: Scaling Verification for Self-Improvement in Embodied Reasoning

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

68 RADAR
Agents Embodied AI · 1 nguồn đối chiếu · 2026-10-06 17:50:29 +0000 UTC

VeriFine: Scaling Verification for Self-Improvement in Embodied Reasoning

Nguồn: arXiv AI
↗

VeriFine là framework agent harness giúp mở rộng quy mô xác thực phục vụ quá trình tự cải thiện trong suy luận hiện thân (embodied reasoning). Do các chính sách (policy) tự cải tiến liên tục bộc lộ các dạng lỗi mới khiến bộ đánh giá cố định trở thành nút thắt cổ chai, VeriFine triển khai cơ chế đồng tiến hóa giữa policy, giáo trình huấn luyện và judge. Hệ thống tích hợp hai vòng lặp: Policy Improvement Loop chẩn đoán lỗi bằng rubric judge để xây dựng giáo trình thích ứng và tối ưu hóa policy; và Judge Improvement Loop truy vấn chọn lọc chuyên gia con người khi tiến trình chững lại để hiệu chuẩn judge (coactive calibration). Thử nghiệm trên bài toán lái xe và điều hướng robot cho thấy VeriFine duy trì khả năng tự cải thiện liên tục trên cả RL và SFT.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Giải quyết nút thắt cốt lõi của các mô hình AI tự cải tiến: việc bộ đánh giá bị cố định sẽ kìm hãm chất lượng phản hồi và dữ liệu huấn luyện mới. VeriFine cung cấp kiến trúc đồng tiến hóa bền vững cho Embodied AI, vừa nâng cao năng lực suy luận vật lý vừa tối ưu hóa sự can thiệp của con người.

Developer 75
Business 76
Novelty 86
Actionable 74

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Self-improving policies continually expose new failure patterns, changing what their judges must be able to verify. However, current fixed judges constrain both optimization feedback and the discovery of useful training examples, limiting further self-improvement. This challenge is even more acute in embodied reasoning, where reliable evaluation must account for spatial grounding, causal reasoning, and safety-aware decision-making. We introduce VeriFine, an agent harness framework that scales verification through the co-evolution of the policy, training curriculum, and judge. The Policy Improvement Loop uses a rubric judge to diagnose recurring failures, construct an adaptive curriculum, and optimize the policy. When progress plateaus and verification becomes a bottleneck, the Judge Improvement Loop selectively queries human guidance on informative failure cases and refines the judge through coactive calibration, in which humans and agents resolve disagreements and converge toward the objective rubric of physical reasoning. The revised judge then guides the next stage of data selection and policy optimization. Experiments on driving and robot navigation tasks demonstrate continuous self-improvement in both policy and judge capability across reinforcement and supervised fine-tuning. These results show how scaling verification supports continuous self-improvement as policy failure patterns evolve.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-10-07 10:18:37 +0000 UTC
{"tags": ["VeriFine", "Embodied Reasoning", "Self-Improvement", "Autonomous Driving", "Robot Navigation", "LLM Judge", "Coactive Calibration", "Reinforcement Learning"], "risks": ["Nguy cơ suy giảm hiệu quả nếu rubric ban đầu không đủ chuẩn xác hoặc phản hồi hiệu chuẩn từ con người bị nhiễu.", "Khả năng phát sinh hiện tượng reward hacking hoặc thiên vị đánh giá nếu judge không bao quát hết các trường hợp biên (edge cases).", "Chi phí tính toán và độ phức tạp vận hành tăng cao khi phải đồng bộ và duy trì hai vòng lặp cải tiến song song."], "category": "Agents", "entities": ["VeriFine"], "summary_vi": "VeriFine là framework agent harness giúp mở rộng quy mô xác thực phục vụ quá trình tự cải thiện trong suy luận hiện thân (embodied reasoning). Do các chính sách (policy) tự cải tiến liên tục bộc lộ các dạng lỗi mới khiến bộ đánh giá cố định trở thành nút thắt cổ chai, VeriFine triển khai cơ chế đồng tiến hóa giữa policy, giáo trình huấn luyện và judge. Hệ thống tích hợp hai vòng lặp: Policy Improvement Loop chẩn đoán lỗi bằng rubric judge để xây dựng giáo trình thích ứng và tối ưu hóa policy; và Judge Improvement Loop truy vấn chọn lọc chuyên gia con người khi tiến trình chững lại để hiệu chuẩn judge (coactive calibration). Thử nghiệm trên bài toán lái xe và điều hướng robot cho thấy VeriFine duy trì khả năng tự cải thiện liên tục trên cả RL và SFT.", "key_changes": ["Đề xuất VeriFine - framework agent harness mở rộng quy mô xác thực (verification) thông qua sự đồng tiến hóa giữa policy, giáo trình huấn luyện (curriculum) và judge.", "Thiết lập Policy Improvement Loop sử dụng rubric judge để chẩn đoán lỗi lặp lại, xây dựng giáo trình thích ứng và tối ưu hóa policy.", "Thiết lập Judge Improvement Loop kích hoạt khi tiến trình chững lại, truy vấn có chọn lọc hướng dẫn từ con người và hiệu chuẩn judge (coactive calibration).", "Chứng minh khả năng tự cải tiến liên tục trên cả học tăng cường (RL) và tinh chỉnh có giám sát (SFT) qua các tác vụ lái xe và điều hướng robot."], "sub_category": "Embodied AI", "novelty_score": 86, "business_score": 80, "research_score": 88, "why_it_matters": "Giải quyết nút thắt cốt lõi của các mô hình AI tự cải tiến: việc bộ đánh giá bị cố định sẽ kìm hãm chất lượng phản hồi và dữ liệu huấn luyện mới. VeriFine cung cấp kiến trúc đồng tiến hóa bền vững cho Embodied AI, vừa nâng cao năng lực suy luận vật lý vừa tối ưu hóa sự can thiệp của con người.", "developer_score": 78, "importance_score": 84, "possible_use_cases": ["Tự động hóa chu trình huấn luyện và đánh giá an toàn cho xe tự hành (autonomous driving).", "Đào tạo và kiểm thử khả năng điều hướng, thao tác vật lý của robot trong môi trường thực hoặc mô phỏng.", "Xây dựng hệ thống tự cải thiện (self-improving agents) cho các tác vụ suy luận không gian và nhân quả phức tạp.", "Tối ưu hóa quy trình Human-in-the-Loop, giảm chi phí gán nhãn thủ công bằng cách chỉ hỏi con người ở các ca lỗi giàu thông tin."], "actionability_score": 74}