Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

KARMA: Training-Free Knowledge-Atomic Harness Evolution for Industrial Advertising Agents

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

64 RADAR
Agents Agent Knowledge Evolution · 1 nguồn đối chiếu · 2026-10-29 11:59:01 +0000 UTC

KARMA: Training-Free Knowledge-Atomic Harness Evolution for Industrial Advertising Agents

Nguồn: arXiv AI
↗

KARMA là một framework thích ứng tri thức không cần huấn luyện (training-free) cho các tác tử quảng cáo thương mại điện tử, cho phép tiến hóa 6 mô-đun tri thức định kiểu trong khi giữ cố định trọng số LLM và mã thực thi harness. Hệ thống kết hợp Trace Verifier để định vị lỗi, Critic so sánh quỹ đạo thành công/thất bại, và Evolver thực hiện các chỉnh sửa nguyên tử có kiểm soát rollback bằng validation gate. Đánh giá trên 500.000 log vận hành thực tế qua 6 domain thương mại điện tử cho thấy KARMA giúp tăng điểm hold-out 29.7% và có khả năng chuyển giao tri thức đa domain hiệu quả mà vẫn đảm bảo tính minh bạch, đảo ngược được.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

KARMA giải quyết thách thức lớn nhất khi đưa AI agent vào production: tri thức nghiệp vụ (chính sách, danh mục sản phẩm, xu hướng thị trường) liên tục thay đổi nhưng việc fine-tuning LLM lại quá đắt đỏ và thiếu tính kiểm soát. Bằng cách module hóa tri thức thành các chỉnh sửa nguyên tử có thể kiểm toán và khôi phục khi gặp lỗi hồi quy, giải pháp này giúp doanh nghiệp vận hành agent an toàn, linh hoạt và tiết kiệm chi phí.

Developer 72
Business 76
Novelty 74
Actionable 78

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Industrial advertising agents must continually adapt their decision knowledge to changing product offerings, traffic patterns, and operating policies. We present KARMA (Knowledge-Atomic, Regression-Gated Modular Adaptation), a training-free framework that evolves six typed knowledge modules while keeping model weights and executable harness code frozen. During our evolution, a deterministic Trace Verifier maps observed errors to candidate modules, and a Critic compares successful and failed trajectories to guide a tool-constrained Evolver. The Evolver applies atomic knowledge edits, which a fixed validation gate retains only when their measured gain reaches a threshold; otherwise, the previous knowledge state is restored. We evaluate KARMA with three LLM families on cases sampled from a corpus of approximately half a million real-world operation logs across six e-commerce domains. Across 18 domain--model settings, KARMA raises the average hold-out score from 30.19 to 39.15 (+8.96 points, +29.7%). Ablations show that removing either successful or failed trajectories more than halves the average hold-out gain. Evolved knowledge also transfers across domains without further adaptation, yielding an average hold-out gain of 8.54 points across all source--target pairs. By linking retained patches to their diagnostic evidence and validation outcomes, KARMA supports inspectable, reversible knowledge adaptation for agents in Web marketplaces.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-10-30 13:07:49 +0000 UTC
{"tags": ["AI Agents", "Industrial Advertising", "Knowledge Adaptation", "Training-Free", "E-commerce", "Modular Architecture"], "risks": ["Hiệu quả tiến hóa phụ thuộc mạnh vào sự cân bằng giữa quỹ đạo thành công và thất bại; thiếu một trong hai quỹ đạo sẽ giảm hơn nửa hiệu quả.", "Chi phí suy luận và độ trễ tăng do quy trình lặp lại qua Trace Verifier, Critic và Evolver trong pha tiến hóa.", "Nguy cơ cổng xác thực chưa bao quát hết edge case dẫn đến việc bỏ sót hoặc chấp nhận các bản vá gây suy thoái cục bộ ở các kịch bản hiếm gặp."], "category": "Agents", "entities": ["KARMA", "Trace Verifier", "Critic", "Evolver", "Validation Gate"], "summary_vi": "KARMA là một framework thích ứng tri thức không cần huấn luyện (training-free) cho các tác tử quảng cáo thương mại điện tử, cho phép tiến hóa 6 mô-đun tri thức định kiểu trong khi giữ cố định trọng số LLM và mã thực thi harness. Hệ thống kết hợp Trace Verifier để định vị lỗi, Critic so sánh quỹ đạo thành công/thất bại, và Evolver thực hiện các chỉnh sửa nguyên tử có kiểm soát rollback bằng validation gate. Đánh giá trên 500.000 log vận hành thực tế qua 6 domain thương mại điện tử cho thấy KARMA giúp tăng điểm hold-out 29.7% và có khả năng chuyển giao tri thức đa domain hiệu quả mà vẫn đảm bảo tính minh bạch, đảo ngược được.", "key_changes": ["Đề xuất KARMA (Knowledge-Atomic, Regression-Gated Modular Adaptation), một framework thích ứng tri thức không cần huấn luyện (training-free) cho các tác tử quảng cáo công nghiệp mà vẫn giữ nguyên trọng số mô hình và mã harness.", "Cơ chế tiến hóa 6 mô-đun tri thức định kiểu thông qua các chỉnh sửa nguyên tử (atomic edits) có thể hoàn tác.", "Quy trình thích ứng phối hợp gồm Trace Verifier ánh xạ lỗi, Critic phân tích quỹ đạo thành công/thất bại, và Evolver áp dụng chỉnh sửa tri thức dưới ràng buộc công cụ.", "Cổng xác thực kiểm định nghiêm ngặt (regression-gated validation) chỉ lưu giữ các bản vá tri thức khi mức tăng hiệu năng vượt ngưỡng, nếu không sẽ tự động rollback.", "Cải thiện trung bình 29.7% điểm hold-out (từ 30.19 lên 39.15) trên 18 thiết lập mô hình/lĩnh vực thương mại điện tử và chứng minh khả năng chuyển giao tri thức chéo lĩnh vực."], "sub_category": "Agent Knowledge Evolution", "novelty_score": 74, "business_score": 82, "research_score": 75, "why_it_matters": "KARMA giải quyết thách thức lớn nhất khi đưa AI agent vào production: tri thức nghiệp vụ (chính sách, danh mục sản phẩm, xu hướng thị trường) liên tục thay đổi nhưng việc fine-tuning LLM lại quá đắt đỏ và thiếu tính kiểm soát. Bằng cách module hóa tri thức thành các chỉnh sửa nguyên tử có thể kiểm toán và khôi phục khi gặp lỗi hồi quy, giải pháp này giúp doanh nghiệp vận hành agent an toàn, linh hoạt và tiết kiệm chi phí.", "developer_score": 77, "importance_score": 75, "possible_use_cases": ["Cập nhật liên tục tri thức vận hành, chính sách và danh mục sản phẩm cho AI agent trong các sàn thương mại điện tử mà không cần fine-tune mô hình nền.", "Thiết lập hệ thống tri thức có khả năng kiểm toán (inspectable) và đảo ngược (reversible) cho tác tử tự động trong môi trường production.", "Chuyển giao tri thức chiến dịch quảng cáo giữa các ngành hàng khác nhau trên nền tảng Web marketplace."], "actionability_score": 78}