Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

Quant-Arena: Benchmarking LLM Agents for Quantitative Trading Research

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

66 RADAR
Research Quantitative Finance & LLM Benchmarks · 1 nguồn đối chiếu · 2026-10-21 17:54:01 +0000 UTC

Quant-Arena: Benchmarking LLM Agents for Quantitative Trading Research

Nguồn: arXiv AI
↗

Quant-Arena là bộ benchmark và bảng xếp hạng công khai đánh giá năng lực của các LLM Agent trong toàn bộ chu trình nghiên cứu tài chính định lượng trên dữ liệu thực tế sàn A-share. Thay vì chỉ đánh giá từng dòng code hay tín hiệu đơn lẻ, Quant-Arena yêu cầu mô hình xây dựng đặc trưng và thuật toán chấm điểm cổ phiếu dựa trên dữ liệu 2022-2023, sau đó đóng băng một chiến lược duy nhất để kiểm tra mù (sealed evaluation) trên năm 2024 với bộ mô phỏng tài khoản tiền mặt và tác động sổ lệnh. Thử nghiệm trên 9 mô hình frontier chỉ ra GPT-6 Astra đạt kết quả tốt nhất, tuy nhiên chưa có mô hình nào đánh bại được chỉ số thị trường bình quân trong năm 2024.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Quant-Arena thiết lập một chuẩn mực mới, thực tế và nghiêm ngặt hơn cho việc ứng dụng LLM Agent vào tài chính định lượng bằng cách kiểm thử mù ngoài mẫu và mô phỏng chi phí thị trường thực. Kết quả thực nghiệm là lời cảnh tỉnh thực tế cho các tổ chức tài chính: dù các mô hình tiên tiến như GPT-6 Astra có khả năng sinh mã và phân tích ấn tượng, chúng vẫn chưa thể tạo ra alpha bền vững vượt thị trường khi đối mặt với dữ liệu chưa từng thấy.

Developer 75
Business 72
Novelty 82
Actionable 70

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Quantitative research is an iterative loop: a researcher proposes a market hypothesis, implements it as an executable signal, tests it on historical data, and decides what to keep. Existing benchmarks score formulas, code, or individual trading decisions, leaving open whether large language models (LLMs) can complete this loop and produce strategies that work beyond the research period. We introduce Quant-Arena, a benchmark and public leaderboard for end-to-end quantitative research on real A-share market data. A model constructs features and stock-scoring code, receives feedback only on 2022--2023, and freezes one strategy for assessment on the sealed year 2024. A cash-account evaluator applies trading constraints and costs, including market impact estimated from a simulated order book. Scores are dominated by realized excess return and complemented by signal quality and the diversity of features used by the strategy. We evaluate nine frontier models, among which GPT-6 Astra scores highest; yet no model beats the equal-weight market in 2024. Quant-Arena is open to submissions from any model or agent harness.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-10-22 10:02:09 +0000 UTC
{"tags": ["Quant-Arena", "Quantitative Trading", "LLM Agents", "Financial Benchmark", "A-Share", "GPT-6 Astra", "Market Simulation"], "risks": ["Rủi ro quá khớp dữ liệu lịch sử cao: mô hình có thể tạo ra tín hiệu tốt trong giai đoạn nghiên cứu (in-sample) nhưng thất bại hoàn toàn ở giai đoạn kiểm thử mù ngoài mẫu (out-of-sample).", "Không mô hình nào vượt qua được benchmark thị trường cơ sở (equal-weight market) năm 2024, cho thấy rủi ro thua lỗ cao nếu triển khai vốn thật dựa trên các chiến lược này.", "Độ trễ và sai lệch giữa mô phỏng sổ lệnh với thanh khoản thực tế trong thị trường tài chính có thể gây tổn thất lớn hơn dự tính."], "category": "Research", "entities": ["Quant-Arena", "GPT-6 Astra", "A-share market", "LLM Agents"], "summary_vi": "Quant-Arena là bộ benchmark và bảng xếp hạng công khai đánh giá năng lực của các LLM Agent trong toàn bộ chu trình nghiên cứu tài chính định lượng trên dữ liệu thực tế sàn A-share. Thay vì chỉ đánh giá từng dòng code hay tín hiệu đơn lẻ, Quant-Arena yêu cầu mô hình xây dựng đặc trưng và thuật toán chấm điểm cổ phiếu dựa trên dữ liệu 2022-2023, sau đó đóng băng một chiến lược duy nhất để kiểm tra mù (sealed evaluation) trên năm 2024 với bộ mô phỏng tài khoản tiền mặt và tác động sổ lệnh. Thử nghiệm trên 9 mô hình frontier chỉ ra GPT-6 Astra đạt kết quả tốt nhất, tuy nhiên chưa có mô hình nào đánh bại được chỉ số thị trường bình quân trong năm 2024.", "key_changes": ["Giới thiệu Quant-Arena: bộ benchmark và bảng xếp hạng công khai đánh giá toàn diện quy trình nghiên cứu định lượng (end-to-end quantitative research loop) trên dữ liệu thị trường A-share thực tế.", "Cơ chế kiểm thử mù nghiêm ngặt: mô hình nhận phản hồi và tối ưu trên dữ liệu 2022-2023, sau đó đóng băng chiến lược để đánh giá trên năm 2024.", "Hệ thống đánh giá tài khoản tiền mặt tích hợp ràng buộc giao dịch, chi phí thực và tác động thị trường (market impact) từ sổ lệnh mô phỏng.", "Thử nghiệm trên 9 mô hình frontier cho thấy GPT-6 Astra đạt điểm cao nhất, nhưng chưa có mô hình nào vượt qua được lợi nhuận thị trường bình quân (equal-weight market) trong năm 2024."], "sub_category": "Quantitative Finance & LLM Benchmarks", "novelty_score": 82, "business_score": 75, "research_score": 85, "why_it_matters": "Quant-Arena thiết lập một chuẩn mực mới, thực tế và nghiêm ngặt hơn cho việc ứng dụng LLM Agent vào tài chính định lượng bằng cách kiểm thử mù ngoài mẫu và mô phỏng chi phí thị trường thực. Kết quả thực nghiệm là lời cảnh tỉnh thực tế cho các tổ chức tài chính: dù các mô hình tiên tiến như GPT-6 Astra có khả năng sinh mã và phân tích ấn tượng, chúng vẫn chưa thể tạo ra alpha bền vững vượt thị trường khi đối mặt với dữ liệu chưa từng thấy.", "developer_score": 80, "importance_score": 78, "possible_use_cases": ["Đánh giá và so chuẩn năng lực của các mô hình LLM và Agent harness trong việc nghiên cứu và xây dựng chiến lược giao dịch tự động.", "Xây dựng quy trình tự động hóa khâu tạo đặc trưng (features) và mã chấm điểm cổ phiếu (stock-scoring code) trong các quỹ định lượng.", "Kiểm tra và sàng lọc rủi ro quá khớp (overfitting) của các chiến lược giao dịch do AI sinh ra trước khi đưa vào môi trường live."], "actionability_score": 70}