Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

FrugalEvo: Towards Cost-Aware LLM-Guided Program Evolution

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

64 RADAR
Coding Program Evolution · 1 nguồn đối chiếu · 2026-10-02 17:44:05 +0000 UTC

FrugalEvo: Towards Cost-Aware LLM-Guided Program Evolution

Nguồn: arXiv AI
↗

FrugalEvo là khung tiến hóa mã nguồn bằng LLM tối ưu chi phí, kết hợp mô hình LLM mạnh để lập chiến lược và LLM rẻ hơn để viết/tinh chỉnh mã, đi cùng cơ chế tối ưu hóa bộ đệm tiền tố (prefix cache). Phương pháp này giúp đạt hoặc vượt hiệu năng SOTA trên các bài toán tối ưu hóa hệ thống/thuật toán nhưng giảm chi phí từ ~50 USD xuống chỉ còn 0.55 - 1.68 USD.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

FrugalEvo giải quyết rào cản chi phí khổng lồ của việc dùng LLM để tối ưu hóa mã nguồn tự động, giảm từ 30 đến gần 100 lần chi phí so với các giải pháp hiện tại mà vẫn đảm bảo hiệu năng SOTA. Bằng cách kết hợp mô hình phân tầng, tận dụng prefix cache và chuẩn đo lường BA-AUC, FrugalEvo biến việc tự động tiến hóa và tối ưu mã nguồn thành một giải pháp khả thi về mặt kinh tế cho doanh nghiệp và giới phát triển.

Developer 80
Business 78
Novelty 80
Actionable 85

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

LLM-guided evolutionary methods, such as AlphaEvolve, have emerged as powerful approaches for challenging computational optimization problems, such as circle packing. However, prior work typically optimizes performance gain over a fixed number of iterations. We argue that practical optimization should maximize gain per unit cost. To this end, we propose FrugalEvo, a cost-aware evolutionary framework where a stronger, higher-cost LLM explores solution strategies, and a cheaper LLM implements them and iteratively refines the resulting code. We also design a cache-efficient evolution process, where our harness and prompts maximize the sharing of prefixes across different evolution steps, to improve cache reuse. To measure solution quality throughout a fixed cost budget, we introduce Budget-Aware Area Under the Curve (BA-AUC), defined as the area under the best-so-far evaluation score curve over cumulative LLM cost, up to the budget. Across 10 mathematical and systems optimization tasks, FrugalEvo matches or surpasses state-of-the-art baselines, including OpenEvolve, ShinkaEvolve, AdaEvolve, and EvoX, in final solution quality and achieves higher BA-AUC on 9 tasks. It also achieves higher average performance than these baselines on 10 algorithmic optimization tasks from ALE-Bench-Lite. Notably, on circle packing, FrugalEvo achieves new state-of-the-art performance with GPT-5.6 Terra and Luna for only 1.68 USD and with GLM-5.3 and its Flash variant for only 0.55 USD, matching or surpassing all baselines, including multi-agent methods such as CORAL and SwarmResearch, which cost approximately 50 USD on average.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-10-05 12:04:10 +0000 UTC
{"tags": ["FrugalEvo", "Program Evolution", "Code Optimization", "Cost-Aware LLM", "Prefix Caching", "BA-AUC", "Evolutionary Computation"], "risks": ["Mô hình rẻ hơn có thể gặp khó khăn hoặc phát sinh lỗi logic khi hiện thực hóa các chiến lược giải pháp phức tạp do mô hình mạnh đề xuất.", "Hiệu quả tiết kiệm chi phí phụ thuộc nhiều vào khả năng hỗ trợ prompt caching từ các nhà cung cấp API LLM.", "Cần có hệ thống kiểm thử và đánh giá (test harness) chặt chẽ để đảm bảo mã sinh ra không gây lỗi hệ thống hoặc rủi ro bảo mật.", "Khả năng tổng quát hóa trên các dự án phần mềm quy mô lớn trong môi trường thực tế chưa được kiểm chứng đầy đủ ngoài các bài toán benchmark."], "category": "Coding", "entities": ["FrugalEvo", "AlphaEvolve", "OpenEvolve", "ShinkaEvolve", "AdaEvolve", "EvoX", "ALE-Bench-Lite", "GPT-5.6 Terra", "GPT-5.6 Luna", "GLM-5.3", "GLM-5.3 Flash", "CORAL", "SwarmResearch"], "summary_vi": "FrugalEvo là khung tiến hóa mã nguồn bằng LLM tối ưu chi phí, kết hợp mô hình LLM mạnh để lập chiến lược và LLM rẻ hơn để viết/tinh chỉnh mã, đi cùng cơ chế tối ưu hóa bộ đệm tiền tố (prefix cache). Phương pháp này giúp đạt hoặc vượt hiệu năng SOTA trên các bài toán tối ưu hóa hệ thống/thuật toán nhưng giảm chi phí từ ~50 USD xuống chỉ còn 0.55 - 1.68 USD.", "key_changes": ["Đề xuất khung FrugalEvo với kiến trúc phân tầng: kết hợp LLM mạnh (chi phí cao) để khám phá chiến lược và LLM rẻ hơn để hiện thực hóa cũng như tinh chỉnh mã nguồn lặp đi lặp lại.", "Thiết kế quy trình tiến hóa tối ưu hóa bộ nhớ đệm (cache-efficient evolution), tối đa hóa việc chia sẻ tiền tố (prefix sharing) trong harness và prompt để tăng khả năng tái sử dụng cache.", "Giới thiệu thước đo BA-AUC (Budget-Aware Area Under the Curve) để đo lường chất lượng giải pháp dựa trên diện tích dưới đường cong điểm số theo chi phí LLM tích lũy trong ngân sách cố định.", "Đạt kỷ lục SOTA mới trên bài toán circle packing với chi phí chỉ 1.68 USD (dùng GPT-5.6 Terra & Luna) và 0.55 USD (dùng GLM-5.3 & Flash), vượt qua các phương pháp multi-agent như CORAL và SwarmResearch có chi phí khoảng 50 USD.", "Ngang bằng hoặc vượt trội so với các baseline SOTA (OpenEvolve, ShinkaEvolve, AdaEvolve, EvoX) trên 10 tác vụ toán học và hệ thống (đạt BA-AUC cao hơn trên 9 tác vụ), đồng thời đạt hiệu năng trung bình cao hơn trên 10 tác vụ ALE-Bench-Lite."], "sub_category": "Program Evolution", "novelty_score": 80, "business_score": 86, "research_score": 84, "why_it_matters": "FrugalEvo giải quyết rào cản chi phí khổng lồ của việc dùng LLM để tối ưu hóa mã nguồn tự động, giảm từ 30 đến gần 100 lần chi phí so với các giải pháp hiện tại mà vẫn đảm bảo hiệu năng SOTA. Bằng cách kết hợp mô hình phân tầng, tận dụng prefix cache và chuẩn đo lường BA-AUC, FrugalEvo biến việc tự động tiến hóa và tối ưu mã nguồn thành một giải pháp khả thi về mặt kinh tế cho doanh nghiệp và giới phát triển.", "developer_score": 88, "importance_score": 82, "possible_use_cases": ["Tự động tối ưu hóa mã nguồn và thuật toán trong quy trình phát triển phần mềm với ngân sách API hạn chế.", "Tích hợp vào các pipeline CI/CD định kỳ để tự động cải tiến hiệu năng (performance tuning) và refactor code với chi phí tối thiểu.", "Giải quyết các bài toán tối ưu hóa tổ hợp phức tạp trong nghiên cứu học thuật và vận hành công nghiệp.", "Thiết kế và triển khai các hệ thống sinh mã phân tầng (Tiered LLMs) tận dụng prompt prefix caching để tiết kiệm chi phí vận hành cho doanh nghiệp."], "actionability_score": 85}