JOVE: Joint Execution and Verification for Resource-Aware LLM Task Graphs

{"tags": ["LLM Task Graphs", "Heterogeneous LLMs", "JOVE", "Mixed-Integer Linear Programming", "Online Learning", "Inference Latency", "Cost Optimization"], "risks": ["Phụ thuộc vào chi phí tính toán khi giải bài toán MILP trên từng truy vấn, có thể phát sinh overhead nếu đồ thị tác vụ lớn và phức tạp.", "Chất lượng học hỏi phụ thuộc vào độ chính xác của cơ chế xác minh có trả phí (paid verification); sai sót trong xác minh có thể làm lệch phân bổ.", "Thời gian đầu (cold-start) khi chất lượng các LLM chưa được xác định có thể gây ảnh hưởng nhẹ đến phân bổ ban đầu trước khi hệ thống hội tụ."], "category": "Agents", "entities": ["JOVE", "LLM Task Graphs", "Mixed-Integer Linear Programs (MILP)"], "summary_vi": "JOVE là khung làm việc trực tuyến (online framework) tối ưu hóa việc thực thi và xác minh cho các đồ thị tác vụ LLM (LLM task graphs) dạng DAG trên các mô hình không đồng nhất. Hệ thống phân bổ các mô hình thực thi và lựa chọn kết quả trung gian để xác minh có trả phí bất đồng bộ, cân bằng giữa chi phí thực thi tức thời và học hỏi cho tương lai dưới ràng buộc ngân sách dài hạn và độ trễ từng truy vấn. Bằng cách giải chuỗi bài toán quy hoạch tuyến tính nguyên hỗn hợp (MILP) kết hợp học trực tuyến và phần thưởng thu nhận thông tin, JOVE đạt độ hối tiếc dưới tuyến tính (sublinear regret), giúp giảm chi phí và độ trễ trung bình ít nhất 3,17 lần mà vẫn duy trì độ chính xác cạnh tranh trên 4 benchmark suy luận.", "key_changes": ["Đề xuất khung làm việc JOVE kết hợp đồng thời việc gán LLM thực thi và chọn lọc đầu ra trung gian để xác minh có trả phí.", "Sử dụng cơ chế xác minh bất đồng bộ để cập nhật ước tính chất lượng mô hình theo từng tác vụ cho các lượt phân bổ tương lai.", "Mô hình hóa bài toán đánh đổi giữa chi phí thực thi hiện tại và giá trị học hỏi tương lai dưới ràng buộc ngân sách dài hạn và độ trễ từng truy vấn.", "Ra quyết định thực thi và xác minh bằng cách giải chuỗi bài toán quy hoạch tuyến tính nguyên hỗn hợp (MILP) cho mỗi truy vấn.", "Tích hợp học trực tuyến (online learning) với phần thưởng thu nhận thông tin (information-gain bonus) vào quyết định phân bổ.", "Chứng minh lý thuyết đạt độ hối tiếc học chất lượng dưới tuyến tính (sublinear quality-learning regret).", "Giảm ít nhất 3,17 lần chi phí và độ trễ trung bình trên 4 benchmark suy luận phức tạp trong khi vẫn đạt độ chính xác cạnh tranh."], "sub_category": "LLM Task Graphs", "novelty_score": 82, "business_score": 84, "research_score": 85, "why_it_matters": "JOVE giải quyết bài toán cốt lõi trong việc triển khai suy luận LLM phức tạp ở quy mô lớn: làm thế nào để tận dụng các mô hình nhỏ và rẻ qua đồ thị tác vụ mà vẫn đảm bảo độ chính xác và độ trễ. Việc giảm chi phí và độ trễ hơn 3,17 lần với bảo đảm lý thuyết vững chắc giúp các doanh nghiệp tiết kiệm đáng kể chi phí vận hành AI.", "developer_score": 75, "importance_score": 78, "possible_use_cases": ["Tối ưu hóa chi phí và độ trễ cho các hệ thống giải quyết bài toán suy luận phức tạp phân rã theo đồ thị DAG.", "Điều phối thông minh các mô hình LLM không đồng nhất (heterogeneous LLM routing), giao tác vụ nhỏ cho mô hình nhỏ và xác minh có chọn lọc.", "Hệ thống suy luận sản xuất cần quản lý chặt chẽ ngân sách suy luận dài hạn (long-term budget) và giới hạn độ trễ (per-query latency)."], "actionability_score": 70}