Compile as Hypothesis: A Headroom Typology for Prompt Optimization on Real Reasoning Models

{"tags": ["Prompt Optimization", "Reasoning Models", "Prompt Engineering", "AutoAPC-Select", "GEPA", "Evaluation Fidelity", "Backend Mixing"], "risks": ["Lãng phí tài nguyên tính toán và chi phí API khi cố gắng dùng prompt optimization để bù đắp cho lỗ hổng tri thức nội tại hoặc giới hạn token.", "Đánh giá sai lệch hiệu năng do hiện tượng mô hình tối ưu tự học cách 'thao túng' rubric của LLM judge (judge-rubric reconstruction).", "Rủi ro sụp đổ chất lượng nghiêm trọng (seed-collapse) khi chạy tối ưu hóa tự do không có ràng buộc cấu trúc bộ gen.", "Sai lệch kết quả thực nghiệm và rủi ro vận hành do API thương mại âm thầm đổi mô hình backend trong các đợt sự cố."], "category": "Research", "entities": ["AutoAPC-Select", "GEPA", "ESPO", "gpt-6"], "summary_vi": "Nghiên cứu 'Compile as Hypothesis' đánh giá các bộ biên dịch prompt tự động (genome search, profile-guided mutation, GEPA, ESPO) trên các mô hình lý luận mạnh. Kết quả thực nghiệm cho thấy tìm kiếm có cấu trúc không mang lại cải thiện độ chính xác có ý nghĩa thống kê, nhưng discrete structural genome giúp ngăn chặn hiện tượng sụp đổ hạt giống (seed-collapse) về mức đáy của judge. Nhóm tác giả đề xuất hệ thống phân loại dư địa 3 chiều: tối ưu prompt chỉ khắc phục được lỗi giao thức và định dạng, không thể bù đắp cho việc thiếu hụt tri thức hay cắt cụt token. Nghiên cứu cũng giới thiệu cổng kiểm soát AutoAPC-Select, bóc tách mức tăng hiệu năng trên gpt-6 và phát hiện tình trạng tráo đổi backend ngầm (silent backend-mixing) của các API thương mại trong thời gian gặp sự cố.", "key_changes": ["Chỉ ra tìm kiếm prompt có cấu trúc không đem lại cải thiện độ chính xác có ý nghĩa thống kê trên các mô hình lý luận mạnh.", "Xác định discrete structural genome là yếu tố then chốt ngăn chặn hiện tượng sụp đổ hạt giống hai đỉnh (catastrophic bimodal seed-collapse) về mức sàn của judge (xảy ra ở 3/5 lần chạy không ràng buộc).", "Xây dựng hệ thống phân loại dư địa 3 chiều: tối ưu hóa prompt chỉ giải quyết được lỗi giao thức và định dạng, không thể bù đắp thiếu hụt tri thức nội tại hoặc việc cắt cụt token vật lý.", "Phân tích bóc tách định tính trên gpt-6 cho thấy mức tăng +0.14 của GEPA gồm ~0.035 từ việc tái tạo rubric của bộ đánh giá (judge-rubric reconstruction) và ~0.105 từ tinh chỉnh chỉ dẫn thực chất.", "Đề xuất cổng kiểm soát triển khai AutoAPC-Select giúp khớp với chính sách oracle trong 5/7 nhóm và giải cứu các nhánh sụp hạt giống với chi phí hối tiếc bằng 0 (zero regret).", "Phát hiện tình trạng tráo đổi backend ngầm (silent backend-mixing) của các API thương mại trong thời gian gián đoạn và cung cấp công cụ kiểm toán per-call audit verification."], "sub_category": "Automated Prompt Optimization", "novelty_score": 82, "business_score": 78, "research_score": 90, "why_it_matters": "Nghiên cứu bác bỏ giả định rằng việc tự động tối ưu hóa prompt luôn cải thiện hiệu năng cho các mô hình lý luận mạnh. Về mặt kỹ thuật và kinh doanh, điều này giúp các đội ngũ kỹ sư tiết kiệm tài nguyên tính toán bằng cách xác định đúng phạm vi ứng dụng: chỉ nên dùng prompt optimization để xử lý lỗi định dạng/giao thức, không thể thay thế giải pháp tri thức (RAG/Fine-tuning) hay độ dài ngữ cảnh. Đồng thời, nghiên cứu cung cấp cơ chế chốt chặn AutoAPC-Select để bảo vệ hệ thống khỏi prompt suy thoái và công cụ kiểm toán tính trung thực của API thương mại.", "developer_score": 85, "importance_score": 84, "possible_use_cases": ["Kiểm định thực nghiệm trước khi đầu tư chi phí tính toán vào các pipeline tự động biên dịch/tối ưu prompt cho reasoning models.", "Ứng dụng AutoAPC-Select làm cổng kiểm soát chất lượng (deployment gate) tự động nhằm loại bỏ rủi ro seed-collapse trước khi đưa prompt vào production.", "Tập trung nỗ lực prompt engineering vào việc chuẩn hóa định dạng và tuân thủ giao thức thay vì cố giải quyết bài toán thiếu hụt tri thức.", "Triển khai công cụ kiểm toán per-call audit để phát hiện hiện tượng tráo đổi backend hoặc suy giảm chất lượng từ các nhà cung cấp API thương mại."], "actionability_score": 80}