Tool-Calling LLM Agents Under Realistic MCP Faults: Scale Does Not Purchase Fault Tolerance

{"tags": ["MCP", "Model Context Protocol", "LLM Agents", "Fault Injection", "Agent Resilience", "MCP-Injector", "Tool-Calling Agents"], "risks": ["Hệ thống agent sụp đổ tác vụ hàng loạt trong môi trường production khi phụ thuộc vào công cụ MCP ngoài nhưng thiếu khả năng phục hồi lỗi.", "Lãng phí chi phí tính toán (compute cost) khi nâng cấp lên mô hình lớn hơn nhưng không giải quyết được vấn đề lỗi công cụ.", "Các benchmark hiệu năng thông thường không phản ánh đúng độ tin cậy thực tế, tạo cảm giác an toàn giả tạo cho các nhà phát triển."], "category": "Agents", "entities": ["MCP-Injector", "Model Context Protocol (MCP)", "LangChain", "OpenAI Agents SDK", "gpt-oss"], "summary_vi": "Nghiên cứu giới thiệu MCP-Injector, một middleware tiêm lỗi có nhận thức giao thức (protocol-aware) nhằm kiểm thử độ bền vững của LLM Agent khi công cụ MCP gặp sự cố thực tế. Dựa trên dữ liệu từ 57.240 luồng vấn đề/PR trên 1.774 kho lưu trữ MCP, thử nghiệm 1.350 cell chỉ ra rằng lỗi công cụ làm giảm 60% điểm hoàn thành tác vụ. Đáng chú ý, việc mở rộng quy mô mô hình (từ 20B lên 120B) không giúp cải thiện khả năng chịu lỗi, khẳng định cơ chế xử lý lỗi ở tầng framework (như LangChain hay OpenAI Agents SDK) quan trọng hơn nhiều so với kích thước mô hình.", "key_changes": ["Phát triển MCP-Injector: middleware chèn lỗi thực tế (vĩnh viễn, tạm thời, ngắt quãng) vào luồng gọi công cụ của giao thức MCP, được chuẩn hóa từ dữ liệu của 1.774 kho mã nguồn mở.", "Chứng minh quy mô mô hình không tăng khả năng chịu lỗi: Mô hình 120B không bảo toàn hiệu năng tốt hơn mô hình 20B khi gặp sự cố (p = 0.96), thậm chí tỷ lệ hoàn thành tác vụ còn thấp hơn nhẹ (91.1% so với 95.6%).", "Xác định tầm quan trọng của Agent Framework: Khả năng hấp thụ lỗi công cụ phụ thuộc chủ yếu vào cơ chế xử lý lỗi ở tầng framework (OpenAI Agents SDK, LangChain, custom runtime) chứ không phải kích thước mô hình.", "Phát hiện mức độ suy thoái hiệu năng nghiêm trọng: Lỗi công cụ thực tế khiến điểm số hoàn thành tác vụ sụt giảm tới 60% (từ 8.08 xuống 3.23/10), cho thấy các benchmark năng lực thông thường đã che giấu độ mong manh khi vận hành."], "sub_category": "Agent Resilience & Fault Injection", "novelty_score": 88, "business_score": 80, "research_score": 85, "why_it_matters": "Nghiên cứu bác bỏ định kiến phổ biến cho rằng tăng kích thước mô hình (scale) sẽ tự động giải quyết các lỗi vận hành khi gọi công cụ bên ngoài. Kết quả nhấn mạnh tầm quan trọng của kỹ nghệ phần mềm truyền thống—cụ thể là cơ chế xử lý ngoại lệ, phục hồi và chaos engineering ở tầng framework—trong việc xây dựng các hệ sinh thái LLM Agent đáng tin cậy trên giao thức MCP.", "developer_score": 88, "importance_score": 85, "possible_use_cases": ["Tích hợp MCP-Injector vào quy trình CI/CD và chaos engineering để kiểm thử độ bền vững của LLM agent trước khi triển khai production.", "Đánh giá, so sánh và lựa chọn agent framework (LangChain vs OpenAI Agents SDK vs Custom) dựa trên khả năng xử lý ngoại lệ công cụ.", "Xây dựng các cơ chế fallback, retry và error handling ở tầng ứng dụng/middleware thay vì đầu tư tài nguyên nâng cấp kích thước model."], "actionability_score": 82}