Can You Check That? The Checkability Boundary for Local LLM Network Automation

{"tags": ["Network Automation", "SLM", "Touchstone", "Checkability", "Local LLM", "Data Privacy", "Hybrid AI"], "risks": ["Không thể mở rộng hiệu quả cho các tác vụ truy vấn kiến thức mở hoặc suy luận phi tất định thiếu cơ chế kiểm tra nội tại rẻ và chính xác.", "Vẫn tồn tại 16-17% truy vấn cần chuyển lên frontier LLM, có nguy cơ làm lộ thông tin nếu các truy vấn này chứa cấu hình nhạy cảm mà không được lọc trước.", "Rủi ro phụ thuộc vào độ chặt chẽ của intrinsic check; nếu bài kiểm tra bỏ sót lỗi sai, SLM có thể đưa cấu hình lỗi vào môi trường production."], "category": "Automation", "entities": ["Touchstone", "TeleQnA", "SLM", "Frontier LLM"], "summary_vi": "Nghiên cứu giới thiệu khái niệm 'checkability' (khả năng kiểm tra) để xác định tác vụ tự động hóa mạng nào phù hợp chạy trên mô hình ngôn ngữ nhỏ (SLM) cục bộ nhằm tránh rò rỉ dữ liệu nhạy cảm (cấu hình, topo, log). Tác giả phát triển Touchstone – pipeline local-first kết hợp 7 SLM (1-8B) để sinh phản hồi, sử dụng các bài kiểm tra nội tại (intrinsic check) rẻ và tất định để loại bỏ kết quả sai, chỉ chuyển tiếp (escalate) các trường hợp chưa xử lý lên frontier LLM. Trên các tác vụ phát hiện xung đột và dịch ý định mạng, Touchstone đạt độ chính xác lần lượt 98,6% và 93,8% với tỷ lệ escalate chỉ 16-17%. Ngược lại, trên tập dữ liệu hỏi đáp thuần kiến thức TeleQnA không có intrinsic check, Touchstone không thể bắt kịp frontier LLM. Kết quả đưa ra nguyên tắc: giữ suy luận ở cục bộ khi ngữ nghĩa tác vụ cho phép kiểm tra chi phí thấp và chính xác; chỉ chuyển lên cloud phần còn lại.", "key_changes": ["Đề xuất tiêu chuẩn 'checkability': một tác vụ phù hợp để suy luận cục bộ bằng SLM khi có thể áp dụng các bài kiểm tra nội tại (intrinsic check) chi phí thấp và tất định để bác bỏ đầu ra sai.", "Giới thiệu Touchstone: pipeline ưu tiên xử lý cục bộ (local-first) kết hợp 7 SLM (1-8B tham số), áp dụng intrinsic checks để lọc kết quả và chỉ escalate lên frontier LLM khi chưa giải quyết được.", "Đạt độ chính xác 98,6% (conflict detection) và 93,8% (intent translation) trong khi chỉ cần gửi 16% và 17% truy vấn lên cloud.", "Xác định rõ giới hạn: với các tác vụ thuần kiến thức (TeleQnA) thiếu cơ chế kiểm tra nội tại tất định, mô hình cục bộ không thể đạt hiệu năng tương đương frontier LLM."], "sub_category": "Network Automation & Local SLM Routing", "novelty_score": 80, "business_score": 86, "research_score": 80, "why_it_matters": "Nghiên cứu giải quyết rào cản bảo mật trọng yếu khi ứng dụng LLM vào hạ tầng mạng doanh nghiệp: bảo vệ cấu hình và topo nhạy cảm bằng SLM cục bộ. Bằng việc định nghĩa rõ ranh giới 'checkability' và kiến trúc hybrid escalation, doanh nghiệp vừa đảm bảo an toàn thông tin, cắt giảm hơn 80% chi phí gọi frontier LLM mà vẫn duy trì độ chính xác ở mức xấp xỉ tuyệt đối trên các tác vụ quan trọng.", "developer_score": 82, "importance_score": 82, "possible_use_cases": ["Tự động hóa phát hiện xung đột cấu hình mạng và chính sách bảo mật nội bộ mà không cần đưa dữ liệu nhạy cảm lên cloud.", "Biên dịch ý định vận hành mạng (intent-based networking) sang cấu hình thiết bị với bộ parser/linter kiểm tra tất định ở local.", "Xây dựng hệ thống hybrid AI / AIOps tối ưu chi phí API bằng cách xử lý phần lớn tác vụ bằng SLM và chỉ escalate khi không qua được validation."], "actionability_score": 84}