The Right Information Extraction Pipeline Depends on the Document: Accuracy-Energy Trade-offs for Small, Local Models

{"tags": ["Information Extraction", "Document AI", "Vision-Language Models", "Energy Efficiency", "FP8 Quantization", "Batching", "On-Premise AI"], "risks": ["Đánh đổi độ trễ: Batching giúp tiết kiệm năng lượng tối đa nhưng có thể làm tăng độ trễ xử lý đối với các ứng dụng yêu cầu phản hồi theo thời gian thực.", "Giới hạn kích thước mô hình: Nghiên cứu chỉ tập trung vào mô hình nhỏ (<= 8B tham số) chạy on-premise, kết luận có thể không tương đồng với các mô hình nền tảng cực lớn trên cloud.", "Rủi ro suy giảm độ chính xác với văn bản chất lượng thấp: Bộ parser/classical OCR giá rẻ có thể xử lý kém nếu tài liệu bị mờ hoặc rách so với neural OCR.", "Lãng phí tài nguyên nếu định tuyến sai: Sử dụng VLM cho tài liệu văn bản thuần gây lãng phí năng lượng đáng kể mà độ chính xác lại thấp hơn text model."], "category": "Research", "entities": ["Kleister-NDA", "VRDU", "Vision-Language Models (VLM)", "FP8 Quantization", "Neural OCR", "Classical OCR"], "summary_vi": "Nghiên cứu đánh giá sự đánh đổi giữa độ chính xác và mức tiêu hao năng lượng trong các pipeline trích xuất thông tin (IE) chạy cục bộ (on-premise) bằng mô hình nhỏ (<= 8B tham số) cho dữ liệu nhạy cảm. Kết quả chỉ ra rằng mô hình thị giác-ngôn ngữ (VLM) tối ưu cho tài liệu giàu cấu trúc (VRDU), trong khi mô hình chỉ xử lý văn bản (text-only) kết hợp parser cổ điển lại vượt trội cả về độ chính xác lẫn hiệu năng năng lượng trên tài liệu thuần văn bản (Kleister-NDA). Ngoài ra, batching là yếu tố tiết kiệm năng lượng hiệu quả nhất (giảm 38-85%), còn neural OCR tiêu tốn năng lượng gấp 17 lần classical OCR và không đạt tối ưu Pareto.", "key_changes": ["Batching là đòn bẩy tiết kiệm năng lượng hàng đầu, cắt giảm 38-85% năng lượng tiêu thụ trên mỗi trang mà không làm giảm độ chính xác.", "Lựa chọn pipeline tối ưu đảo chiều theo bố cục: VLM vượt trội trên tài liệu giàu cấu trúc (VRDU forms), trong khi mô hình văn bản thuần (text-only <= 8B) kết hợp bộ parser giá rẻ lại chính xác và tiết kiệm hơn trên tài liệu dạng văn bản thông thường (Kleister-NDA).", "Neural OCR tiêu tốn năng lượng gấp 17 lần so với classical OCR và không bao giờ nằm trên đường biên tối ưu Pareto.", "Lượng tử hóa FP8 giúp tiết kiệm 27-32% năng lượng khi xử lý đơn lẻ từng request, nhưng chỉ còn giúp tiết kiệm 9-19% (< 1mWh/trang) khi đã áp dụng batching.", "Khâu tiền xử lý (preprocessing) chiếm tỷ trọng áp đảo trong mức tiêu thụ năng lượng còn lại của pipeline."], "sub_category": "Document Information Extraction", "novelty_score": 75, "business_score": 80, "research_score": 80, "why_it_matters": "Cung cấp căn cứ thực nghiệm chuẩn xác cho doanh nghiệp và kỹ sư khi triển khai AI trích xuất tài liệu nội bộ tuân thủ quyền riêng tư dữ liệu: giúp tiết kiệm tới 85% năng lượng và chi phí vận hành bằng cách chọn đúng pipeline theo cấu trúc tài liệu và ưu tiên kỹ thuật batching.", "developer_score": 85, "importance_score": 80, "possible_use_cases": ["Xây dựng pipeline trích xuất thông tin hợp đồng pháp lý, tài chính nhạy cảm chạy on-premise với chi phí phần cứng và năng lượng tối thiểu.", "Thiết kế hệ thống xử lý biểu mẫu, hóa đơn, bảng biểu phức tạp (rich-layout forms) cục bộ sử dụng VLM nhỏ (<= 8B).", "Phát triển router thông minh tự động phân loại độ phức tạp layout của tài liệu để điều phối pipeline (text-only + classical parser vs VLM) nhằm tối ưu chi phí vận hành.", "Tối ưu hóa hạ tầng máy chủ AI nội bộ bằng việc ưu tiên cơ chế batching trước khi cân nhắc lượng tử hóa FP8."], "actionability_score": 85}