AI Radar / Prune Gradually, Adapt Sparsely: Efficient Pruning of Large Language Models at Extreme Sparsity
Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

Prune Gradually, Adapt Sparsely: Efficient Pruning of Large Language Models at Extreme Sparsity

Phân tích đã xử lý trước và các nguồn liên quan.

✦ Ask your radar

Tín hiệu Radar

⌕
61 RADAR
Models Model Compression · 1 nguồn đối chiếu · 2026-10-30 16:17:43 +0000 UTC

Prune Gradually, Adapt Sparsely: Efficient Pruning of Large Language Models at Extreme Sparsity

Nguồn: arXiv AI
↗

ETAPS đề xuất phương pháp cắt tỉa dần (gradual pruning) kết hợp thích ứng thưa (sparse adaptation) cho LLM ở mức độ thưa cực đại (50% - 90%). Bằng cách thắt chặt ràng buộc độ thưa theo từng giai đoạn và chỉ huấn luyện sparse delta với ngân sách nhỏ, ETAPS tránh được trạng thái optimizer kích thước lớn của phương pháp SOTA ELSA, giảm tới 42% perplexity, tiết kiệm 49% GPU-hours và chỉ cần 1 GPU H200 (thay vì 4) khi cắt tỉa LLaMA2-7B ở mức 90% thưa.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

ETAPS giải quyết bài toán đánh đổi giữa chất lượng và chi phí phần cứng khi nén LLM ở mức thưa cực đoan. Việc cắt giảm yêu cầu từ 4 GPU H200 xuống 1 GPU H200 cùng chất lượng perplexity vượt trội giúp việc nén mô hình lớn trở nên khả thi và tiết kiệm chi phí đáng kể cho nghiên cứu lẫn ứng dụng thương mại.

Developer 70
Business 75
Novelty 80
Actionable 70
Chi tiết ➔ Nguồn gốc ↗

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Weight pruning can reduce the storage and inference cost of large language models (LLMs), but preserving quality at high sparsity levels remains challenging. Existing methods face a quality-cost trade-off in this regime. One-shot pruning is cheap but degrades sharply as sparsity increases, even when followed by post-pruning recovery. A growing line of work instead optimizes the mask directly from the dense model under the end-to-end objective; among these methods, [Lee et al.,2026], the recent state of the art at extreme sparsity, reaches high quality but at the cost of model-sized optimizer state and auxiliary variables. To address this gap, we propose ETAPS, which prunes gradually and adapts sparsely: it tightens a global sparsity constraint in progressive stages while training a sparse delta with a small, fixed budget. Our key observation is that gradual weight removal keeps each pruning step small enough for sparse adaptation to compensate, allowing the adapted model to provide end-to-end gradients that guide the next pruning decision without model-sized optimizer state. Across six models from 125M to 13B parameters, ETAPS achieves lower perplexity than ELSA at every evaluated sparsity from 50% to 90%, with perplexity reductions of up to 42%. ETAPS is also far cheaper: at 90% sparsity, it prunes LLaMA2-7B on a single H200, where ELSA uses four, with $5.0\times$ smaller total persistent state and 49% fewer GPU-hours. Together, our findings point to a promising direction for achieving high quality in demanding regimes such as extreme sparsity at substantially lower cost.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
↗ Prune Gradually, Adapt Sparsely: Efficient Pruning of Large Language Models at Extreme Sparsity arXiv AI
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-11-02 11:30:16 +0000 UTC
{"tags": ["LLM", "Model Pruning", "Extreme Sparsity", "ETAPS", "Model Compression", "LLaMA2", "GPU Efficiency"], "risks": ["Mức độ thưa cực đại (90%) có thể vẫn ảnh hưởng đến độ chính xác trên các tác vụ suy luận phức tạp chuyên sâu ngoài perplexity.", "Cần phần cứng hoặc kernel hỗ trợ tính toán thưa (sparse computation) tối ưu để chuyển đổi mức thưa thành tốc độ suy luận thực tế.", "Vẫn yêu cầu tài nguyên tính toán cho các vòng thích ứng so với one-shot pruning đơn thuần."], "category": "Models", "entities": ["ETAPS", "ELSA", "Lee et al.", "LLaMA2-7B", "H200"], "summary_vi": "ETAPS đề xuất phương pháp cắt tỉa dần (gradual pruning) kết hợp thích ứng thưa (sparse adaptation) cho LLM ở mức độ thưa cực đại (50% - 90%). Bằng cách thắt chặt ràng buộc độ thưa theo từng giai đoạn và chỉ huấn luyện sparse delta với ngân sách nhỏ, ETAPS tránh được trạng thái optimizer kích thước lớn của phương pháp SOTA ELSA, giảm tới 42% perplexity, tiết kiệm 49% GPU-hours và chỉ cần 1 GPU H200 (thay vì 4) khi cắt tỉa LLaMA2-7B ở mức 90% thưa.", "key_changes": ["Cắt tỉa mô hình theo từng giai đoạn lũy tiến (gradual pruning) thay vì cắt tỉa một lần (one-shot).", "Huấn luyện sparse delta với ngân sách nhỏ và cố định, loại bỏ nhu cầu duy trì trạng thái optimizer kích thước lớn như mô hình gốc.", "Mô hình thích ứng cung cấp gradient end-to-end định hướng cho quyết định cắt tỉa ở bước kế tiếp.", "Cho phép cắt tỉa LLaMA2-7B ở độ thưa 90% chỉ trên 1 GPU H200 thay vì 4 GPU như SOTA ELSA.", "Đạt perplexity thấp hơn ELSA ở mọi mức độ thưa từ 50% đến 90% (giảm tới 42% perplexity) và giảm 49% GPU-hours."], "sub_category": "Model Compression", "novelty_score": 80, "business_score": 82, "research_score": 85, "why_it_matters": "ETAPS giải quyết bài toán đánh đổi giữa chất lượng và chi phí phần cứng khi nén LLM ở mức thưa cực đoan. Việc cắt giảm yêu cầu từ 4 GPU H200 xuống 1 GPU H200 cùng chất lượng perplexity vượt trội giúp việc nén mô hình lớn trở nên khả thi và tiết kiệm chi phí đáng kể cho nghiên cứu lẫn ứng dụng thương mại.", "developer_score": 75, "importance_score": 78, "possible_use_cases": ["Nén LLM để triển khai suy luận chi phí thấp trên máy chủ đơn lẻ hoặc thiết bị biên.", "Tối ưu hóa các mô hình mã nguồn mở cho doanh nghiệp có ngân sách GPU hạn chế.", "Giảm dung lượng lưu trữ và băng thông bộ nhớ VRAM khi phục vụ các mô hình quy mô lớn."], "actionability_score": 70}
← Trang trước Trang 1