Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

Programs-of-Layers in LLMs through the Lens of Cortical Areas

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

58 RADAR
Research LLM Architecture & Dynamic Routing · 1 nguồn đối chiếu · 2026-09-25 14:55:50 +0000 UTC

Programs-of-Layers in LLMs through the Lens of Cortical Areas

Nguồn: arXiv AI
↗

Nghiên cứu độc lập tái hiện và mở rộng PoLar (Program-of-Layers) – phương pháp định tuyến động qua các tầng Transformer lấy cảm hứng từ đồi thị não bộ trên 5 mô hình. Kết quả xác nhận việc bỏ qua (skip) và lặp lại (repeat) tầng giúp tăng hiệu năng so với forward pass cố định, câu hỏi dễ cần ít tầng hơn câu hỏi khó. Tuy nhiên, nhóm nghiên cứu phát hiện bộ định tuyến một lần (single-shot router) bị sụp đổ về forward pass thông thường ở dự đoán top-1. Dù vậy, tập hợp top-k dự đoán vẫn cải thiện độ chính xác và chỉ cần một số ít chương trình tổng quát để giải quyết phần lớn câu hỏi.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Nghiên cứu thách thức giả định truyền thống rằng LLM phải xử lý tuần tự qua toàn bộ các tầng cho mọi đầu vào. Công trình xác thực tiềm năng phân bổ tài nguyên tính toán thích ứng theo độ khó bài toán, đồng thời vạch rõ hạn chế kỹ thuật của bộ định tuyến single-shot và độ mong manh của các chuỗi tầng sửa lỗi.

Developer 60
Business 54
Novelty 72
Actionable 58

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Inference in LLMs is conventionally a fixed-depth, fixed-order forward pass through every layer, regardless of how difficult the input is. The human brain does not work this way: using the thalamus as a central hub, it routes information flexibly to all regions of the cortex according to demand. Li et al. (2026) recently showed, with a system they call program-of-layers (PoLar), that transformers can be given an analogous flexibility if their layers are treated as a library of functions rather than a fixed sequence. Performance improves over the standard forward pass when each input is dynamically routed through an adaptive sequence of skipped or repeated contiguous layer blocks. We reconstructed PoLar's diagnostic MCTS in more detail than the original paper and applied it across 5 models. We reproduced several of PoLar's findings: skipping outperformed the standard pass, repeating outperformed skipping, and combining both outperformed either alone. Shorter programs sufficed for easier questions, while harder questions required more layer repeats. However, we failed to replicate the main claim regarding their learned router for single-shot inference: its top-ranked prediction consistently collapsed back to the standard pass, even though its top-k predicted programs, taken together, did show a real accuracy gain. Beyond reproduction, we find that a small number of generic programs are enough to solve most of the questions. We also provide a much deeper analysis of these programs' structure and robustness: for example, we found that programs that correct errors are highly brittle: undoing even a single edit inside a program typically breaks the correction. Connecting this to the brain's routing mechanisms, PoLar mirrors principles of thalamo-cortical coordination between cortical-area-like transformer layers. We publicly release the code at https://datexis.github.io/RE-PoLar/

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-09-28 09:18:47 +0000 UTC
{"tags": ["PoLar", "Dynamic Routing", "Transformer Architecture", "LLM Inference", "Brain-Inspired AI", "Reproducibility", "MCTS"], "risks": ["Router single-shot bị suy thoái về forward pass mặc định, chưa sẵn sàng cho triển khai thời gian thực độ trễ thấp.", "Chương trình sửa lỗi có độ giòn cao, nhạy cảm với các biến đổi nhỏ trong chuỗi tầng.", "Độ phức tạp quản lý bộ nhớ và KV-cache tăng cao khi thực hiện nhảy hoặc lặp lại tầng."], "category": "Research", "entities": ["PoLar", "Li et al.", "RE-PoLar", "https://datexis.github.io/RE-PoLar/"], "summary_vi": "Nghiên cứu độc lập tái hiện và mở rộng PoLar (Program-of-Layers) – phương pháp định tuyến động qua các tầng Transformer lấy cảm hứng từ đồi thị não bộ trên 5 mô hình. Kết quả xác nhận việc bỏ qua (skip) và lặp lại (repeat) tầng giúp tăng hiệu năng so với forward pass cố định, câu hỏi dễ cần ít tầng hơn câu hỏi khó. Tuy nhiên, nhóm nghiên cứu phát hiện bộ định tuyến một lần (single-shot router) bị sụp đổ về forward pass thông thường ở dự đoán top-1. Dù vậy, tập hợp top-k dự đoán vẫn cải thiện độ chính xác và chỉ cần một số ít chương trình tổng quát để giải quyết phần lớn câu hỏi.", "key_changes": ["Tái hiện quy trình MCTS chẩn đoán của PoLar chi tiết hơn và kiểm thử thành công trên 5 mô hình LLM.", "Xác nhận layer skipping vượt trội hơn forward pass chuẩn, layer repeating tốt hơn skipping, và kết hợp cả hai đạt hiệu quả cao nhất.", "Chứng minh câu hỏi dễ yêu cầu chương trình ngắn hơn, trong khi câu hỏi khó cần lặp lại nhiều tầng hơn.", "Phát hiện thất bại trong tái hiện: router học được cho single-shot inference bị suy thoái về forward pass truyền thống ở dự đoán top-1.", "Tìm ra một số lượng nhỏ chương trình tầng tổng quát là đủ để giải quyết phần lớn câu hỏi.", "Chỉ ra tính mong manh (brittle) của các chương trình sửa lỗi: đảo ngược một thao tác đơn lẻ sẽ phá vỡ việc sửa sai.", "Công bố mã nguồn mở tại https://datexis.github.io/RE-PoLar/."], "sub_category": "LLM Architecture & Dynamic Routing", "novelty_score": 72, "business_score": 52, "research_score": 86, "why_it_matters": "Nghiên cứu thách thức giả định truyền thống rằng LLM phải xử lý tuần tự qua toàn bộ các tầng cho mọi đầu vào. Công trình xác thực tiềm năng phân bổ tài nguyên tính toán thích ứng theo độ khó bài toán, đồng thời vạch rõ hạn chế kỹ thuật của bộ định tuyến single-shot và độ mong manh của các chuỗi tầng sửa lỗi.", "developer_score": 62, "importance_score": 76, "possible_use_cases": ["Tối ưu chi phí và độ trễ suy luận bằng cách bỏ qua các tầng với truy vấn đơn giản.", "Nâng cao độ chính xác trên bài toán phức tạp thông qua lặp lại các khối tầng xử lý trọng yếu.", "Thiết kế hệ thống định tuyến suy luận top-k hoặc hybrid MCTS-router cho serving LLM.", "Nghiên cứu cơ chế đồi thị - vỏ não để tối ưu kiến trúc mạng nơ-ron tương lai."], "actionability_score": 58}