NeuronEye: Query-Guided Visual Concept Activation for Vision-Language Reasoning

{"tags": ["NeuronEye", "Vision-Language Models", "VLM", "Concept Activation", "Sparse Coding", "Multimodal Reasoning", "Interpretability", "Qwen2.5-VL", "LLaVA"], "risks": ["Độ trễ tính toán phát sinh trong pha phân rã và kích hoạt khái niệm dù thực hiện trong một forward pass.", "Phụ thuộc vào chất lượng phân cụm khái niệm ban đầu; có thể bỏ sót hoặc kích hoạt sai với các khái niệm hiếm (OOD concepts).", "Nguy cơ ức chế nhầm các đặc trưng tri giác quan trọng nếu cơ chế suy giảm tín hiệu trội không được hiệu chuẩn tối ưu.", "Chưa có kết quả thực nghiệm trên các mô hình quy mô cực lớn (>70B) hoặc xử lý luồng video thời gian thực."], "category": "Research", "entities": ["NeuronEye", "Qwen2.5-VL-7B", "LLaVA-1.6-7B", "CV-Bench", "BLINK"], "summary_vi": "NeuronEye là framework dạng plug-in cho Vision-Language Models (VLM) lấy cảm hứng từ cơ chế mã hóa thưa và điều biến từ trên xuống trong thị giác sinh học. Thay vì dựa vào biểu diễn dày đặc vốn bị vướng víu đặc trưng, NeuronEye phân rã trạng thái vision token thành một tập từ vựng nơ-ron thưa theo cụm khái niệm, dùng truy vấn ngôn ngữ để kích hoạt chọn lọc các khái niệm liên quan và định vị patch tương ứng, đồng thời ức chế các tín hiệu tri giác trội để bảo tồn manh mối yếu. Toàn bộ quy trình diễn ra trong một lượt forward pass trên backbone VLM đóng băng, giúp Qwen2.5-VL-7B tăng +3.1 điểm CV-Bench (+9.5 ở tác vụ Distance) và +8.3 điểm BLINK Multi-view.", "key_changes": ["Xây dựng từ vựng nơ-ron thưa ở cấp độ khái niệm (sparse, concept-level neuron vocabulary) từ biểu diễn trung gian của VLM.", "Phân rã trạng thái vision-token thành cơ sở thưa dư thừa (overcomplete sparse basis) tổ chức theo các cụm khái niệm.", "Dùng truy vấn ngôn ngữ kích hoạt chọn lọc các cụm khái niệm liên quan và định vị các patch biểu hiện khái niệm đó.", "Tích hợp cơ chế ức chế (suppression mechanism) để làm suy giảm các hướng tri giác trội, bảo tồn các tín hiệu yếu nhưng quan trọng.", "Bơm bằng chứng tập trung trở lại vision tokens trong một lượt forward duy nhất trên backbone VLM đóng băng hoàn toàn.", "Tăng độ chính xác đáng kể: CV-Bench tăng +3.1 (Distance tăng +9.5) và BLINK Multi-view tăng +8.3 trên Qwen2.5-VL-7B, xu hướng tương tự trên LLaVA-1.6-7B."], "sub_category": "Vision-Language Reasoning", "novelty_score": 82, "business_score": 65, "research_score": 88, "why_it_matters": "NeuronEye biến các từ vựng nơ-ron thưa từ công cụ giải thích hậu kiểm (post-hoc interpretability) thành một giao diện điều khiển suy luận chủ động trong thời gian thực. Phương pháp này giải quyết nút thắt về khả năng suy luận chi tiết và không gian của VLM mà không cần huấn luyện lại mô hình nền tảng.", "developer_score": 74, "importance_score": 78, "possible_use_cases": ["Nâng cao năng lực định vị không gian và ước lượng khoảng cách (spatial reasoning, distance estimation) trong thị giác robot và xe tự hành.", "Kiểm định thị giác đa góc nhìn (multi-view visual inspection) trong phân tích lỗi sản phẩm công nghiệp hoặc chẩn đoán hình ảnh.", "Hệ thống Visual QA phức tạp đòi hỏi phát hiện chi tiết nhỏ hoặc thuộc tính ẩn dễ bị lấn át bởi đối tượng nổi bật.", "Giao diện can thiệp và giải thích mô hình (interpretability & steering) ở cấp độ khái niệm trực quan trong lúc suy luận."], "actionability_score": 72}