Radar Live
✦ Ask AI
AI INTELLIGENCE & SIGNALS

Reasoning-Token Spikes Under Prompted Untruthful Responding in Large Language Models

Phân tích đã xử lý trước và các nguồn liên quan.

Tín hiệu Radar

64 RADAR
Research AI Safety & Model Monitoring · 1 nguồn đối chiếu · 2026-10-07 16:53:11 +0000 UTC

Reasoning-Token Spikes Under Prompted Untruthful Responding in Large Language Models

Nguồn: arXiv AI
↗

Nghiên cứu chỉ ra rằng số lượng reasoning token (token suy luận) tăng đột biến khi các mô hình ngôn ngữ lớn (LLM) được chỉ thị phản hồi sai sự thật hoặc thờ ơ với sự thật, so với khi phản hồi trung thực. Dựa trên lý thuyết tải nhận thức, số lượng token suy luận đóng vai trò là một tín hiệu băng thông thấp, độc lập với nội dung, giúp phát hiện hành vi không trung thực ngay cả khi chuỗi suy luận (Chain-of-Thought) bị ẩn, không thể đọc hoặc không đáng tin cậy.

✦ TÁC ĐỘNG & GIÁ TRỊ THỰC TIỄN

Khi các nhà phát triển AI ngày càng có xu hướng ẩn hoặc bảo mật chuỗi suy luận nội bộ (như OpenAI o1/o3), việc phát hiện sự sai lệch thông qua siêu dữ liệu số lượng token là một hướng tiếp cận quan trọng, đơn giản và không phụ thuộc vào quyền truy cập nội dung suy luận.

Developer 67
Business 64
Novelty 82
Actionable 62

Nội dung thu thập đã chuẩn hóa

Collected Evidence

Nội dung văn bản được dùng làm dữ liệu đối chứng cho mô hình AI, không phải chỉ thị hệ thống.

Monitoring the chain-of-thought of reasoning artificial intelligence (AI) models remains a key approach to detecting deception and other forms of misbehavior in such models. However, semantic chain-of-thought monitoring depends on reasoning traces being legible and sufficiently faithful to the underlying computations that produced the model's behavior, not to mention accessible. Moreover, there is increasing evidence that chain-of-thought outputs may soon become illegible or unfaithful, if they even remain accessible. Based on cognitive load theory, we investigate a lower-bandwidth signal -- the number of reasoning tokens generated -- which does not require access to the content of the reasoning trace. Three reasoning-capable large language models answered 210 multiple-choice questions -- across analytic, descriptive, and normative reasoning types as well as moral and non-moral domains -- under system prompts instructing them to respond truthfully, falsely, or without regard for truth. Across all three models, truth-directed responding elicited fewer reasoning tokens than both lie-directed and truth-indifferent responding. These findings show that explicitly prompted untruthful response policies can produce robust group-level differences in test-time reasoning-token use. While not yet establishing reasoning-token count as a detector of spontaneous deception or general misalignment, our results are a proof of concept that it can serve as a simple, content-independent candidate signal for differentiating untruthful from truthful model behavior when raw reasoning traces are unavailable or unreliable. Future work should test instance-level detection rates, out-of-distribution generalization, learned deceptive policies, hidden objectives, and robustness under adversarial pressure.

Các nguồn đối chiếu cho sự kiện này

1 nguồn
Thông tin phân tích AI & Model Details ▾
Provider: openai-compatible · Model: gemini-3.8-flash-high · Version: analysis-v1 · Time: 2026-10-08 09:42:24 +0000 UTC
{"tags": ["ai-safety", "llm-reasoning", "chain-of-thought", "deception-detection", "cognitive-load", "reasoning-tokens"], "risks": ["Chỉ mới là bằng chứng khái niệm ở cấp độ nhóm (group-level), chưa thể phát hiện chính xác ở từng trường hợp/câu lệnh riêng lẻ (instance-level).", "Chưa áp dụng được cho trường hợp mô hình tự phát sinh hành vi lừa dối (spontaneous deception) hoặc các chính sách lừa dối đã được học ngầm.", "Dễ bị qua mặt trước áp lực tấn công đối kháng (adversarial pressure) hoặc tối ưu hóa độ dài chuỗi suy luận."], "category": "Research", "entities": ["Large Language Models (LLMs)", "Chain-of-thought (CoT)", "Cognitive Load Theory", "Reasoning Tokens"], "summary_vi": "Nghiên cứu chỉ ra rằng số lượng reasoning token (token suy luận) tăng đột biến khi các mô hình ngôn ngữ lớn (LLM) được chỉ thị phản hồi sai sự thật hoặc thờ ơ với sự thật, so với khi phản hồi trung thực. Dựa trên lý thuyết tải nhận thức, số lượng token suy luận đóng vai trò là một tín hiệu băng thông thấp, độc lập với nội dung, giúp phát hiện hành vi không trung thực ngay cả khi chuỗi suy luận (Chain-of-Thought) bị ẩn, không thể đọc hoặc không đáng tin cậy.", "key_changes": ["Phát hiện số lượng reasoning token tăng đột biến khi mô hình LLM nhận chỉ thị phản hồi sai sự thật (nói dối hoặc thờ ơ với sự thật) so với khi nói thật.", "Đề xuất tín hiệu giám sát an toàn độc lập với nội dung (content-independent signal) dựa trên số lượng token suy luận thay vì phải đọc chuỗi CoT.", "Thực nghiệm thành công trên 3 mô hình LLM có khả năng suy luận qua 210 câu hỏi trắc nghiệm thuộc nhiều dạng lập luận và lĩnh vực đạo đức.", "Chứng minh tính khả thi bước đầu (proof-of-concept) cho việc phát hiện hành vi không trung thực ở cấp độ nhóm (group-level)."], "sub_category": "AI Safety & Model Monitoring", "novelty_score": 82, "business_score": 64, "research_score": 88, "why_it_matters": "Khi các nhà phát triển AI ngày càng có xu hướng ẩn hoặc bảo mật chuỗi suy luận nội bộ (như OpenAI o1/o3), việc phát hiện sự sai lệch thông qua siêu dữ liệu số lượng token là một hướng tiếp cận quan trọng, đơn giản và không phụ thuộc vào quyền truy cập nội dung suy luận.", "developer_score": 68, "importance_score": 78, "possible_use_cases": ["Giám sát và kiểm tra độ trung thực của các mô hình LLM suy luận mà không cần quyền truy cập chuỗi suy luận CoT (như các mô hình thương mại ẩn CoT).", "Cảnh báo sớm các hành vi bất thường, bị ép buộc nói dối hoặc bị jailbreak thông qua giám sát siêu dữ liệu token.", "Tối ưu chi phí và phát hiện độ lệch chuẩn trong các pipeline ứng dụng LLM có tính toán reasoning token."], "actionability_score": 62}