Research

Nghiên cứu giới thiệu SetCommit, phương pháp giải mã không cần huấn luyện lại (training-free) cho mô hình ngôn ngữ khuếch tán (diffusion LLM), giải quyết vấn đề chốt token song song thiếu nhất quán trong ít bước giải mã. Thay vì chọn token độc lập theo độ tin cậy, SetCommit chọn một tập hợp token cân bằng giữa độ tin cậy và rủi ro mâu thuẫn ngữ cảnh, đồng thời thực hiện hoán đổi cục bộ trung hòa ngân sách để sửa các quyết định chốt non. Trên LLaDA-8B và Dream-7B, phương pháp giúp tăng độ chính xác/pass@1 tới 7,4 điểm phần trăm và tăng tốc độ từ 1,44x đến 1,74x.

ASTEROID là khung học có giám sát theo mô hình giáo viên - học sinh (student-teacher) giúp tác tử tự học khả năng thăm dò tại thời điểm kiểm thử (test-time exploration) trong môi trường quan sát một phần. Bằng cách chưng cất hành vi của chuyên gia đặc quyền dựa trên chính lịch sử thực thi on-policy của học sinh, phương pháp giúp học sinh tự động thăm dò khi chưa chắc chắn và khai thác khi trạng thái ẩn được giải mã (tương tự Bayesian posterior sampling). ASTEROID đạt hiệu quả gấp 2 lần, giảm ~100 lần số tương tác so với RL trên 11 môi trường thử nghiệm và tăng 40% tỷ lệ thành công khi áp dụng thực tế trên robot điều khiển bị che khuất thị giác.

Nghiên cứu chỉ ra lỗ hổng độ tin cậy nghiêm trọng trong các mô hình ra quyết định theo kiểu (TDM) khi sử dụng tùy chọn dự phòng (fallback) để chuyển tiếp yêu cầu tới chuyên gia hoặc mô hình mạnh hơn. Tác giả giới thiệu bài kiểm tra Paired Fallback Robustness (PFR) Test để đánh giá việc chuyển đổi giữa lựa chọn thông thường - dự phòng và tính nhất quán dưới các định nghĩa tương đương logic. Kết quả trên 3 bộ benchmark cho thấy nhận diện đúng không đồng nghĩa với kích hoạt đúng fallback, lỗi vẫn tồn tại dù đã cung cấp đúng danh mục, và các cách diễn đạt tương đương của cùng quy tắc gây ra sự bất nhất lớn trong quyết định.

Nghiên cứu thực nghiệm trên các bài báo tại hội nghị AFA và NBER 2024 chỉ ra rằng GPT-4o và GPT-5 có khả năng thẩm định tốt tính chính xác kỹ thuật và cách trình bày, nhưng không thể đánh giá tính độc đáo và tầm quan trọng của nghiên cứu. Điểm số kỹ thuật của mô hình dự báo tăng 44% cơ hội xuất bản vào top 3 tạp chí tài chính (đã kiểm soát danh tiếng tác giả). Kết luận gợi ý mô hình phân chia công việc: giao khâu kiểm tra kỹ thuật cho AI, còn việc đánh giá giá trị đóng góp thuộc về con người.

Nghiên cứu khảo sát khả năng ứng dụng Jev – một mô hình ra quyết định không sinh token và trả kết quả sau một lượt tính toán (single forward pass) – vào hệ thống học tăng cường (RL). Nhóm tác giả xác định Jev đáp ứng được hầu hết các vị trí trong RL ngoại trừ việc làm hàm giá trị số (cardinal value function). Từ đó, họ đề xuất 3 thuật toán tích hợp Jev ở trạng thái đóng băng làm chính sách tham chiếu, trọng tài khám phá và bộ đánh giá bộ nhớ phát lại. Thử nghiệm trên 9 tác vụ MiniGrid và 3 trò chơi Atari cho thấy việc kết hợp Jev giúp vượt trội hơn hẳn RL tiêu chuẩn, giải quyết được cả những tác vụ mà RL tự học thất bại mà không cần huấn luyện lại Jev.

Nghiên cứu đề xuất sử dụng khung đánh giá từ kinh tế học sở thích tuyên bố (stated-preference economics) để đánh giá các mô hình ngôn ngữ lớn (LLM) trong bối cảnh không có chân lý chuẩn (ground truth) để đối chiếu, như định giá chính sách hay cân nhắc các giá trị đối lập. Khung này kiểm tra tính hợp lệ (nội dung, cấu trúc, tiêu chí), độ tin cậy và sự phù hợp về động cơ. Thử nghiệm trên khảo sát định giá chất lượng nước (Vossler et al. 2023) với 6 mô hình cho thấy các mô hình cũ thất bại ở các bài kiểm tra kinh tế cơ bản, trong khi hai mô hình mới nhất vượt qua các kiểm tra lý thuyết nhưng phân kỳ về tính hợp lệ hội tụ. Đáng chú ý, việc vượt qua kiểm tra chỉ chứng minh mô hình có tính mạch lạc, không đảm bảo tính đúng đắn.

4D-HOF là khung làm việc feed-forward tái tạo tương tác tay - vật thể 4D từ các ước tính thô của vision foundation model bằng conditional flow matching. Phương pháp này dịch chuyển trạng thái tay-vật thể về interaction manifold để sửa sai lệch vị trí, góc xoay và căn chỉnh, đồng thời tích hợp test-time guidance trực tiếp trong quá trình sinh dựa trên ràng buộc vật lý và bằng chứng 2D, giúp đạt độ chính xác và ổn định cao trên dữ liệu thực tế.

IdeaAnchor là phương pháp huấn luyện mô hình ngôn ngữ lớn (LLM) để chuyển đổi các bài báo khoa học thành ý tưởng nghiên cứu mới bằng cách sử dụng các đặc tả có cấu trúc làm tín hiệu đặc quyền (privileged signals). Phương pháp này khai thác dữ liệu từ các bài báo đã công bố để mô hình hóa vai trò, mối quan hệ giữa tài liệu và tiêu chí tổng hợp, sau đó huấn luyện qua minh họa, tự chưng cất, học tăng cường và kết hợp truy xuất tài liệu khi suy luận.

UniSlider là phương pháp điều khiển chỉnh sửa ảnh liên tục với thanh trượt đồng nhất về mặt cảm nhận thị giác. Khác với cách tiếp cận thông thường chỉ scale thô hệ số can thiệp (dễ gây gián đoạn hoặc đảo ngược biến đổi), UniSlider huấn luyện một LoRA nhẹ trên mô hình ít bước nhằm bảo đảm quỹ đạo biến đổi đơn điệu, kết hợp kỹ thuật tái ánh xạ thích ứng khi suy luận để khoảng cách cảm nhận tăng tuyến tính theo thanh trượt.

Nghiên cứu chỉ ra hiện tượng phụ thuộc lịch sử cache (cache-history sensitivity) trong các agent chạy dài hạn sử dụng cơ chế tái sử dụng KV-cache phi tiền tố: cùng một prompt không đổi có thể trả về câu trả lời khác nhau tùy thuộc vào thứ tự các request được xử lý trước đó. Với ngân sách tái tính toán 5%, phương pháp document-aligned recomputation giúp giảm độ biến thiên câu trả lời từ 69,0% (ở chính sách token top-k của CacheBlend) xuống còn 26,1%, đồng thời tăng độ trung thực so với full prefill thêm 34,5–52,5 điểm phần trăm. Cả hai chính sách đều đạt mức tăng tốc TTFT trung vị 5,7 lần, và nghiên cứu xác định tính liền kề (contiguity) là yếu tố quyết định độ ổn định của selective recomputation.

ITC-MoE là khung nén mô hình dựa trên độ quan trọng và đặc tính token dành cho các mô hình ngôn ngữ khuếch tán kết hợp chuyên gia (MoE DLMs). Phương pháp này giải quyết tình trạng dư thừa tham số không đồng nhất giữa các chiều và sự biến thiên sử dụng giữa hot/cold token thông qua hai thành phần: IATC (nén Tucker thích ứng dựa trên activation và gradient) và TCR (bù trừ low-rank cho hot token và tối ưu định tuyến cho cold token). Thử nghiệm trên SDAR-30B-A3B-Chat-b32 với ngân sách nén 30%, ITC-MoE đạt tốc độ tăng tốc end-to-end lên tới 7.22x và duy trì độ chính xác 96.33% trên MultiArith.

AD-WM là mô hình thế giới dạng joint-embedding có khả năng phân biệt hành động, được thiết kế cho bài toán điều khiển dự báo mô hình (MPC) phản thực nghiệm (counterfactual). Các mô hình thế giới latent thông thường thường tối ưu hóa sai số dự đoán thực tế, dẫn đến việc phân biệt kém giữa các hành động ứng viên từ cùng một trạng thái. AD-WM giải quyết vấn đề này bằng cách kết hợp động học latent phần dư với cơ chế chuẩn hóa khôi phục hành động dựa trên thông tin tương hỗ có điều kiện và động học nghịch đảo. Khi triển khai, các đầu phụ trợ được loại bỏ giúp giữ nguyên chi phí của MPC. Trên OGBench-Cube, AD-WM tăng tỷ lệ thành công từ 3,7% lên 52,0% so với baseline LeWM, đồng thời nâng tỷ lệ gắp-đặt zero-shot trên robot Franka thực tế từ 42,2% lên 71,1% mà không cần tinh chỉnh riêng.

TrackEverything là mô hình theo dõi điểm 3D (3D point tracker) giải quyết sự đánh đổi kinh điển giữa theo dõi điểm thưa trên video dài và theo dõi điểm dày đặc trên clip ngắn. Bằng việc biểu diễn video thành các vết cảnh 3D liên tục trong hệ tọa độ thế giới, mô hình tách độ phức tạp khỏi thời lượng video và mở rộng theo hình học vật lý của cảnh. Phương pháp gồm 3 cải tiến chính: cơ chế khử trùng lặp bằng voxel tại ranh giới sliding-window để gộp các track trùng lặp; phân rã tracking thành bộ tinh chỉnh điểm cuối (phân loại tĩnh/động) kết hợp bộ tinh chỉnh quỹ đạo nhẹ cho điểm động; và kỹ thuật 3D WAFT thay thế 4D correlation volume tốn bộ nhớ. TrackEverything có khả năng theo dõi toàn bộ điểm hiển thị trên video dài hơn 1000 khung hình chỉ với 40 GB VRAM, đồng thời vượt hơn 20% APD trên tập dữ liệu TAPVid-3D so với các mô hình 3D dense tracker mã nguồn mở.

Nghiên cứu công bố bộ dữ liệu lịch sử phát triển của công cụ Python 21.000 dòng do Claude AI viết toàn bộ (không có code hay test của con người), cùng 2 công cụ truy vết nguồn gốc mã và 3 hệ thống phân loại (ý định chỉ dẫn, nguồn gốc commit, độ tin cậy phản hồi). Kết quả chỉ ra: lệnh CLI cho coding agent tập trung nhiều hơn vào hiểu mã, lập kế hoạch và tham vấn so với chat IDE; quá trình phát triển chủ yếu mang tính chủ động; 14,3% sự kiện sinh mã chứa lỗi thực tế được phát hiện bởi test suite do AI viết; và khoảng 1/4 - 1/5 phản hồi tương tác của AI chứa lỗi thực tế.

Nghiên cứu giới thiệu SWE-Flux, benchmark cấp repository đầu tiên đánh giá năng lực suy luận thực thi động của LLM gồm 480 trường hợp trên 12 repository Python thực tế. Đáp án chuẩn được trích xuất tự động qua công cụ đo kiểm (instrumentation) khi chạy test thay vì dùng LLM hay người đánh giá. Thử nghiệm trên 5 LLM cho thấy nhiệm vụ này rất khó khi mô hình đạt kết quả cao nhất chỉ đạt 37% độ chính xác, đặc biệt yếu trong việc suy luận luồng dữ liệu liên thủ tục, theo dõi trạng thái chính xác và tổng hợp cấp suite. Nghiên cứu cũng đề xuất pipeline tự động sinh biến thể benchmark bằng xáo trộn đầu vào với tỷ lệ thành công gần 90%.

Nghiên cứu giới thiệu Probe of Internal Recognition (PIR), một phương pháp đóng vai trò như 'máy phát hiện nói dối' cho các mô hình ngôn ngữ lớn (LLM) dựa trên kỹ thuật Concealed Information Test trong pháp y. PIR phân tích các trạng thái nội bộ của mô hình để xác định câu trả lời mà mô hình nhận diện là đúng mà không cần mô hình tham chiếu hay tập dữ liệu chuẩn. Phương pháp đạt độ chính xác cân bằng 70% - 87% trên 8 mô hình (Gemma, Qwen, Llama, Mistral, Phi) và duy trì độ nhận diện 85% - 93% trước nhiều hình thức che giấu như prompted deception, trained sandbagging hay circuit-breaking. PIR giúp phân biệt rõ ràng giữa mô hình cố tình không trả lời và mô hình thực sự không biết, hỗ trợ đắc lực cho kiểm toán an toàn và xác minh machine unlearning.

Nghiên cứu giới thiệu Comparison-based Preference Optimization (ComPO), một phương pháp căn chỉnh sở thích bậc không (zeroth-order) dựa trên comparison oracles cho mô hình ngôn ngữ lớn (LLM). ComPO giải quyết vấn đề dịch chuyển likelihood (likelihood displacement) bằng cách trích xuất thông tin định hướng từ các cặp sở thích có biên likelihood nhỏ mà không cần tối ưu hóa trực tiếp hàm mất mát khả vi. Bài báo thiết lập bảo chứng hội tụ toán học cho sơ đồ offline, đồng thời phát triển phiên bản online với kiểm soát reverse-KL đối với mô hình tham chiếu. Thực nghiệm trên Mistral, Llama, Gemma-2, Qwen3 và Gemma-3 chứng minh ComPO cải thiện tỷ lệ thắng có kiểm soát độ dài và giảm thiểu hiệu quả hiện tượng dịch chuyển likelihood so với các phương pháp căn chỉnh trực tiếp hiện hành.

Pixel-UMI là quy trình học chính sách điều khiển robot di động toàn thân có nhận thức môi trường từ dữ liệu con người đeo cảm biến. Phương pháp giải quyết rào cản khác biệt hình thể (embodiment gap) thông qua: Environment-Aware Retargeting (EAR) giúp sinh tư thế và quỹ đạo tránh va chạm, gán hành động hiệu chuẩn độ trễ, và Retargeting-Error-Aware Masking (REAM) để xử lý lệch góc nhìn quan sát. Đồng thời, hệ thống tích hợp can thiệp trực tiếp từ người qua DAgger cho các tác vụ tiếp xúc lực cao, đạt 87.0% tiến độ nhiệm vụ trên 5 bài đánh giá phức tạp.

SecPO giới thiệu phương pháp huấn luyện đối kháng (AT) có cơ sở lý thuyết nhằm giải quyết triệt để nguy cơ prompt injection trên AI agent. Nghiên cứu chỉ ra điểm yếu của Meta-SecAlign (dùng DPO) là neo vào reference model không an toàn, dẫn đến ASR gần 100% trước tấn công thích ứng. SecPO khắc phục bằng hàm mất mát mới xấp xỉ oracle bất biến với injection cùng pipeline AT tổng hợp tấn công mạnh (best@240). Áp dụng trên Qwen3.6-27B, SecPO + AT giảm ASR trên benchmark AgentDojo từ 78,8% xuống 8,8% mà không làm suy giảm hiệu năng trên 9 benchmark thông thường. Toàn bộ code, dữ liệu và mô hình đã được công khai.

AegisFlow là khung hướng dẫn tạo sinh không cần huấn luyện (training-free) và có tầm nhìn toàn cục (non-myopic) dành cho các mô hình Flow Matching và Diffusion. Thay vì dùng các bộ điều khiển min-norm cận thị dễ làm quỹ đạo sinh bị kẹt sát ranh giới an toàn, AegisFlow mô hình hóa quá trình tạo sinh thành bài toán điều khiển tối ưu an toàn toàn cục. Bằng cách tích hợp hàm rào cản biến thiên theo thời gian vào hàm mục tiêu và giải qua nghiệm xấp xỉ phương trình Hamilton-Jacobi-Bellman (HJB), phương pháp đạt được sự cân bằng vượt trội giữa việc tuân thủ ràng buộc an toàn và bám sát mục tiêu tạo sinh.

Nghiên cứu giới thiệu Constraint-Referenced Strategy (CRS), một phương pháp đánh giá chính sách thao tác vật thể có khớp nối dựa trên động học thay vì chỉ dựa vào tỷ lệ thành công nhị phân. CRS chiếu vận tốc xoắn (twist) của khâu chấp hành cuối lên trục khớp của vật thể để phân tách chuyển động thực tế dọc trục với các chuyển động lệch trục gây lãng phí hoặc hư hại cơ học. Phương pháp chỉ yêu cầu mô hình khớp và bộ điều khiển kịch bản tương ứng, không cần dữ liệu biểu diễn mẫu hay judge model. Thử nghiệm trên 74 vật thể mô phỏng cho thấy CRS phân biệt rõ các dạng lỗi chuyển giao mà chỉ số nhị phân bỏ sót, đồng thời duy trì độ tin cậy khi sai số góc trục khớp lên đến 30 độ.

Nghiên cứu giới thiệu Natural Hard-Negative Mining (NHNM), phương pháp tự động khai thác hard negative từ chính positive passage ban đầu dưới các chỉ thị đảo ngược tương thích với truy vấn. Quy trình gồm ba bước: Candidate Cleaning, Reversal Construction và Geometry Filtering. Áp dụng trên MSMARCO tạo ra bộ dữ liệu NHNM-MARCO (~7K mẫu), giúp các mô hình từ 568M đến 4B tham số đạt hiệu năng tuân thủ chỉ dẫn vượt trội trên InstructIR và FollowIR, sánh ngang các mô hình lớn hơn nhiều.

Nghiên cứu đề xuất một giao thức chẩn đoán nhằm tách bạch hai cơ chế trong mô hình GNN dự báo phụ tải điện: chia sẻ tham số (parameter sharing) và truy cập láng giềng (neighborhood access). Bằng cách so sánh GNN với ba mô hình đối chứng (mô hình riêng từng nút, mô hình dùng chung tham số không có đồ thị, và GNN bỏ cạnh) cùng thử nghiệm tráo đổi cạnh bảo toàn bậc, kết quả trên các tập dữ liệu tại Pháp và Anh chỉ ra rằng việc chia sẻ tham số đóng góp phần lớn lợi ích của GNN (khoảng 2/3), trong khi các cạnh đồ thị chỉ mang lại cải thiện rất nhỏ hoặc không rõ ràng. Do đó, các cải thiện dự báo chỉ nên được quy cho đồ thị sau khi đã đối chuẩn nghiêm ngặt với các mô hình tham chiếu không đồ thị.

Nghiên cứu chỉ ra rằng đánh giá theo cặp (pairwise evaluation) bỏ sót thành phần điểm số dùng chung giữa các phản hồi của cùng một prompt, khiến điểm số của mô hình thưởng (reward model) không đáng tin cậy khi so sánh giữa các prompt khác nhau. Tác giả đề xuất khung kiểm toán đối chiếu với con người và phát hiện các mô hình thưởng bị gom cụm điểm theo prompt quá mức so với đánh giá của con người (tỷ lệ 0.34–0.64 so với mức xấp xỉ 0 ở người trên HelpSteer2). Dù vậy, một phần biến thiên này vẫn mang giá trị hữu ích cho việc chọn lọc phản hồi, do đó bài báo đề xuất cần đánh giá riêng biệt độ biến thiên liên-prompt, độ nhạy với prompt sai và hiệu quả chọn lọc toàn cục.