Research

Nghiên cứu trên Gemma-3 và Qwen3.5 chỉ ra rằng nguyên nhân chính khiến mô hình thị giác-ngôn ngữ (VLM) phân loại sai meme độc hại là do lỗi định tuyến (misrouted) bằng chứng ra đầu ra chứ không phải do thiếu biểu diễn nội bộ. Bằng cách sử dụng sparse autoencoders, probe theo vai trò và can thiệp nhân quả trên 6 benchmark, nhóm tác giả chứng minh sparse readout vượt trội rõ rệt so với dự đoán gốc (Qwen đạt macro-F1 0.740 so với 0.432; Gemma đạt 0.714 so với 0.532). Kỹ thuật calibration-only routing giúp khôi phục tới 93.3% khoảng cách hiệu năng và probe-distilled LoRA cải thiện đáng kể dự đoán gốc.

Nghiên cứu giới thiệu Maximally-Activating Example Metamodels (MAEMs), phương pháp sử dụng mô hình ngôn ngữ được tối ưu hóa bằng RL không nhãn để đảo ngược kích hoạt (activation inversion), chuyển đổi các hướng trong residual stream thành văn bản mẫu kích hoạt tối đa. Thử nghiệm với Qwen3.6-27B cho thấy MAEM vượt trội hơn corpus search và NLA, kích hoạt 89% SAE features, phát hiện backdoor LoRA và mang lại cơ chế diễn giải có thể kiểm chứng trực tiếp bằng forward pass.

LoopVQ là phương pháp lượng tử hóa vector (KV cache vector quantization) dưới 1-bit dành riêng cho looped transformers. Dù kiến trúc looped transformer giúp tiết kiệm tham số bằng cách tái sử dụng tầng qua nhiều bước lặp, KV cache lại phình to tuyến tính theo số bước lặp và trở thành nút thắt bộ nhớ lớn nhất. LoopVQ giải quyết vấn đề này bằng cách mã hóa liên hợp các kênh qua nhiều bước lặp và tinh chỉnh codebook để khớp với đầu ra full-precision. Ở mức 0.5 bit/element (và 0.25 bit/element khi kết hợp TaSQ), LoopVQ vượt trội các phương pháp VQ hiện nay trên các mô hình Ouro và Huginn mà vẫn giữ phần lớn độ chính xác BF16. Triển khai trong SGLang giúp giảm gần một nửa độ trễ giải mã ở context 32K và tăng thông lượng serving từ 4.3x đến 6.1x.

Nghiên cứu chuẩn hóa 13 mẫu thiết kế (patterns) ghép nối mô hình ngôn ngữ lớn với engine suy diễn luật theo cấu trúc thiết kế hướng đối tượng. Bài báo phân tích ranh giới dữ liệu, luồng điều khiển, vai trò suy luận và lưu trữ tri thức; thiết lập 5 bất biến kiến trúc cùng 5 phản mẫu thất bại, đồng thời cung cấp cẩm nang hướng dẫn lựa chọn kiến trúc dựa trên đo lường chi phí và hiệu quả thực nghiệm.

Nghiên cứu chỉ ra việc đóng gói dữ liệu 3D thành chuỗi 1D khiến các cơ chế vị trí học bố cục bộ nhớ thay vì hình học vật thể, dẫn đến sụp đổ hiệu năng khi thay đổi cách xếp token. PACK3D khắc phục điều này bằng cách tách biệt bố cục bộ nhớ khỏi hình học chú ý: giữ nguyên chú ý lân cận cục bộ, nén ngữ cảnh xa thành các khối tóm tắt 3D và áp dụng axial RoPE trên tọa độ lưới 3D thực trước khi nén để duy trì tính diễn giải không gian. Với kernel Triton hợp nhất, PACK3D đạt độ trễ tương đương windowed-attention ở 65k tokens và vượt trội hơn 3D U-Net trên tập dữ liệu vi ảnh Allen WTC-11 hiPSC.

CausalCoT là khung suy luận giải quyết hiện tượng rò rỉ chú ý (attention leakage) trong CoT thông thường, vốn khiến mô hình tạo ra lời biện hộ hậu nghiệm thay vì suy luận thực sự. Bằng cách phân rã bài toán thành đồ thị có hướng không chu trình (DAG) gồm các câu hỏi phụ và cô lập ngữ cảnh từng nút chỉ chứa các nút cha nhân quả trực tiếp, CausalCoT tăng độ nhạy nhân quả trung gian thêm 12-21 điểm phần trăm so với baseline mà vẫn giữ vững hiệu năng, đồng thời cho phép can thiệp và sửa lỗi cục bộ trong quá trình suy luận.

Nghiên cứu trường hợp triển khai thực tế công cụ Composer dựa trên mô hình dữ liệu chuẩn (Golden Data Model - GDM) chứa 1.867 tuyên bố dược phẩm. Hệ thống chuyển đổi các quy tắc tuân thủ và cá nhân hóa từ prompt sang bộ lọc ngữ cảnh có cấu trúc tại thời điểm truy xuất (retrieval time), giúp tăng 86% điểm chất lượng 6C, tăng khả năng nhắm đúng đối tượng (+67%), tăng tỷ lệ tái sử dụng (+34%) và giảm 29,5% chi phí API hàng tuần.

OptScientist là một khung làm việc tự động nhằm phát hiện các quy luật tối ưu hóa dạng ký hiệu trực tiếp từ dữ liệu thực nghiệm thay vì chỉ tìm các phương trình mô tả bề mặt. Hệ thống kết hợp mô hình trích xuất bài toán tối ưu hóa ký hiệu với một tác tử LLM có khả năng tích hợp tri thức tiền nghiệm từ tài liệu khoa học, trừu tượng hóa cơ chế và đề xuất thu thập dữ liệu mới. Trên benchmark OptFeynman (99 bài toán vật lý), OptScientist khôi phục chính xác hơn 80% quy luật gốc và vượt trội so với các baseline ML/LLM; đồng thời đạt hiệu năng dự đoán tốt trong bài toán lựa chọn rủi ro và chính sách tiền tệ với mô hình gọn nhẹ, ít tham số.

Nghiên cứu phát hiện lỗ hổng cấu trúc mang tên 'mù phân cực' (polarity blindness) trong các rào chắn an toàn của LLM: mô hình thất bại trong việc nhận diện ý đồ độc hại khi câu bị đảo ngược phân cực qua phủ định ngữ pháp hoặc thay thế từ trái nghĩa. Thử nghiệm trên 260 prompt với 10 LLM hàng đầu trên 3 ngôn ngữ (Anh, Tây Ban Nha, Séc) cho thấy phần lớn mô hình đều bị ảnh hưởng, với điểm nguy hại trung bình lên tới 4.12/5, khẳng định đây là hạn chế nền tảng về độ bền ngữ nghĩa thay vì lỗi ngữ pháp cục bộ.

Sherpa là khung huấn luyện học tăng cường đa lượt (multi-turn RL) được thiết kế để dạy các mô hình ngôn ngữ lớn (LLM) kỹ năng sư phạm thích ứng. Thay vì dựa vào dữ liệu biểu diễn hay tiêu chí sư phạm cố định, Sherpa mô phỏng nhiều nhóm học sinh điển hình với phong cách học khác nhau và tối ưu hóa mô hình giáo viên trực tiếp dựa trên kết quả học tập của học sinh. Phương pháp này giúp cải thiện kết quả học tập của học sinh mô phỏng trung bình 20,5 điểm phần trăm, nâng điểm sư phạm trên MathTutorBench từ 52,5% lên 79,2%, và được con người ưa chuộng hơn 79,6% so với mô hình gốc.

Nghiên cứu trên benchmark iGSM chỉ ra rằng câu trả lời đúng không đồng nghĩa với chuỗi suy nghĩ (CoT) hợp lệ. Khi đánh giá ngoài phân phối (OOD) trên các bài toán khó nhất, 31,6% câu trả lời đúng đi kèm trace không hợp lệ (hơn một nửa vượt qua kiểm tra cú pháp và số học nhưng trượt kiểm tra phụ thuộc ngữ nghĩa). Can thiệp vào trace huấn luyện (xáo trộn 10% token hoặc tráo đổi trace) vẫn giúp mô hình giữ độ chính xác cao dù trace hỏng hoàn toàn. Điều này đặt ra thách thức lớn đối với việc dùng CoT để kiểm toán agent và giám sát an toàn AI.

Nghiên cứu đề xuất giải pháp phát hiện người đi bộ bị che khuất không tốn chi phí huấn luyện hay nhãn gán, bằng cách so sánh sự bất đồng thứ tự giữa hai tín hiệu khoảng cách đơn kính sẵn có: chiều cao biểu kiến từ bounding box và độ sâu metric từ depth map. Phương pháp đạt AUC 0.909 trên KITTI và 0.819 trên CARLA, giải quyết hiệu quả bài toán sụt giảm hiệu năng khi triển khai ngoài phân phối dữ liệu (như từ Đức sang Lagos, Nigeria).

RECAP là giải pháp speculative decoding không cần huấn luyện (training-free) dành cho Vision-Language Models (VLM), khắc phục hạn chế nhầm lẫn ngữ cảnh của phương pháp Token Recycling truyền thống. Bằng cách phân tách bộ nhớ thành bộ nhớ ngữ cảnh cục bộ theo request (khóa 1, 2, 3 token gắn liền với ảnh) và bộ nhớ cấp token lâu dài giữa các request, kết hợp cơ chế tính trọng số entropy-độ tin cậy và tìm kiếm cây Best-First Search, RECAP giúp tăng tốc giải mã trung bình 1.66x trên Qwen2.5-VL-7B và 1.56x trên LLaVA-1.6-7B mà không cần mô hình draft phụ trợ.

PEARL (Prediction Error-Adaptive Regularized Learning) là phương pháp neural contextual bandit giải quyết bài toán trôi dạt sở thích cục bộ (partial preference drift) trong cá nhân hóa LLM và hệ thống gợi ý. Thay vì quên đồng nhất mọi chiều đặc trưng như các phương pháp sliding-window hay discounted truyền thống, PEARL thực hiện quên có chọn lọc bằng cách đảo ngược cập nhật ma trận Gram dọc theo các hướng đặc trưng có sai số dự đoán bất thường, bảo toàn tri thức ở các chiều còn hợp lệ. Thuật toán có bảo đảm lý thuyết với regret tích lũy chỉ tỷ lệ theo số người dùng đổi sở thích (N_s) thay vì tổng dân số (N). Trên benchmark PRISM (1.500 người dùng, 21 LLM), PEARL vượt greedy +4,0 điểm, vượt neural bandit tốt nhất +2,5 điểm (p < 0,001) và vượt sliding-window/discounted từ 3–10 điểm. Chính sách là MLP ~100K tham số chạy mili-giây trên CPU, giữ nguyên trọng số LLM và hoạt động với mọi API LLM.

DreamX là phương pháp tái sử dụng mô hình video diffusion tiền huấn luyện để học biểu diễn hành động tiềm ẩn phổ quát. Bằng cách nén mỗi khung hình video 300 lần (từ 1.200 xuống 4 token) và tận dụng generative prior, DreamX trích xuất các động lực học cốt lõi tách biệt khỏi diện mạo thị giác. Không gian tiềm ẩn này hoạt động như một giao diện chung giữa người và robot, đạt kết quả SOTA trên LARY-Bench, hỗ trợ zero-shot action transfer và giảm tải chi phí tính toán cho các chính sách dựa trên video diffusion.

Nghiên cứu đánh giá hiện tượng 'trấn an sai lệch' (false reassurance) của LLM trong chỉ dẫn thời tiết nguy hiểm bằng cách tái hiện 117 ca thực tế từ cơ quan NWS qua 5 điều kiện pipeline dựa trên Claude. Kết quả cho thấy tỷ lệ trấn an sai là 0% khi có dữ liệu cảnh báo thực tế, nhưng lên tới 37.7% khi không có cảnh báo và tăng thành 44.9% nếu yêu cầu LLM tự khai báo điểm mù. Ngoài ra, chỉ cấp dữ liệu cảnh báo với prompt trung tính lại gây báo động giả tới 87.5% ở ca bình thường, đòi hỏi prompt sản xuất được tối ưu để kiểm soát. Nghiên cứu cũng cảnh báo về lỗi regex tự động, lỗi nạp bản tin thử nghiệm, cạn token budget, đồng thời phát hành mã nguồn và dataset.

Nghiên cứu giới thiệu Advantage-Based On-Policy Distillation (AOPD) nhằm giải quyết hạn chế của On-Policy Distillation (OPD) truyền thống vốn giả định mọi chỉ dẫn của teacher đều có lợi. AOPD đánh trọng số hành động của teacher theo lợi thế phản thực tế (counterfactual advantage) đối với student, chỉ củng cố những hành động thực sự nâng cao tỷ lệ thành công. Phương pháp sử dụng bộ ước lượng importance weights dựa trên chính các rollout chuẩn và phần thưởng cuối của student, giúp giám sát không chệch mà không tốn thêm rollout hay đánh giá phần thưởng. Thực nghiệm trên toán học, lập trình và MedQA chứng minh AOPD vượt trội hơn các phương pháp distillation và RL ở cả kịch bản external-teacher lẫn self-distillation.

Nghiên cứu đề xuất khung tối ưu hóa không gian con (subspace optimization) tiết kiệm bộ nhớ kết hợp hiệu chỉnh phần dư (residual correction) cho huấn luyện LLM. Nhằm giải quyết tình trạng nhiễu gradient chi phối không gian con ở giai đoạn sau gây mất hội tụ, phương pháp duy trì trạng thái optimizer trong không gian con và cộng gradient phần dư trực giao vào bước cập nhật. Khung này được áp dụng cho Momentum SGD (tạo thành SMRC) và bộ tối ưu hóa Muon (tạo thành PMRC). Cả hai thuật toán cùng các biến thể đa giai đoạn (định kỳ làm mới cơ sở với cơ chế hiệu chỉnh biên boundary correction) đều đạt tốc độ hội tụ O(T^(-1/4)), ngang bằng với các bộ tối ưu hóa toàn không gian tương ứng.

Nghiên cứu trình bày phương pháp đánh giá world model từ môi trường thực tế thông qua vòng lặp Dyna bất đồng bộ liên tục cho game MOBA 10 tướng (206 đơn vị, tối đa 6.000 tick). Chính sách chỉ được huấn luyện trong các tập tưởng tượng (dream) 1.400 tick bằng Dream-PPO và không nhận gradient trực tiếp từ game thực; game thực chỉ đóng vai trò cung cấp dữ liệu tự sinh để cập nhật world model và đánh giá trực tuyến nhằm neo chính sách. Kết quả đạt tỷ lệ thắng 70,2% ở phe Radiant (so với 0% khi chỉ train dream và 33,7% trước vòng lặp Dyna). Nghiên cứu làm rõ 4 phát hiện cốt lõi: lỗi khai thác mô hình không thể phát hiện từ bên trong dream; world model bị lệch phân phối dữ liệu trên ván đấu của policy mới và được Dyna khắc phục (+9,2% win rate); policy kế thừa độ trung thực của mô hình (thắng nhờ chiến thuật vĩ mô thay vì phối hợp vi mô); và nhóm tác giả mở mã nguồn toàn bộ world model, công cụ gỡ lỗi cùng dữ liệu thử nghiệm.

InfiNoVA là khung tăng cường dữ liệu đột phá dành cho các chính sách robot thị giác - ngôn ngữ - hành động (VLA), giải quyết vấn đề suy giảm hiệu năng nghiêm trọng khi quan sát từ các góc nhìn camera chưa từng thấy. Thay vì tốn kém thu thập nhiều góc camera vật lý hoặc dùng mô hình sinh dễ tạo ảo giác, InfiNoVA tái dựng quỹ đạo thao tác thành biểu diễn 3D Gaussian biến đổi theo thời gian và kết xuất các góc nhìn mới có tính nhất quán hình học cao, bảo toàn mối liên kết trạng thái - hành động. Trên 4 tác vụ thao tác thực tế, InfiNoVA nâng tỷ lệ thành công lên gấp 5,4 lần dưới các góc nhìn ngẫu nhiên và vượt 1,7 lần so với việc học từ 5 camera thực tế, mở đường cho việc triển khai robot bền bỉ mà không cần sửa đổi kiến trúc mô hình.

PAA (Probabilistic Allen Algebra) là phần mở rộng xác suất sinh và đầy đủ cho đại số khoảng thời gian Allen, tính toán xác suất quan hệ trực tiếp từ phân phối ranh giới (điểm mốc Gauss và độ dài Gauss cắt cụt). Mọi quan hệ được quy về hàm sai số và xác suất góc phần tám chuẩn đa biến thông qua bất đẳng thức tuyến tính. Nhờ dải dung sai cho các quan hệ tiếp xúc, 13 quan hệ tạo thành một phân hoạch hoàn chỉnh và khôi phục chính xác đại số Allen kinh điển khi dung sai bằng 0. Công trình được kiểm chứng bằng Monte-Carlo và phát hành thư viện Python mã nguồn mở.

Nghiên cứu giới thiệu 'tính kiểm toán được' (auditability) như trục đánh giá thứ tư cho machine unlearning trên LLM (được định nghĩa là khoảng cách phân tách thống kê giữa dữ liệu cần xóa và dữ liệu giữ lại), nhằm giải quyết khoảng trống khi các nhà cung cấp chưa thể đưa ra bằng chứng xóa dữ liệu cho người dùng. Đánh giá 11 phương pháp unlearning trên các benchmark TOFU, MUSE và RWKU cho thấy tất cả đều thất bại trên ít nhất một trục. Để khắc phục, nhóm tác giả đề xuất quy trình 2 giai đoạn: GapWiden (dùng hinge loss mở rộng khoảng cách thống kê kiểm toán) và GapVeil (bộ lấy mẫu từ chối khi suy luận dùng mô hình gốc làm drafter). Giải pháp giúp mọi phương pháp unlearning đạt mức kiểm toán và bảo mật rò rỉ ngang ngửa oracle, đưa khả năng quên tiệm cận oracle và cải thiện năng lực giữ lại tri thức trên 9/11 phương pháp.

Nghiên cứu chỉ ra rằng các biện pháp can thiệp cấp đặc trưng bằng Sparse Autoencoders (SAE) nhằm ngăn chặn rò rỉ PII trên LLM hiện bị đánh giá sai lệch nếu chỉ dựa vào việc giảm log-probability (logprob). Tiêu chí này không thể phân biệt giữa triệt tiêu đặc trưng mục tiêu và hiệu ứng giả do biên độ nhiễu (magnitude artifact). Trong 36 trường hợp thử nghiệm, dù 47% có vẻ thành công khi chỉ đo logprob, thực tế chỉ có 2,8% vượt qua khung đánh giá đa chỉ số khi so sánh với hướng ngẫu nhiên đối chứng. Phân tích 9.000 lượt kiểm thử nhân quả khẳng định việc chọn đặc trưng theo tương quan hiếm khi tác động đúng đường dẫn nhân quả, từ đó nhóm tác giả đề xuất định hướng tiếp cận mới dựa trên định vị mạch nơ-ron và phân tích trung gian nhân quả.

DecisionRAG là phương pháp truy xuất tài liệu không cần retriever truyền thống (retriever-free), ứng dụng mô hình quyết định dựa trên LLM tiền huấn luyện để đánh giá đồng thời các nhánh ứng viên trong một lượt forward pass duy nhất (không sinh token). Hệ thống duyệt tài liệu theo cấu trúc phân cấp từ chủ đề rộng đến đoạn văn cụ thể tương tự con người tra cứu trong thư viện. Không cần huấn luyện theo tác vụ hay bộ truy xuất bước đầu, DecisionRAG vượt trội hơn dense retrieval kèm reranker 8B (+13.8 R@1 trên MultiDoc2Dial, +17.4 Hit@1 trên Natural Questions), đạt tốc độ truy xuất 0.7-1.8 giây/truy vấn trên 2.68 triệu đoạn Wikipedia.