Research

Nghiên cứu từ Roblox đề xuất khung học tăng cường nhận thức tìm kiếm (Search-Aware RL) cho bài toán hiểu truy vấn đa thành phần (QU) theo mô hình 'chưng cất rồi đến RL' (distill-then-RL). Giai đoạn SFT giáo viên - học sinh ban đầu giúp mô hình sinh đầu ra tuân thủ cấu trúc schema, tiếp theo là giai đoạn RL tối ưu từng thành phần QU bằng các phần thưởng riêng biệt bắt nguồn từ tương tác trực tiếp với search engine. Phương pháp này nâng NDCG@20 thêm 8,9 điểm so với SFT và 3,5 điểm so với huấn luyện bằng phần thưởng end-to-end đơn lẻ.

QueryFlow là phương pháp truy xuất đồ thị đa bước (multi-hop) cho RAG, mô hình hóa quá trình tìm kiếm như sự tiến hóa đồng thời giữa biểu diễn bằng chứng và điều kiện truy vấn. Bằng cách tích hợp tuần hoàn ngữ cảnh đồ thị vào trạng thái truy vấn chung để định hướng các bước lan truyền tiếp theo, QueryFlow cải thiện 8.0 điểm phần trăm độ chính xác của LLM trên 4 tập dữ liệu hỏi đáp đa bước.

FARMS là nền tảng giúp chuyển đổi toán học tính toán thành tri thức điện toán sẵn sàng cho AI có thể tái sử dụng kèm bảo chứng định lượng rõ ràng. Hệ thống kết nối phát biểu hình thức với ngữ cảnh thuật toán qua quy trình chuẩn bị nguồn, biểu diễn tái sử dụng và thẩm định ngữ nghĩa. Trên 171 mục tiêu về đại số tuyến tính số học ngẫu nhiên và phương trình vi phân riêng phần số, FARMS đã xử lý thành công 157 mục tiêu với chi phí ước tính chỉ 0,85 - 2,29 USD mỗi mục tiêu và được kiểm chứng logic bằng Lean.

VideoLVR là phương pháp nâng cao năng lực suy luận video của các mô hình ngôn ngữ lớn đa phương thức (MLLM) thông qua việc tạo ra các bằng chứng thị giác tiềm ẩn (latent visual evidence) tại các thời điểm liên quan. Thay vì dựa vào tọa độ văn bản (thiếu chi tiết) hoặc chèn lại khung hình/vùng cắt (làm bùng nổ ngữ cảnh), VideoLVR thống nhất tái tạo bằng chứng thị giác và sinh văn bản trong cùng một khung dự đoán token dựa trên từ vựng trích xuất từ video. Phương pháp này còn được mở rộng với học tăng cường (RL), coi token thị giác như hành động để tối ưu theo phần thưởng kết quả cuối, giúp cải thiện độ chính xác trên các tác vụ đòi hỏi chi tiết thị giác cao mà không làm tăng đáng kể độ dài ngữ cảnh.

REGER là khung kiến trúc thống nhất dành cho hệ thống gợi ý tạo sinh (Generative Recommendation - GR), giúp mô hình hóa rõ ràng quan hệ ngữ nghĩa và cộng tác giữa các vật phẩm. Khung làm việc bao gồm: tiền huấn luyện bằng cách sinh Semantic ID (SID) của các item láng giềng ngữ nghĩa, cơ chế attention lai (global kết hợp local theo ranh giới SID), và kỹ thuật chưng cất tri thức sở thích phân cấp từ mô hình discriminative teacher dựa trên nền tảng phân rã toán học trên cây tiền tố SID.

Nghiên cứu đánh giá việc mở rộng ngữ cảnh agent LLM (sử dụng Qwen2.5-Coder-7B-Instruct và bản 1.5B qua 13.638 lượt truy vấn) trong kiểm định phần mềm khi đã có công cụ tất định. Kết quả qua 5 thực nghiệm (cảnh báo Java, OWASP, Defects4J, SV-COMP và gói bằng chứng nhiễu) chỉ ra: tăng từ 1 lên 50 ngữ cảnh khiến lượng token tăng gấp 49 lần mà không cải thiện việc loại bỏ cảnh báo không an toàn; phản hồi verifier dạng thô làm tăng phán đoán đúng nhưng cũng khiến phán đoán sai tăng từ 1 lên 7 (thua kém baseline JBMC-plus-JVM đạt 26 đúng và 0 sai); mô hình từ chối 70-100% phản ví dụ hợp lệ và không tìm thấy lỗi nào trong Defects4J. Kết quả khẳng định sự cần thiết của việc công nhận bằng chứng tất định thay vì lạm dụng mở rộng ngữ cảnh LLM.

Nghiên cứu thiết lập khung lý thuyết và thuật toán cho bài toán ước lượng phần thưởng thưa có bảo vệ quyền riêng tư vi sai (Private Sparse RLHF) từ dữ liệu phản hồi cặp đôi (Bradley-Terry-Luce model). Bằng cách khai thác giả định phần thưởng chỉ phụ thuộc vào $s^* \ll d$ đặc trưng, phương pháp giải quyết triệt để nút thắt phụ thuộc đa thức vào kích thước mô hình $d$ của các phương pháp dense DP trước đây, đạt cận lỗi lý thuyết tối ưu cho cả Sample-DP và Label-DP, đồng thời mang lại sự đánh đổi privacy-utility vượt trội trong thực nghiệm.

Nghiên cứu giới thiệu khung làm việc Causal Constrained Offline RL cho hệ thống Next Best Action (NBA), giúp tối ưu hóa can thiệp khách hàng (như giảm giá, khuyến mại) dựa trên giá trị kinh tế dài hạn và các ràng buộc vận hành. Phương pháp tiếp cận mô hình hóa bài toán dưới dạng CMDP và đưa cơ chế hiệu chỉnh nhân quả off-policy trực tiếp vào quy hoạch tuyến tính (LP). Cách tiếp cận này vừa thực thi các rào cản kinh doanh vừa cung cấp giá bóng (shadow prices) để giải thích sự đánh đổi kinh tế. Trong thử nghiệm thực tế với dịch vụ gọi xe sử dụng trạng thái RFM, chính sách tối ưu giúp tăng 19% giá trị vòng đời khách hàng (LTV) so với chính sách hành vi và 8% so với baseline cận thị.

GeoState là biểu diễn hình học tách rời góc nhìn (view-decoupled) cho mô hình thế giới 3D, giúp phân tách sự tiến hóa của trạng thái cảnh vật khỏi quan sát phụ thuộc camera. Hệ thống sử dụng bộ mã hóa cảnh (scene tokenizer) để tổng hợp đặc trưng đa góc nhìn từ Geometry Foundation Models (GFMs) thành trạng thái cảnh độc lập, một mô hình thế giới tự hồi quy để dự đoán trạng thái tương lai riêng biệt với chuyển động camera, và bộ giải mã truy vấn bằng tia camera. GeoState duy trì một tỷ lệ hình học nhất quán xuyên suốt quá trình rollout mà không cần căn chỉnh tỷ lệ theo từng khung hình, đạt hiệu năng vượt trội trên Waymo và khái quát hóa zero-shot sang KITTI và nuScenes.

Nghiên cứu chỉ ra rằng phương pháp chưng cất tự thân on-policy truyền thống dựa trên chấm điểm thuần túy không thể định vị lỗi và không cung cấp tín hiệu sửa sai cho chuỗi suy luận, do việc tìm lỗi bản chất là bài toán tìm kiếm (search). Để giải quyết, nhóm tác giả đề xuất critique-conditioned self-distillation: mô hình giáo viên sinh lời phê bình (critique) trước rồi mới chấm điểm. Cơ chế này giúp định vị lỗi chính xác, điều chỉnh xác suất sang các token quay đầu/suy nghĩ lại (như 'Wait', 'But', 'Actually'), hỗ trợ tự sửa lỗi ở test-time và giải quyết bài toán khởi động lạnh (cold-start) trong GRPO.

QCATS là khung làm việc suy luận thưa (sparse inference) cho mô hình Transformer trong cơ sở dữ liệu ở cấp độ truy vấn. Bằng cách sử dụng các vị từ truy vấn và siêu dữ liệu thống kê để chọn trước các lát cắt FFN (FFN slices) phù hợp ngữ cảnh, kết hợp đường ống CPU-GPU bất đồng bộ và gom lô thông minh, QCATS giảm độ trễ tới 4.42 lần trên BERT-base và Qwen-0.6B mà vẫn bảo toàn độ chính xác so với mô hình dense.

Nghiên cứu đề xuất khung học chi phí dựa trên truy vấn (query-based cost learning) cho hệ thống lái xe tự hành end-to-end, ước lượng chi phí cho các quỹ đạo tiếp cận được theo động lực học thay vì hồi quy điểm mốc hay dùng lưới BEV dày đặc. Bằng cách kết hợp scene token đa phương thức, tổng hợp chi phí dự phòng và kỹ thuật MPPI có hướng dẫn chi phí, phương pháp giảm tỷ lệ va chạm đáng kể trên benchmark nuScenes và dữ liệu lái xe thực tế (so với SparseDrive, Alpamayo) mà không cần tinh chỉnh thêm.

HC-DLM (Hierarchical Continuous Diffusion Language Models) là mô hình khuếch tán ngôn ngữ phân cấp kết hợp quá trình sinh token rời rạc với quỹ đạo ẩn liên tục (continuous latent trajectory) trong quy trình khử nhiễu thống nhất. Bằng cách dùng biến ẩn liên tục làm trạng thái sinh bền vững duy nhất và lấy token làm khung đỡ (scaffold) phản hồi ở mỗi bước, HC-DLM giải quyết tình trạng mất phụ thuộc thống kê khi giải mã song song của discrete diffusion và thiếu ràng buộc token của continuous diffusion, giúp cải thiện vượt trội độ chính xác trên bài toán suy luận ràng buộc (Sudoku, Countdown) và giảm perplexity trên LM1B.

GenCine là hệ thống tạo video có khả năng kiểm soát cao, khắc phục sự nhập nhằng của quỹ đạo 2D khi camera và đối tượng cùng chuyển động. Bằng cách nâng ảnh đơn thành giàn cảnh 3D (3D scene scaffold), người dùng có thể đồng tác giả đường đi của camera và di chuyển các vùng tiền cảnh bằng các tay cầm 3D cục bộ theo cơ chế xấp xỉ từng đoạn cứng. Tín hiệu này được chiếu thành bản đồ dẫn đường (guidance maps) theo tọa độ thế giới và truyền vào mô hình Wan có sẵn thông qua nhánh dẫn đường nhẹ cùng LoRA, giúp tạo video nhất quán về hình học và góc nhìn.

PickMoment là phương pháp tái định nghĩa bài toán khử nhòe chuyển động theo hướng thời gian liên tục (continuous-time), cho phép học giá trị mờ trung bình trong các khoảng thời gian phơi sáng tùy ý thông qua một mô hình tất định duy nhất. Lấy cảm hứng từ MeanFlow, mô hình hợp nhất ba tác vụ: khử nhòe ảnh đơn, biến ảnh nhòe thành video và khôi phục khoảnh khắc bất kỳ chỉ trong một lần lan truyền xuôi (single forward pass) mà không cần lấy mẫu lặp lại. Mô hình đạt kết quả SOTA trên các bộ dữ liệu GoPro và HIDE so với các phương pháp tạo sinh, đồng thời cạnh tranh tốt trên RealBlur.

Nghiên cứu đề xuất sử dụng mô hình thế giới ngẫu nhiên (stochastic world models) làm mô hình quan sát đại diện để kiểm chứng hình thức cho các hệ thống phản hồi nơ-ron dựa trên thị giác. Khác với GAN cồng kềnh và khó kiểm chứng, mô hình mới sử dụng các biến ẩn có cơ sở vật lý với phép toán được chặn biên, tái tạo khung hình chính xác hơn dù có số tham số ít hơn tới 130 lần. Đi kèm là quy trình kiểm chứng tích hợp (phản chứng, tinh chỉnh thích ứng, phân tích ký hiệu và phân tích ngược), giúp giải quyết 100% không gian trạng thái trên benchmark phanh khẩn cấp (vượt trội so với SOTA trước đó bỏ sót 38%) và giải quyết hơn 80% trên benchmark ảnh RGB lần đầu được công bố.

Nghiên cứu giới thiệu Direct Message Approximation (DMA), một khung suy luận xấp xỉ trên đồ thị nhân tố (factor graphs) nhằm khắc phục các nhược điểm cố hữu của Expectation Propagation (EP) và Variational Message Passing (VMP). Thay vì xấp xỉ phân phối biên tại mỗi cạnh, DMA trực tiếp xấp xỉ thông điệp từ nhân tố đến biến dựa trên điều kiện nhất quán. DMA loại bỏ hoàn toàn vòng lặp lặp lại kiểu EP, ngăn chặn thông điệp độ chính xác âm và tránh sụp đổ về ước lượng điểm tại các nhân tố Dirac-delta. Phương pháp được kiểm chứng thành công trên mạng nơ-ron Bayes (BNN) với nhân tố tích và leaky-ReLU, chỉ cần một lượt lan truyền xuôi/ngược trên mỗi mẫu dữ liệu mà không cần siêu tham số learning rate, đồng thời mở rộng độ bất định chính xác tại các vùng thưa dữ liệu.

SWE-Prometheus là bộ benchmark mới gồm 60 kho mã nguồn thực tế nhằm đánh giá năng lực của các agent lập trình LLM trong việc cải thiện quản trị kỹ thuật kho mã nguồn (engineering governance). Thay vì chỉ kiểm tra sửa lỗi đơn lẻ theo mô tả có sẵn, benchmark đặt ra snapshot cố định và mục tiêu mở, yêu cầu agent xác định rủi ro, ưu tiên can thiệp và kiểm chứng thay đổi trên 6 chiều quản trị (bao gồm Tests & CI, Quality Gates, Documentation, Reproducible Environment, Dependency & Security). Thử nghiệm trên tập công khai 22 repo cho thấy chỉ số cải thiện quản trị chuẩn hóa (NGI) trung bình dao động từ 0.0568 đến 0.5760 và tỷ lệ gây lỗi hành vi (behavior breakage) từ 0% đến 23%, trong đó mô hình Kimi-K3 thể hiện ưu thế khi tính đến các trường hợp không làm hỏng tính năng cũ.

TraceVIC là phương pháp tiếp cận dựa trên đồ thị thời gian (temporal graph) nhằm phát hiện và xếp hạng các commit gây ra lỗ hổng bảo mật (VIC - Vulnerability-Inducing Commit) thông qua suy luận tiến hóa mã nguồn. Khác với git blame và các heuristic vị trí truyền thống, TraceVIC định vị các dòng mã nguồn gốc, dựng đồ thị cấu trúc chương trình cùng các cạnh thời gian để theo dõi sự biến đổi qua từng phiên bản, từ đó xếp hạng commit theo mức độ đóng góp vào điều kiện gây lỗ hổng. Phương pháp đạt điểm F2 0.814 (tăng tới 28.7% so với SOTA) và tìm đúng VIC cho 78/79 lỗ hổng trong 4 dự án C/C++.

CompKV là khung sparse attention nhận biết bù trừ (compensation-aware) đầu tiên cho suy luận LLM ngữ cảnh dài. Khác với các phương pháp hiện tại chọn token trước rồi mới bù trừ độc lập cho phần đuôi bị lược bỏ, CompKV chia token thành các khối và tối ưu hóa việc chọn lọc dựa trên sai số bù trừ ước tính (kết hợp giữa attention mass và độ biến thiên logit nội khối). Cùng với kỹ thuật thực thi bất đồng bộ, CompKV đạt hiệu năng dẫn đầu trong các phương pháp sparse attention trên RULER và LongBench-Pro, đồng thời tăng tốc độ self-attention lên đến 6,85 lần so với full attention.

FAMOS là mô hình feed-forward giúp dự đoán phân đoạn bộ phận chuyển động và các tham số khớp 3D từ tập hợp đám mây điểm bán phần, thưa thớt và không theo thứ tự. Phương pháp này tích hợp Multi-state Articulation Transformer với cơ chế chú ý xen kẽ, hàm mục tiêu giám sát biên độ chuyển động quan sát được, cùng bộ sinh dữ liệu quy trình nhằm khắc phục hạn chế về quy mô dữ liệu huấn luyện.

Nghiên cứu giới thiệu Test-Time Self-Play (TTSP), giải pháp mở rộng tính toán lúc suy luận (test-time scaling) dựa trên tự chơi bất đối xứng (asymmetric self-play) mà không cần bộ chấm điểm/xác minh (verifier). Trên tập dữ liệu LiveCodeBench v6, TTSP vượt trội hơn tất cả các phương pháp cơ sở ở mọi cấp độ verifier và đạt mức tăng tuyệt đối 35% mean@8 khi hoàn toàn không có verifier, duy trì hiệu quả trừ phi mô hình nền tảng có độ bao phủ nghiệm đúng gần bằng 0.

ForeSCITE là khung làm việc AI mới giúp dự đoán các khám phá y sinh bằng cách học quỹ đạo thời gian từ các kết luận khoa học đã công bố. Mô hình phân nhóm khoảng 3 triệu kết luận thành 407 cụm, xác định hướng dịch chuyển ngữ nghĩa theo thời gian, dự phóng vector nhúng theo hướng này và giải mã thành giả thuyết ngôn ngữ tự nhiên. Phương pháp vượt trội hơn các mô hình RAG và prompting truyền thống, đồng thời tìm ra 37 giả thuyết khả thi về mặt sinh học trong liệu pháp CAR-T.

EasyProver là hệ thống chứng minh định lý bằng Lean dựa trên kiến trúc agent đệ quy với ngữ cảnh cô lập, tìm kiếm bất đồng bộ và kiểm tra tactic song song. Sử dụng mô hình frontier có sẵn mà không cần huấn luyện thêm, hệ thống đã giải quyết 669/672 bài PutnamBench, toàn bộ 6 bài IMO 2026, 597/600 điều kiện kiểm chứng NTP4VC và 189 tác vụ VERINA. Nhằm giải quyết tình trạng bão hòa của các benchmark hiện tại, nghiên cứu giới thiệu Aegis – quy trình chuyển đổi các bài toán lập trình thi đấu thành bài kiểm chứng mã nguồn Rust thực tế được dịch sang Lean qua Aeneas. Trên tập mẫu 2.000 mệnh đề của Aegis mang đầy đủ độ phức tạp thực tế, EasyProver chứng minh thành công 52,7% trong giới hạn 30 phút mỗi bài toán, mở ra hướng đi mới cho kiểm chứng mã nguồn và tạo tín hiệu thưởng cho học tăng cường.