Research

Nghiên cứu giới thiệu LoopRec, phương pháp tiếp cận mới cho sequential recommendation bằng cách áp dụng đệ quy thích ứng ở cấp độ từng item (item-level adaptive recursion). Thay vì cố định ngân sách tính toán cho toàn bộ chuỗi tương tác, LoopRec sử dụng một khối chia sẻ trọng số duy nhất kết hợp cổng quyết định nhị phân nhẹ để cho phép các item đã hội tụ thoát sớm, trong khi các item phức tạp tiếp tục được xử lý sâu hơn. Thử nghiệm trên 4 họ kiến trúc backbone chứng minh LoopRec cải thiện độ chính xác đề xuất so với các mô hình độ sâu cố định tương đương, đồng thời tự động ưu tiên tính toán cho các tương tác gần nhất và item tần suất thấp. Mã nguồn đã được công bố mở trên GitHub.

Nghiên cứu giới thiệu khung tối ưu hóa chỉ mục ngữ nghĩa (SID) cho Generative Retrieval (GR) bằng tìm kiếm chương trình tiến hóa thông qua LLM. Thay vì thiết kế thủ công các thành phần rời rạc không thể vi phân, phương pháp sử dụng một mô hình mã nguồn mở 31B chạy cục bộ để biến đổi mã nguồn và dùng proxy decoder 1M tham số đánh giá nhanh (đạt tương quan Spearman rho = 0.90 với bộ sinh 1B mục tiêu). Phương pháp giúp tăng Recall@1 từ 55.8% lên 59.3% và Recall@100 từ 85.8% lên 90.6% trên NQ320K, đồng thời chứng minh hiệu quả trên MSMARCO300K và tập dữ liệu e-commerce đa ngôn ngữ.

CoDA là khung nghiên cứu đồng tiến hóa giữa công cụ sinh dữ liệu mô phỏng (data engine) và chính sách hành động (action policy) cho robot. Nhận diện vấn đề môi trường mô phỏng hợp lệ về vật lý chưa chắc đã hữu ích cho huấn luyện, CoDA sử dụng bộ nhớ chung lưu trữ lỗi thất bại và tiến độ học tập, kết hợp vision-language critic để biên dịch chẩn đoán thành các chương trình tạo môi trường thử thách và chương trình huấn luyện sửa sai. Ngoài ra, kỹ thuật Text2potential chuyển đổi chẩn đoán thành staged potentials cho action-chunk value learning nhằm cung cấp giám sát dày (dense supervision) nhưng vẫn bảo toàn tính tối ưu của chính sách. Trên 4 nhóm tác vụ thao tác, CoDA nâng tỷ lệ thành công out-of-distribution từ 5.3% lên 27.6%, và trên LIBERO-Pro đạt tỷ lệ thành công 84% dưới nhiễu loạn vị trí và 76% dưới nhiễu loạn câu lệnh sau 15 vòng lặp.

Nghiên cứu giới thiệu ACEdit, một cơ chế huấn luyện giúp ổn định quá trình chỉnh sửa ảnh nhiều lượt (multi-turn image editing) trước hiện tượng lệch phân phối tích lũy qua từng bước. ACEdit áp dụng nguyên lý Self-Forcing, buộc mô hình hoạt động trên chính kết quả tự sinh từ các lượt trước. Để giải quyết việc quỹ đạo tự sinh lệch khỏi ground-truth, nhóm tác giả đề xuất sơ đồ chưng cất điều kiện bất đối xứng (asymmetric conditioning distillation): mô hình học sinh chỉnh sửa tuần tự trên ảnh tự sinh, trong khi mô hình giáo viên neo vào ảnh gốc sạch ban đầu và nhận chỉ dẫn tổng hợp để cung cấp tín hiệu giám sát tin cậy. Thực nghiệm chứng minh phương pháp giảm đáng kể suy thoái hình ảnh qua chuỗi thao tác dài mà vẫn bảo toàn chất lượng và độ tuân thủ chỉ dẫn.

Nghiên cứu mở rộng phương pháp tối ưu hóa cấu trúc liên kết tái tham số hóa bằng mạng nơ-ron tích chập Kolmogorov-Arnold (KATO) cho thiết kế kết cấu tàu thủy chịu rung động cưỡng bức, lấy công suất đầu vào tác dụng (AIP) làm hàm mục tiêu. Thử nghiệm trên tấm sàn đỡ động cơ 100 Hz và bệ máy đẩy 18 Hz cho thấy KATO giảm rung động tương đương thuật toán GCMMA (chênh lệch AIP trong 0.5 dB) nhưng giảm độ mềm tĩnh nhị phân từ 22 đến 36 lần, duy trì tính liên kết kết cấu tốt hơn ở vùng cận cộng hưởng 300 Hz (độ mềm tĩnh thấp hơn 59 lần) và đạt tốc độ tính toán nhanh hơn 6.4 - 10.4 lần so với GCMMA đối với bài toán có ràng buộc ứng suất.

Nghiên cứu chỉ ra các mô hình thế giới dạng dòng tiềm ẩn (latent-flow world models) dùng không gian tự giám sát đóng băng thường mất khả năng dự đoán chuyển động do tín hiệu giám sát thuần latent thiếu neo thời gian. Phương pháp DART (Decode-augmented rollout training) khắc phục điều này bằng decode-path supervision trong khi vẫn giữ nguyên biểu diễn đóng băng, khôi phục thành công động lực học chuyển động. Ngoài ra, tác giả cảnh báo thước đo pixel error thường chấm điểm sai lệch khi ưu ái các dự đoán đứng yên.

FLEET là phương pháp mới tích hợp cơ chế bộ nhớ vào quá trình sinh của LLM nhằm giải quyết hiện tượng suy giảm hiệu suất và trùng lặp ngữ nghĩa của temperature sampling. Thông qua việc biểu diễn các lần sinh thành quỹ đạo thưa qua các trạng thái entropy cao để tính điểm hữu dụng và điều chỉnh logits, FLEET đạt tốc độ nhanh hơn 3 lần ở cùng độ chính xác và tăng Pass@32 trên LiveCodeBench từ 59.9% lên 66.2% với chi phí tích hợp tối thiểu.

GameHorizon Suite là bộ công cụ dữ liệu và đánh giá toàn diện nhằm đo lường năng lực chơi game của các mô hình AI qua nhiều khung thời gian (multi-horizon). Bộ công cụ gồm 3 phần: GameHorizon-Annotator (quy trình gán nhãn tự động cho chỉ dẫn), GameHorizon-Data (5.000 giờ dữ liệu game AAA từ 21 trò chơi do 100 game thủ chuyên gia thực hiện, đồng bộ giữa video, thao tác và chỉ dẫn ngôn ngữ), và GameHorizon-Bench (hệ thống kiểm thử kết hợp giữa offline chuẩn hóa và online từng bước để định vị lỗi). Thử nghiệm trên 47 mô hình với hơn 1 triệu lượt gọi cho thấy sự khác biệt rõ rệt về năng lực giải quyết tác vụ phức tạp.

MOMASPLAT là khung tăng cường dữ liệu biểu diễn góc nhìn mới (novel-view demonstration augmentation) dành cho robot thao tác di động (MoMa), giải quyết độ nhạy cảm của visuomotor policy trước sự thay đổi góc nhìn camera do trôi dạt định vị hoặc sai lệch vị trí đế. Bằng cách kết hợp 3D Gaussian Splatting, mô hình nền tảng 3D feed-forward và tái định vị hành động theo động học, MOMASPLAT tái tạo riêng biệt cảnh tĩnh và vật thể thao tác, tổng hợp quỹ đạo thao tác hoàn chỉnh từ các vị trí đế chưa từng thấy kèm tương tác động và hành động tương ứng. Phương pháp giúp tăng gấp đôi tỷ lệ thành công so với baseline mạnh nhất trên 5 tác vụ thực tế mà không cần tăng cường thu thập dữ liệu thực địa quy mô lớn.

Nghiên cứu chỉ ra rằng các quần thể nhân tạo (synthetic populations) dựa trên persona cố định không thể mô phỏng chính xác hành vi con người do giả định sai lầm rằng danh tính là thuộc tính bất biến. Dựa trên 30 năm nghiên cứu tâm lý học tính cách và kinh tế học danh tính, các tác giả chứng minh bằng lý thuyết rằng hành vi biến thiên theo ngữ cảnh nhiều hơn giữa các cá nhân, và việc bổ sung chi tiết vào persona hay tăng kích thước mô hình ngôn ngữ lớn (LLM) không thể khắc phục được khiếm khuyết này. Nhóm đề xuất thiết kế 'person-in-context' cùng tiêu chí đánh giá mới; dù tạo được hành vi phụ thuộc ngữ cảnh trên dữ liệu Reddit và khảo sát y tế, mô hình vẫn chưa khớp hoàn toàn với thực tế, cảnh báo nguy cơ sai lệch lớn khi doanh nghiệp dùng dữ liệu mô phỏng để đánh giá AI hoặc khảo sát thị trường.

OmniST là kiến trúc dự báo không-thời gian bất biến topo, loại bỏ sự phụ thuộc vào ma trận kề kích thước cố định của ST-GCN truyền thống. Thông qua token hóa tọa độ, cơ chế chú ý k-NN động và xử lý chuỗi thời gian per-node bằng BiGRU, kết hợp inductive split-conformal calibration, OmniST cung cấp khoảng dự đoán bảo đảm độ bao phủ toán học tại cả những cảm biến chưa từng huấn luyện, đồng thời áp dụng rolling adaptive-conformal để giải quyết trôi dạt dữ liệu theo thời gian.

Nghiên cứu giới thiệu WISD (Weakening-Induced On-Policy Self-Distillation), một phương pháp tự chưng cất on-policy cho các mô hình suy luận lớn chỉ sử dụng prompt chưa gán nhãn và không cần thông tin đặc quyền. Khác với cách tiếp cận thông thường cần mô hình giáo viên mạnh hơn, WISD tạo ra phiên bản mô hình yếu hơn bằng lượng tử hóa bit thấp hoặc cắt tỉa độ lớn, sau đó sử dụng sự tương phản giữa hai phiên bản làm tín hiệu huấn luyện. Thực nghiệm trên Qwen3.5-4B và Qwen3.6-35B-A3B cho thấy phương pháp giúp tăng độ chính xác đáng kể trên các bài kiểm tra toán (HMMT 2025) và lập trình (LiveCodeBench v6).

Nghiên cứu giới thiệu Layer-Selective LoRA (LS-LoRA), một phương pháp tinh chỉnh mô hình ngôn ngữ lớn có chọn lọc theo tầng Transformer nhằm cân bằng giữa việc thích ứng tác vụ đích và duy trì năng lực tổng quát đã học trong giai đoạn pretraining. Thay vì tính toán empirical Fisher information đắt đỏ bằng backward pass, nhóm tác giả sử dụng độ tương đồng cosine giữa đầu vào và đầu ra của từng tầng như một proxy forward-only gọn nhẹ để xác định các tầng nhạy cảm nhất. LS-LoRA chỉ đặt adapter LoRA tại các tầng có độ tương đồng thấp, giúp cải thiện hiệu năng trung bình trên tác vụ suy luận toán học và sinh mã nguồn, đồng thời bảo toàn năng lực commonsense reasoning tốt hơn đáng kể so với LoRA thông thường.

SAGE (Semantic Anchor-Guided Evolution) là khung tổng hợp dữ liệu hỏi đáp y tế (Medical QA) dành cho các mô hình nhỏ triển khai cục bộ (on-premises). Bằng việc sử dụng các taxonomy nhẹ như MeSH làm mỏ neo ngữ nghĩa, SAGE luân phiên kết hợp tổng hợp theo khái niệm đơn lẻ (atomic) và quan hệ (associative), cho phép tự mở rộng dữ liệu từ tập hạt giống tối thiểu mà không cần kho tài liệu khổng lồ hay API đám mây bên ngoài.

TICDA (Tabular In-Context Data Attribution) là phương pháp gán thuộc tính dữ liệu cho các mô hình nền tảng dạng bảng (TFMs), giúp đo lường chính xác ảnh hưởng của từng ví dụ mẫu trong ngữ cảnh tới dự đoán. Bằng cách sử dụng mô hình đại diện tuyến tính (linear surrogates) huấn luyện trên latent embeddings của TFM chỉ trong một lượt forward pass với chi phí tối thiểu, TICDA vượt qua nhược điểm tốn kém của DemoShapley và tính không khả thi của influence functions trong in-context learning. Phương pháp này thể hiện hiệu quả cao trong phát hiện nhãn sai, tối ưu hóa ngữ cảnh suy luận, chuyển giao điểm thuộc tính và hỗ trợ active learning.

SEEK là khung đánh giá chất lượng tìm kiếm công nghiệp sử dụng LLM, giải quyết hạn chế của việc nhồi nhét tiêu chí vào prompt hoặc tốn kém chi phí khi huấn luyện lại mô hình. Phương pháp này tách các tiêu chí đánh giá vào một ngân hàng kỹ năng (skill bank), định tuyến động các kỹ năng liên quan cho từng cặp truy vấn - danh sách kết quả, và dùng bộ đánh giá danh sách (listwise evaluator) để đưa ra phán đoán cấp trang cùng chẩn đoán nguyên nhân lỗi. Với quy trình huấn luyện hai giai đoạn và cơ chế replay-gated skill bank, hệ thống cho phép liên tục cập nhật tri thức đánh giá mà không cần huấn luyện lại mô hình. SEEK đã được triển khai thực tế tại Kuaishou (hơn 400 triệu DAU).

MicroQonv là kỹ thuật tối ưu hóa lượng tử hóa vi mô (microscaling) cho các lớp tích chập trong cả quá trình huấn luyện và suy luận mạng nơ-ron. Bằng cách lượng tử hóa mỗi tensor một lần duy nhất và lượng tử hóa kích hoạt trước khi chạy phép biến đổi channel-batch-first im2col, MicroQonv khắc phục tình trạng bùng nổ bộ nhớ và di chuyển dữ liệu dư thừa. Phương pháp giảm chi phí lượng tử hóa 2 lần cho trọng số/gradient, tới 9 lần cho kích hoạt và giảm di chuyển dữ liệu tới 7.53 lần so với full-precision (giảm 3.5 lần cho YOLOV8nano và 2.2 lần cho YOLOV26nano), đồng thời hỗ trợ microscaling 4-bit cho continual learning ở biên với độ chính xác tăng 5.7% - 11%.

Nghiên cứu đề xuất nền tảng thu mua và định tuyến suy luận LLM sử dụng cơ chế đấu giá ngược mức giá thứ hai (reverse second-price auction), xóa bỏ sự kém hiệu quả của mô hình định giá token cố định. Hệ thống vừa định tuyến vừa học chất lượng phục vụ thực tế của từng nhà cung cấp, đảm bảo chuyển truy vấn tới đơn vị có chi phí cạnh tranh nhất đáp ứng ngưỡng chất lượng yêu cầu. Thử nghiệm trên các dòng mô hình Llama và Qwen cho thấy mức tiết kiệm chi phí đạt từ 10% đến 71%.

Nghiên cứu chứng minh các phương pháp xóa khái niệm tuyến tính thất bại khi hai đặc trưng bị chồng chập dày đặc (dense superposition) trong cùng một không gian con, dẫn đến việc xóa luôn cả đặc trưng không mong muốn. Mạng nơ-ron học cách giải quyết phi tuyến tính qua hai dạng mạch cố định ('mirror' và 'shadow') nhưng thực chất chỉ ức chế chứ không xóa bỏ hoàn toàn đặc trưng mục tiêu. Dấu vết của đặc trưng bị xóa vẫn tồn tại và có thể khôi phục dễ dàng bằng một scalar patch duy nhất, cung cấp lời giải thích cơ chế vì sao tri thức đã 'unlearn' trên LLM vẫn có thể tái xuất hiện.

Nghiên cứu đề xuất phương pháp thích ứng phân biệt (discriminative adaptation) cho SpeechLLM trong bài toán nhận dạng cảm xúc bằng giọng nói (SER). Thay vì dùng bộ giải mã sinh (generative decoder) dễ gặp lỗi sinh nhãn ngoài danh mục và thiên vị lớp phổ biến, phương pháp này sử dụng một đầu phân loại tuyến tính đọc trạng thái ẩn (hidden state) của token prompt cuối cùng chỉ trong một lượt forward pass mà không cần can thiệp mô hình nền tảng. Kỹ thuật này giúp loại bỏ ảo giác, cải thiện điểm Macro F1 trên tập dữ liệu IEMOCAP (đặc biệt với transcript ASR thực tế), đồng thời cho phép diễn giải các hướng cảm xúc trong không gian token của LLM.

Nghiên cứu đề xuất Probabilistic Linear Explanations (PLE), một khung giải thích hình thức dựa trên các mô hình tuyến tính thưa và được neo (anchored), áp dụng đồng thời cho phân loại nhị phân và hồi quy liên tục. Bằng cách ánh xạ dữ liệu lên siêu lập phương Boolean, phương pháp này tổng quát hóa các hướng tiếp cận dựa trên tập con, thu nhận cả độ lớn và hướng đóng góp của đặc trưng trong khi vẫn đảm bảo ngân sách độ thưa k. Nghiên cứu chứng minh việc tối thiểu hóa sai số liên quan (relevance error) trên mạng nơ-ron là NP^PP-hard, đồng thời thiết lập cận lý thuyết liên hệ nó với sai số độ trung thực (fidelity error). Hai giải thuật được đưa ra gồm: Quy hoạch số nguyên hỗn hợp (MIP) cho nghiệm tối ưu thực nghiệm và Ngưỡng cứng lặp (IHT) thời gian đa thức với bảo đảm xấp xỉ, vượt trội hơn LIME và MAPLE về tính chuẩn xác và thỏa mãn ràng buộc.

Nghiên cứu về Active In-Context Learning cho các mô hình nền tảng dạng bảng (TFMs) nhằm giải quyết chi phí gán nhãn đắt đỏ trong thực tế. Khảo sát trên 20 benchmark với 2 TFM và mô hình GBDT chỉ ra ba nguyên tắc: (1) Khi nào: chọn mẫu theo độ đa dạng tốt nhất ở các vòng đầu; (2) Ở đâu: gán nhãn các dòng phục vụ trực tiếp input mục tiêu bằng quy tắc Target-Aware Nearest Neighbor (TANN) tạo khác biệt lớn; (3) Như thế nào: phương pháp EPIC giúp đạt 80-87% hiệu năng tối đa chỉ với 5-10% dữ liệu được gán nhãn và cải thiện cả hiệu năng của mô hình GBDT.

Nghiên cứu thiết lập hệ thống phân cấp 4 cấp độ và bộ benchmark StateBench nhằm đánh giá năng lực theo dõi trạng thái qua ngữ cảnh dài của các mô hình ngôn ngữ. Về mặt lý thuyết, nghiên cứu chứng minh Transformer bị giới hạn khả năng tổng quát hóa độ dài ngay từ cấp độ aperiodic, trong khi kiến trúc hồi quy Gated DeltaNet (GDN) với trị riêng dương có thể biểu diễn toàn bộ bài toán này. Thực nghiệm trên StateBench chỉ ra rằng cả mô hình hybrid mở lẫn mô hình frontier đóng hàng đầu hiện nay đều chưa giải quyết ổn định được cấp độ soluble state tracking.

Nghiên cứu so sánh 11 phương pháp dự đoán mức tiêu thụ nhiên liệu tàu biển (FOC) trước khi khởi hành trên 21 tàu. Kết quả chứng minh mô hình gộp toàn cục (Global Pooling, tiêu biểu là Global LightGBM) vượt trội hơn hẳn các mô hình huấn luyện riêng cho từng tàu (per-ship) cũng như các kỹ thuật thích ứng phức tạp (federated learning, LoRA fine-tuning). Mô hình chỉ cần định danh và 7 thông số kỹ thuật của tàu là có thể dự đoán chính xác, đồng thời hỗ trợ dự đoán zero-shot cho tàu mới mà không cần dữ liệu lịch sử của tàu đó.