Research

Nghiên cứu phân tích động lực chuyển giao lượt nói (turn-taking) giữa hai mô hình giọng nói song công PersonaPlex-7B trong hội thoại tự do. Kết quả chỉ ra rằng dù nhịp tương tác giữa hai mô hình có sự ghép nối nhất định, thời gian chuyển lượt nói bị trễ nghiêm trọng với độ trễ trung vị 400-560 ms (so với 137 ms ở người). Nguyên nhân là mô hình chỉ chờ thụ động sau khi đối phương ngắt lời thay vì có khả năng dự đoán trước điểm kết thúc phát ngôn (turn-end projection) như con người.

Nghiên cứu đề xuất khung làm việc 4 giai đoạn (dự đoán có điều kiện, thu gọn tập mẫu, tích hợp quỹ đạo và phân bổ ngân sách) thông qua 7 module linh hoạt nhằm tối ưu hóa chính sách thưởng theo bậc ngân sách cho tài xế giao hàng theo yêu cầu. Bằng cách tái gán trọng số dữ liệu lịch sử kết hợp pilot ngắn, phương pháp giúp xử lý yêu cầu nhanh hơn gấp 11-14 lần và giảm regret hơn 51% so với thử nghiệm ngẫu nhiên truyền thống.

Tactile-JEPA là phương pháp tiền huấn luyện tự giám sát (SSL) nhận biết cấu trúc liên kết (topology-aware) dành cho cảm biến xúc giác phân tán (electronic skin) trên robot. Thay vì tái sử dụng máy móc các phương pháp SSL của thị giác, Tactile-JEPA sử dụng đồ thị kết nối cảm biến và cơ chế che hai tỷ lệ (dual-scale masking) để dự đoán embedding của các phần tử cảm biến bị che. Thử nghiệm trên 3 bộ dữ liệu cho thấy mô hình giảm 6.3% sai số ước lượng lực và giảm 20.8% sai số định hướng vật thể trong tay so với SOTA, đồng thời cải thiện hiệu quả học chính sách (policy learning).

Nghiên cứu giới thiệu GIST (Gibbs-Targeted Hierarchical Data Selection), phương pháp chọn lọc dữ liệu hai cấp độ cho học tăng cường ngoại tuyến có phần thưởng xác minh (Offline RLVR). Bằng cách phân tích độ lệch mục tiêu qua phân kỳ KL hai chiều với Gibbs-optimal policy, GIST dùng nhiệt độ lấy mẫu để lọc câu trả lời và dùng xác suất mô hình ban đầu để chỉ giám sát các token mang thông tin quan trọng. Kết quả giúp giảm 66,6% số token cần giám sát trên Qwen3-0.6B/GSM8K và cải thiện độ chính xác trên GSM8K, MATH-500, MBPP.

Kierston là công cụ mô phỏng quy mô thành phố tái lập ~125.000 cư dân Allentown (Pennsylvania) cùng các dữ liệu viễn thông, tài chính, hành chính và biển số xe. Đi kèm là KierstonBench, bộ benchmark gồm 32 nhóm tác vụ nhằm đánh giá năng lực của LLM trong điều tra tội phạm và giám sát. Thử nghiệm trên 16 mô hình cho thấy phần lớn thất bại và suy diễn vô căn cứ; một số ít frontier models giải quyết được phần lớn tác vụ và biết từ chối khi thiếu bằng chứng, song vẫn dễ bị đánh lừa bởi các giả định và hoàn toàn chưa thể thay thế điều tra viên con người.

Nghiên cứu 'Keeping Time vs. Understanding Time' thách thức quan niệm phổ biến rằng khả năng suy luận thời gian trong LLM phân tách thành hai chế độ độc lập: tính toán số học (temporal arithmetic) và hiểu ngữ nghĩa (temporal semantics). Tác giả cung cấp hai bằng chứng thực nghiệm: (1) Việc tinh chỉnh trên các tập con số học hoặc ngữ nghĩa chỉ mang lại cải thiện cục bộ trên từng tập dữ liệu (+6,8 đến +23,1 điểm %), nhưng hầu như không thể chuyển giao sang tập dữ liệu khác cùng chế độ (-3,2 đến +1,1 điểm %); (2) Đánh giá nhận thức cho thấy động lực chính thúc đẩy hiệu năng không phải là suy luận định lượng hay logic mà là tri thức ghi nhớ về cách thời gian thường vận hành. Kết quả chỉ ra các benchmark hiện nay chủ yếu đang đo lường việc học vẹt tri thức thay vì năng lực suy luận thời gian thực thụ.

Nghiên cứu đề xuất Wenyan Thinking - phương pháp sử dụng văn ngôn (Hán văn cổ) làm ngữ vực tư duy trung gian cho LLM tiếng Trung thay cho bạch thoại nhằm nén độ dài suy luận dưới ngân sách giải mã giới hạn. Thử nghiệm trên mô hình Qwen3-4B-Thinking-2507 cho thấy phương pháp giúp rút ngắn đáng kể chuỗi suy luận, giảm tỷ lệ thiếu đáp án trên các bộ đo MMLU-ProX-Lite-ZH, CEVAL và AGIEval-CN, đồng thời vượt trội so với đối chứng nén tiếng Trung hiện đại.

Nghiên cứu làm sáng tỏ hiện tượng sụp đổ mô hình (model collapse) trong diffusion models ở chế độ huấn luyện ngân sách cố định (fixed-budget). Khác với quy trình thay thế hoàn toàn gây suy thoái nhanh chóng, việc lấy mẫu kích thước cố định từ kho dữ liệu tích lũy tạo ra sự sụp đổ chọn lọc: các đặc trưng bền vững (robust features) được bảo tồn lâu dài, trong khi các đặc trưng mỏng manh (fragile features) vẫn biến mất sau vài thế hệ.

Nghiên cứu giới thiệu TPAE (Token-level Perception-grounded Advantage Estimation) nhằm khắc phục nhược điểm của tín hiệu thưởng dạng chuỗi (sequence-level) thô trong RLVR cho các mô hình MLLM. Dựa trên việc phân tích độ phụ thuộc thị giác (visual dependency) và entropy dự đoán (predictive entropy), tác giả chỉ ra rằng chuỗi suy luận đúng thể hiện sự sụt giảm entropy rõ rệt khi liên kết thị giác tăng, còn các token then chốt gây sụp đổ suy luận là các điểm ngoại lai thống kê. TPAE ước lượng advantage ở từng token dựa trên mẫu hình thị giác - entropy chuẩn để điều chế advantage toàn chuỗi, giúp tối ưu hóa ổn định và đạt kết quả vượt trội trên 7 benchmark. Mã nguồn đã được công khai trên GitHub.

Jaxolotl là bộ benchmark hiệu năng cao trên JAX dành cho học tăng cường đa nhiệm dựa trên Logic Thời gian Tuyến tính (LTL-RL). Bằng cách tiền biên dịch biểu diễn tác vụ ký hiệu thành mảng tĩnh để tận dụng JIT, Jaxolotl đạt tốc độ tăng tốc lên tới 220 lần cho 6 thuật toán và 4 môi trường, giúp chuẩn hóa và mở rộng quy mô đánh giá thực nghiệm tin cậy.

Nghiên cứu giới thiệu DSS-GNN (Doubly-Spectral Stochastic Expansion), một biểu diễn độ bất định thống nhất cho mạng nơ-ron đồ thị kết hợp bộ lọc Fourier đồ thị và tọa độ polynomial chaos trực giao. Phương pháp này giải quyết đồng thời bài toán hiệu chuẩn, phát hiện OOD và độ bền vững trước dịch chuyển phân phối từ một biểu diễn duy nhất. Mô hình hỗ trợ hai chế độ triển khai: Standalone DSS-GNN đạt Brier score thấp nhất trên 14 benchmark phân loại nút mà không cần hiệu chỉnh hậu kỳ, và DSS-Hybrid đóng vai trò nhánh residual đạt AUROC OOD vượt trội cùng độ chính xác cao nhất trên 7 tập dữ liệu GOOD.

Nghiên cứu khảo sát tác động của kỹ thuật gộp mô hình (model merging) lên các khả năng mới nổi (emergent capabilities) trên 3 họ mô hình và 2 môi trường thử nghiệm (activation oracles và emergent-misaligned models). Kết quả chỉ ra ba phát hiện chính: việc gộp giữ nguyên năng lực mới nổi nếu cả hai mô hình cha đều có; gộp mô hình không thể tạo ra năng lực siêu cộng gộp so với mô hình được huấn luyện chung; và năng lực mới nổi bị pha loãng nhanh hơn đáng kể so với năng lực được huấn luyện chính khi chỉ một bên cha sở hữu. Tóm lại, các hành vi mới nổi không kết hợp theo cách giống như năng lực được huấn luyện chủ đích.

Nghiên cứu giới thiệu bài toán khám phá ngôn ngữ biểu diễn vật lý, cho phép máy móc tự động phát hiện bản thể luận tiềm ẩn (như phân bố ô, tính chất nội tại/ngoại diên, tính đối ngẫu và chuẩn đối xứng) trực tiếp từ các thí nghiệm có kiểm soát ẩn danh. Tác giả phát triển lý thuyết nhận dạng và thuật toán đa thức có tính xây dựng giúp khôi phục phức vi phân, sơ đồ Maxwell primal-dual và cấu trúc làm mịn, đồng thời chứng minh chặn đo lường hai giai đoạn đạt tốc độ minimax tối ưu. Thử nghiệm trên hệ Maxwell, mạch RLC và FDTD chứng minh tính mở rộng lên tới hàng chục nghìn ô và độ bền bỉ trước phi tuyến tính, trễ và ký ức phi Markov.

Nghiên cứu mô hình hóa việc điều hướng mô hình ngôn ngữ lớn (LLM steering) thành bài toán điều khiển phản hồi vòng kín (closed-loop feedback control), lấy cảm hứng từ kỹ thuật kích thích thần kinh não bộ. Phương pháp này sử dụng bộ điều khiển bền vững H-infinity dựa trên trạng thái nội bộ của Transformer để hạn chế độ nhạy với nhiễu và sai số tuyến tính hóa. Kết quả thử nghiệm cho thấy hiệu năng vượt trội so với các phương pháp can thiệp mở hiện tại, đặc biệt trong các điều kiện dữ liệu lệch phân phối (OOD) và độ dài chuỗi thay đổi. Nghiên cứu đồng thời giới thiệu thước đo S_rob (Robust Steerability) giúp định lượng khả năng chịu đựng sai số động lực học trước khi triển khai mô hình.

ReSI-Math là khung nghiên cứu giúp khai phá 'ranh giới năng lực có thể phục hồi' trong mô hình ngôn ngữ lớn để tối ưu hóa hiệu quả dữ liệu cho Reinforcement Learning with Verifiable Rewards (RLVR). Thay vì xem thất bại trực tiếp là do mô hình thiếu năng lực, ReSI-Math sử dụng tìm kiếm tiến hóa kết hợp Self-Judge và cơ chế lai ghép quỹ đạo (trajectory crossover) để phục hồi lời giải đúng từ các trường hợp sai. Trên mô hình Qwen3-VL-8B, phương pháp tạo ra 43.8% lời giải đúng được kiểm chứng từ các lượt thất bại và nâng điểm trung bình MATH500 cùng WE-MATH từ 78.71 lên 80.16 qua 3 vòng RLVR, vượt trội đáng kể so với việc chọn mẫu ngẫu nhiên.

Nghiên cứu phân tích hiện tượng thiên vị vị trí bằng chứng (position bias) trong bài toán QA ngữ cảnh dài giữa Transformer, State-Space Models (SSM) và hybrid Mamba. Kết quả cho thấy Transformers có lợi thế ở phần đầu ngữ cảnh mà SSM thiếu, trong khi cả hai đều ưu tiên thông tin ở cuối ngữ cảnh. So sánh giữa pure Mamba và hybrid Mamba có xu hướng tương tự nhưng chưa đạt độ tin cậy thống kê tuyệt đối. Sự tập trung attention ở các token đầu tiên trong Transformer tương quan thuận với độ nhạy này, và thay đổi prompt có thể tạo ra hoặc xóa bỏ lợi thế vị trí đầu.

Nghiên cứu đề xuất CiMEO (Function-isolated Memory-Efficient Optimization), giải pháp học liên tục (continual learning) cho LLM lấy cảm hứng từ cơ chế dẻo cục bộ của não bộ. Phương pháp sử dụng gradient-attribution profiling để định vị các mạng con chức năng có độ chồng chéo rất thấp, sau đó định tuyến dữ liệu huấn luyện và giới hạn cập nhật trọng số cùng trạng thái optimizer vào các vùng này. Thử nghiệm trên 1,4 triệu chỉ dẫn tuần tự trên 5 benchmark (lập trình, toán học, thi cử) cho thấy CiMEO giảm thiểu quên thảm khốc và duy trì biểu diễn tiền huấn luyện tốt hơn các phương pháp so sánh.

Nghiên cứu chỉ ra rằng tỷ lệ đọc (readout scaling) thay đổi bản chất đặc trưng mà Sparse Autoencoder (SAE) học được, và việc loại bỏ nó có lợi hay không phụ thuộc vào phân phối dữ liệu sinh. Tác giả đề xuất phương pháp tọa độ không gian quyết định được quy chuẩn hóa theo readout (RC-DS) nhằm loại bỏ độ lợi giá trị kỳ dị (singular-value gains) trong khi bảo toàn thông tin quyết định. Kết quả cho thấy RC-DS nâng độ phục hồi đặc trưng thưa từ 0.506 lên 0.913 ở condition number 100 so với huấn luyện centered-logit, đồng thời cải thiện tái cấu trúc logit trên neural policies và đạt khả năng tái cấu trúc gain-free vượt trội trên cả 18 thiết lập thử nghiệm ở 3 mô hình ngôn ngữ.

PerturbEnergy là một phương pháp học biểu diễn phản ứng tế bào trước các can thiệp nhiễu loạn nhằm đẩy nhanh tiến độ khám phá thuốc. Bằng cách áp dụng phân phối tiên nghiệm dựa trên năng lượng có điều kiện (conditional energy-based prior) vào kiến trúc autoencoder, mô hình gán mức năng lượng thấp cho các biểu diễn tương thích, định hướng hiệu quả không gian tiềm ẩn. Nghiên cứu chứng minh tính tương đương ELBO và tối ưu hóa thông tin tương hỗ có điều kiện, đồng thời thực nghiệm trên 4 bộ benchmark cho thấy khả năng nhận diện trong không gian tiềm ẩn tăng tới 83,2% cùng kết quả SOTA khi dự đoán các gen biểu hiện khác biệt (DEG). Mã nguồn được chia sẻ công khai trên GitHub.

FedGraph là khung tổng hợp dựa trên đồ thị nhằm bảo vệ quá trình tinh chỉnh liên kết (federated fine-tuning) của các mô hình ngôn ngữ lớn (LLM) trước các cuộc tấn công cửa sau (backdoor attacks). Khác với các phương pháp truyền thống gặp khó khăn khi phát hiện bất thường trực tiếp trong không gian tham số số chiều lớn, FedGraph khai thác quan sát thực nghiệm: các client độc hại thường có cập nhật mô hình mang tính nhất quán cao, trong khi client lành tính phân tán và đa dạng hơn. Bằng cách mô hình hóa quan hệ client thành đồ thị động và trích xuất đặc trưng cấu trúc cô đọng, FedGraph cô lập và triệt tiêu đóng góp độc hại, giúp giảm tỷ lệ tấn công thành công xuống dưới 10% với độ chính xác phát hiện đạt 95,5% và tỷ lệ dương tính giả 2,33%.

Nghiên cứu phân tích cơ chế sử dụng bộ nhớ trong các mô hình ngôn ngữ lai ghép recurrent-attention và phát hiện mô hình phụ thuộc quá mức vào attention thay vì tận dụng trạng thái recurrent, ngay cả sau khi tinh chỉnh có giám sát (SFT). Để giải quyết, nhóm nghiên cứu đề xuất một hàm mất mát phụ trợ (auxiliary loss) giới hạn quyền truy cập ngữ cảnh của attention nhằm thúc đẩy mô hình lưu giữ và khai thác thông tin qua nhánh recurrent, mang lại cải thiện hiệu năng vượt trội trên các tác vụ ngữ cảnh dài, tổng hợp thông tin, hỏi đáp và tác tử.

MIRTO là giao thức đánh giá phân đoạn bất thường không giám sát (UAD) trên ảnh MRI não kết hợp kiểm soát đăng ký hình học và kiểm thử đa vũ trụ (multiverse testing) qua 15.552 pipeline đánh giá. Thử nghiệm trên 4 mô hình UAD và 312 ca BraTS 2020 cho thấy các lựa chọn đánh giá ngầm định (như căn chỉnh trục, chuyển giao ngưỡng, định nghĩa tổn thương) chi phối mạnh kết quả: lỗi đảo trục làm giảm voxel AUROC từ 0.873 xuống 0.583, ưu thế Dice mất đi khi cố định tỷ lệ dương tính giả thực tế, trong khi thay đổi tổng hợp latent không cần train lại giúp tăng Dice thêm 0.052.

Nghiên cứu giới thiệu Local Support Learning (LSL), một khung phương pháp tổng quát nhằm giải quyết hiện tượng quên lãng thảm họa (catastrophic forgetting) trong các mô hình tiền huấn luyện lớn mà không cần truy cập lại dữ liệu cũ. Bằng việc nhìn nhận vấn đề quên lãng dưới góc độ hình học trong không gian đầu vào của ma trận trọng số, LSL kết hợp một bộ điều hợp (adapter) tiêu chuẩn cùng một cơ chế cổng dựa trên Mô hình Hỗn hợp Gauss (GMM). Cổng GMM này chỉ kích hoạt bộ điều hợp khi phát hiện kích hoạt đầu vào thuộc phân phối huấn luyện hiện tại và tự động đóng đối với dữ liệu từ các pha trước. Phương pháp post-training này chứng minh khả năng duy trì cả năng lực tiền huấn luyện lẫn tinh chỉnh trên các LLM quy mô tới 7 tỷ tham số, đồng thời tiết kiệm tài nguyên tính toán và bộ nhớ.

TRACE là phương pháp căn chỉnh an toàn cấp độ token cho LLM trong các hội thoại nhiều lượt (multi-turn). Phương pháp thiết lập điều kiện đủ để chặn rủi ro quỹ đạo nhiều lượt từ ngữ cảnh đơn lượt, sử dụng lợi thế quy kết từ chối chiết khấu để gán trọng số cho token an toàn, kết hợp xóa tương phản ở các vị trí rủi ro cao và phạt chuẩn gradient thay thế retain set. Thử nghiệm trên 5 mô hình mở và 7 kiểu tấn công cho thấy TRACE đạt ASR thấp nhất trong toàn bộ 35 cặp thử nghiệm trong khi độ suy giảm tiện ích dưới 1.23 điểm.