Research

Nghiên cứu chứng minh kỹ thuật Back-Translation (dịch ngược) truyền thống khai thác dữ liệu đơn ngữ hiệu quả hơn đáng kể so với việc tiếp tục tiền huấn luyện (Continued Pretraining) đối với các mô hình ngôn ngữ lớn (LLM) trong dịch máy ngôn ngữ ít tài nguyên. Bằng cách dùng LLM đã tinh chỉnh để dịch văn bản đơn ngữ rồi dùng dữ liệu sinh ra huấn luyện chiều ngược lại kết hợp cập nhật xen kẽ với tập song ngữ, phương pháp này vượt 7.7 - 16.4 điểm XCOMET-XXL so với tiếp tục tiền huấn luyện trên Odia và Swahili (với 1K cặp song ngữ). Khi kết hợp giải mã beam và truy xuất ví dụ in-context, mô hình vượt qua cả hệ thống có dữ liệu song ngữ gấp 10 lần, cải thiện 16-173% điểm số trên 5 ngôn ngữ ít tài nguyên và được xác thực qua đánh giá người mù.

FoldBack là chính sách tạo sinh dạng mặt nạ (masked generative policy) có khả năng tự sửa lỗi cho tác vụ gấp quần áo dài hạn (long-horizon garment folding) trong robotics. Nhằm giải quyết hạn chế của các chính sách quỹ đạo dài hiện nay (thường tiếp tục thực thi dù gắp trượt hoặc tuột vải), FoldBack cấu trúc cơ chế phục hồi quanh ba quyết định lúc suy luận: xác định thời điểm tinh chỉnh và kiểm tra gắn liền với sự kiện gắp-đặt (pick-and-place), quay lui (roll back) robot về cấu hình tiền gắp có thể thử lại trong khi vẫn giữ các điểm gắp thành công, và thử lại (retry) bằng cách tái tạo có chọn lọc phân đoạn lỗi cùng các hành động tương lai, tránh vị trí gắp đã thất bại. Đây là chính sách quỹ đạo đầy đủ có thể chỉnh sửa đầu tiên hợp nhất các quyết định này mà không cần dữ liệu mẫu phục hồi hay huấn luyện lại mô hình gốc. Thử nghiệm trên 33 trang phục thực tế thuộc 6 chủng loại cho thấy FoldBack đạt tỷ lệ gấp thành công 75,2% và IoU mặt nạ 0,837, vượt trội so với baseline mạnh nhất trước đó (45,7% và 0,689).

GEB (Grounded Entity Biographies) là khung bộ nhớ cho video dài, gom nhóm các quan sát thị giác về cùng một thực thể vật lý qua nhiều clip thành hồ sơ tiểu sử có thể truy xuất. Phương pháp này giải quyết hạn chế của mô tả thời gian tuyến tính, giúp mô hình theo vết thực thể qua nhiều sự kiện và đạt 72,0% độ chính xác trên EgoLifeQA (+4,4% so với kết quả tốt nhất trước đó).

Nghiên cứu giới thiệu kiến trúc mạng nơ-ron mới kết hợp mạng modern Hopfield dựa trên năng lượng và port-Hamiltonian neural ODE nhằm đảm bảo tính an toàn theo thiết kế (safety-by-design) cho các hệ động học phi tuyến. Phương pháp tự động xây dựng các hàm rào chắn (barrier functions) để cung cấp tập đầu vào cho phép rõ ràng và bán kính kháng nhiễu định lượng mà không cần hậu kiểm tốn kém. Thử nghiệm trên mô hình nanodrone 12 chiều chứng minh hiệu năng SOTA và khả năng duy trì tập bất biến bền vững trước ngoại lực.

Nghiên cứu giới thiệu ProofTrace, khung phân tích sử dụng đồ thị hỗ trợ chứng minh trực tiếp (GIPS) để phát hiện sự can thiệp của AI vào các chứng minh toán học thay vì chỉ dựa vào câu chữ. Dựa trên tập dữ liệu 8.281 bài báo khoa học, nhóm tác giả chỉ ra các dấu hiệu đặc trưng của chứng minh do AI tạo (ít trích dẫn bên ngoài, dựa nhiều vào bước trung gian, thay đổi kết nối đồ thị) và duy trì khả năng phát hiện ổn định ngay cả khi văn bản đã được AI viết lại.

HARP là phương pháp gợi ý không cần huấn luyện (training-free) dành cho LLM, mô hình hóa quá trình đề xuất thành giao tiếp giữa các agent qua 4 giai đoạn: BUILD, TRANSMIT, UNDERSTAND và SYNC. Nghiên cứu giải quyết 3 điểm nghẽn lớn: thiếu hồ sơ vật phẩm, nghẽn token ở bước rerank và hồ sơ người dùng bị đóng băng sau warmup, nhờ bổ sung hồ sơ vật phẩm bằng luật, đẩy phép tính tương đồng về tầng retrieval và cập nhật phản chiếu trong ngữ cảnh.

Density-Aware Reward Scaling (DARS) là một cơ chế xử lý phần thưởng nhằm khắc phục hiện tượng sụp đổ chế độ (mode collapse) trong học tăng cường, nơi mô hình thường chỉ tập trung vào một tập nhỏ kết quả có thưởng cao thay vì phân bố đa dạng các giải pháp tốt. DARS ước tính mật độ cục bộ của các kết quả trong từng nhóm rollout on-policy và chia tỷ lệ nghịch phần thưởng theo mật độ này mà không cần thêm mô hình mật độ, critic, hàm mục tiêu phụ hay sửa đổi hàm mục tiêu policy gradient gốc. Khi kết hợp với GRPO (DARS-GRPO), phương pháp này loại bỏ tình trạng sụp đổ chế độ trong bài toán điều hướng và nâng cao rõ rệt độ đa dạng của prompt lẫn hình ảnh trong tác vụ text-to-image mà vẫn bảo toàn căn chỉnh ngữ nghĩa.

Nghiên cứu giới thiệu MuonGS, một biến thể mới của bộ tối ưu hóa Muon dành cho tiền huấn luyện mô hình ngôn ngữ lớn (LLM). Dựa trên phân tích tỷ lệ học hiệu dụng tích lũy, các tác giả chứng minh vanilla Muon bị giới hạn khám phá do tích lũy logarit, trong khi việc kiểm soát tăng trưởng chuẩn trọng số vừa phải có thể mở ra thiết kế tối ưu hiệu quả hơn. MuonGS sử dụng phép chiếu Gram-Schmidt loại bỏ thành phần hướng tâm của bước cập nhật mà không ép cố định chuẩn trọng số, bảo đảm chuẩn trọng số tăng tối đa theo tỷ lệ căn bậc hai của số bước và duy trì khả năng khám phá trong suốt quá trình huấn luyện. Trên các mô hình dense (160M, 400M) và MoE (1B tham số), MuonGS đạt perplexity xác thực tốt hơn MuonH và mang lại tốc độ tương đương tiết kiệm khoảng 15% lượng token ở cùng mức loss.

Quant-Arena là bộ benchmark và bảng xếp hạng công khai đánh giá năng lực của các LLM Agent trong toàn bộ chu trình nghiên cứu tài chính định lượng trên dữ liệu thực tế sàn A-share. Thay vì chỉ đánh giá từng dòng code hay tín hiệu đơn lẻ, Quant-Arena yêu cầu mô hình xây dựng đặc trưng và thuật toán chấm điểm cổ phiếu dựa trên dữ liệu 2022-2023, sau đó đóng băng một chiến lược duy nhất để kiểm tra mù (sealed evaluation) trên năm 2024 với bộ mô phỏng tài khoản tiền mặt và tác động sổ lệnh. Thử nghiệm trên 9 mô hình frontier chỉ ra GPT-6 Astra đạt kết quả tốt nhất, tuy nhiên chưa có mô hình nào đánh bại được chỉ số thị trường bình quân trong năm 2024.

AtomicRL là khung hậu đào tạo học tăng cường (RL post-training) dành cho các mô hình Thị giác - Ngôn ngữ - Hành động (VLA) trong thao tác robot dài hạn. Phương pháp khắc phục tình trạng gán tín hiệu thưởng bị sai lệch và mất cân đối trong việc thuần thục các tác vụ con bằng hai kỹ thuật: SAPO (giới hạn lan truyền TD residual giữa các ranh giới tác vụ nguyên tử) và BATE (điều phối lấy mẫu và khám phá tập trung vào các điểm nghẽn). Kết hợp với pipeline Real2Sim2Real, AtomicRL cải thiện đáng kể hiệu năng trên các tập benchmark LIBERO-LONG, CALVIN ABC-D và vượt trội 21.3% trên robot thực tế so với PPO.

Nghiên cứu tái tính toán mốc time horizon 50% của METR trên 228 nhiệm vụ và 26 mô hình AI bằng splines và lý thuyết phản hồi câu hỏi (IRT). Kết quả chỉ ra độ khó của AI không phụ thuộc tuyến tính vào log thời gian con người: đường cong chuyển đổi gần như phẳng ở khoảng 2–30 phút nhưng gần tuyến tính ở các vùng khác, nghĩa là bước nhảy từ 3 lên 30 phút dễ hơn rất nhiều so với từ 30 phút lên 5 giờ (dù cùng tăng gấp 10 lần). Nghiên cứu cung cấp ước tính điểm tốt hơn cùng biểu đồ chẩn đoán độ giá trị cấu trúc.

Nghiên cứu giới thiệu GPD (Geometry-Privileged Distillation), phương pháp chưng cất đặc quyền hình học trong quá trình tự chưng cất on-policy (OPSD) nhằm giải quyết điểm yếu suy luận không gian của Vision-Language Models (VLM). Thay vì đưa dữ liệu 3D vào khi suy luận (gây tăng độ trễ), GPD khai thác dữ liệu hình học 3D sẵn có trong tập huấn luyện, mã hóa độ sâu, ngữ nghĩa và góc nhìn BEV thành văn bản tinh gọn rồi định tuyến cho mô hình teacher kèm câu trả lời tham chiếu. Hàm mất mát KL đặc quyền chỉ áp dụng cho các quỹ đạo suy luận sai để bổ trợ GRPO, giúp mô hình triển khai vẫn hoàn toàn chỉ cần ảnh RGB thuần. Trên backbone 4B, GPD đạt 57.1 trên VSI-Bench và 37.6 trung bình trên 4 benchmark không gian, vượt trội GRPO và OPSD thông thường.

Nghiên cứu giới thiệu ExpDis (Exploration-Distillation), một khung phương pháp tách rời quá trình khám phá (exploration) khỏi tối ưu hóa (optimization) trong học tăng cường với phần thưởng kiểm chứng (RLVR). Bằng cách huấn luyện chính sách khám phá (explorer policy) riêng có thưởng khuyến khích tính mới lạ (novelty bonus), sau đó lọc các quỹ đạo suy luận chính xác/chất lượng cao và chưng cất (distill) vào một chính sách học sinh (student policy) không có thưởng mới lạ, ExpDis tránh được hiện tượng suy giảm chất lượng mô hình khi tăng cường tìm kiếm ý tưởng mới. Thử nghiệm trên 7 benchmark toán học và 2 họ mô hình cho thấy ExpDis vượt trội hơn DAPO ở cùng ngân sách thời gian thực tế và cải thiện khả năng mở rộng pass@k, giúp mô hình tạo ra nhiều cách giải đúng đa dạng hơn.

Nghiên cứu giới thiệu Δ-MOPD nhằm khắc phục nhược điểm của chưng cất tri thức đa giáo viên trực tuyến (MOPD) truyền thống. Thay vì chuyển giao toàn bộ endpoint policy vốn bị ảnh hưởng bởi thiên kiến của mô hình base gốc, Δ-MOPD chỉ truyền độ lệch logit giữa giáo viên và base, neo vào khởi tạo đóng băng của học sinh. Phương pháp này giúp giảm phân kỳ KL mục tiêu - học sinh, tăng 4.11 điểm Math với 3 giáo viên và giảm đáng kể chênh lệch thứ tự huấn luyện trong phased routing.

VStress giới thiệu hợp đồng kiểm toán phát lại và chính sách phân bổ ngân sách VStress-CA cho các bộ kiểm định (verifier) lặp lại. VStress-CA ước tính thông tin biên có điều kiện của verifier trên tập hiệu chuẩn niêm phong, chiết khấu độ bất định, chuẩn hóa theo chi phí và dừng hoặc từ chối khi lượt gọi tiếp theo không mang lại giá trị thông tin. Hệ thống trang bị cảnh báo dịch chuyển phụ thuộc để quay về chế độ dừng chính xác. Thực nghiệm cho thấy ở độ nhiễu 35%, cơ chế majority-5 tăng độ chính xác cân bằng từ 0.6578 lên 0.7739, nhưng ở độ nhiễu 65% lại làm giảm 0.1226 điểm. So với phân bổ theo độ rộng (0.6048) và dư thừa (0.6375) dưới cùng mức ngân sách, VStress-CA đạt độ chính xác 0.6538 với 3.4216 lượt gọi/mục và điểm RLVR 0.6417. Kết quả cũng chỉ ra việc gọi chéo họ mô hình mang lại thông tin biên cao hơn nhiều (lên đến 0.0913) so với gọi lặp cùng một mô hình (0.0126).

Nghiên cứu giới thiệu VeriSpeak, bộ benchmark gồm 3.879 phát biểu bằng giọng nói để đánh giá khả năng xác thực sự thật của các mô hình ngôn ngữ âm thanh lớn (LALMs). Kết quả thực nghiệm phát hiện khoảng cách phương thức (modality gap) rõ rệt: mô hình kiểm chứng tốt trên văn bản nhưng lại dễ thất bại khi phát biểu được nói ra. Việc chỉ áp dụng RAG không mang lại nhiều hiệu quả do mô hình hay nhầm lẫn bằng chứng với phát biểu; tuy nhiên, khi kết hợp truy xuất với suy luận tường minh, mô hình LALM tinh chỉnh tư duy đạt độ chính xác 86,1%.

Nghiên cứu giới thiệu MISVO (Minimally Invasive Steering Vector Optimization), phương pháp tối ưu hóa vector can thiệp pre-logit giúp điều hướng mô hình ngôn ngữ đóng băng theo hàm thưởng tại thời điểm kiểm tra (test-time reward) mà không cần cập nhật trọng số. Để tránh suy giảm chất lượng sinh do tối ưu hóa reward không kiểm soát, MISVO sử dụng dạng toàn phương Fisher dựa trên hình học KL cục bộ để phạt can thiệp quá mức, cho phép tính đạo hàm giải tích hiệu quả qua tích ma trận - vector với LM head. Phương pháp chứng minh thành phần suffix trong gradient KL chỉ là bậc hai và dùng đại diện Fisher để tối ưu hóa can thiệp theo vị trí. Trên các tác vụ sở thích và sinh mã (mô hình 1B-14B), MISVO đạt phần thưởng trung bình cao nhất ở 6/7 thiết lập, duy trì độ mạch lạc và đa dạng tương đương Best-of-N.

Nghiên cứu tái định hình thiên vị (bias) trong AI như một công cụ chẩn đoán điểm yếu hệ thống thay vì chỉ là khiếm khuyết đơn thuần. Tác giả đề xuất khung phân tích đa chiều bao quát 4 khía cạnh, hệ thống hóa 30 loại bias, 16 phương pháp kiểm định và 20 biện pháp đối phó cho cả AI truyền thống lẫn GenAI. Điểm cốt lõi là khung bằng chứng phân cấp giúp phân định tính toàn vẹn cơ chế nội tại và độ tin cậy ngữ cảnh thực tế, định hướng thiết kế AI công bằng và minh bạch theo nguyên tắc 'Ethics by Design'.

GitScholar là bộ dữ liệu mới liên kết hoạt động GitHub từ 444.000 kho lưu trữ với hơn 558.000 bài báo arXiv AI nhằm dự đoán sớm tầm ảnh hưởng nghiên cứu. Kết quả thực nghiệm cho thấy tương tác trên GitHub giúp tăng độ chính xác dự đoán ban đầu lên tới 12% so với mô hình cơ sở học thuật, đồng thời có độ bao phủ gần như toàn diện đối với các bài báo AI có tác động cao và tương quan nhất quán với thành công học thuật tương lai. Dữ liệu hiện được phát hành mở trên Hugging Face bởi huawei-csl.

Paint-Anything là phương pháp thống nhất kiểm soát màu sắc chuẩn xác theo mã hex 24-bit cho cả tạo ảnh (T2I) và chỉnh sửa ảnh dựa trên giám sát cấp đối tượng. Phương pháp giải quyết độ lệch màu do bóng đổ bằng kỹ thuật pure-color anchors ở các timestep nhiễu cao, sử dụng tập dữ liệu Paint-500K và giới thiệu chuẩn đánh giá ACBench. Thử nghiệm trên FLUX.2-4B cho thấy mô hình cải thiện 85,3% điểm ACBench-T2I và 28,3% điểm ACBench-Edit so với mô hình gốc.

QUALS là khung cân bằng ngữ liệu (corpus equilibrium) quy mô lớn dành cho mô hình nền tảng dự báo chuỗi thời gian. Thay vì chỉ tập trung vào cải tiến kiến trúc, QUALS nâng cao hiệu quả dữ liệu thông qua hai cơ chế: Pattern Quantization (giải mã các mẫu không đồng nhất bằng vector quantization và uniform binning) và Learnability Synchronization (cân chỉnh trọng số lấy mẫu để thu hẹp khoảng cách tối ưu giữa các họa tiết đơn giản và phức tạp). Nhờ đó, mô hình đạt hiệu năng dự báo zero-shot vượt trội dù chỉ sử dụng một phần nhỏ dữ liệu huấn luyện và giảm mạnh ngân sách tính toán.

CAREFUL-Bench là bộ benchmark đánh giá gọi hàm (function calling) đa lượt không cần LLM judge, bổ sung khả năng nhận biết tác động (effect-aware) cho Berkeley Function Calling Leaderboard (BFCL). Nghiên cứu chỉ ra điểm yếu của BFCL khi phạt các mô hình xin xác nhận trước khi thực hiện hành động phá hủy, với 260/734 lượt mẫu tự ý thực hiện mà không hỏi. CAREFUL-Bench tự động suy luận tác động cho 128 hàm, phát hiện thao tác phá hủy không được yêu cầu, thao tác thừa và chi phí token phát sinh (lên đến 28%). Thử nghiệm trên 11 mô hình nguồn mở cho thấy mô hình đứng đầu bị trừ tới 14 điểm do tự ý phá hủy dữ liệu, và mô hình tốt nhất chỉ vượt qua 6/576 lượt hội thoại yêu cầu xin phép.

Nghiên cứu giới thiệu Adaptive Residual Correction (ARC), một mô-đun hậu huấn luyện tinh gọn sử dụng học tăng cường (RL) để học phần bù hiệu chỉnh trên nền chính sách bắt chước (imitation policy) đã đóng băng. Thay vì xem can thiệp của con người là mục tiêu bắt chước tuyệt đối, ARC dùng trạng thái tiền can thiệp để xác định thời điểm kích hoạt ('when'), dùng hình học can thiệp để thu hẹp không gian khám phá xuống không gian con 2-3 chiều ('where'), và dùng phần thưởng tác vụ để chốt hành động tối ưu ('what'). Thử nghiệm trên robot thực với 3 tác vụ chính xác cao cho thấy ARC nâng tỷ lệ thành công từ 33,3% lên 75,0%.

Nghiên cứu giới thiệu phương pháp cắt tỉa chuỗi suy luận (thought pruning) trực tiếp tối ưu hóa chỉ số Pass@k cho các mô hình suy luận trong giai đoạn test-time scaling. Thay vì dùng các quy tắc ad-hoc để kết hợp giữa chất lượng và tính đa dạng của lời giải, phương pháp này chọn tập ứng viên sao cho tối đa hóa xác suất có ít nhất một lời giải thành công khi chạy hoàn tất, tự động phạt sự trùng lặp. Kết quả thử nghiệm trên 8 mô hình nguồn mở cho thấy phương pháp vượt trội hơn hẳn các chiến lược pruning dựa trên chất lượng hoặc đa dạng riêng rẽ.