Research

Nghiên cứu chỉ ra rằng bộ điều hướng (routers) trong mô hình MoE đóng vai trò như một giao diện tự nhiên, không cần huấn luyện lại (training-free) để kiểm soát các hành vi suy luận tại thời điểm suy luận (test-time compute). Bằng việc phân tích router logits, phương pháp dự đoán chính xác 6 hành vi suy luận tương đương residual stream nhưng sử dụng chỉ một nửa số đặc trưng. Việc can thiệp chỉnh sửa điểm router trong lúc suy luận giúp ngăn chặn hiện tượng 'suy nghĩ quá mức' (overthinking), cắt giảm trung vị 30,4% (tối đa 63,3%) số lượng token sinh ra mà độ chính xác gần như không suy giảm (giảm dưới 0,5% hoặc thậm chí cải thiện).

Nghiên cứu giới thiệu khung làm việc SAGE (Structural Admissibility-Guided Exploration) cùng nền tảng lý thuyết Phân tích Đóng Ký hiệu (Symbolic Closure Analysis - SCA) nhằm khắc phục thiên kiến khám phá và thiên kiến tích lũy sai số trong suy luận chuỗi dài của LLM dưới môi trường phần thưởng thưa. Bằng cách kết hợp làm thưa đại số (loại bỏ nhánh suy luận giả) và định hướng cấu trúc hyperbolic (cung cấp tín hiệu sâu dày đặc), SAGE cải thiện vượt trội trên 12 bộ benchmark và 7 họ mô hình, đặc biệt đạt mức cải thiện gấp 8 lần trên bài toán Andrews-Curtis.

Endless Exam là bộ benchmark mới gồm 14 họ bài toán xây dựng cấu trúc toán học được tham số hóa dựa trên các bài toán toán học mở, nhằm đo lường năng lực của các mô hình AI trên hành trình hướng tới siêu trí tuệ nhân tạo (ASI). Điểm số chất lượng được tính liên tục so với mốc biên công bố và không bị giới hạn trần ở mức 1, kết hợp cùng các chứng chỉ gọn nhẹ (compact certificates) để tự động kiểm định tính hợp lệ của cấu trúc lớn. Thử nghiệm trên 8 mô hình với 69 cá thể bài toán cho thấy chưa có hệ thống nào vượt qua ranh giới công bố của con người, đồng thời đường cong kích thước - chất lượng phản ánh rõ sự suy giảm chất lượng giải pháp khi kích thước bài toán gia tăng. Toàn bộ mã nguồn bộ tạo đề, bộ kiểm chứng và dữ liệu đánh giá đều được công bố mở.

RoboTryOn là giải pháp tổng hợp dữ liệu minh họa thao tác cho robot từ video góc nhìn người thực (egocentric) dựa trên cơ chế 'thử đồ ảo' (virtual try-on): giữ nguyên bối cảnh, tác vụ, chuyển động và thay thế con người bằng robot mục tiêu từ ảnh tham chiếu. Phương pháp sử dụng các khung hình then chốt được chuyển đổi tự hồi quy kết hợp khung xương bàn tay để định hướng tổng hợp video, sau đó dùng mô hình động học nghịch (IDM) tích hợp thông tin độ sâu để gán nhãn hành động. Thực nghiệm trên robot humanoid cho thấy chính sách điều khiển huấn luyện bằng dữ liệu tổng hợp này nâng tỷ lệ thành công trên tác vụ mới từ 2% lên 60% mà không cần dữ liệu robot thực tế, đồng thời tiết kiệm 2/3 chi phí so với phương pháp teleoperation truyền thống.

Nghiên cứu đề xuất phương pháp phân bổ ngân sách kiểm toán bằng verifier mạnh (LB - Low-pass Budgeted audits) trong huấn luyện GRPO nhằm giải quyết triệt để hiện tượng gian lận phần thưởng (reward hacking) khi kiểm tra bằng unit test yếu. Bằng cách ưu tiên kiểm toán các nhóm có số lượt vượt qua kiểm tra yếu ít nhất và phản chiếu phần thưởng phạt quanh mốc thất bại, LB triệt tiêu lợi thế của các mẫu gian lận, đưa tỷ lệ hack về gần 0% trên LeetCode và Countdown-Code với chỉ 28% ngân sách nhãn so với kiểm toán toàn bộ. Nghiên cứu cũng chứng minh rằng việc hạn chế phương sai của ước lượng gradient quan trọng hơn việc chỉ theo đuổi tính không chệch của cập nhật.

Nghiên cứu chỉ ra nghịch lý trong World Models dùng cho lập kế hoạch: mô hình thường được đánh giá qua độ chân thực của khung hình, nhưng một rollout chuẩn xác về mặt thị giác vẫn có thể tính toán sai phần thưởng tích lũy (return). Nhóm tác giả đề xuất phương pháp chẩn đoán cấp độ chuyển tiếp (transition-level diagnostic) trên 44 bộ mô hình - tập dữ liệu Atari-100k và phát hiện: (1) Các bước chuyển tiếp sự kiện (event transitions - khi nhận reward hoặc kết thúc lượt) dù có lỗi pixel tương đương các bước khác (tỷ lệ trung vị 0.85) nhưng việc sửa chúng giúp loại bỏ tới 70% sai số return; ngược lại, sửa các bước có lỗi MSE, SSIM hay LPIPS lớn nhất lại kém hiệu quả hơn chọn ngẫu nhiên. (2) Sai số còn lại có tính cấu trúc, mở ra hướng dùng diffusion model theo quy tắc định trước để sửa chữa và nâng cao hiệu quả xếp hạng kế hoạch, đặc biệt ở các tác vụ có phần thưởng hiếm.

Nghiên cứu chứng minh các mô hình ngôn ngữ 4D LiDAR hiện nay chưa thực sự hiểu mối quan hệ không gian - thời gian, khi chiến lược chọn cố định một đáp án đạt kết quả gần tương đương hai cấu hình dựa trên B4DL. Nhóm tác giả giới thiệu LiDAR-Hallu – bộ benchmark chẩn đoán gồm 10.000 câu hỏi trên 150 phân cảnh nuScenes với các cơ chế kiểm soát chặt chẽ như câu hỏi cặp đối lập và kiểm soát nội dung ứng viên. Kết quả phân tích 100.000 phản hồi chỉ ra mô hình chủ yếu khai thác lối tắt dữ liệu (như độ dài ứng viên để đoán thời gian), trả lời giống nhau cho các tình huống đối lập và trượt toàn bộ các trường hợp chuyển động ngang. Mã nguồn và dữ liệu đã được công khai trên GitHub.

Nghiên cứu giới thiệu hai thuật toán lai FL+FSDP và FL+HSDP, kết hợp sharded data parallelism với cơ chế tổng hợp phân tán FedAvg nhằm giải quyết nút thắt cổ chai truyền thông khi huấn luyện mô hình nền tảng trên mạng đa tầng không đồng nhất. Bằng cách chia cụm GPU lớn thành các nhóm liên minh liên kết lỏng lẻo và giới hạn kích thước global batch, phương pháp này đạt tốc độ xử lý nhanh hơn tới 8,04 lần và giảm 4,48 điểm perplexity khi tiền huấn luyện Llama 3.1 8B trên 512 GPU A100.

Nghiên cứu phát hiện kỹ thuật nén ngữ cảnh dựa trên encoder làm suy giảm có hệ thống hành vi từ chối (refusal alignment) ở các mô hình ngôn ngữ đã căn chỉnh, bất chấp độ tái tạo ngữ nghĩa đạt mức cao. Hiện tượng này xuất hiện trên nhiều kiến trúc và họ mô hình do quá trình nén làm suy yếu kích hoạt dọc theo hướng từ chối của decoder. Để khắc phục, nhóm nghiên cứu đề xuất Memory Steering - giải pháp can thiệp nhẹ tại thời điểm suy luận hoạt động hoàn toàn trong không gian biểu diễn nén, giúp khôi phục tỷ lệ từ chối về gần mức ban đầu mà không cần huấn luyện lại.

Nghiên cứu kiểm định quy trình đo chu vi đầu thai nhi (HC) bằng dự đoán chọn lọc (selective prediction) chỉ ra rằng việc kiểm soát rủi ro hữu hạn mẫu (Clopper-Pearson) chỉ khống chế tỷ lệ lỗi chứ không giới hạn độ lớn sai số. Hệ thống vẫn phát sinh sai số cực đoan lên tới 271.3 mm do khớp nhầm vào cấu trúc tròn nhỏ đạt điểm hoàn thiện 0.94. Nghiên cứu chứng minh giải pháp giới hạn miền giải phẫu hợp lệ (admissibility region, nâng ngưỡng tối thiểu từ 50 lên 55 mm hoặc 70 mm) loại bỏ triệt để các sai số thảm họa này mà chỉ tiêu tốn 0.4 điểm phần trăm độ phủ, vượt trội so với việc lọc theo ngưỡng độ tin cậy.

STEPQuant là khung lượng tử hóa sau huấn luyện (PTQ) không gian - thời gian dành cho trạng thái hồi quy Delta-rule trong mô hình Linear Attention. Bằng cách phân bổ độ chính xác dựa trên vòng đời bộ nhớ và độ lớn lỗi, kết hợp tinh chỉnh quy mô hàng key - cột value, STEPQuant ở cấu hình 6-bit giúp nén trạng thái hồi quy hơn 5 lần và giảm tới 68,7% tổng bộ nhớ serving trên SGLang mà vẫn giữ độ chính xác tương đương FP32.

Kỹ thuật OSINT từ nhà nghiên cứu Colsto cho thấy có thể xác định tọa độ quay chính xác của một video thông qua tiếng ồn máy bay gần như không thể nghe thấy trong âm thanh nền. Bằng cách phân tích đường cong hiệu ứng Doppler của âm thanh và đối chiếu chéo với dữ liệu giám sát chuyến bay ADS-B công khai (tốc độ, khoảng cách, khoảng giãn cách giữa các chuyến bay), vị trí địa lý của video được tái lập mà không cần bất kỳ dấu hiệu thị giác nào.

Nghiên cứu chứng minh rằng cơ chế định tuyến chuyên gia (expert routing) trong các mô hình Mixture-of-Experts (MoE) cung cấp tín hiệu độ tin cậy quá trình (process-confidence) tự nhiên, có hiệu quả tương đương độ tin cậy logit truyền thống. Dựa trên phát hiện này, tác giả đề xuất hai giải pháp: RoCo-Rethink (phát hiện bước suy luận kém tin cậy nhất để sinh lại có chọn lọc) và RoCo-PRM (dùng MoE mạnh tự động gán nhãn điểm suy luận từng bước và chưng cất thành PRM độc lập). Cả hai phương pháp đều vượt trội các baseline mạnh và có khả năng chuyển giao tốt qua nhiều kiến trúc và tác vụ suy luận.

Anthropic Frontier Red Team công bố kết quả thử nghiệm cho thấy các mô hình AI thế hệ mới đã chính thức vượt qua ngưỡng quan trọng về khả năng tấn công mạng nhị phân: GLM-5.3 và Claude Mythos Preview lần đầu tiên tự động thực hiện thành công kỹ thuật chiếm quyền điều khiển luồng thực thi (control flow hijack) trong lần lượt 4% và 6% số bài thử nghiệm (trên 100 tác vụ ngẫu nhiên từ benchmark nội bộ). Các thế hệ trước như Claude Opus 4.6 và GLM-5.2 hoàn toàn thất bại (0%), cho thấy năng lực khai thác nhị phân cấp cao đang lan rộng sang cả các mô hình tiên tiến từ Trung Quốc.

Nghiên cứu giới thiệu Divergent Token Confidence (DTC), một phương pháp mới giúp định lượng độ không chắc chắn trong suy luận chuỗi tư duy (CoT) của mô hình ngôn ngữ lớn (LLM). Thay vì phụ thuộc vào xác suất của các token then chốt, DTC phát hiện và đếm các token phân kỳ dựa trên độ phân kỳ Jensen-Shannon giữa phân phối next-token của hai mô hình trên cùng một quỹ đạo suy luận. Kết quả cho thấy số lượng token phân kỳ tỷ lệ nghịch với độ chính xác. Phương pháp này hoạt động tốt ở cả chế độ white-box lẫn black-box (sử dụng mô hình phụ trợ), không đòi hỏi huấn luyện thêm và không làm gián đoạn quá trình tạo sinh. Trên 6 benchmark toán học, DTC giúp giảm đáng kể sai số hiệu chuẩn (ECE) xuống còn 13.0% ở white-box và từ 32.1%–40.2% xuống 13.7%–16.3% trên DeepSeek-V3.2 ở black-box. Mã nguồn đã được công bố mở.

Nghiên cứu giới thiệu phương pháp 'Iterative Unalignment' nhằm ước tính xác suất các biến cố hiếm (rare events) có khả năng gây thảm họa do biến thiên ngẫu nhiên trong hành vi của các AI agent tự chủ. Thay vì sử dụng Naive Monte Carlo tốn kém tài nguyên tính toán, nhóm tác giả phát triển kỹ thuật lấy mẫu tầm quan trọng (Importance Sampling - IS) mới bằng cách nhiễu loạn trọng số của mô hình gốc để tạo phân phối đề xuất (proposal). Proposal này là một mô hình ngôn ngữ tham số hóa khả vi, cho phép tìm kiếm theo gradient trong không gian trọng số, kết hợp hàm mục tiêu đại diện (differentiable surrogate) và điều chuẩn thích ứng để cân bằng độ khuếch đại biến cố với tính ổn định của ước lượng. Thực nghiệm trên các mô hình 120M và 2.6B tham số với hơn 300 biến cố hiếm (xác suất đến 10^-9) cho thấy phương pháp đạt hiệu quả tính toán cao hơn 800 lần so với Monte Carlo truyền thống cho các sự kiện có xác suất dưới 10^-7.

Nghiên cứu chỉ ra rằng việc tinh chỉnh (fine-tuning) LLM trên dữ liệu mà mô hình tự nhận định là sai sự thật—dù không chứa nội dung độc hại—vẫn có thể gây ra hiện tượng mất căn chỉnh diện rộng (broad misalignment). Tỷ lệ lệch chuẩn tăng mạnh theo mức độ hoài nghi của mô hình (ví dụ trong toán học tăng từ 4% lên hơn 60%), xuất phát từ sự mâu thuẫn nội tại khi xác suất phân phối vẫn ưu tiên câu trả lời đúng. Đáng chú ý, rủi ro này ảnh hưởng trực tiếp đến các tác vụ chỉnh sửa tri thức (knowledge editing) và học liên tục (continual learning), trong khi các bộ lọc nội dung và vector nhân cách hiện tại hoàn toàn không thể phát hiện.

Nghiên cứu chỉ ra rằng năng lực khám phá khoa học của các mô hình ngôn ngữ lớn (LLM) bắt nguồn từ tỷ lệ 'monofact'—các sự kiện chỉ xuất hiện duy nhất một lần trong dữ liệu tiền huấn luyện. Thực nghiệm kiểm soát tỷ lệ monofact trong lĩnh vực khoa học vật liệu và hệ gen học điều hòa trên hai họ mô hình mã nguồn mở chứng minh rằng việc tăng monofact liên tục nâng cao số lượng phát hiện khoa học, độc lập với độ đa dạng dữ liệu thông thường và có khả năng chuyển giao liên miền khi kết hợp với dữ liệu nội miền.

Nghiên cứu phân tích tính xác thực của các benchmark sửa lỗi RTL (Register-Transfer Level) cho LLM, chỉ ra hai sai lệch đo lường lớn: (1) kết quả giữa mô phỏng (simulation) và kiểm chứng hình thức (formal equivalence) có thể trái ngược nhau do ngữ nghĩa reset và so sánh chu kỳ đầu tiên; (2) điểm số sửa lỗi truyền thống không phân lập được việc mô hình thực sự sửa RTL lỗi hay chỉ đang sinh mã mới từ đặc tả (độ lệch từ -8,5 đến +18,3 điểm phần trăm qua 6 mô hình). Nhóm tác giả công bố tập dữ liệu RTLRepairDataset (5.784 cặp), bộ benchmark RTLRepairBench (459 ca kiểm thử) cùng bộ quy chuẩn đánh giá nghiêm ngặt nhằm chẩn đoán chính xác năng lực thực tế của mô hình.

Nghiên cứu chỉ ra lỗ hổng SDP (Solution Determinacy Property) trong các kỹ thuật xáo trộn trọng số đơn phương bảo vệ bằng TEE trên thiết bị (như GroupCover, ArrowCloak), khiến khóa bị giải mã và kẻ tấn công đạt độ chính xác gấp hơn 2,4 lần baseline. Để khắc phục, tác giả đề xuất BiShield-TEE – giải pháp xáo trộn song phương cả chiều input và output nhằm tạo ra các nghiệm mơ hồ (Ambiguous Solutions), giấu khóa bí mật, đưa độ an toàn về mức tương đương black-box baseline đồng thời tối ưu hiệu năng suy luận trên phần cứng thực tế.

Nghiên cứu 'Cited but Not Consulted' thực hiện kiểm định phản thực tế (counterfactual audit) trên 7 mô hình nguồn mở (8B-70B) qua 4 bộ benchmark pháp lý (CaseHOLD, ECHR, SCOTUS, ContractNLI). Kết quả chỉ ra dù mô hình nêu đúng căn cứ pháp lý trong 66.7% - 100% trường hợp, việc phán quyết thay đổi khi tráo đổi căn cứ lại rất thấp (chỉ 0.0% - 21.7% trên CaseHOLD). Cả quy mô mô hình lẫn tinh chỉnh LoRA chuyên biệt ngành luật đều không giải quyết được vấn đề này. Ngoài ra, mô hình dễ bị thao túng bởi các chỉ dẫn đối kháng ẩn trong hồ sơ (73.3% - 96.4%), chứng minh việc trích dẫn luật không bảo đảm tính trung thực của suy luận và tiềm ẩn rủi ro lớn khi dùng làm tài liệu kiểm toán tuân thủ.

Nghiên cứu thực nghiệm quy mô lớn đầu tiên so sánh các phương pháp phát hiện bất thường chuỗi thời gian (TSAD) dạng streaming (cập nhật tăng dần) và static (tĩnh) trên benchmark thống nhất cùng tập dữ liệu TSB-drift. Kết quả trái với giả định thông thường: các phương pháp static vượt trội rõ rệt về độ chính xác so với streaming trong hầu hết các kịch bản luồng dữ liệu, cho thấy nhu cầu cấp thiết phải tái định hình cách tích hợp khả năng streaming vào TSAD.

EnigmaForge là benchmark mới đánh giá mô hình ngôn ngữ lớn (LLM) mà không cung cấp câu hỏi trước. Mô hình chỉ nhận một tập tài liệu (thư từ, hóa đơn, nhật ký) chứa ẩn đố logic có nghiệm duy nhất được chứng minh bằng SAT solver và chứng chỉ cắt bỏ (ablation certificate). Tiêu chí chính là 'trực giác' (tự phát hiện và giải quyết vấn đề từ câu chuyện) cùng khả năng tái thiết thế giới. Thử nghiệm trên 25 mô hình biên giới với 600 trường hợp cho thấy khoảng cách trực giác phân hóa tới 22 lần (so với 1,6 lần ở trích xuất sự kiện) và làm đảo lộn bảng xếp hạng, đồng thời chỉ ra vấn đề bộ lọc nội dung gây sai lệch kết quả đánh giá.

Nghiên cứu đề xuất phương pháp tìm kiếm ngữ nghĩa mới cho bài toán suy luận của LLM thay thế kỹ thuật lấy mẫu lặp lại (repeated sampling) ngây thơ. Bằng cách dùng học tăng cường (RL) để huấn luyện một mô hình nhỏ (concept generator) sinh ra các khái niệm và chiến lược gợi ý đa dạng, hệ thống có thể điều hướng hiệu quả một mô hình lớn cố định (answer generator). Kết quả cho thấy phương pháp cải thiện vượt trội tỷ lệ pass@k trên các bài toán khó với cùng mức compute, vượt qua cả các mô hình lớn chưa tinh chỉnh và có khả năng chuyển giao sang các mô hình khác họ.