Research

Nghiên cứu giải thích hiện tượng On-Policy Distillation (OPD) bị suy thoái thành sinh văn bản quá dài và lặp lại dưới góc nhìn học tăng cường (RL). Mô hình giáo viên đóng vai trò hàm thưởng tiềm ẩn, có thể gây ra hiện tượng reward hacking khi đánh giá lệch chuẩn, khuếch đại các rollout bất thường của học sinh. Hai giải pháp hiệu quả được đề xuất gồm che (masking) các phản hồi bất thường trong huấn luyện và khởi tạo bằng SFT.

JudgeCast là khung dự báo chuỗi thời gian dựa trên kinh nghiệm, kết hợp mô hình nền tảng chuỗi thời gian (TSFM) đông băng và LLM đông băng. TSFM cung cấp dự báo cơ sở, còn LLM thực hiện hiệu chỉnh định tính bằng cách đánh giá tác động từng biến đồng biến (covariates) trước khi xác định mức điều chỉnh số học. Sau khi có dữ liệu quan sát thực tế, JudgeCast sử dụng phần dư để tái tạo và đánh giá các phán đoán thay thế, lưu lại quyết định tối ưu nhất làm kinh nghiệm đã xác thực cho các lần dự báo sau.

EHRAdapt là adapter giúp điều chỉnh các mô hình ngôn ngữ lớn (LLM) tiền huấn luyện để xử lý hồ sơ bệnh án điện tử (EHR) dưới dạng bộ ba (thời gian, phương thức, mã) thay vì tuần tự hóa thành văn bản. Để khắc phục bài toán phân phối đuôi dài của các sự kiện lâm sàng hiếm, EHRAdapt kết hợp một semantic prior (nhúng cố định từ mô hình y sinh) với một evidence residual (hiệu chỉnh low-rank có thể học). Thử nghiệm trên 4 triệu hồ sơ bệnh nhân với OLMo2 và Llama3.2 cho thấy adapter (chỉ chiếm 0.1–0.6% tham số) vượt trội hơn các phương pháp cơ sở và cải thiện đáng kể khả năng phân biệt bệnh hiếm.

Nghiên cứu 'Mind the Spike' phân tích cơ chế và độ nhạy cảm của hiện tượng kích hoạt cực đại (visual massive activations / visual spikes) trong các mô hình thị giác-ngôn ngữ lớn (LVLM). Khác với text spikes xuất hiện cố định ở các tầng đầu, visual spikes xuất hiện ở tầng sâu hơn và tập trung vào các token ảnh ít tương đồng nhất với phần còn lại của ảnh. Đặc biệt, visual spikes rất mong manh trước nhiễu: tấn công chỉ với ngân sách l_infinity = 1/255 đã đủ để tạo hoặc xóa spike trên 9/10 mô hình. Nhóm tác giả đề xuất can thiệp loại bỏ thành phần trigger trước khi spike bùng phát, giúp triệt tiêu spike trên cả ảnh sạch và ảnh nhiễu mà hầu như không làm biến đổi các token khác, được kiểm chứng trên 25 LVLM (2B - 72B).

Nghiên cứu cấu trúc hình học Riemannian và giải thuật tối ưu hóa cho họ ma trận trực giao ít tham số được tạo bởi các nhân tử khối đường chéo xen kẽ hoán vị cố định. Đối với trường hợp hai nhân tử trực giao, tác giả xây dựng các công cụ Riemannian và thuật toán tối ưu hóa tận dụng vi phân tự động, hỗ trợ chia sẻ tham số mà không cần tạo ma trận dày. Phương pháp được kiểm chứng trên bài toán xấp xỉ ma trận và tinh chỉnh tham số hiệu quả (PEFT) cho các mô hình ngôn ngữ lớn (LLM).

Nghiên cứu kiểm toán tính công bằng của các bản đồ độ nổi bật (Grad-CAM, Integrated Gradients, Occlusion) trong phân loại X-quang tuyến vú trên 1.345 ảnh chụp ác tính thuộc CBIS-DDSM. Kết quả cho thấy các mô hình CNN định vị tổn thương ở mô vú dày kém hơn đáng kể so với mô không dày (Grad-CAM đạt đỉnh trúng tổn thương 44% so với 58%). Yếu tố gây nhiễu do phân bổ bệnh lý (case mix, chủ yếu là vi vôi hóa) giải thích hơn một nửa khoảng cách này, nhưng chính mô hình cũng phụ thuộc ít hơn vào tổn thương ở mô vú dày. Nhóm tác giả đề xuất báo cáo khoảng cách phân loại trước và sau hiệu chỉnh case-mix cùng các đối chứng liên quan.

Nghiên cứu thực nghiệm trên 2.035 tuyên bố khoa học từ SciFact và CliniFact đánh giá hiệu quả xác minh thông tin giữa mô hình NLI (DeBERTa-v3) và các LLM nguồn mở (Qwen3 8B, Llama 3.1 8B, Mistral 7B) dựa trên truy xuất lai (BM25 + Semantic). Kết quả cho thấy Qwen3 8B đạt Macro-F1 cao nhất (0,7937), trong khi NLI baseline chỉ đạt 0,3157. Đáng chú ý, cơ chế kết hợp thận trọng (chỉ chấp nhận nhãn khi cả NLI và LLM đồng thuận) đã làm giảm hiệu năng của toàn bộ LLM do NLI yếu kém trong việc xử lý bằng chứng rải rác trên nhiều câu, dẫn đến việc phủ quyết sai các dự đoán chính xác của LLM.

Nghiên cứu trên 20 mô hình ngôn ngữ lớn (LLM) và gần 45.000 truyện ngắn chỉ ra rằng văn học do AI tạo ra bị tập trung bất thường vào một số tên nhân vật quen thuộc (như 'Elara', 'Elias') – một biểu hiện rõ nét của 'AI slop'. Các giải pháp danh sách cấm tĩnh thất bại vì chỉ đẩy sự tập trung sang các tên mới nổi và làm giảm hơn một nửa tỷ lệ tên thực. Để giải quyết, tác giả giới thiệu 'speculative naming' – phương pháp không cần fine-tuning hay can thiệp logit, áp dụng cơ chế draft-verify-reject vào việc chọn tên kết hợp công cụ SlopTracker động. Phương pháp giúp giảm tới 95% tỷ lệ Slop Ratio, hạ xác suất trùng lặp tên xuống 0,4% và triệt tiêu trùng lặp tên quen thuộc trong khi vẫn bảo toàn độ tự nhiên của danh xưng.

Nghiên cứu đề xuất Diverse Parallel Thinking (DPT), một phương pháp học tăng cường (RL) mới nhằm khắc phục hiện tượng thoái hóa quỹ đạo suy luận (mode collapse) trong kỹ thuật suy luận song song của mô hình ngôn ngữ lớn (LLM). Bằng cách phạt độ tương đồng tiền tố giữa các nhánh tư duy, DPT thúc đẩy mô hình mở rộng không gian tìm kiếm và duy trì các giả thuyết đa dạng, đạt hiệu suất vượt trội (SOTA) trên các bài đo chuẩn reasoning.

Nghiên cứu từ Naver AI chỉ ra hiện tượng 'knows-but-cannot-say' ở các mô hình ngôn ngữ toàn năng (Omni-LLMs), khi mô hình tiếp nhận chính xác tín hiệu phi văn bản (hình ảnh, âm thanh, IMU) nhưng gặp khó khăn khi diễn đạt ra ngôn ngữ do biểu diễn phi văn bản nhận ít sự chú ý hơn. Nhóm tác giả đề xuất thước đo Token-level Modality Alignment (TMA) cùng giải pháp OmniCatalyst áp dụng cơ chế perceive -> infer, bổ trợ đầu vào bằng văn bản tự sinh để tăng cường căn chỉnh biểu diễn, giúp cải thiện trung bình 7,29% hiệu năng trên 7 mô hình Omni-LLM.

Nghiên cứu mô hình hóa an ninh AI dựa trên lý thuyết trò chơi Stackelberg, phân tích hiệu quả của quy trình phản hồi phòng thủ (kiểm thử tự động, red teaming, ứng phó sự cố). Nghiên cứu chứng minh rằng bề mặt tấn công hữu hạn sẽ được phòng thủ với xác suất 1 nếu mọi đòn tấn công chưa giải quyết đều có khả năng bị phát hiện liên tục, việc khắc phục hiệu quả và các bản cập nhật bảo toàn lớp phòng thủ trước đó. Đồng thời, mô hình xác định phân bổ chi phí tối thiểu giữa phát hiện chủ động và vá lỗi bị động để ngăn chặn kẻ tấn công.

Nghiên cứu giới thiệu CoNN-AL, khung thiết kế ngược một phần (partial inverse design) tiết kiệm dữ liệu, kết hợp active learning dạng luồng (stream-based active learning) với mô hình CoNN-DAE. Phương pháp sử dụng Monte Carlo dropout để ước lượng độ bất định theo thời gian thực và chọn lọc mẫu cần chạy mô phỏng tốn kém. Thử nghiệm trên tập dữ liệu rãnh dẫn kính ô tô hơn 900.000 mẫu cho thấy CoNN-AL chỉ cần 20.000 mẫu gán nhãn (~2,3%) để đạt R² từ 0,967 đến 0,982, tiết kiệm 30-40% nhãn so với lấy mẫu ngẫu nhiên và công khai bộ dữ liệu cho cộng đồng.

GroupMask là phương pháp cắt tỉa bán cấu trúc (semi-structured pruning) cấp độ nhóm với khả năng phân bổ độ thưa thích ứng theo tầng (layer-adaptive) dành cho LLM. Thay vì cố định tỷ lệ thưa N:M trên mọi tầng, GroupMask chia ma trận trọng số thành các nhóm cố định (ví dụ 1x256), dùng một hypernetwork nhẹ kết hợp Gumbel-Sigmoid và straight-through estimator để học quyết định giữ/loại bỏ từng nhóm dựa trên ràng buộc ngân sách toàn cục và self-distillation mà không thay đổi trọng số gốc. Trên LLaMA-2-7B ở độ thưa 50%, phương pháp giảm perplexity WikiText-2 từ 10.02 xuống 8.30 và nâng độ chính xác zero-shot trung bình từ 0.455 lên 0.496 so với phân bổ đồng đều.

MAVP (Map-Aware Visuomotor Policies) là khung phương pháp nâng cao độ tin cậy cho thao tác di động của robot thông qua việc dự đoán mục tiêu tư thế đế robot cụ thể và bám sát chúng bằng phản hồi định vị. MAVP tái tạo bản đồ tĩnh từ dữ liệu mẫu, chuẩn hóa quỹ đạo đế trong hệ quy chiếu bản đồ chung, đồng thời kết hợp điều khiển feedforward và bù trừ sai số tư thế, giúp tăng tỷ lệ thành công vượt trội so với điều khiển vận tốc thông thường trên 6 tác vụ thực tế.

Nghiên cứu giới thiệu khung mô hình đa phương thức dự đoán phản ứng đường huyết sau ăn (PPGR) bằng cách thay thế nhật ký ăn uống thủ công bằng ảnh chụp bữa ăn, kết hợp cùng các biến số lâm sàng và hồ sơ vi sinh đường ruột. Hệ thống sử dụng mô-đun attention để phân tích tương tác giữa dinh dưỡng và dữ liệu sinh học cá nhân, cho kết quả vượt trội so với các mô hình cùng loại và tiệm cận phương pháp nhập liệu thủ công.

MoI-Bench là bộ benchmark đánh giá khả năng tạo và chỉnh sửa ảnh trên thiết bị di động, gồm 64 tác vụ phụ và 1.150 mẫu dựa trên nhu cầu thực tế của người dùng di động. Bộ tiêu chuẩn kết hợp hai trục trực giao: 16 thao tác xử lý và 8 danh mục đối tượng thị giác, đi kèm khung đánh giá MoI-Eval và bản đồ năng lực hai chiều 'Chất lượng - Khả năng triển khai'. Kết quả chỉ ra các mô hình on-device hiện nay đạt hiệu quả triển khai tốt nhưng cần tập trung mở rộng phạm vi tác vụ và nâng cao chất lượng chỉnh sửa, nhất là khả năng giữ nguyên danh tính đối tượng và kết xuất văn bản.

DCKV là bộ codec khả vi đầu tiên được huấn luyện end-to-end để nén prompt KV cache trong các mô hình ngôn ngữ lai (hybrid language models). Bằng cách tối ưu hóa đồng thời phép biến đổi, lượng tử hóa và mô hình entropy cùng với mô hình ngôn ngữ đóng băng, DCKV giúp giảm kích thước lưu trữ token hơn 55 lần so với bf16 (suy hao tối đa 1.8 điểm) và hơn 100 lần (suy hao tối đa 3.6 điểm) trên 3 benchmark ngữ cảnh dài với Qwen3.5-2B.

DAR-MGSM là bộ benchmark suy luận toán học đầu tiên được biên soạn thủ công cho 5 phương ngữ tiếng Ả Rập chính cùng tiếng Ả Rập tiêu chuẩn hiện đại (MSA). Bộ dữ liệu cung cấp hai phiên bản song song: chỉ dịch thuật và dịch kết hợp bản địa hóa văn hóa. Thử nghiệm trên 11 mô hình LLM cho thấy hiệu năng giải toán nhiều bước giảm rõ rệt trên phiên bản bản địa hóa. Phân tích mechanistic interpretability cũng chỉ ra các quỹ đạo suy luận nội bộ bị biến đổi khi thay đổi ngữ cảnh văn hóa, khẳng định năng lực suy luận của mô hình phụ thuộc chặt chẽ vào cả phương ngữ lẫn bối cảnh văn hóa.

Tessera là framework học biểu diễn không gian cho dữ liệu spatial transcriptomics, kết hợp chọn lọc gen nhận biết không gian và thiên kiến quy nạp hình học. Phương pháp mô hình hóa quan hệ tương đối giữa các tế bào giúp đạt tính bất biến tịnh tiến nhưng vẫn bảo toàn thông tin về hướng. Tessera vượt trội các spatial foundation model hiện có và có khả năng tổng quát hóa zero-shot với ngữ cảnh lớn gấp 16 lần so với tập huấn luyện.

Mise-en-Video (MeV) là khung tạo video đa cảnh quay (multi-shot) cho phép người sáng tạo dàn dựng cảnh trong không gian 3D trước khi sinh video tương ứng. Mô hình tích hợp cơ chế chú ý phân tầng (hierarchical attention) để bảo đảm tính nhất quán mạch truyện cùng định hướng bố cục 3D nhằm kiểm soát vị trí không gian chi tiết theo từng cảnh. Nghiên cứu cũng đóng góp bộ dữ liệu 160K video có chú thích văn bản phân cấp và bounding box 3D có hướng.

Nghiên cứu giới thiệu MalwareFormer, một framework phát hiện mã độc dựa trên Transformer hoạt động trực tiếp trên chuỗi byte thô của tệp thực thi mà không cần trích xuất đặc trưng thủ công hay kiến thức chuyên môn. Mô hình giải quyết bài toán nắm bắt các mối quan hệ phụ thuộc tầm xa trong tệp nhị phân vốn là thách thức của CNN và phân tích tĩnh truyền thống, đạt độ chính xác 98,35%, macro-F1 98,32% và tỷ lệ dương tính giả 1,94%.

Nghiên cứu đánh giá các cuộc tấn công xác thực người nói (ASV) theo hướng âm học và nội dung trên giọng nói ẩn danh hóa đa ngôn ngữ. Nhóm tác giả xây dựng tập dữ liệu MultiVC giúp tăng khả năng tổng quát hóa xuyên ngôn ngữ và chứng minh rằng hiệu quả tấn công phụ thuộc trực tiếp vào mức độ bảo toàn tiện ích ngôn ngữ, đòi hỏi các chuẩn đánh giá bảo mật giọng nói phải xem xét toàn diện cả quyền riêng tư lẫn tính hữu dụng.

Nghiên cứu giới thiệu Nash Equilibrium Text, một khung giải mã dựa trên lý thuyết trò chơi cho bài toán hiệu chỉnh văn bản. Bằng cách coi mỗi vị trí token là một người chơi và log xác suất có điều kiện là hàm hữu dụng, nhóm tác giả chứng minh cân bằng Nash đạt likelihood cao hơn hàm mũ so với mô hình tự hồi quy khi độ dài chuỗi tăng. Thuật toán Nash decoding đạt nghiệm ε-Nash trong O(1/ε) thời gian. Khi áp dụng trên các masked language model, phương pháp giúp vượt qua các mô hình tự hồi quy lớn hơn tới 18 lần trên các benchmark CLAPNQ, PubMedQA và CoQA mà không cần fine-tuning, đổi lại bằng việc tăng chi phí tính toán suy luận.

Nghiên cứu phân tích các dạng lỗi vật lý của mô hình Vision-Language-Action (VLA như pi0.5 và GR00T) khi camera gặp sự cố (màn hình đen hoặc đóng băng hình ảnh). Đóng băng hình ảnh dẫn đến chuyển động khớp cực đoan, trong khi màn hình đen sau khi kẹp dễ làm rơi vật thể. Cảm nhận bản thể robot hỗ trợ giảm va chạm ngoài ý muốn nhưng không thể bù đắp hoàn toàn khi mất góc nhìn cổ tay. Các giải pháp khắc phục hiện tại cải thiện tỷ lệ thành công nhưng lại làm tăng tương tác vật lý ngoài mong muốn trên robot thật.