Research

ARM (Attention with Routed-Memory) là kiến trúc bộ nhớ KV cache kích thước cố định, có thể vi phân hoàn toàn, được tổ chức dưới dạng bộ định tuyến phân cấp. Bằng cách sử dụng Gumbel-Softmax và cổng cập nhật sigmoid, ARM kết hợp mềm thông tin mới vào bộ nhớ thay vì loại bỏ token cứng, giúp hạn chế tối đa mất mát dữ liệu. Phương pháp này còn tích hợp một policy cho phép truy cập linh hoạt lượng bộ nhớ tùy theo độ phức tạp của đầu vào, tối ưu hiệu quả suy luận cho cả ngữ cảnh ngắn và dài.

Nghiên cứu phân tách hai trục thiết kế cốt lõi của thuật toán tokenisation (BPE và UnigramLM) gồm mục tiêu tối ưu (nén vs. log-likelihood) và quy trình tìm kiếm (ghép từ dưới lên vs. cắt tỉa từ trên xuống). Bằng việc đề xuất hai thuật toán mới BottomUpLL và TopDownComp để hoàn thiện không gian thiết kế 2x2, nghiên cứu chỉ ra rằng quy trình tìm kiếm từ dưới lên (bottom-up) chính là yếu tố quyết định giúp đạt bits-per-byte thấp hơn, trong khi mục tiêu tối ưu hóa không tạo ra sự khác biệt mang tính chi phối.

DISCERN là phương pháp unlearning (quên máy) phân lớp tăng dần tuần tự (ICU) mà không cần truy cập vào tập dữ liệu cần giữ lại (retain-free). Thay vì giả định phân phối Gaussian đẳng hướng quanh centroid, DISCERN mô hình hóa embedding bằng cách khớp các họ phân phối tham số không gian Euclidean (Gaussian, Laplace, Student's t) và định hướng (von Mises-Fisher, Fisher-Bingham) cho từng lớp dựa trên kiểm định thống kê và log-likelihood kiểm định chéo. Thiết kế này tối ưu cho hình học tiềm ẩn dạng siêu cầu của Transformer, giúp duy trì độ ổn định vượt trội sau 20 lượt xóa tuần tự trên ViT-B/16 (đạt harmonic mean 0.797 so với mức sụt giảm 0.048 của baseline mạnh nhất) và hạn chế tối đa hiện tượng lớp đã quên bị trỗi dậy trở lại.

Nghiên cứu giới thiệu khung toán học LNL-MDP và thuật toán LARBRID nhằm giải quyết thách thức tinh chỉnh diffusion policy cho robot bằng Reinforcement Learning. Phương pháp này thiết lập phương trình cầu nối (Bridge Equation) để đồng bộ biểu diễn giữa không gian nhiễu và không gian hành động, loại bỏ triệt để vấn đề 'noise aliasing' mà không cần lan truyền ngược qua thời gian (BPTT). LARBRID có cơ sở lý thuyết vững chắc với bảo đảm cận tối ưu, đồng thời mang lại mức tăng hiệu năng từ 2 đến 3 lần trên các tác vụ điều khiển robot vận động và thao tác.

Nghiên cứu đánh giá có hệ thống đầu tiên về time-context (khung thời gian hồi cứu theo lịch, phân biệt với token-context) kéo dài tới 30 năm cho mô hình nền tảng EHR (decoder-only transformer 34,6M tham số) nhằm dự đoán ung thư đại trực tràng tại North West London. Kết quả cho thấy khả năng phân biệt (AUROC) tăng từ 0,551 ở mốc 2 năm lên 0,590 ở 18 năm rồi đi ngang, trong đó 80% mức tăng đạt được trong 10 năm đầu và tương đương baseline XGBoost (0,589). Đồng thời, nghiên cứu phát hiện cơ chế RoPE theo thời gian trôi qua bị hiện tượng răng cưa (aliasing) sau khoảng 20 năm ở tần số mặc định, cần tinh chỉnh lại tham số theta.

Split-KV là phương pháp song song hóa ngữ cảnh (Context Parallelism - CP) chính xác dành cho huấn luyện diffusion drafter trong suy luận phỏng đoán (speculative decoding). Bằng cách tận dụng tính bất đối xứng giữa truy vấn ngắn (nhờ anchor sampling) và ngữ cảnh dài, Split-KV giữ các mảnh Key/Value cục bộ và chỉ truyền thông lượng dữ liệu có kích thước tương đương query tensor, loại bỏ sự phụ thuộc giữa chi phí truyền thông và độ dài ngữ cảnh. Kết hợp cùng chiến lược cân bằng tải LPT nhận biết chi phí, Split-KV đạt hiệu quả mở rộng 85–91% trên 64 tiến trình CP, tăng tốc tới 3,67 lần và giảm mất cân bằng tải xuống dưới 1%. Mã nguồn đã được công bố mở.

Nghiên cứu chỉ ra rằng chỉ số AUC (c-statistic) trong đánh giá mô hình dự đoán lâm sàng nhị phân có tính chất non-collapsible, khiến AUC của các nhóm nhỏ và AUC tổng thể không thể so sánh trực tiếp với nhau. Qua phân tích 8 thước đo công bằng dựa trên AUC và mô phỏng trên mô hình EuroSCORE II, tác giả khuyến nghị báo cáo ma trận AUC (gồm AUC tổng thể cùng các thành phần within-group và cross-group) kết hợp đặc điểm dân tộc/dân số, ưu tiên dùng within-group AUC parity khi cần đánh giá fairness, đồng thời cảnh báo không nên dùng gap-to-overall AUC, equity-scaled AUC và minimum-based metrics vì so sánh khập khiễng và không phù hợp thực tế.

FLORE là khung nghiên cứu học máy cho phép robot hình người thực hiện loco-manipulation (kết hợp di chuyển và thao tác) có phản ứng lực. Hệ thống thu thập dữ liệu không cần robot qua tay kẹp UMI đo lực và thiết bị theo dõi cơ thể, huấn luyện diffusion policy phản hồi lực và điều khiển toàn thân bằng bộ điều khiển tuân thủ lai (hybrid compliance). Phương pháp đạt tỷ lệ thành công 80% trong các tác vụ tương tác lực thực tế trên robot, so với 26,7% của phương pháp chỉ bám vị trí.

Nghiên cứu giới thiệu NPC-RubricBench, một benchmark đánh giá khả năng suy luận lâm sàng đa giai đoạn theo thời gian của LLM trong điều trị ung thư vòm họng dựa trên hồ sơ 405 bệnh nhân, 941 đơn vị bệnh nhân - giai đoạn và 17.688 tiêu chí đánh giá. Thử nghiệm trên 30 mô hình LLM (cả tổng quát và chuyên y tế) chỉ ra rằng hiệu năng chẩn đoán ban đầu cao không đồng nghĩa với chất lượng điều trị ở các khâu tiếp theo; đặc biệt kiểu lỗi bị đảo ngược giữa các giai đoạn (lỗi quyết định sai chiếm 48,2% ở phân kỳ giải phẫu, trong khi lỗi bỏ sót chiếm 30,4% - 33,4% ở khám ban đầu và theo dõi). Đáng chú ý, các mô hình tinh chỉnh y tế có tỷ lệ bỏ sót cao hơn mô hình tổng quát, và lời nhắc dạng checklist chi tiết dù tăng chất lượng quyết định nhưng lại làm giảm độ trung thực với bằng chứng và tuân thủ an toàn.

Meta công bố nghiên cứu trên arXiv về phương pháp thiết kế đồng bộ từ đầu đến cuối (E2E Co-Design) giữa phần cứng và phần mềm để huấn luyện AI trên GPU AMD. Đây là bước đi chiến lược nhằm hiện thực hóa mục tiêu đa dạng hóa phần cứng (HW Diversity), giảm sự phụ thuộc độc quyền vào hệ sinh thái Nvidia CUDA. Dù dữ liệu cung cấp chưa công bố chi tiết benchmark hiệu năng, nghiên cứu khẳng định tiềm năng ứng dụng thực tế của GPU AMD trong các cụm huấn luyện quy mô lớn khi được tối ưu hóa toàn diện.

Nghiên cứu từ Mercor Labor Index chỉ ra rằng 90% thời lượng làm việc tại Mỹ tập trung vào các tác vụ chưa được đánh giá thỏa đáng bởi các benchmark AI hiện nay, cho thấy khoảng cách lớn giữa điểm số mô hình và năng suất lao động thực tế.

Nghiên cứu chỉ ra On-policy Distillation (OPD) gặp lỗi mất khả năng khôi phục (recoverability) khi giáo viên chạy theo sai lầm của học sinh trên các rollout lỗi dù vẫn nhận diện được lỗi đó. Tác giả đề xuất CriticOPD, sử dụng phê bình (critique) từ giáo viên để học sinh viết lại giải pháp, sau đó giáo viên chấm điểm giải pháp có critique làm thông tin đặc quyền còn học sinh học trên bản sửa đổi không chứa critique, giúp tăng đáng kể hiệu năng trên 6 benchmark toán học với Qwen3.

RollVerify là framework học tăng cường (RL) nhẹ dành cho LLM dựa trên partial rollout, khắc phục tình trạng GPU bubbles do rollout đuôi dài gây ra trong huấn luyện on-policy. Thay vì reweighting mẫu off-policy thụ động, RollVerify sử dụng chỉ số Off-Policy Shift (OPS) để đo lường độ lệch và chủ động kiểm định, cắt tỉa hậu tố không hợp lệ ở cấp sequence và token trước khi đưa vào huấn luyện. Phương pháp giúp duy trì độ chính xác tương đương on-policy nhưng tối ưu chi phí và thông lượng trên các tác vụ suy luận toán học và sinh mã.

Nghiên cứu giới thiệu phương pháp diễn giải các token ngữ cảnh (contextual tokens) trong Multimodal Diffusion Transformers (MM-DiTs) bằng mạng bottleneck nhẹ ánh xạ biểu diễn trung gian vào LLM đóng băng để trả lời câu hỏi về hình ảnh đang được tạo. Kết quả cho thấy các token này lưu trữ thông tin ngữ nghĩa toàn cảnh từ rất sớm, ngay cả khi prompt rỗng. Dựa trên phát hiện này, kỹ thuật huấn luyện Contextual Alignment được đề xuất giúp nâng cao chất lượng tạo ảnh và độ bao phủ phân phối.

Nghiên cứu giới thiệu Skill-Space Shooting, phương pháp cho phép robot tự cải thiện chính sách hoạt động (policy) khi gặp tình huống mới hoặc thất bại mà không cần con người thị phạm. Bằng cách dùng mô hình nền tảng (foundation model) định hướng tìm kiếm qua các kỹ năng ngắn tái sử dụng, hệ thống chuyển đổi các lần thử nghiệm thành công thành tín hiệu giám sát để hoàn thiện chính sách, đã được chứng minh hiệu quả qua thử nghiệm trên robot thực.

AeroManip-VLA là khung mô phỏng và benchmark mở rộng dành cho việc tự động tạo dữ liệu và đánh giá các mô hình Vision-Language-Action (VLA) trong thao tác trên không. Bằng cách kết hợp mô phỏng tăng tốc GPU, điều khiển nhận biết tải trọng và chính sách học tăng cường (RL) kèm quy tắc chuyên gia, hệ thống cho phép tạo dữ liệu biểu diễn không cần con người điều khiển từ xa, hỗ trợ phân loại quỹ đạo và đánh giá toàn diện trước khi triển khai trên phần cứng thực tế.

Nghiên cứu giới thiệu khung làm việc Dissipative Quantum Reservoir Computing (DQRC) nhằm xây dựng bản sao số (digital twin) cho các hệ động học lượng tử nhiều vật bị kích thích. Bằng cách cố định một reservoir lượng tử mở tối giản chỉ gồm 1 qubit và chỉ huấn luyện bộ đọc cổ điển, mô hình đã tái tạo chính xác phản ứng phát xạ sóng hài bậc cao (HHG) của một chuỗi spin Ising lớn hơn nhiều, đồng thời vượt qua các mô hình nơ-ron cổ điển (TCN, KAN) về nhiều chỉ số và có khả năng tổng quát hóa tốt qua nhiều dạng kích thích.

Nghiên cứu chỉ ra rằng các mạch nơ-ron (circuits) được cô lập trong diễn giải cơ chế (mechanistic interpretability) dù tái hiện tốt các quyết định chính xác của mô hình (97,3–99,5% trên tác vụ IOI của GPT-2 small) nhưng lại không giải thích được phần lớn lỗi sai (chỉ khớp 11,4–41,7%). Nhóm tác giả đề xuất tiêu chuẩn tái hiện chính xác lỗi sai (exact error reproduction) như một kiểm định bắt buộc để đánh giá tính hợp lệ của các giải thích dựa trên mạch.

Nghiên cứu từ Epoch AI ('The Plunging Price of Thought') chỉ ra rằng chi phí cho năng lực tính toán và suy luận của AI đang giảm với tốc độ kỷ lục, nhanh hơn bất kỳ công nghệ mang tính chuyển đổi nào trong lịch sử (bao gồm cả bán dẫn và máy tính).

Nghiên cứu thực nghiệm đánh giá hiệu năng và tổng chi phí sở hữu (TCO) của các engine cơ sở dữ liệu đồ thị khi làm bộ nhớ (Graph Memory) cho LLM Agent. Trên đồ thị y sinh tổng hợp (1,02 triệu node, 5,34 triệu dòng) với 20 dạng truy vấn, nhóm tác giả đo lường Corvic AI cùng 7 engine khác (Ladybug, LoraDB, DuckPGQ, Memgraph, Neo4j, HugeGraph, FalkorDB). Kết quả cho thấy không có engine nào nhanh nhất toàn diện: Ladybug dẫn đầu ở các truy vấn lân cận hẹp có giới hạn, Corvic AI tối ưu ở các truy vấn quét hoặc nối diện rộng, còn DuckPGQ (SQL/PGQ) chậm rõ rệt do lựa chọn kế hoạch truy vấn kém. Đáng chú ý, yếu tố chi phí chi phối hệ thống không phải độ trễ truy vấn mà là thông lượng nạp dữ liệu hàng loạt (chênh lệch từ 5.0k đến 4.3M dòng/giây), quyết định phần lớn TCO cho các khối lượng công việc có dưới khoảng 105 truy vấn giữa mỗi lần làm mới dữ liệu.

ERCPMP-Gx là bộ dữ liệu đa phương thức gồm hình ảnh, video nội soi, mô bệnh học và hệ gen đầu tiên ở cấp độ bệnh nhân, phát triển nhằm hỗ trợ AI nhận diện và phân loại hội chứng đa polyp đại trực tràng di truyền. Dữ liệu gồm 160 ảnh và video clip thu từ hệ thống Olympus EVIS X1 (chế độ WLE, NBI, M-NBI, near focus), với 80% ca bệnh polyp di truyền (FAP, PJS, JPS, GNS) và 20% tổn thương không di truyền phục vụ chẩn đoán phân biệt. Mỗi bản ghi liên kết chú giải nội soi với mô bệnh học và đột biến gen mầm, được chia sẻ công khai trên Mendeley và DataBioX.

Nghiên cứu đề xuất pipeline kết hợp mô hình tạo video và âm thanh để giải quyết hạn chế thiếu thông tin lực của các phương pháp điều khiển robot dựa trên video. Bằng cách dùng độ lớn âm thanh tiếp xúc được sinh ra để tạo biên dạng lực mong muốn theo thời gian, hệ thống cho phép robot Franka Panda thực thi thành công các tác vụ tiếp xúc phức tạp qua bộ điều áp lực vòng kín, đồng thời đóng vai trò làm bộ máy sinh dữ liệu huấn luyện policy robot.

Nghiên cứu thiết lập cầu nối lý thuyết thông tin mang tên 'Goal Revelation' (sự tiết lộ mục tiêu) để liên kết hai thước đo an toàn AI trong Markov games: Empowerment (năng lực tác động) và Capability-Based Individual Power (năng lực đạt mục tiêu của con người). Sử dụng bất đẳng thức Fano, nhóm tác giả chứng minh chuỗi chặn B(s) <= I(G; xi | s) <= I(A_h -> xi | s) <= E_h(s) và vạch ra các điểm lỗi nghiêm trọng: tối đa hóa empowerment có thể dẫn đến việc kiểm soát các yếu tố không liên quan, còn tối đa hóa goal revelation không phát hiện được giao diện bị đảo ngược kết quả. Do đó, các đảm bảo an toàn thực chất chỉ đến từ năng lực đạt mục tiêu (attainment). Nghiên cứu đề xuất chỉ số 'satisfaction floor' dựa trên tương tác log để giám sát mức độ giữ quyền của con người trong các hệ thống triển khai thực tế.

Nghiên cứu giới thiệu Best-of-Depth (BoD), một phương pháp huấn luyện mới dành cho Looped Transformers giúp tận dụng tính toán lặp lại tại thời điểm suy luận. Thay vì chỉ huấn luyện ở độ sâu cuối cùng (vốn bỏ qua các trạng thái trung gian hữu ích), BoD coi toàn bộ quỹ đạo hồi quy như một tập ứng viên và tối thiểu hóa prediction loss xuyên suốt các độ sâu lặp mà không cần thay đổi kiến trúc hay gán nhãn theo độ sâu. Kết quả thực nghiệm cho thấy BoD tăng độ bao phủ nghiệm N-Queens từ 45,75% lên 91,03%, có khả năng tìm kiếm nghiệm vượt ngoài độ sâu huấn luyện và nâng cao tỷ lệ sinh mã nguồn thành công khi fine-tune trên mô hình ngôn ngữ dạng looped.