Research

Nghiên cứu sử dụng các kỹ thuật diễn giải cơ chế (mechanistic interpretability) để tìm ra các không gian con nguyên nhân (causal subspaces) đại diện cho phép ẩn dụ trên nhiều kiến trúc và kích thước LLM. Từ đó, nhóm tác giả chứng minh khả năng can thiệp và điều hướng (steer) mức độ ẩn dụ trong cả tác vụ phân loại lẫn tác vụ sinh văn bản.

Nghiên cứu giới thiệu kỹ thuật Pair-Aware Optimization kết hợp giữa tối ưu bậc 0 (ZO) và bậc 1 (FO) để tấn công jailbreak LLM agents. Phương pháp sử dụng ZO để khám phá tiền tố đối kháng và FO để tinh chỉnh hậu tố đối kháng, sau đó chọn lọc các cặp tiền tố - hậu tố tối ưu. Ngoài ra, nghiên cứu tiếp cận bài toán từ góc nhìn sinh ngẫu nhiên (stochastic decoding) nhằm nắm bắt các quỹ đạo hành động đa dạng của agent, chứng minh mô hình lai và thứ tự tối ưu hóa nâng cao đáng kể hiệu quả bẻ khóa so với phương pháp đơn lẻ.

Nghiên cứu giới thiệu Hindsight Inverse JEPA Planning (HIJP), một khung lập kế hoạch không cần tìm kiếm trực tuyến (search-free) trong không gian tiềm ẩn (latent space) cho các tác vụ điều khiển thị giác. Thay vì tối ưu hóa chuỗi hành động tốn kém lúc suy luận, HIJP kết hợp mô hình nghịch đảo điều kiện theo mục tiêu và mô hình dự đoán của JEPA, giải quyết đồng thời việc biểu diễn mục tiêu và tính nhất quán giữa hành động - chuyển trạng thái thông qua hindsight relabeling và căn chỉnh biểu diễn. Khi suy luận, mô hình áp dụng xen kẽ inverse dynamics và latent predictor để sinh chuỗi hành động nhiều bước, đạt tỷ lệ thành công 86.8% trên 4 tác vụ và tăng tốc độ từ 1.9 đến 16.5 lần so với phương pháp tìm kiếm truyền thống.

Continuum Attention (CA) là toán tử attention nhân quả mới cho Transformer, thay thế việc tra cứu Key-Value rời rạc bằng phép tích phân trên đường cong bộ nhớ tuyến tính từng đoạn. Thông qua mật độ liên quan hàm mũ và nghiệm giải tích dạng đóng của các moment (bậc tối đa 2), CA cho phép tính toán attention chính xác và song song hóa trên GPU. CA vượt trội hơn softmax và focal attention về negative log likelihood kiểm định, mở ra hướng tiếp cận tích phân liên tục đầy triển vọng dù vẫn giữ độ phức tạp bậc hai và cần kiểm chứng thêm ở quy mô lớn.

Nghiên cứu mới trên arXiv đề xuất giải pháp bộ nhớ dài hạn (Long-Term Memory) cho AI với cửa sổ ngữ cảnh lên tới 50 triệu token, được khẳng định là đạt tốc độ xử lý nhanh hơn và chi phí vận hành rẻ hơn so với phương pháp tái tính toán (recompute).

Nghiên cứu giới thiệu CLARA, một khung làm việc dựa trên cơ sở nhận thức giúp AI đánh giá mức độ phù hợp phát triển của truyện thiếu nhi qua 3 chiều: nhận thức (COG), ngôn ngữ (LAN) và cảm xúc - xã hội (SEL). Đồng thời, nhóm tác giả công bố bộ benchmark song ngữ gồm 1.107 truyện thiếu nhi Trung - Anh kèm chú thích có cấu trúc. Kết quả thực nghiệm và đánh giá mù với giáo viên chứng minh phương pháp này căn chỉnh với đánh giá của con người vượt trội hơn hẳn so với các thước đo độ dễ đọc truyền thống và kỹ thuật prompt trực tiếp.

Nghiên cứu đề xuất thuật toán hậu xử lý dành cho các mô hình AI tạo sinh dạng hộp đen, giúp căn chỉnh phân phối thuộc tính của dữ liệu đầu ra (như giới tính, chủng tộc, độ tuổi) khớp với phân phối mục tiêu do người dùng chỉ định. Phương pháp này áp dụng cho cả căn chỉnh chính xác và xấp xỉ, tối thiểu hóa số lần gọi API cần thiết và đạt tính tối ưu lý thuyết khi số lượng mẫu sinh lớn, bổ trợ đắc lực cho kỹ thuật prompting.

Nghiên cứu ứng dụng AI để phân tích 400.000 bài đăng trên Reddit, giúp phát hiện các tác dụng phụ tiềm ẩn chưa từng được ghi nhận đầy đủ của thuốc Ozempic từ phản ánh thực tế của người dùng.

GUARD (Guided Answer-Reasoning Distillation) là phương pháp machine unlearning mới dành riêng cho các mô hình suy luận lớn (LRM), giải quyết vấn đề rò rỉ dữ liệu nhạy cảm trong chuỗi suy nghĩ trung gian (CoT). Thay vì triệt tiêu biểu diễn gây lỗi lặp từ hoặc ảo giác, GUARD chuyển đổi phản hồi lộ lọt thành lộ trình thoát an toàn (safe-exit trajectory) gồm CoT mạch lạc và câu trả lời từ chối ổn định thông qua guidance tokens và kỹ thuật chưng cất. Nghiên cứu cũng đề xuất chỉ số NFRS để đánh giá chất lượng đầu ra sau unlearning, chứng minh hiệu quả giảm rò rỉ trên R-TOFU và STAR-1 mà vẫn bảo toàn năng lực suy luận.

Báo cáo từ Trakis.io khảo sát 13.938 website nhằm phân tích xu hướng quản trị bot AI, nổi bật là việc các website muốn ngăn chặn các công ty AI khai thác dữ liệu để huấn luyện mô hình (training) nhưng vẫn muốn nội dung xuất hiện trong các câu trả lời tìm kiếm (answers/search).

Nghiên cứu đề xuất và đánh giá các chiến lược cho pipeline toàn diện (end-to-end) nhằm phát hiện và định danh lại hành lý (Luggage ReID) qua nhiều luồng video giám sát. Khác với các phương pháp truyền thống chỉ so khớp ảnh crop trong môi trường lý tưởng, nghiên cứu giải quyết các thách thức thực tế như che khuất, nền lộn xộn và đám đông bằng cách kết hợp thông tin đa góc nhìn (multi-view) và đa khung hình (multi-shot), được kiểm chứng trên tập dữ liệu benchmark thực tế tại sân bay và nhà ga.

Nghiên cứu giới thiệu thuật toán tất định sử dụng không gian bộ nhớ đa thức (polynomial-space) giải chính xác bài toán Max 2-SAT trên n biến trong thời gian O*(2^((1-γ)n)) với γ > 0 cố định. Thuật toán mở rộng phương pháp rẽ nhánh DPLL kinh điển bằng cách tích lũy các ràng buộc cắt tỉa (pruning constraints) sinh ra khi so sánh hai giá trị của biến, giúp loại bỏ phần lớn không gian tìm kiếm. Phương pháp áp dụng hiệu quả cho các công thức 2-CNF dày, công thức bán ngẫu nhiên và bài toán Max-Cut trên đồ thị giãn nở hoặc mô hình stochastic block.

Nghiên cứu đánh giá năng lực ngôn ngữ của mô hình ngôn ngữ lớn (LM) thông qua hiện tượng độ nhạy tiêu điểm ngữ nghĩa (semantic focus-sensitivity) bằng hai phương thức: xác suất token (token probabilities) và prompting trực tiếp. Trong khi xác suất token luôn đạt hiệu quả trên mức ngẫu nhiên ở mọi quy mô mô hình, phương pháp prompting lại thể hiện sự vượt trội rõ rệt trên một số mô hình lớn. Thử nghiệm với các dấu hiệu tiêu điểm ngẫu nhiên cho thấy prompting có tính bền vững cao hơn đáng kể so với xác suất token khi xử lý dữ liệu phi chuẩn phong cách, mang lại đóng góp quan trọng cho phương pháp luận đánh giá năng lực ngôn ngữ của LM.

LitPivot là giải pháp hỗ trợ phát triển các ý tưởng nghiên cứu khoa học thông qua cơ chế ngữ cảnh hóa động trong toàn cảnh tài liệu học thuật (literature landscape). Dựa trên thông tin xác thực, công cụ tập trung vào quá trình hình thành và phát triển ý tưởng nghiên cứu. Về mặt suy luận hợp lý, LitPivot hướng tới việc tận dụng đồ thị tri thức hoặc mô hình ngôn ngữ để giúp nhà nghiên cứu định vị đề tài và tìm khoảng trống học thuật hiệu quả hơn. Các chi tiết kỹ thuật chuyên sâu và mã nguồn hiện chưa được đề cập trong tài liệu cung cấp.

Nghiên cứu về 'liên kết hành vi' (behavioral couplings) trong LLM chỉ ra rằng khi mô hình được huấn luyện trên tài liệu chứa hai hành vi khác nhau, việc tinh chỉnh (fine-tuning) một hành vi sẽ vô tình kích hoạt hành vi còn lại. Đáng ngại hơn, các liên kết này có tính chất hợp thành/bắc cầu: nếu tài liệu A liên kết hành vi 1-2 và tài liệu B liên kết 2-3, việc tinh chỉnh hành vi 1 sẽ kích hoạt cả hành vi 2 và 3, khiến việc truy vết nguồn gốc hành vi sai lệch trở nên cực kỳ khó khăn dù hành vi 1 và 3 chưa từng cùng xuất hiện trong một tài liệu nào.

Nghiên cứu giới thiệu Knossos và Ariadne nhằm giải quyết bài toán trích xuất cấu trúc tô-pô hoàn chỉnh từ sơ đồ sang đồ thị (diagram-to-graph) bằng mô hình thị giác-ngôn ngữ (VLM). Knossos là bộ benchmark quy mô lớn gồm 19.200 sơ đồ thuộc 6 lĩnh vực với 245.179 nút và 439.740 cạnh, được sinh bằng quy trình biểu tượng đảm bảo căn chỉnh tuyệt đối giữa hình ảnh và nhãn. Ariadne là khung làm việc phân rã tác vụ thành trích xuất danh sách nút và dự đoán cạnh dựa trên nút nguồn. Thử nghiệm cho thấy huấn luyện trên Knossos giúp các VLM mã nguồn mở cỡ nhỏ cải thiện vượt bậc khả năng trích xuất tô-pô, trong đó Ariadne đạt Edge F1 cao nhất và thể hiện khả năng thích ứng tốt trên dữ liệu thực tế bên ngoài. Mã nguồn và benchmark được công bố công khai.

BaLEEN (Biasing with Latent Encoded Entities) là một khung thích ứng ngữ cảnh động nhẹ dạng hypernetwork cho mô hình nhận dạng giọng nói tự động (ASR) mà không cần tinh chỉnh mô hình nền tảng. BaLEEN mã hóa từ khóa ngữ cảnh độ dài biến thiên bằng mô hình ngôn ngữ tiền huấn luyện, nén thành chuỗi vector tiềm ẩn cố định qua Perceiver bottleneck và tiêm vector phân cực trực tiếp vào biểu diễn bộ mã hóa trung gian của ASR. Cả mô hình ngôn ngữ lẫn mô hình ASR đều được đóng băng (frozen), biến BaLEEN thành adapter cắm-và-chạy không tốn chi phí tính toán suy luận nếu tính trước bias. Thử nghiệm trên mô hình ASR dạng CTC với dữ liệu Wikipedia và giọng nói tổng hợp cho thấy BaLEEN giảm 8,7% tỷ lệ bỏ sót từ khóa, đồng thời cải thiện 21% WER và 28% CER.

Nghiên cứu khảo sát khả năng sử dụng các mô hình bậc một tại thời điểm bắt đầu fine-tuning để thiết lập chặn trên xác suất quên các dữ kiện cần bảo vệ trong mô hình ngôn ngữ. Trong thiết lập LoRA với SGD trên các mô hình từ 0.6B đến 14B tham số, các đầu dò vi phân hữu hạn dự đoán sự thay đổi margin của từng dữ kiện với độ tương quan cao (0,974–0,998). Dù không dự đoán trực tiếp điểm quên do dịch chuyển tham số lớn, các tác giả đã dẫn xuất thành công các chặn first-passage Freedman và Azuma cho mô hình đại diện tuyến tính. Chặn Freedman hoàn chỉnh đã được xác nhận trong hai nghiên cứu thực nghiệm độc lập với 43 điều kiện, cho thấy mô hình bậc một có thể bảo đảm chống quên cho các dữ kiện có độ biến thiên hệ số phản ứng nhỏ hơn khoảng cách từ margin ban đầu đến ngưỡng.

$T^5$ (Twin-Critic Training) là phương pháp học tăng cường mid-training mới dành cho mô hình ngôn ngữ, giải quyết bài toán gán tín nhiệm (credit assignment) ở cấp độ token cho các chuỗi suy luận nội tại chỉ từ một trajectory sinh ra duy nhất (single rollout). Phương pháp sử dụng hai mạng critic (twin-critic) sau giai đoạn khởi động và đánh giá độc lập, kết hợp các ước lượng advantage thông qua hàm mục tiêu saddle-point mô-men có điều kiện cùng ràng buộc giữ lại tín hiệu học. $T^5$ loại bỏ nhu cầu lấy mẫu lặp lại tốn kém của các phương pháp group-relative, giúp tăng 7,8% hiệu năng benchmark trung bình và giảm tới 63,4% thời gian mỗi bước huấn luyện.

Nghiên cứu ứng dụng lý thuyết phạm trù (category theory) và groupoid để cấu trúc hóa và nâng cao hiệu quả giải quyết các bài toán học tăng cường trong môi trường quan sát một phần (POMDP) nhiều chiều. Bằng cách phân vùng không gian trạng thái thành các lớp tương đương dựa trên quỹ đạo đối xứng và gán đại diện chuẩn, tác tử có thể chia sẻ tri thức qua các trạng thái tương đồng, loại bỏ trùng lặp và tăng hiệu quả sử dụng mẫu (sample efficiency).

Nghiên cứu ứng dụng kỹ thuật QLoRA (4-bit NF4) để tinh chỉnh mô hình ngôn ngữ compact Ministral 3 (3 tỷ tham số) cho bài toán chú giải chức năng protein dưới dạng sinh văn bản (sequence-to-text), thay thế cách tiếp cận phân loại nhãn đóng truyền thống. Đánh giá qua quy trình LLM-as-expert (GPT đóng vai curator sinh học phân tử) chứng minh mô hình 3B có khả năng sinh chú giải mang giá trị sinh học thực tế cao cho một tập hợp protein đáng kể, mở ra tiềm năng ứng dụng LLM nhỏ gọn trong tin sinh học.

Nghiên cứu giới thiệu khung benchmark và bộ công cụ mã nguồn mở nhằm đánh giá chất lượng giải thích (tính liên quan và tính trung thực) cùng độ chính xác nhận diện khuôn mặt của các mô hình Vision-Language Models (VLM) mã nguồn mở, phục vụ các ứng dụng pháp y đòi hỏi tính minh bạch và khả năng kiểm toán.

Nghiên cứu ứng dụng Sparse Autoencoders (SAEs) để phân tích cơ chế biểu diễn và lan truyền hiện tượng hòa hợp số ngữ pháp (grammatical number agreement) trong các mô hình ngôn ngữ lớn. Qua thử nghiệm trên Pythia-70M và đối chiếu trên Gemma-2-2b cùng Llama-3.1-8b, nhóm tác giả xác định được các đặc trưng kích hoạt dạng số nhiều và chứng minh việc can thiệp vào các đặc trưng này có thể làm thay đổi lựa chọn động từ số ít/số nhiều của mô hình. Kết quả cũng chỉ ra LLM sử dụng cơ chế biểu diễn privative, trong đó số nhiều được đánh dấu tường minh còn số ít là mặc định.

StateBench là công cụ/bộ benchmark đánh giá năng lực của các mô hình ngôn ngữ lớn (LLM) trong việc theo dõi các thay đổi trạng thái (state changes) xuyên suốt các tài liệu dài.