How Well Do LLMs Perform in Peer Review? Evidence from Finance and Accounting

{"tags": ["Peer Review", "Phản biện học thuật", "GPT-4o", "GPT-5", "LLM Evaluation", "Tài chính & Kế toán", "AFA", "NBER"], "risks": ["Nguy cơ ban biên tập lạm dụng LLM để đánh giá và từ chối bài dựa trên tiêu chí tính mới hoặc tầm quan trọng mà mô hình không đủ năng lực thẩm định.", "Thiên vị trình bày (exposition bias): mô hình có xu hướng ưu ái văn phong trôi chảy hơn là giá trị khoa học thực sự.", "Chưa được kiểm chứng trên các lĩnh vực ngoài tài chính và kế toán, đặc biệt là các ngành định tính."], "category": "Research", "entities": ["GPT-4o", "GPT-5", "AFA (American Finance Association)", "NBER (National Bureau of Economic Research)"], "summary_vi": "Nghiên cứu thực nghiệm trên các bài báo tại hội nghị AFA và NBER 2024 chỉ ra rằng GPT-4o và GPT-5 có khả năng thẩm định tốt tính chính xác kỹ thuật và cách trình bày, nhưng không thể đánh giá tính độc đáo và tầm quan trọng của nghiên cứu. Điểm số kỹ thuật của mô hình dự báo tăng 44% cơ hội xuất bản vào top 3 tạp chí tài chính (đã kiểm soát danh tiếng tác giả). Kết luận gợi ý mô hình phân chia công việc: giao khâu kiểm tra kỹ thuật cho AI, còn việc đánh giá giá trị đóng góp thuộc về con người.", "key_changes": ["Bài báo được GPT-4o chấm cao hơn 1 độ lệch chuẩn có xác suất xuất bản ở top 3 tạp chí tài chính cao hơn 44% (đã loại trừ uy tín tác giả và look-ahead bias).", "Khả năng dự báo của mô hình bắt nguồn hoàn toàn từ đánh giá tính đúng đắn kỹ thuật (correctness) và cách trình bày (exposition).", "Đánh giá của LLM về tính độc đáo (originality) và tầm quan trọng (significance) không có giá trị dự báo; hướng dẫn phản biện nhấn mạnh tầm quan trọng cũng không cải thiện.", "Sự phân tách giữa khả năng thẩm định kỹ thuật và thẩm định đóng góp học thuật duy trì nhất quán ở cả lĩnh vực kế toán lẫn mô hình thế hệ mới GPT-5."], "sub_category": "Đánh giá năng lực LLM trong phản biện học thuật", "novelty_score": 80, "business_score": 72, "research_score": 88, "why_it_matters": "Nghiên cứu giải quyết tranh cãi về việc ứng dụng LLM trong bình duyệt khoa học bằng bằng chứng định lượng rõ ràng. Nguyên lý 'LLM có thể kiểm tra nghiên cứu có đúng không nhưng không biết nó có quan trọng hay không' đặt ra khuôn khổ chuẩn mực cho việc ứng dụng AI: làm trợ lý thẩm định kỹ thuật cho chuyên gia, tránh phụ thuộc vào AI để quyết định giá trị đóng góp tri thức.", "developer_score": 65, "importance_score": 78, "possible_use_cases": ["Tích hợp vào quy trình sơ loại (desk review) của tạp chí học thuật để rà soát lỗi logic, phương pháp và cách hành văn.", "Hỗ trợ người phản biện (peer reviewer) kiểm tra chéo tính chính xác kỹ thuật, chứng minh toán học và tính nhất quán dữ liệu.", "Công cụ hỗ trợ tác giả tự kiểm tra độ chặt chẽ kỹ thuật và bố cục bài viết trước khi nộp bài.", "Thiết kế hệ thống phối hợp người - máy: LLM tự động hóa khâu kiểm tra kỹ thuật, chuyên gia con người tập trung thẩm định giá trị đóng góp và tính mới."], "actionability_score": 75}