Beyond Poetry: Can Large Language Models Generate Classical Arabic Maqamat?

{"tags": ["LLM Evaluation", "Classical Arabic", "Maqama", "Prompt Engineering", "Cultural NLP", "LLM-as-a-Judge"], "risks": ["Mô hình gặp khó khăn trong việc cân bằng đồng thời giữa mật độ văn vần (saj), phép tu từ và tính mạch lạc trong cốt truyện.", "Các kỹ thuật prompt phức tạp (few-shot, rule-based) có thể làm giảm điểm tổng hợp tổng thể so với zero-shot trên một số mô hình.", "Nguy cơ sai lệch phong cách cổ điển hoặc ảo giác văn phong khi áp dụng vào các tác phẩm yêu cầu tính nguyên bản cao.", "Đánh giá bằng LLM-as-a-judge có thể mang thiên kiến nếu không được kiểm chứng chéo bởi chuyên gia con người và độ đo định lượng."], "category": "Research", "entities": ["GPT-4o", "GPT-5.4-mini", "Maqamat", "Arabic"], "summary_vi": "Nghiên cứu tiến hành đánh giá có kiểm soát đầu tiên về khả năng sinh thể loại văn xuôi cổ điển Ả Rập Maqama (đặc trưng bởi văn vần saj, phép tu từ dày đặc và kết cấu truyện theo hồi đoạn) của 5 mô hình LLM. Kết quả chỉ ra rằng chiến lược prompt ảnh hưởng mạnh đến chất lượng phong cách: few-shot cải thiện tốt nhất mật độ saj, rule-based tối ưu phép tu từ và tính mạch lạc cho các mô hình mạnh như GPT-4o và GPT-5.4-mini, trong khi zero-shot lại mang lại điểm tổng thể cao nhất trên cả 5 mô hình.", "key_changes": ["Công bố nghiên cứu thực nghiệm đầu tiên đánh giá có kiểm soát khả năng sinh văn xuôi cổ điển Ả Rập (thể loại Maqama) trên 5 mô hình ngôn ngữ lớn.", "Khảo sát ba chiến lược prompting gồm zero-shot, few-shot và rule-based prompting dựa trên đánh giá của con người kết hợp khung LLM-as-a-judge.", "Phát hiện few-shot prompting giúp tăng mật độ văn vần (saj) ổn định nhất trên các mô hình.", "Rule-based prompting mang lại hiệu quả cao nhất về tu từ và độ mạch lạc cho các mô hình mạnh nhất như GPT-4o và GPT-5.4-mini.", "Zero-shot prompting bất ngờ đạt điểm tổng thể (aggregate score) cao nhất trên toàn bộ 5 mô hình được thử nghiệm.", "Xác thực kết quả thông qua thẩm định của giám khảo LLM độc lập thứ hai, kiểm định thống kê bắt cặp và các chỉ số đo lường văn vần phi LLM."], "sub_category": "Cultural NLP & LLM Evaluation", "novelty_score": 75, "business_score": 48, "research_score": 82, "why_it_matters": "Nghiên cứu mở rộng phạm vi đánh giá LLM vượt ra ngoài ngôn ngữ hiện đại và thơ ca để đo lường năng lực văn học chuyên sâu trong các thể loại văn xuôi cổ điển phức tạp. Kết quả cung cấp hướng dẫn thực tiễn cho kỹ thuật prompt ràng buộc phong cách và chứng minh tầm quan trọng của việc kiểm chứng đa tầng (kết hợp giám khảo con người, LLM-as-a-judge và phép đo định lượng).", "developer_score": 60, "importance_score": 65, "possible_use_cases": ["Tối ưu hóa chiến lược prompt engineering khi yêu cầu mô hình sinh văn bản có ràng buộc cấu trúc chặt chẽ và văn vần phức tạp.", "Phát triển công cụ hỗ trợ sáng tác, bảo tồn văn học cổ điển và bản địa hóa nội dung văn hóa khu vực Trung Đông.", "Xây dựng bộ benchmark đánh giá năng lực ngôn ngữ chuyên sâu và mức độ am hiểu văn hóa phi phương Tây của các LLM.", "Ứng dụng khung LLM-as-a-judge kết hợp thước đo phi LLM để kiểm thử chất lượng văn phong nghệ thuật."], "actionability_score": 58}