Block training, keep answers? What 13,938 sites ask of AI bots

{"tags": ["robots.txt", "AI Crawlers", "Web Scraping", "Model Training", "AI Search", "Data Governance"], "risks": ["Sự thiếu minh bạch hoặc ranh giới kỹ thuật không rõ ràng giữa crawler phục vụ tìm kiếm và crawler thu thập dữ liệu huấn luyện.", "Nguy cơ mất lưu lượng truy cập hoặc giảm khả năng hiển thị nếu chặn nhầm bot tìm kiếm/RAG.", "Chưa có tiêu chuẩn đồng thuận chung trong toàn ngành về việc phân định mục đích của các bot AI."], "category": "Research", "entities": ["Trakis.io", "Hacker News"], "summary_vi": "Báo cáo từ Trakis.io khảo sát 13.938 website nhằm phân tích xu hướng quản trị bot AI, nổi bật là việc các website muốn ngăn chặn các công ty AI khai thác dữ liệu để huấn luyện mô hình (training) nhưng vẫn muốn nội dung xuất hiện trong các câu trả lời tìm kiếm (answers/search).", "key_changes": ["Khảo sát thực nghiệm trên 13.938 website về chính sách và chỉ thị dành cho bot AI.", "Xu hướng phân tách cấu hình: chặn bot thu thập dữ liệu huấn luyện mô hình (training) nhưng cho phép bot phục vụ tìm kiếm và trả lời (answers).", "Nhu cầu ngày càng tăng về việc kiểm soát chi tiết quyền truy cập của từng loại bot AI thay vì chặn toàn bộ."], "sub_category": "AI Web Crawling & Data Governance", "novelty_score": 68, "business_score": 78, "research_score": 75, "why_it_matters": "Nghiên cứu phản ánh mâu thuẫn kinh tế cốt lõi giữa nhà sản xuất nội dung và các công ty AI: các website muốn tận dụng lưu lượng truy cập từ câu trả lời AI nhưng không chấp nhận bị khai thác miễn phí dữ liệu để huấn luyện mô hình, qua đó định hình lại tiêu chuẩn thu thập dữ liệu web và bản quyền số.", "developer_score": 65, "importance_score": 72, "possible_use_cases": ["Quản trị viên cấu hình tệp robots.txt để chặn bot AI training (như GPTBot) nhưng cho phép bot AI search (như OAI-SearchBot).", "Đội ngũ phát triển crawler AI tinh chỉnh định danh user-agent và chính sách tuân thủ quy chuẩn phân quyền của website.", "Doanh nghiệp xuất bản nội dung hoạch định chiến lược bảo vệ bản quyền dữ liệu mà không làm giảm độ phủ thương hiệu trên các công cụ trả lời AI."], "actionability_score": 70}