Google, OpenAI, Anthropic và Microsoft chấp nhận tín hiệu robots.txt mới cho AI training
Google joins OpenAI and Anthropic in promising new scraping controls
Tóm tắt nhanh
- Google, OpenAI, Anthropic và Microsoft cam kết tôn trọng một directive mới trong robots.txt để publisher kiểm soát việc scraping nội dung cho generative AI training.
- Đề xuất do Kevin Kelley, technical lead for standards của Anthropic, viết và đang được IETF xem xét sẽ tạo ra một tín hiệu chung thay vì phải đặt rules riêng cho từng nhà cung cấp AI.
- Website owner có thể dùng user agent __usage_ai-training trong robots.txt để chặn crawler dùng cho AI training, hoặc cho phép ngoại lệ ở một số phần như /press-kit/.
- Directive này không chặn crawling hoàn toàn, không ngăn nội dung xuất hiện trên Google Search và cũng không xóa được dữ liệu các công ty đã từng scrape trước đây.
- Anthropic đã hỗ trợ ngay, Microsoft sẽ bắt đầu hỗ trợ từ ngày 1/2/2027, Google hỗ trợ vào đầu năm 2027 và OpenAI nói sẽ triển khai trong vài tháng tới.
Tóm tắt tự động bằng AI từ bài gốc, có thể có sai sót. Hãy kiểm chứng ở bài gốc.
Trích đoạn bài gốc
Google, OpenAI, Anthropic and Microsoft pledge to support a new common signal for robots.txt that blocks scraping for AI training.Tapview chỉ hiển thị tiêu đề, trích đoạn ngắn, tóm tắt và đường dẫn tới bài gốc. Nội dung gốc thuộc bản quyền của Engadget.
