Tóm tắt nhanh
- OpenAI, Google, Microsoft và Anthropic cho biết sẽ hỗ trợ một tín hiệu chung để website bày tỏ lựa chọn về việc dùng nội dung huấn luyện AI.
- Tín hiệu dùng policy token
__usage_ai-trainingtrong nhóm User-Agent củarobots.txt, không thêm chỉ thị hay cú pháp mới. - Quy tắc này chỉ nói về mục đích huấn luyện; nó không tự chặn crawler tìm kiếm hay làm website biến mất khỏi kết quả Google và Bing.
- Đề xuất hiện là Internet-Draft cá nhân, chưa phải RFC hay tiêu chuẩn IETF đã được phê chuẩn.
Bốn hãng OpenAI, Google, Microsoft và Anthropic cùng cho biết sẽ hỗ trợ một token chung trong robots.txt, để chủ website thể hiện lựa chọn về việc dùng nội dung cho huấn luyện AI mà không phải khai báo riêng từng bot.
Token riêng cho huấn luyện tránh làm đổi nghĩa robots.txt cũ
Điểm đáng chú ý của đề xuất là nó tận dụng cấu trúc vốn có thay vì thêm một chỉ thị mới. Trong Internet-Draft do Kevin Kelley thuộc Anthropic soạn, __usage_ai-training được đặt ở dòng User-Agent như một policy token; các quy tắc đường dẫn vẫn theo cách hoạt động hiện hành của robots.txt và RFC 9309.
Ví dụ, quản trị viên có thể khai báo token này với Disallow: / để thể hiện không đồng ý cho dùng nội dung trên toàn website vào huấn luyện. Có thể mở ngoại lệ cho một đường dẫn bằng quy tắc cụ thể hơn, chẳng hạn Allow: /press-kit/. Ý nghĩa ở đây là lựa chọn sử dụng nội dung, không phải lệnh điều khiển mọi hoạt động truy cập của bot.
Cách tiếp cận này giảm nguy cơ làm hỏng hành vi của parser cũ: phần mềm không nhận ra token mới có thể bỏ qua nhóm đó như nhóm dành cho một User-Agent lạ, trong khi vẫn đọc các quy tắc crawler quen thuộc như trước. Bản dự thảo cũng nói rõ nhóm wildcard User-Agent: * không được xem là khớp với policy token; vì vậy quản trị viên cần khai báo token riêng nếu muốn thể hiện lựa chọn về huấn luyện.
Chặn huấn luyện không đồng nghĩa chặn tìm kiếm
Website có thể chọn không cho nội dung được dùng để huấn luyện mà vẫn muốn công cụ tìm kiếm thu thập và lập chỉ mục. Hai việc này có mục đích khác nhau: token chung biểu đạt ưu tiên sử dụng nội dung, còn quy tắc dành cho từng crawler tiếp tục xử lý việc crawling.
Microsoft cho biết lựa chọn này không làm website mất khỏi kết quả Bing. Điều đó quan trọng với nhà xuất bản: nếu mục tiêu là giữ khả năng xuất hiện trên tìm kiếm nhưng từ chối một mục đích sử dụng khác, không nên nhầm token huấn luyện với lệnh chặn toàn bộ bot. Muốn hạn chế crawling, website vẫn phải cấu hình các nhóm dành cho product token của crawler tương ứng.
Một token có thể giảm việc chạy theo danh sách bot AI
Với website Việt Nam, lợi ích thực tế nằm ở việc không phải đoán tên từng crawler mới rồi duy trì một danh sách chặn riêng cho mỗi dịch vụ. Một tín hiệu được nhiều bên cùng hiểu có thể giúp người vận hành nêu lựa chọn một lần trong robots.txt, đồng thời giữ nguyên chính sách crawling hiện tại cho công cụ tìm kiếm.
Nhưng robots.txt vẫn là tín hiệu do website công bố, không phải cơ chế kỹ thuật tự khóa nội dung hay bảo đảm mọi bên đều tuân thủ. Tác dụng của nó phụ thuộc vào việc từng consumer nhận diện token và làm theo lựa chọn đó. Vì vậy, các website cần theo dõi tài liệu crawler của từng nền tảng và không nên coi một dòng khai báo là biện pháp kiểm soát truy cập.
Dự thảo còn phải qua quá trình chuẩn hóa
Tài liệu mang mã draft-kelley-aipref-training-preference-signal-00 hiện được ghi là Internet-Draft cá nhân. Trang IETF lưu ý loại tài liệu này chưa được IETF bảo chứng và không có vị thế chính thức trong quy trình tiêu chuẩn hóa; bản hiện tại hết hạn ngày 3/5/2027 nếu không được cập nhật.
Về triển khai, Anthropic đã áp dụng tín hiệu; OpenAI nói sẽ hỗ trợ trong vài tháng tới, còn Google và Microsoft dự kiến triển khai vào năm sau. Các mốc này do các hãng công bố và có thể thay đổi. Trước khi bản dự thảo ổn định hoặc được nhiều dịch vụ thực thi, quản trị viên nên xem đây là một cách biểu đạt lựa chọn đang hình thành, chưa phải bảo đảm đồng nhất trên toàn ngành.
Nguồn tham khảo: IETF Datatracker · The Verge · Unite.AI
