Tóm tắt nhanh
- Google công bố kế hoạch hỗ trợ tín hiệu chung
__usage_ai-trainingtrong robots.txt vào năm 2027; OpenAI dự kiến triển khai trong những tháng tới. - Tín hiệu thể hiện lựa chọn về sử dụng nội dung để huấn luyện AI tạo sinh, không tự thay đổi quy tắc truy cập của bot tìm kiếm.
- Microsoft bắt đầu áp dụng từ ngày 1/2/2027 và tách quyền huấn luyện khỏi quyền dùng nội dung để hỗ trợ câu trả lời AI.
- Đề xuất vẫn là Internet-Draft, không phải tiêu chuẩn IETF đã hoàn tất hay công cụ buộc mọi bên thu thập dữ liệu phải tuân thủ.
Google công bố ngày 30/10 kế hoạch hỗ trợ một tín hiệu dùng chung trong robots.txt, cho phép website bày tỏ lựa chọn về huấn luyện AI với nhiều nhà cung cấp tham gia thay vì duy trì từng bộ quy tắc riêng. OpenAI cũng cam kết hỗ trợ, còn đề xuất kỹ thuật do Kevin Kelley thuộc Anthropic soạn thảo đang được thảo luận tại IETF.
Điểm đáng quan tâm với người vận hành website là khả năng tách việc được tìm thấy trên web khỏi việc nội dung được dùng để huấn luyện mô hình. Nhưng một lựa chọn chung không có nghĩa mọi cách sử dụng nội dung của AI đều được điều khiển bằng cùng một công tắc.
Tín hiệu huấn luyện AI không phải lệnh chặn tìm kiếm
Cơ chế mới dùng nhóm User-Agent: __usage_ai-training để gắn lựa chọn sử dụng nội dung với từng đường dẫn. Dự thảo giữ cách viết Allow và Disallow quen thuộc của robots.txt, thay vì đưa vào một ngôn ngữ cấu hình khác. Ví dụ trong tài liệu IETF thể hiện ý muốn không cho huấn luyện trên toàn website, nhưng cho phép riêng thư mục press-kit:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/Ở đây, Disallow diễn đạt việc không muốn nội dung được dùng cho mục đích huấn luyện tương ứng, chứ bản thân token không phải lệnh yêu cầu crawler ngừng tải trang. Quy tắc truy cập dành cho từng bot vẫn hoạt động độc lập. Vì vậy, chỉ thêm nhóm này không đồng nghĩa yêu cầu website biến mất khỏi kết quả tìm kiếm; ngược lại, một quy tắc đang chặn Bingbot cũng không được gỡ bỏ chỉ vì chủ trang cho phép huấn luyện.
Một chi tiết dễ sai khi triển khai là User-Agent: * không được xem là khớp với token chính sách này. Muốn nêu lựa chọn theo cơ chế chung, quản trị viên phải khai báo rõ __usage_ai-training; nếu không có nhóm đó, dự thảo xem như website chưa thể hiện lựa chọn theo cơ chế mới, chứ không suy ra từ nhóm ký tự đại diện.
Từ chối huấn luyện chưa quyết định quyền xuất hiện trong câu trả lời AI
Huấn luyện thay đổi các tham số đã học của mô hình, còn grounding sử dụng nội dung làm đầu vào để hỗ trợ tạo câu trả lời. Hai cách dùng này khác nhau, nên website có thể muốn giữ khả năng được dẫn nguồn trong câu trả lời mà không muốn nội dung tham gia huấn luyện mô hình sau này.
Microsoft công bố lựa chọn riêng cho từng mục đích: AI Training có thể đặt theo website hoặc đường dẫn trong robots.txt, đồng thời có thiết lập cấp trang để ghi đè; AI Grounding là thiết lập riêng ở cấp trang. Với grounding, Disallow từ chối sử dụng, còn DisallowExtended giới hạn việc sử dụng trong các trải nghiệm do Microsoft vận hành và loại trừ dịch vụ grounding hãng cung cấp cho bên thứ ba. Các lựa chọn này không thay đổi điều kiện xuất hiện trong kết quả Bing truyền thống, nhưng hạn chế grounding có thể làm giảm khả năng xuất hiện trong trải nghiệm AI.
Google lại công bố cách kết hợp tín hiệu chung với Google-Extended: khi website từ chối huấn luyện qua token mới và không chỉ định riêng Google-Extended, hãng dự kiến hiểu tương tự việc chặn Google-Extended. Quy tắc riêng vẫn được duy trì, và Google cho biết website cho phép rõ Google-Extended đủ điều kiện xuất hiện trong câu trả lời qua grounding của Gemini Apps. Do đó, không nên suy rộng rằng cách tách training và grounding của Microsoft tự động áp dụng giống hệt ở Google.
OpenAI cũng xác nhận tín hiệu chung không thay thế các kiểm soát crawler hiện có. Giá trị thực tế của nó là giảm phần cấu hình lặp lại giữa những bên tham gia, còn lựa chọn chi tiết vẫn cần đọc theo từng dịch vụ.
Website Việt Nam nên rà soát quyền sử dụng thay vì xóa quy tắc cũ
Với blog hoặc website nội dung tại Việt Nam, việc cần làm trước tiên là xác định có muốn từ chối huấn luyện nhưng vẫn giữ khả năng được tìm thấy và dẫn nguồn hay không. Nếu mục tiêu là như vậy, thay toàn bộ robots.txt bằng lệnh chặn mọi bot sẽ đi xa hơn nhu cầu ban đầu, vì nó còn tác động tới việc thu thập dữ liệu thông thường.
Lộ trình triển khai cũng chưa đồng loạt. Google đặt mục tiêu hỗ trợ trong năm 2027, còn OpenAI nói sẽ triển khai trong những tháng tới. Microsoft bắt đầu áp dụng lựa chọn mới từ ngày 1/2/2027 khi thu thập lại nội dung và yêu cầu website đang dùng NoArchive hoặc NoCache chuyển sang thiết lập mới trước ngày 1/3/2027 nếu muốn duy trì hạn chế. Riêng việc chuyển tiếp hạn chế grounding còn cần khai báo tạm thời trong Bing Webmaster Tools, không chỉ sửa thẻ trên trang rồi chờ.
Thêm cấu hình không đồng nghĩa nó được mọi hệ thống nhận ra ngay lập tức. Microsoft phải thu thập lại trang để phát hiện thiết lập mới; còn bản thân đề xuất chung vẫn đang được hoàn thiện và việc hỗ trợ phụ thuộc vào từng nhà cung cấp. Nó cũng không đưa ra cơ chế xóa dữ liệu đã thu thập hay buộc mô hình quên nội dung cũ.
Đây là cải thiện về khả năng diễn đạt lựa chọn, chưa phải một lớp bảo vệ truy cập. Quản trị viên nên giữ các quy tắc riêng đang cần thiết, kiểm tra thông báo triển khai của từng hãng, rồi mới điều chỉnh theo mục đích sử dụng nội dung thay vì xem token chung là giải pháp chặn mọi hoạt động AI.
Nguồn tham khảo: Dự thảo IETF; Google Search Central; OpenAI; Microsoft Bing; Engadget.
