Chặn đào tạo AI của Cloudflare giờ đây không ảnh hưởng đến Googlebot

Cloudflare đã phát hành một cài đặt vào ngày 15 tháng 9 cho phép chủ sở hữu trang web từ chối đào tạo AI trên nội dung của họ mà không chặn các bot của Google, Bing và Apple đưa họ vào kết quả tìm kiếm. Cài đặt này được gọi là Chặn Đào Tạo AI, và nó có sẵn trên mọi gói, bao gồm cả gói miễn phí.

Cho đến nay, Googlebot, Bingbot và Applebot đã lập chỉ mục các trang cho tìm kiếm và thu thập nội dung có thể được sử dụng để đào tạo các mô hình AI, vì vậy một trang web chặn một trong số chúng sẽ mất danh sách tìm kiếm của mình. Cloudflare cho biết chưa đến 1% các trang web trên mạng của họ chặn các bot tìm kiếm, trong khi 17% đã bật một cách nào đó để chặn đào tạo.

Vào tháng 7, Cloudflare đã nói rằng từ ngày 15 tháng 9, bất kỳ trang web nào chặn đào tạo AI cũng sẽ chặn cả ba bot đó. Kể từ đó, công ty đã có các cuộc đàm phán với Google, Microsoft và Apple, và mỗi công ty hiện đã thêm tùy chọn từ chối đào tạo hoặc hứa hẹn sẽ có một tùy chọn vào một ngày nhất định.

Cách chặn đào tạo AI hoạt động

Khi bạn bật cài đặt, Cloudflare's Bot Preference Sync thêm hai quy tắc vào tệp robots.txt của bạn: một quy tắc chặn Google-Extended và một quy tắc chặn Applebot-Extended. Google và Apple chỉ sử dụng các token đó cho đào tạo AI.

Amazon, Anthropic, Meta và OpenAI đã chạy các bot riêng biệt cho đào tạo và tìm kiếm, và Cloudflare chặn các bot đào tạo của họ hoàn toàn. Các trang của bạn vẫn nên có thể đọc được bởi tìm kiếm ChatGPT và các công cụ tương tự.

Googlebot, Bingbot và Applebot vẫn được phép vì Cloudflare hiện gán nhãn cho các nhà điều hành của họ là "Có trách nhiệm", có sẵn bằng cách cung cấp bốn điều sau:

• Một cách cho chủ sở hữu trang web từ chối đào tạo AI thông qua robots.txt hoặc một tiêu chuẩn tương tự
• Một cách để từ chối tóm tắt AI
• Khả năng hiển thị theo URL về các trang nào đã được cung cấp cho đào tạo
• Cam kết rằng việc từ chối đào tạo sẽ không ảnh hưởng đến thứ hạng tìm kiếm

Google cho biết báo cáo theo URL của họ sẽ đến trong vài tuần tới, và của Apple dự kiến sẽ có vào năm sau. Microsoft thì đang chậm nhất. Bingbot sẽ không đọc quy tắc robots.txt cho đến đầu năm 2027, điều này có nghĩa là, hiện tại, cách duy nhất để giữ Bing không đào tạo trên một trang là thêm thẻ meta NOARCHIVE.

Dữ liệu ban đầu cho thấy điều gì

SeenSure đã thử nghiệm cách 1.046 trang web phản ứng với tám bot AI vào ngày 14 tháng 9 và lại vào ngày 16 tháng 9. Trong số các trang đó, 746 trang sử dụng Cloudflare, và nhiều trang trong số đó đã từ chối các bot đào tạo sau khi thay đổi. Tỷ lệ từ chối GPTBot tăng từ 18.9% lên 22.0%, và tỷ lệ từ chối ClaudeBot từ 19.9% lên 22.8%.

Thông báo của Cloudflare không đề cập đến bất kỳ thay đổi nào cho các bot tìm kiếm AI hoặc đại lý, nhưng tỷ lệ từ chối của những bot đó giảm khoảng 13 điểm mỗi cái. OAI-SearchBot, cung cấp tìm kiếm ChatGPT, đã bị từ chối bởi 16.9% các trang Cloudflare trước khi thay đổi và 3.0% sau đó. 300 trang không sử dụng Cloudflare vẫn giữ nguyên. Nếu mô hình này tiếp tục, tìm kiếm ChatGPT và Perplexity giờ đây có thể đọc nhiều trang được lưu trữ trên Cloudflare mà họ đã bị từ chối tuần trước.

"Tìm kiếm đã thay đổi nhiều nhất trong bất kỳ danh mục nào," chuyên gia SEO Aleyda Solis đã viết trên X khi cô chia sẻ các phát hiện.

Từ chối đào tạo không khiến bạn không xuất hiện trong các câu trả lời AI

Cài đặt mới quyết định liệu nội dung của bạn có thể được sử dụng để đào tạo các mô hình hay không, nhưng tất nhiên không xác định liệu bạn có xuất hiện trong các câu trả lời AI hay không. Điều này để lại cho các chủ sở hữu trang web những lựa chọn riêng biệt về lập chỉ mục tìm kiếm, đào tạo AI và câu trả lời AI, và cài đặt của Cloudflare chỉ bao gồm đào tạo. Cloudflare cho biết các tóm tắt AI là điều tiếp theo trong danh sách của họ, với các điều khiển riêng của họ dự kiến vào năm tới.

Từ chối không phải là lựa chọn hiển nhiên cho mọi trang web. Đối với các trang không chạy quảng cáo, mặc định được Cloudflare khuyến nghị để đào tạo được đặt thành Cho phép. Một thương hiệu muốn các công cụ AI biết và đề cập đến nó có thể hưởng lợi từ việc có mặt trong dữ liệu đào tạo, mặc dù không công ty AI nào đã nói rõ điều đó quan trọng như thế nào. Cloudflare khuyến nghị Chặn Đào Tạo AI cho các nhà xuất bản kiếm tiền từ quảng cáo trên nội dung của họ.

Một quy tắc robots.txt là một yêu cầu, và một bot có thể bỏ qua nó. Cloudflare có thể phát hiện và chặn các bot làm như vậy, nhưng với Google, Apple và Microsoft, họ đang dựa vào các cam kết được thực hiện với một công ty bán sản phẩm chặn bot và đã viết tiêu chuẩn "Có trách nhiệm". Cloudflare cho biết họ sẽ theo dõi tiến trình của họ công khai trên Cloudflare Radar.

Kiểm tra cài đặt bot AI của bạn trong Semrush

Site Audit's Bị chặn khỏi Tìm kiếm AI kiểm tra tệp và liệt kê các bot AI nào bị chặn khỏi các trang nào. Google-Extended có trong danh sách của nó, vì vậy nó sẽ hiển thị là bị chặn khi Chặn Đào Tạo AI được bật. Googlebot, OAI-SearchBot và các bot tìm kiếm khác không nên xuất hiện là bị chặn.

Site Audit chỉ đọc robots.txt và sẽ không phát hiện một lệnh chặn được thực hiện tại tường lửa của Cloudflare. Các nhật ký máy chủ của bạn sẽ, vì vậy hãy kiểm tra rằng các bot tìm kiếm mà bạn muốn vẫn đang nhận mã trạng thái 200.

Bộ công cụ AI Visibility cho thấy liệu bất kỳ điều gì trong số này có thay đổi tần suất bạn xuất hiện trong các câu trả lời AI hay không. Nó theo dõi thương hiệu và các trang của bạn trên ChatGPT, Google AI Mode, AI Overviews và Gemini, và tab Cited Pages trong Visibility Overview liệt kê các URL của bạn được trích dẫn và bởi bao nhiêu lời nhắc. Ghi lại số liệu của bạn trước khi bạn thay đổi cài đặt và so sánh chúng vài tuần sau.