Bạn đã cấu hình website cho Googlebot quốc tế chưa?

Thỉnh thoảng, thế giới SEO lại chứng kiến một thay đổi lớn làm rung chuyển tận gốc nền tảng của mình. Tháng 1 năm nay, dấu hiệu của biến động sắp xảy ra này đã bị bỏ qua. Đó là sự thay đổi trong nền tảng cốt lõi của các phương pháp SEO tốt nhất trên toàn cầu.

Tháng 1, Google đã nâng cao khả năng của Googlebot trong việc đánh giá cách nội dung thay đổi theo vị trí của người dùng — được xác định bằng địa chỉ IP — và tùy chọn ngôn ngữ ưu tiên, thông qua HTTP header Accept-Language. Ngày nay, ngày càng nhiều doanh nghiệp tái cấu trúc website để có thể cung cấp nội dung linh hoạt theo ngôn ngữ hoặc quốc gia của người dùng.

Cách Google Crawling và Indexing nội dung quốc tế

Google đã thừa nhận rằng họ gặp một số vấn đề khi nhận diện và Indexing nội dung quốc tế/nội dung bằng các ngôn ngữ khác theo cách này. Theo phần trợ giúp của Google Search Console, đôi khi Google có thể không Crawling, xếp hạng hoặc Indexing được nội dung quốc tế vì các crawler của Google sử dụng địa chỉ IP mặc định có nguồn gốc từ Mỹ.

Ngoài ra, crawler Googlebot hiện gửi HTTP request mà không thiết lập Accept-Language trong header. Google mô tả chi tiết rằng một số trang thích ứng theo khu vực có thể bị bỏ qua.

Để hỗ trợ Crawling và Indexing các trang thích ứng theo khu vực này, Google sử dụng mô hình Crawling nhận biết khu vực, giúp người tìm kiếm trên toàn cầu nhận được nội dung phù hợp hơn. Crawling nhận biết khu vực diễn ra khi Googlebot Crawling theo một hoặc cả hai cấu hình sau:

1. 
   Crawling phân tán theo địa lý

Bot dường như sử dụng cả địa chỉ IP có nguồn gốc bên ngoài Mỹ lẫn các địa chỉ IP đặt tại Mỹ đã được sử dụng từ lâu. Google khuyến nghị bạn hãy xem Googlebot xuất hiện như thể đến từ một quốc gia là người dùng đến từ quốc gia đó.

Ví dụ, nếu người dùng ở Papua New Guinea được phép xem một số nội dung trên website của bạn nhưng người dùng ở Đức thì không, Googlebot xuất hiện như thể đến từ Papua New Guinea nên được phép truy cập, còn Googlebot xuất hiện như thể đến từ Đức thì không. Theo thời gian, danh sách địa chỉ IP của các quốc gia mà Googlebot dường như đến từ đó sẽ thay đổi.

1. 
   Crawling phụ thuộc vào ngôn ngữ

Bot sẽ Crawling với trường Accept-Language được thiết lập trong HTTP header. Với loại nội dung này, Googlebot áp dụng một số tín hiệu để cố gắng Crawling nội dung trên các website bằng nhiều HTTP header Accept-Language khác nhau. Nhờ vậy, Google có nhiều khả năng khám phá, Indexing và xếp hạng nội dung trang bằng các ngôn ngữ được hỗ trợ.

Do đó, các trang web thích ứng theo ngôn ngữ và khu vực cần xác nhận rằng cấu hình của mình hỗ trợ cả hai kiểu Crawling. Hiện tại, bot có thể nhận diện một số tín hiệu để đánh giá liệu website có nội dung thích ứng theo ngôn ngữ và khu vực hay không, bao gồm:

• Các trang web cung cấp nội dung khác nhau trên cùng URL, tùy theo cài đặt vị trí địa lý của người dùng
• Các trang web cung cấp nội dung khác nhau trên cùng URL, tùy theo cài đặt trường Accept-Language trong trình duyệt của người dùng
• Các trang web chặn hoàn toàn quyền truy cập tùy theo quốc gia gửi yêu cầu

Vì vậy, các SEO làm việc với khách hàng tạo nội dung cho đối tượng quốc tế hoặc không nói tiếng Anh cũng cần hiểu tác động của những thay đổi sắp tới đối với hoạt động Crawling của Googlebot, đồng thời biết cách kiểm tra xem cấu hình website đã hỗ trợ Google Crawling quốc tế hay chưa.

Kiểu Crawling từ địa chỉ IP ngoài Hoa Kỳ

Kể từ tháng 1, Googlebot có thể Crawling từ địa chỉ IP ở các quốc gia ngoài Hoa Kỳ. Dựa vào vị trí của địa chỉ IP, Google có thể xác định liệu nội dung trên một trang/website có khác nhau đối với người dùng ở các quốc gia hay không. Google cũng có thể đánh giá liệu phiên bản mới tìm thấy của trang/website đó có thể phù hợp hơn với người dùng ở một quốc gia nhất định hay không.

Điều này có thể cải thiện đáng kể trải nghiệm tìm kiếm của người dùng không nói tiếng Anh, nhờ đảm bảo phiên bản trang/website dành cho quốc gia của họ xuất hiện trong kết quả tìm kiếm.

Kiểm tra cấu hình website

Nếu website của bạn hoặc khách hàng cung cấp nội dung động thích ứng theo ngôn ngữ và khu vực dựa trên địa chỉ IP của người dùng, bạn có thể dùng các dịch vụ proxy quốc tế để kiểm tra. Hầu hết crawlers như Screaming Frog đều cho phép cấu hình proxy, giúp tự động xác định các vấn đề SEO từ góc nhìn của người dùng quốc tế.

Accept-LanguageHeader

Ngày càng có nhiều trang web tự động sử dụng cài đặt Accept-Language header để thay đổi ngôn ngữ nội dung trên web. Giờ đây, cơ chế Crawling thích ứng theo ngôn ngữ và khu vực của Google có thể gửi yêu cầu động đến các trang web. Bot sẽ gửi yêu cầu đến một trang cụ thể trên website và chỉ định ngôn ngữ ưu tiên.

Tác động tương tự như khi bạn cấu hình trình duyệt theo tùy chọn ngôn ngữ của mình trong Chrome>>Preferences>>Languages nếu dùng Google Chrome. (Bạn có thể cần nhấp vào "advanced settings" trong menu Preferences để tìm mục này.)

Cách thay đổi cài đặt cấu hình

Bạn có thể dùng Locale-adaptive Pages Testing Tool của Merkle và chỉ định những ngôn ngữ cụ thể muốn kiểm tra. Bạn có thể nhập tối đa 10 URL, chọn user agent của Google, Bing hoặc người dùng thông thường, rồi chạy công cụ.

Dựa trên kết quả, bạn có thể xác định những trang web nào được cấu hình đúng, ngay cả khi toàn bộ nội dung thay đổi linh hoạt theo cài đặt Accept-Language trong header. Với các trang được cấu hình đúng, cài đặt Accept-Language (cột đầu tiên) phải khớp với cài đặt Content-Language (cột thứ tư).

Kết luận

Thay đổi trong cơ chế Crawling quốc tế của Googlebot có thể chưa tác động lớn đến SEO hiện nay, nhưng hứa hẹn sẽ tạo ra ảnh hưởng đáng kể trong tương lai.

Ngoài việc giải quyết vấn đề nội dung được phân phối linh hoạt thông qua Crawling nhận biết locale, bạn cần lưu ý rằng Google vẫn ưu tiên sử dụng các URL riêng biệt, được chú thích đúng cách cho từng phiên bản nội dung bằng thuộc tính rel=alternate hreflang.

Bạn cần hiểu mâu thuẫn mà điều này đặt ra. Vì sao Google ưu tiên sử dụng các URL riêng biệt? Có phải vì khi ngày càng nhiều trang web chuyển sang phân phối nội dung linh hoạt, Google sẽ khó xác định nội dung nào hiện đang tồn tại hơn không? Đây là một khả năng hoàn toàn có cơ sở.

Khi ngày càng nhiều website tái cấu trúc để đáp ứng nhu cầu của người dùng quốc tế bằng cách cung cấp nội dung thích ứng theo locale, Google phải phát triển thêm các cấu hình Crawling để cập nhật nội dung và từ đó hiểu được bức tranh toàn cảnh. Việc này có thể quản lý được ở quy mô nhỏ, nhưng khi cân nhắc những hệ quả của việc áp dụng rộng rãi khả năng thích ứng theo locale, rõ ràng gã khổng lồ tìm kiếm đang ở vào thế khó.