Giải Thích Về Thẻ Meta Robots và X-Robots-Tag

Thẻ Meta Robots là gì?

Thẻ meta robots là một phần tử HTML cho biết cho các robot tìm kiếm cách thu thập, lập chỉ mục và hiển thị nội dung của một trang. Thẻ meta robots nằm trong phần <head> của trang và có thể trông như sau:

<meta name="robots" content="noindex">

Ví dụ này cho biết cho các bot tìm kiếm không lập chỉ mục trang. Các thẻ meta robots có thể kiểm soát nhiều hành vi khác của bot. Chúng rất quan trọng cho SEO vì cho phép bạn chỉ định nội dung nào nên xuất hiện trong kết quả tìm kiếm.

Meta Robots so với Robots.txt

Thẻ meta robots và tệp robots.txt đều ảnh hưởng đến cách mà các công cụ tìm kiếm thu thập các trang. Tuy nhiên, mỗi loại hoạt động khác nhau:

• Một tệp robots.txt là một tệp văn bản đơn lẻ áp dụng cho toàn bộ trang web. Nó hướng dẫn các công cụ tìm kiếm các trang nào nên được thu thập.
• Một thẻ meta robots chỉ áp dụng cho trang mà nó xuất hiện. Nó cho biết cho các công cụ tìm kiếm cách lập chỉ mục (hoặc không lập chỉ mục) nội dung của trang cụ thể đó.

Thẻ Meta Robots được Sử Dụng Để Làm Gì?

Thẻ meta robots giúp bạn kiểm soát cách mà Google và các công cụ tìm kiếm khác xử lý nội dung của một trang. Bạn có thể chỉ định liệu có nên:

• Bao gồm một trang trong kết quả tìm kiếm
• Theo dõi các liên kết trên trang
• Lập chỉ mục hình ảnh trên trang
• Hiển thị kết quả đã lưu trong các trang kết quả tìm kiếm (SERPs)
• Hiển thị một đoạn trích của trang trong SERPs

Tiếp theo, bài viết này sẽ giải thích các thuộc tính mà bạn có thể sử dụng để hướng dẫn các công cụ tìm kiếm. Nhưng trước tiên, hãy tìm hiểu lý do tại sao thẻ meta robots quan trọng và cách chúng ảnh hưởng đến SEO.

Thẻ Meta Robots Ảnh Hưởng Đến SEO Như Thế Nào?

Thẻ meta robots cho phép các công cụ tìm kiếm thu thập và lập chỉ mục các trang của bạn một cách hiệu quả. Điều này đặc biệt hữu ích cho các trang web lớn hoặc thường xuyên được cập nhật. Bạn có thể không muốn mọi trang đều xếp hạng trong kết quả tìm kiếm, chẳng hạn như:

• Các trang thử nghiệm hoặc phát triển
• Các trang xác nhận, như trang cảm ơn
• Các trang quản trị hoặc đăng nhập
• Các trang kết quả tìm kiếm nội bộ
• Các trang có nội dung trùng lặp

Kết hợp thẻ meta robots với các chỉ thị khác (như sơ đồ trang và robots.txt) là hữu ích cho SEO kỹ thuật. Nó có thể ngăn chặn các vấn đề về thu thập và lập chỉ mục ảnh hưởng đến hiệu suất.

Tên và Nội Dung Của Thẻ Meta Robots Là Gì?

Thẻ meta robots chứa hai thuộc tính: name và content. Cả hai đều là bắt buộc.

Thuộc Tính Name

Thuộc tính “name” chỉ ra cho bot các hướng dẫn áp dụng. Ví dụ:

name="crawler"

Để chỉ định cho tất cả các bot, hãy đặt name="robots". Thuộc tính này không phân biệt chữ hoa chữ thường, vì vậy “robots,” “ROBOTS,” và “Robots” đều hoạt động.

Để nhắm đến các công cụ tìm kiếm cụ thể, hãy sử dụng tên bot của họ (ví dụ: Googlebot, Bingbot). Lưu ý rằng không phải tất cả các bot đều tôn trọng thẻ meta robots, vì vậy hãy tránh sử dụng chúng cho mục đích bảo mật.

Thuộc Tính Content

Thuộc tính “content” chứa các hướng dẫn cho bot, chẳng hạn như:

content="instruction"

Thuộc tính này cũng không phân biệt chữ hoa chữ thường. Google hỗ trợ một số giá trị “content”:

Giá Trị Nội Dung Mặc Định

Nếu không có thẻ meta robots, các bot sẽ lập chỉ mục nội dung và theo dõi liên kết theo mặc định. Điều này tương đương với việc thêm content="all".

Noindex

<meta name="robots" content="noindex">

Cho biết cho các bot không lập chỉ mục hoặc hiển thị trang trong kết quả tìm kiếm. Thường được sử dụng cho các trang giỏ hàng hoặc thanh toán.

Nofollow

<meta name="robots" content="nofollow">

Cho biết cho các bot không theo dõi bất kỳ liên kết nào trên trang. Thuộc tính nofollow hữu ích nếu bạn không kiểm soát các liên kết trên một trang, chẳng hạn như trong nội dung do người dùng tạo.

Noarchive

<meta name="robots" content="noarchive">

Ngăn Google hiển thị bản sao đã lưu của trang bạn trong kết quả tìm kiếm. Hữu ích cho các tài liệu nhạy cảm về thời gian hoặc tài liệu nội bộ.

Noimageindex

<meta name="robots" content="noimageindex">

Ngăn Google lập chỉ mục hình ảnh trên trang. Người dùng vẫn có thể xem hình ảnh trên chính trang, vì vậy hãy cẩn thận nếu bạn muốn có traffic dựa trên hình ảnh.

Notranslate

<meta name="robots" content="notranslate">

Ngăn Google cung cấp bản dịch của trang. Hữu ích nếu bạn không muốn tên sản phẩm hoặc các thuật ngữ quan trọng bị dịch tự động.

Nositelinkssearchbox

<meta name="robots" content="nositelinkssearchbox">

Ngăn Google tạo một ô tìm kiếm cho trang web của bạn trong kết quả tìm kiếm.

Nosnippet

<meta name="robots" content="nosnippet">

Ngăn Google hiển thị các đoạn văn bản hoặc video. Cũng ngăn nội dung xuất hiện như một đầu vào trực tiếp cho AI Overviews. Nhưng nó cũng loại bỏ mô tả meta và đoạn trích phong phú.

Bạn có thể ngăn chỉ một số phần nhất định không hiển thị bằng cách sử dụng thuộc tính data-nosnippet:

<p>Văn bản này có thể được hiển thị

<span data-nosnippet>nhưng phần này sẽ không được hiển thị</span>.</p>

Max-snippet

<meta name="robots" content="max-snippet:100">

Chỉ định độ dài ký tự tối đa cho các đoạn trích văn bản.

• 0 có nghĩa là không có đoạn trích.
• -1 có nghĩa là không giới hạn.

Max-image-preview

<meta name="robots" content="max-image-preview:large">

Kiểm soát kích thước tối đa của hình ảnh xem trước. Các giá trị có thể là “none,” “standard,” hoặc “large.”

Max-video-preview

<meta name="robots" content="max-video-preview:10">

Kiểm soát độ dài tối đa của một đoạn video trong giây.

• 0 có nghĩa là không có đoạn video.
• -1 có nghĩa là không có giới hạn.

Indexifembedded

<meta name="robots" content="noindex, indexifembedded">

Cho phép Google lập chỉ mục nội dung của một trang nếu nó được nhúng trong một trang khác thông qua iframe. Điều này giúp các nhà xuất bản phương tiện không muốn lập chỉ mục trực tiếp các trang phương tiện, nhưng muốn lập chỉ mục khi phương tiện được nhúng ở nơi khác. Không phải tất cả các công cụ tìm kiếm đều hỗ trợ điều này.

Unavailable_after

<meta name="robots" content="unavailable_after: 2024-10-21">

Thông báo cho Google ngừng hiển thị trang trong SERPs sau ngày hoặc thời gian đã chỉ định. Sử dụng định dạng RFC 822, RFC 850 hoặc ISO 8601. Điều này hoạt động như một noindex theo thời gian.

Kết hợp các quy tắc Meta Tag Robots

Bạn có thể kết hợp các quy tắc theo hai cách:

Nhiều giá trị trong một thuộc tính “content”
<meta name="robots" content="noindex, nofollow">

1. Ví dụ này cho biết cho các bot không lập chỉ mục trang hoặc theo dõi các liên kết. Bạn cũng có thể sử dụng content="none" để kết hợp noindex và nofollow cùng nhau, nhưng một số công cụ tìm kiếm (như Bing) không hỗ trợ từ khóa này.
   Nếu có các chỉ thị mâu thuẫn xuất hiện, Google sẽ áp dụng chỉ thị hạn chế nhất.

Nhiều phần tử Meta Robots
<meta name="robots" content="nofollow">

<meta name="YandexBot" content="noindex">

2. Ví dụ này cho biết cho tất cả các bot tránh theo dõi các liên kết, nhưng cũng hướng dẫn Yandex không lập chỉ mục trang này.

Hỗ trợ của công cụ tìm kiếm cho các thẻ Meta Robots

Cách triển khai các thẻ Meta Robots

Thêm các thẻ Meta Robots vào mã HTML của bạn

Đặt các thẻ meta robots trong phần <head> của trang:

<meta name="robots" content="noindex, nofollow">

Triển khai các thẻ Meta Robots trong WordPress

Nếu bạn sử dụng Yoast SEO:

1. Trong trình chỉnh sửa trang, mở tab “Nâng cao”.

2. Đặt “Cho phép các công cụ tìm kiếm hiển thị trang này trong kết quả tìm kiếm?” thành “Không” để noindex.

3. Đặt “Các công cụ tìm kiếm có nên theo dõi các liên kết trên trang này không?” thành “Không” để nofollow.

4. Đối với các chỉ thị khác, sử dụng trường “Meta robots nâng cao”.

Nếu bạn sử dụng Rank Math:

1. Đi đến tab “Nâng cao” trong hộp meta.
2. Chọn các chỉ thị từ các ô kiểm hoặc trường được cung cấp.

Thêm các thẻ Meta Robots trong Shopify

Chỉnh sửa phần <head> của tệp layout theme.liquid của bạn.

Đối với một trang cụ thể:

{% if handle contains 'page-name' %}

<meta name="robots" content="noindex">

{% endif %}

Sử dụng các mục riêng biệt cho các trang khác nhau. Chỉnh sửa các tệp theme một cách cẩn thận hoặc tham khảo ý kiến của một nhà phát triển.

Triển khai các thẻ Meta Robots trong Wix

1. Mở bảng điều khiển Wix của bạn và nhấp vào “Chỉnh sửa trang.”

2. Nhấp vào “Trang & Menu.”
3. Bên cạnh trang mong muốn, nhấp vào “...” → “Cơ bản SEO.”

4. Dưới “SEO nâng cao,” mở “Thẻ meta robots.”

5. Chọn các thẻ meta robots liên quan qua các ô kiểm. Đối với các chỉ thị như notranslate hoặc nositelinkssearchbox, nhấp vào “Thẻ bổ sung” → “Thêm thẻ mới.”

Bây giờ, bạn có thể dán thẻ meta của mình ở định dạng HTML.

X-Robots-Tag là gì?

Một x-robots-tag hướng dẫn các bot cách lập chỉ mục các tài nguyên không phải HTML (như PDF hoặc hình ảnh). Nó được đưa vào tiêu đề phản hồi HTTP:

makefile

X-Robots-Tag: noindex, nofollow

Bạn có thể sử dụng các quy tắc giống như thẻ meta robots. Tuy nhiên, bạn phải chỉnh sửa các tệp cấu hình máy chủ như .htaccess trên Apache hoặc .conf trên Nginx.

Cách triển khai X-Robots-Tags

Sử dụng X-Robots-Tag trên máy chủ Apache

Trong tệp .htaccess hoặc httpd.conf của trang web của bạn, thêm:

arduino

<Files ~ "\.pdf$">

Header set X-Robots-Tag "noindex, nofollow"

</Files>

Điều này hướng dẫn các bot không lập chỉ mục hoặc theo dõi các liên kết trên bất kỳ PDF nào trên toàn bộ trang web.

Sử dụng X-Robots-Tag trên máy chủ Nginx

Trong tệp .conf của trang web của bạn, thêm:

ruby

location ~* \.pdf$ {

add_header X-Robots-Tag "noindex, nofollow";

}

Điều này áp dụng noindex, nofollow cho tất cả các PDF trên trang web.

Những sai lầm phổ biến về thẻ Meta Robots cần tránh

• Sử dụng Meta Robots trên một trang bị chặn bởi Robots.txt: Nếu một trang bị cấm trong robots.txt, các bot tìm kiếm sẽ không bao giờ thấy thẻ meta robots trên trang đó.
• Thêm các chỉ thị Robots vào Robots.txt: Google không còn hỗ trợ các quy tắc noindex trong robots.txt. Sử dụng thẻ meta robots hoặc x-robots-tags thay vào đó.
• Xóa các trang với Noindex khỏi Sitemaps quá sớm: Giữ trang trong sitemap của bạn cho đến khi nó bị gỡ bỏ chỉ mục. Nếu không, việc gỡ bỏ chỉ mục có thể bị trì hoãn.
• Quên xóa ‘Noindex’ trong môi trường thử nghiệm: Khi bạn chuyển một trang web từ môi trường thử nghiệm sang sản xuất, hãy xóa bất kỳ chỉ thị noindex nào để tránh chặn toàn bộ trang web trực tiếp khỏi việc lập chỉ mục.

Cách kiểm tra trang web của bạn về các vấn đề thẻ Meta Robots

Một trong những cách tốt nhất để kiểm tra trang web của bạn về các vấn đề liên quan đến thẻ meta robots là sử dụng Semrush Site Audit:

1. Nhập tên miền của bạn và nhấn “Bắt đầu kiểm tra.”

2. Điều chỉnh cài đặt nếu cần, sau đó thực hiện kiểm tra.

3. Trong tab “Vấn đề”, tìm kiếm “bị chặn khỏi việc thu thập dữ liệu” hoặc các lỗi khác liên quan đến thẻ meta robots.

4. Xem “Tại sao và cách khắc phục” cho từng vấn đề.
5. Sửa những vấn đề này để cải thiện khả năng thu thập dữ liệu.

Câu hỏi thường gặp

Khi nào bạn nên sử dụng thẻ meta robots so với X-Robots-Tag?

Sử dụng thẻ meta robots cho các trang HTML và x-robots-tag cho các tài nguyên không phải HTML. Về mặt kỹ thuật, bạn có thể sử dụng x-robots-tag cho các trang HTML, nhưng thẻ meta thì đơn giản hơn. X-robots-tags cũng cho phép quy tắc hàng loạt cho các loại tệp như PDF.

Bạn có cần sử dụng cả thẻ Meta Robots và X-Robots-Tag không?

Không. Một cái là đủ. Việc sử dụng cả hai không làm tăng khả năng mà các trình thu thập dữ liệu sẽ tuân theo chỉ dẫn của bạn.

Cách dễ nhất để triển khai thẻ Meta Robots là gì?

Một plugin thường là phương pháp dễ nhất. Nó tránh việc chỉnh sửa mã thủ công. Plugin tốt nhất phụ thuộc vào hệ thống quản lý nội dung (CMS) của bạn.

Sử dụng thẻ Meta Robots đúng cách để tránh các vấn đề về lập chỉ mục

Thẻ meta robots đảm bảo rằng nội dung quan trọng được lập chỉ mục. Nếu không có lập chỉ mục đúng cách, các trang của bạn sẽ không tạo ra bất kỳ traffic tự nhiên. Các chỉ dẫn như noindex và nofollow rất quan trọng để kiểm soát sự hiện diện tìm kiếm của trang web của bạn. Kiểm tra xem bạn đã triển khai chúng đúng cách với Semrush Site Audit.