Giải Thích Robots.txt: Cú Pháp, Thực Hành Tốt Nhất & SEO

Tệp Robots.txt là gì?

Tệp robots.txt là một tập hợp các quy tắc cho biết các trình thu thập thông tin web nên thu thập những trang hoặc phần nào của một trang web và nên tránh những phần nào.

Nó trông như thế này:

Các tệp Robots.txt có thể trông phức tạp.

Nhưng cú pháp (ngôn ngữ máy tính) thì đơn giản—“Allow” có nghĩa là trình thu thập thông tin web nên thu thập nó, trong khi “disallow” có nghĩa là trình thu thập thông tin không nên thu thập nó.

Nhưng hãy nhớ rằng:

Trong khi robots.txt hướng dẫn hành vi của trình thu thập thông tin, nó không đảm bảo rằng một trang sẽ không xuất hiện trong kết quả tìm kiếm. Các yếu tố khác (như liên kết bên ngoài) vẫn có thể khiến nó bị lập chỉ mục bởi Google.

Để chặn lập chỉ mục, bạn nên sử dụng Meta Robots và X-Robots-Tag.

Robots.txt so với Meta Robots và X-Robots

Robots.txt cho biết các công cụ tìm kiếm những gì không nên thu thập—thẻ meta robots và thẻ x-robots cho biết những gì không nên lập chỉ mục.

Biết sự khác biệt giúp bạn áp dụng công cụ phù hợp cho tình huống phù hợp.

Dưới đây là cách chúng so sánh:

• Robots.txt: Tệp này nằm trong thư mục gốc của trang web và cung cấp hướng dẫn toàn bộ trang cho các trình thu thập thông tin của công cụ tìm kiếm về những khu vực nào của trang nên và không nên thu thập
• Thẻ meta robots: Những thẻ này là các đoạn mã trong phần <head> của từng trang web và cung cấp hướng dẫn cụ thể cho từng trang cho các công cụ tìm kiếm về việc có nên lập chỉ mục (bao gồm trong kết quả tìm kiếm) và theo dõi (thu thập các liên kết trên) mỗi trang hay không
• Thẻ x-robot: Những đoạn mã này chủ yếu được sử dụng cho các tệp không phải HTML (như PDF và hình ảnh) và được thực hiện trong tiêu đề HTTP của tệp

Nếu bạn muốn giữ một cái gì đó ra khỏi kết quả tìm kiếm, hãy sử dụng một thẻ noindex (trên một trang có thể thu thập) hoặc bảo vệ bằng mật khẩu trang đó.

Tại sao Robots.txt lại quan trọng?

Tệp robots.txt giúp kiểm soát cách các bot tương tác với trang web của bạn.

Các chuyên gia SEO thường sử dụng nó để quản lý tải thu thập và cải thiện hiệu suất bằng cách chặn các trang không quan trọng hoặc trùng lặp. Nó cũng có thể được sử dụng để ngăn chặn việc thu thập dữ liệu và ngăn nội dung bị sử dụng để đào tạo các mô hình AI.

Dưới đây là phân tích lý do tại sao các tệp robots.txt lại quan trọng đặc biệt cho SEO:

Tối Ưu Hóa Ngân Sách Thu Thập

Tệp robots.txt giúp các công cụ tìm kiếm tập trung vào ngân sách thu thập trên những trang có giá trị nhất của bạn.

Chặn các trang có giá trị thấp (như trang giỏ hàng, đăng nhập hoặc trang bộ lọc) giúp các bot ưu tiên thu thập nội dung thực sự tạo ra traffic và thứ hạng, đặc biệt trên các trang lớn với hàng nghìn URL.

Ví dụ:

Chặn các trang “/cart/” hoặc “/login/” giúp các bot tập trung vào các bài viết blog hoặc trang sản phẩm của bạn thay vào đó.

Nó Có Thể Được Sử Dụng Để Kiểm Soát Sự Xuất Hiện Tìm Kiếm

Robots.txt cho bạn một số quyền kiểm soát về cách trang web của bạn xuất hiện trong tìm kiếm bằng cách quản lý những gì được thu thập.

Mặc dù nó không ảnh hưởng trực tiếp đến việc lập chỉ mục, nhưng nó hoạt động với các yếu tố dưới đây để hướng dẫn các công cụ tìm kiếm đến nội dung quan trọng của bạn:

• Sitemap: Một tệp liệt kê các trang quan trọng trên trang web của bạn để giúp các công cụ tìm kiếm phát hiện và thu thập chúng hiệu quả hơn
• Thẻ canonical: Một thẻ HTML cho biết các công cụ tìm kiếm phiên bản nào của một trang là phiên bản ưa thích để lập chỉ mục khi có nội dung trùng lặp hoặc tương tự
• Chỉ thị noindex: Một tín hiệu (thông qua một thẻ meta hoặc tiêu đề HTTP) cho biết các công cụ tìm kiếm không bao gồm một trang hoặc nhiều trang cụ thể trong chỉ mục được sử dụng cho kết quả tìm kiếm

Nó Giúp Ngăn Chặn Các Trình Thu Thập Dữ Liệu và Bot Không Mong Muốn

Robots.txt là hàng rào đầu tiên chống lại các trình thu thập không mong muốn, chẳng hạn như các trình thu thập dữ liệu hoặc bot thu thập nội dung để đào tạo các mô hình AI.

Ví dụ, nhiều trang hiện nay không cho phép các bot AI qua robots.txt.

Điều này gửi tín hiệu rõ ràng đến các bot tôn trọng giao thức và giúp giảm tải máy chủ từ các trình thu thập không cần thiết.

Chúng tôi đã hợp tác với Chuyên gia SEO Bill Widmer để thực hiện một thí nghiệm nhanh và chứng minh cách các quy tắc robots.txt ảnh hưởng đến hành vi của trình thu thập trong điều kiện thực tế.

Dưới đây là những gì đã xảy ra:

Bill đã có một quy tắc trong tệp robots.txt của mình chặn một số trình thu thập.

Ông đã sử dụng công cụ Site Audit của Semrush để thu thập toàn bộ trang web, đặt giới hạn thu thập đủ cao để bắt tất cả các trang đang hoạt động.

Nhưng trang web của ông không được thu thập do các chỉ thị robots.txt.

Sau khi điều chỉnh tệp robots.txt, ông đã chạy lại quá trình thu thập.

Lần này, trang web của ông đã được thu thập thành công và được đưa vào báo cáo.

Cách Tạo Tệp Robots.txt

Tệp robots.txt rất dễ tạo—quyết định những gì cần chặn, viết các quy tắc của bạn trong một tệp văn bản và tải lên thư mục gốc của trang web của bạn.

Chỉ cần làm theo các bước sau:

1. Quyết Định Những Gì Cần Kiểm Soát

Xác định các phần nào của trang web của bạn nên hoặc không nên được thu thập.

Xem xét việc chặn:

• Các trang đăng nhập và tài khoản người dùng (ví dụ: /login/) không cung cấp giá trị công khai và có thể lãng phí ngân sách thu thập
• Các trang giỏ hàng và thanh toán (ví dụ: /cart/) mà bạn không muốn có trong kết quả tìm kiếm
• Các trang cảm ơn hoặc màn hình xác nhận gửi biểu mẫu (ví dụ: /thank-you/) không hữu ích cho người tìm kiếm

Nếu bạn không chắc chắn, tốt nhất là nên cho phép thay vì không cho phép.

Các quy tắc không chính xác có thể khiến các công cụ tìm kiếm bỏ lỡ nội dung quan trọng hoặc không hiển thị đúng các trang của bạn.

2. Nhắm đến các bot cụ thể (Tùy chọn)

Bạn có thể viết quy tắc cho tất cả các bot (User-agent: *) hoặc nhắm đến các bot cụ thể như Googlebot (User-agent: Googlebot) hoặc Bingbot (User-agent: Bingbot), tùy thuộc vào nhu cầu cụ thể của bạn.

Dưới đây là hai tình huống khi điều này có ý nghĩa:

1. Kiểm soát các bot xâm nhập hoặc ít quan trọng hơn: Một số bot thường xuyên thu thập dữ liệu và có thể tạo ra gánh nặng không cần thiết cho máy chủ của bạn. Bạn có thể muốn giới hạn hoặc chặn những loại bot này.
2. Chặn các bot AI được sử dụng để đào tạo các mô hình sinh: Nếu bạn không muốn nội dung của mình được đưa vào dữ liệu đào tạo cho các công cụ như ChatGPT hoặc các LLM khác, bạn có thể chặn các bot của chúng (ví dụ: GPTBot) trong tệp robots.txt của bạn.

3. Tạo tệp Robots.txt và Thêm Chỉ thị

Sử dụng một trình soạn thảo văn bản đơn giản như Notepad (Windows) hoặc TextEdit (Mac) để tạo tệp của bạn và lưu nó dưới dạng “robots.txt.”

Trong tệp này, bạn sẽ thêm các chỉ thị của mình—cú pháp cho biết các bot của công cụ tìm kiếm phần nào của trang web của bạn nên và không nên truy cập.

Một tệp robots.txt chứa một hoặc nhiều nhóm chỉ thị, và mỗi nhóm bao gồm nhiều dòng hướng dẫn.

Mỗi nhóm bắt đầu bằng một user-agent và chỉ định:

• User-agent nào mà nhóm áp dụng cho
• Các thư mục (trang) hoặc tệp mà user-agent nên truy cập
• Các thư mục hoặc tệp mà user-agent không nên truy cập

Tùy chọn, bao gồm một sitemap để cho các công cụ tìm kiếm biết trang và tệp nào là quan trọng nhất. Chỉ cần đừng quên gửi sitemap của bạn trực tiếp trong Google Search Console.

Hãy tưởng tượng bạn không muốn Google thu thập dữ liệu thư mục “/clients/” của bạn vì nó chủ yếu dành cho mục đích nội bộ và không cung cấp giá trị cho người tìm kiếm.

Nhóm đầu tiên trong tệp của bạn sẽ trông như khối này:

User-agent: Googlebot
Disallow: /clients/

Bạn có thể thêm nhiều hướng dẫn hơn cho Google sau đó, như thế này:

User-agent: Googlebot
Disallow: /clients/
Disallow: /not-for-google

Sau đó nhấn enter hai lần để bắt đầu một nhóm chỉ thị mới.

Ví dụ, để ngăn chặn truy cập vào các thư mục “/archive/” và “/support/” cho tất cả các công cụ tìm kiếm.

Đây là một khối ngăn chặn truy cập vào các thư mục đó:

User-agent: *
Disallow: /archive/
Disallow: /support/

Khi bạn đã hoàn tất, thêm sitemap của bạn:

User-agent: Googlebot
Disallow: /clients/
Disallow: /not-for-google

User-agent: *
Disallow: /archive/
Disallow: /support/

Sitemap: https://www.yourwebsite.com/sitemap.xml

Cảm thấy không chắc chắn?

Sử dụng một trình tạo robots.txt miễn phí để giúp bạn tạo văn bản cho tệp robots.txt của bạn. Sau đó, sao chép và dán đầu ra vào một trình soạn thảo văn bản.

Lưu ý

Đừng sử dụng một trình xử lý văn bản để tạo tệp robots.txt của bạn, vì chúng thường lưu tệp ở định dạng độc quyền có thể thêm các ký tự ngẫu nhiên.

4. Tải tệp lên Thư mục Gốc của Trang Web của Bạn

Các công cụ tìm kiếm chỉ đọc tệp robots.txt của bạn nếu nó được đặt trong thư mục gốc của miền của bạn.

Điều này có nghĩa là tệp phải ở cấp độ cao nhất của trang web của bạn—không nằm trong một thư mục con.

Để tải tệp lên đúng cách, hãy sử dụng trình quản lý tệp lưu trữ web của bạn, khách hàng FTP hoặc cài đặt CMS để tải tệp lên thư mục gốc (thường được gọi là “public_html” hoặc “/www”).

Nếu bạn đang sử dụng WordPress, bạn có thể sử dụng một plugin như Yoast SEO hoặc Rank Math để tải tệp lên thư mục gốc của trang web của bạn.

Chỉ cần mở cài đặt của plugin, điều hướng đến tùy chọn robots.txt và tải tệp của bạn lên.

5. Xác nhận Tệp Đã Được Tải Lên Thành Công

Sử dụng báo cáo robots.txt của Google trong Search Console để kiểm tra lỗi và xác nhận các quy tắc của bạn hoạt động như mong muốn.

Trong Search Console, điều hướng đến trang “Cài đặt” và nhấp vào “Mở Báo cáo” bên cạnh “robots.txt.”

Nó sẽ có một dấu kiểm màu xanh lá cây bên cạnh “Fetched” trong cột trạng thái.

Nhưng nếu có lỗi, bạn sẽ thấy một dấu chấm than màu đỏ bên cạnh “Not Fetched.” Trong trường hợp đó, hãy kiểm tra các hướng dẫn của Google để xác định lỗi là gì và cách khắc phục nó.

Có thể khó hiểu các giải pháp của Google cho các lỗi nếu bạn mới làm quen với robots.txt.

Nếu bạn muốn một cách dễ dàng hơn, hãy chạy một kiểm tra SEO miễn phí để xem xét nhanh robots.txt trên trang web của bạn.

Để phân tích sâu hơn, toàn bộ trang web với hướng dẫn sửa lỗi chi tiết, hãy sử dụng công cụ Semrush Site Audit.

Thiết lập một dự án và thực hiện kiểm tra.

Khi công cụ đã sẵn sàng, điều hướng đến tab “Vấn đề” và tìm kiếm “robots.txt.”

Nhấp vào “Tệp Robots.txt có lỗi định dạng” nếu nó xuất hiện.

Xem danh sách các dòng không hợp lệ để xác định chính xác những gì cần được giải quyết.

Kiểm tra tệp robots.txt của bạn thường xuyên. Ngay cả những lỗi nhỏ cũng có thể ảnh hưởng đến khả năng lập chỉ mục của trang web của bạn.

Các Thực Hành Tốt Nhất về Robots.txt

Tuân theo những thực hành tốt nhất này để đảm bảo tệp robots.txt của bạn hỗ trợ SEO và hiệu suất trang web của bạn:

Sử dụng Ký Tự Thay Thế Một Cách Cẩn Thận

Ký tự thay thế (* và $) cho phép bạn khớp các mẫu rộng trong URL, và việc sử dụng chúng một cách chính xác là quan trọng để tránh chặn nhầm các trang quan trọng.

• * khớp với bất kỳ chuỗi ký tự nào., bao gồm cả dấu gạch chéo. Nó được sử dụng để chặn nhiều URL có cùng một mẫu. (Ví dụ: “Disallow: /search*” chặn “/search,” “/search?q=shoes,” và “/search/results/page/2.”)
• $ khớp với cuối của một URL. Nó được sử dụng khi bạn muốn chặn chỉ những URL kết thúc theo cách cụ thể. (Ví dụ: “Disallow: /thank-you$” chặn “/thank-you” nhưng không chặn /thank-you/page.)

Dưới đây là một số ví dụ về cách không sử dụng chúng:

Disallow: /*.php chặn mọi URL kết thúc bằng “.php,” có thể bao gồm các trang quan trọng như “/product.php” hoặc “/blog-post.php”

Disallow: /.html$ chặn tất cả các trang kết thúc bằng “.html,” có thể bao gồm tất cả nội dung chính của bạn trên trang web

Nếu bạn không chắc chắn, tốt nhất là nên tham khảo ý kiến của một chuyên gia trước khi sử dụng ký tự đại diện trong tệp robots.txt của bạn.

Tránh Chặn Các Tài Nguyên Quan Trọng

Đừng chặn CSS, JavaScript hoặc các điểm cuối API cần thiết để hiển thị trang web của bạn. Google cần chúng để hiểu bố cục, chức năng và khả năng tương thích với di động.

Vì vậy, hãy để các trình thu thập dữ liệu truy cập:

• /assets/
• /js/
• /css/
• /api/

Chặn những điều này có thể khiến Google thấy phiên bản bị lỗi của các trang của bạn và ảnh hưởng đến thứ hạng của bạn.

Luôn kiểm tra trang web của bạn trong Công cụ Kiểm Tra URL của Google để đảm bảo rằng các tài sản bị chặn không gây cản trở việc hiển thị.

Nhập một URL bạn muốn kiểm tra.

Bạn nên thấy một dấu tích màu xanh nếu mọi thứ được thực hiện đúng cách. Nếu bạn thấy “Bị chặn bởi robots.txt,” trang (hoặc một tài sản mà nó phụ thuộc vào) bị chặn khỏi việc thu thập dữ liệu.

Đừng Sử Dụng Robots.txt Để Giữ Các Trang Ra Khỏi Kết Quả Tìm Kiếm

Nếu một URL được liên kết từ nơi khác, Google vẫn có thể lập chỉ mục nó và hiển thị trong kết quả tìm kiếm—ngay cả khi bạn đã không cho phép nó trong robots.txt.

Điều đó có nghĩa là bạn không nên dựa vào robots.txt để ẩn:

• Dữ liệu nhạy cảm hoặc riêng tư (ví dụ: bảng điều khiển quản trị, báo cáo nội bộ)
• Nội dung trùng lặp (ví dụ: các URL đã được lọc hoặc phân trang)
• Các trang staging hoặc thử nghiệm
• Bất kỳ trang nào bạn không muốn xuất hiện trên Google

Thêm Bình Luận

Sử dụng bình luận để ghi lại các quy tắc của bạn, để người khác (hoặc bạn trong tương lai) có thể hiểu được ý định của bạn.

Bắt đầu một bình luận bằng cách thêm “#”. Mọi thứ sau nó trên cùng một dòng sẽ bị trình thu thập dữ liệu bỏ qua.

Ví dụ:

# Chặn kết quả tìm kiếm nội bộ nhưng cho phép tất cả các trang khác cho tất cả các trình thu thập dữ liệu
User-agent: *
Disallow: /search/
Allow: /

Bình luận đặc biệt quan trọng đối với các đội ngũ đang phát triển và các trang web phức tạp.

Robots.txt và AI: Bạn Có Nên Chặn LLMs?

Các công cụ AI như ChatGPT và những công cụ được xây dựng trên các mô hình ngôn ngữ lớn khác (LLMs) được đào tạo trên nội dung web—và tệp robots.txt của bạn là cách chính để bạn quản lý cách chúng thu thập dữ liệu trang web của bạn.

Để cho phép hoặc chặn các trình thu thập dữ liệu AI được sử dụng để đào tạo các mô hình, hãy thêm các chỉ thị user-agent vào tệp robots.txt của bạn giống như bạn làm với Googlebot.

Ví dụ, GPTBot của OpenAI được sử dụng để thu thập dữ liệu công khai có sẵn có thể được sử dụng để đào tạo các mô hình ngôn ngữ lớn. Để chặn nó, bạn có thể bao gồm một dòng như “User-agent: GPTBot” theo sau là quy tắc không cho phép mà bạn chọn.

Khi nào bạn nên cho phép hoặc chặn các trình thu thập dữ liệu AI?

Bạn nên cho phép các trình thu thập dữ liệu AI nếu:

• Bạn muốn tăng cường sự hiện diện và không ngại nội dung của bạn được sử dụng trong các công cụ tạo nội dung
• Bạn tin rằng lợi ích của việc tăng cường khả năng hiển thị và nhận thức thương hiệu vượt trội hơn so với việc kiểm soát cách nội dung của bạn được sử dụng để đào tạo các công cụ AI tạo sinh

Bạn nên xem xét việc chặn các trình thu thập dữ liệu AI nếu:

• Bạn lo ngại về quyền sở hữu trí tuệ của mình
• Bạn muốn duy trì quyền kiểm soát hoàn toàn về cách nội dung của bạn được sử dụng

Lưu ý rằng một tệp mới có tên llms.txt đang được đề xuất để giúp các mô hình AI hiểu trang web của bạn nói về điều gì và nội dung nào là quan trọng nhất. Nhưng nó không hoàn toàn là một bản dịch của robots.txt cho các mô hình AI.

Chúng tôi muốn xem có bao nhiêu trang web .com có tệp llms.txt để xem loại tệp mới này được sử dụng phổ biến đến mức nào.

Thí nghiệm thô này cho thấy chỉ có khoảng 2,830 trang web .com được lập chỉ mục trong Google có tệp llms.txt.

Khi các cập nhật mới được phát hành, các tệp llms.txt có thể trở nên quan trọng hơn. Chỉ có thời gian mới biết được.

Kiểm Tra Trang Web Của Bạn Đối Với Robots.txt Và Các Vấn Đề Kỹ Thuật Khác

Một tệp robots.txt được cấu hình tốt là một công cụ mạnh mẽ để hướng dẫn các công cụ tìm kiếm, bảo vệ tài nguyên của bạn và giữ cho trang web của bạn hiệu quả.

Nhưng điều quan trọng là đảm bảo rằng tệp của bạn không có lỗi kỹ thuật.

Sử dụng công cụ kiểm tra SEO miễn phí của chúng tôi để tự động tìm kiếm lỗi robots.txt, vấn đề thu thập dữ liệu, liên kết hỏng và các vấn đề SEO kỹ thuật khác.