Googlebot là gì? Cách hoạt động của trình thu thập dữ liệu web của Google

Googlebot là gì?

Googlebot là chương trình chính mà Google sử dụng để tự động thu thập dữ liệu (hoặc truy cập) các trang web. Và khám phá những gì có trên đó.

Là trình thu thập dữ liệu web chính, mục đích của nó là giữ cho cơ sở dữ liệu khổng lồ của Google về nội dung, được gọi là chỉ mục, luôn được cập nhật.

Bởi vì chỉ mục càng hiện tại và toàn diện thì kết quả tìm kiếm của bạn sẽ càng tốt và liên quan hơn.

Có hai phiên bản chính của Googlebot:

• Googlebot Smartphone: Trình thu thập dữ liệu web chính của Googlebot. Nó thu thập dữ liệu các trang web như thể nó là một người dùng trên thiết bị di động.
• Googlebot Desktop: Phiên bản này của Googlebot thu thập dữ liệu các trang web như thể nó là một người dùng trên máy tính để bàn. Kiểm tra phiên bản desktop của trang web của bạn.

Cũng có những trình thu thập dữ liệu cụ thể hơn như Googlebot Image, Googlebot Video và Googlebot News.

Tại sao Googlebot lại quan trọng cho SEO?

Googlebot rất quan trọng cho SEO của Google bởi vì các trang của bạn sẽ không được thu thập và lập chỉ mục (trong hầu hết các trường hợp) nếu không có nó. Nếu các trang của bạn không được lập chỉ mục, chúng không thể được xếp hạng và hiển thị trong các trang kết quả của công cụ tìm kiếm (SERPs).

Và không có thứ hạng có nghĩa là không có traffic tự nhiên (không trả tiền).

Hơn nữa, Googlebot thường xuyên quay lại các trang web để kiểm tra các cập nhật.

Nếu không có nó, nội dung mới hoặc thay đổi trên các trang hiện có sẽ không được phản ánh trong kết quả tìm kiếm. Và việc không giữ cho trang web của bạn được cập nhật có thể khiến việc duy trì khả năng hiển thị của bạn trong kết quả tìm kiếm trở nên khó khăn hơn.

Cách Googlebot hoạt động

Googlebot giúp Google cung cấp các kết quả chính xác và liên quan trong các SERPs bằng cách thu thập dữ liệu các trang web và gửi dữ liệu để được lập chỉ mục.

Hãy cùng xem xét kỹ hơn các giai đoạn thu thập dữ liệu và lập chỉ mục:

Thu thập dữ liệu các trang web

Thu thập dữ liệu là quá trình khám phá và khám phá các trang web để thu thập thông tin. Gary Illyes, một nhà phân tích tại Google, giải thích quá trình này trong video này:

Googlebot liên tục thu thập dữ liệu trên internet để khám phá nội dung mới và đã được cập nhật.

Nó duy trì một danh sách các trang web được cập nhật liên tục. Bao gồm cả những trang được phát hiện trong các lần thu thập dữ liệu trước đó cùng với các trang mới.

Danh sách này giống như bản đồ cuộc phiêu lưu cá nhân của Googlebot. Hướng dẫn nó về nơi cần khám phá tiếp theo.

Bởi vì Googlebot cũng theo dõi các liên kết giữa các trang để liên tục khám phá nội dung mới hoặc đã được cập nhật.

Như thế này:

Một khi Googlebot phát hiện một trang, nó có thể truy cập và lấy (hoặc tải xuống) nội dung của nó.

Google sau đó có thể hiển thị (hoặc xử lý hình ảnh) trang. Mô phỏng cách mà một người dùng thực sự sẽ thấy và trải nghiệm nó.

Trong giai đoạn xử lý, Google chạy bất kỳ JavaScript nào mà nó tìm thấy. JavaScript là mã cho phép bạn thêm các yếu tố tương tác và phản hồi vào các trang web.

Việc xử lý JavaScript cho phép Googlebot thấy nội dung theo cách tương tự như cách mà người dùng của bạn thấy nó.

Lưu ý

Googlebot không thu thập dữ liệu mọi trang mà nó tìm thấy. Ví dụ, các trang không thể truy cập công khai. Hoặc những trang không đáp ứng một ngưỡng chất lượng nhất định. Sử dụng Semrush Site Audit (Kiểm tra trang web) để xác định bất kỳ vấn đề nào về khả năng thu thập dữ liệu có thể ngăn cản Googlebot truy cập nội dung của bạn.

Mở công cụ, nhập miền của bạn và nhấp vào “Bắt đầu kiểm tra.”

Nếu bạn đã chạy một cuộc kiểm tra hoặc tạo dự án, hãy nhấp vào nút “+ Tạo dự án” để thiết lập một dự án mới.

Nhập miền của bạn, đặt tên cho dự án của bạn và nhấp vào “Tạo dự án.”

Tiếp theo, bạn sẽ được yêu cầu cấu hình cài đặt của mình.

Nếu bạn mới bắt đầu, bạn có thể sử dụng cài đặt mặc định trong phần “Miền và giới hạn trang”.

Sau đó, nhấp vào tab “Cài đặt thu thập dữ liệu” để chọn tác nhân người dùng mà bạn muốn thu thập dữ liệu. Tác nhân người dùng là một nhãn cho biết các trang web ai đang truy cập chúng. Giống như một thẻ tên cho một bot tìm kiếm.

Không có sự khác biệt lớn giữa các bot mà bạn có thể chọn. Tất cả đều được thiết kế để thu thập dữ liệu trang web của bạn giống như Googlebot.

Xem hướng dẫn cấu hình Kiểm tra trang web của chúng tôi để biết thêm chi tiết về cách tùy chỉnh kiểm tra của bạn.

Khi bạn đã sẵn sàng, nhấp vào “Bắt đầu Kiểm tra trang web.”

Bạn sẽ thấy một trang tổng quan như bên dưới. Điều hướng đến tab “Vấn đề” .

Tại đây, bạn sẽ thấy danh sách đầy đủ các lỗi, cảnh báo và thông báo ảnh hưởng đến sức khỏe của trang web của bạn.

Nhấp vào menu thả xuống “Danh mục” và chọn “Khả năng thu thập dữ liệu” để lọc các lỗi.

Không chắc lỗi có nghĩa là gì và cách khắc phục nó?

Nhấp vào “Tại sao và cách khắc phục” hoặc “Tìm hiểu thêm” bên cạnh bất kỳ hàng nào để có một giải thích ngắn gọn về vấn đề và mẹo về cách giải quyết nó.

Đi qua và sửa từng vấn đề để giúp Googlebot dễ dàng thu thập dữ liệu trang web của bạn hơn.

Lập chỉ mục nội dung

Sau khi Googlebot thu thập dữ liệu nội dung của bạn, nó gửi đi để xem xét lập chỉ mục.

Lập chỉ mục là quá trình phân tích nội dung của một trang để hiểu nội dung của nó. Và đánh giá các tín hiệu như sự liên quan và chất lượng để quyết định xem nó có nên được thêm vào chỉ mục của Google hay không.

Dưới đây là cách Gary Illyes của Google giải thích khái niệm này:

Trong quá trình này, Google xử lý (hoặc xem xét) nội dung của một trang. Và cố gắng xác định xem một trang có phải là bản sao của một trang khác trên internet hay không. Để nó có thể chọn phiên bản nào để hiển thị trong kết quả tìm kiếm của mình.

Khi Google loại bỏ các bản sao và đánh giá các tín hiệu liên quan, như chất lượng nội dung, nó có thể quyết định lập chỉ mục trang của bạn.

Sau đó, các thuật toán của Google thực hiện giai đoạn xếp hạng của quy trình. Để xác định xem nội dung của bạn nên xuất hiện ở đâu trong kết quả tìm kiếm.

Chú thích

Không có gì đảm bảo rằng Google sẽ lập chỉ mục trang của bạn. Ví dụ, các trang có chất lượng thấp và trải nghiệm người dùng kém có thể không được lập chỉ mục. Sử dụng Semrush Site Audit để phát hiện bất kỳ vấn đề nào có thể ngăn cản trang web của bạn xuất hiện trong kết quả tìm kiếm.

Từ tab “Issues”, hãy lọc theo “Indexability.” Hãy bắt đầu từ các lỗi trước. Bạn có thể tự mình sửa hoặc nhờ sự trợ giúp của một nhà phát triển. Sau đó, giải quyết các cảnh báo và thông báo.

Đọc thêm: Crawlability & Indexability: Chúng là gì và ảnh hưởng đến SEO như thế nào

Cách theo dõi hoạt động của Googlebot

Việc kiểm tra thường xuyên hoạt động của Googlebot giúp bạn phát hiện bất kỳ vấn đề về khả năng lập chỉ mục và khả năng thu thập dữ liệu. Và khắc phục chúng trước khi khả năng hiển thị tự nhiên của trang web của bạn giảm xuống.

Dưới đây là hai cách để làm điều này:

Sử dụng Báo cáo Thống kê Thu thập Dữ liệu của Google Search Console

Sử dụng báo cáo “Crawl stats” của Google Search Console để có cái nhìn tổng quan về hoạt động thu thập dữ liệu của trang web của bạn. Bao gồm thông tin về các lỗi thu thập dữ liệu và thời gian phản hồi trung bình của máy chủ.

Để truy cập báo cáo của bạn, hãy đăng nhập vào tài sản Google Search Console và điều hướng đến “Settings” từ menu bên trái.

Cuộn xuống phần “Crawling”. Sau đó, nhấp vào nút “Open Report” trong hàng “Crawl stats”.

Bạn sẽ thấy ba biểu đồ xu hướng thu thập dữ liệu. Như thế này:

Các biểu đồ này cho thấy sự phát triển của ba chỉ số theo thời gian:

• Tổng số yêu cầu thu thập dữ liệu: Số lượng yêu cầu thu thập dữ liệu mà các trình thu thập của Google (như Googlebot) đã thực hiện trong ba tháng qua
• Tổng kích thước tải xuống: Số lượng byte mà các trình thu thập của Google đã tải xuống trong khi thu thập dữ liệu trang web của bạn
• Thời gian phản hồi trung bình: Thời gian mà máy chủ của bạn mất để phản hồi một yêu cầu thu thập dữ liệu

Hãy lưu ý đến những sự giảm sút, đột biến và xu hướng đáng kể trong từng biểu đồ này. Và làm việc với nhà phát triển của bạn để phát hiện và giải quyết bất kỳ vấn đề nào. Như lỗi máy chủ hoặc thay đổi cấu trúc trang web của bạn.

Phần “Crawl requests breakdown” nhóm dữ liệu thu thập theo phản hồi, loại tệp, mục đích và loại Googlebot.

Dưới đây là những gì dữ liệu này cho bạn biết:

• Theo phản hồi: Cho bạn biết máy chủ của bạn đã xử lý các yêu cầu của Googlebot như thế nào. Một tỷ lệ cao các phản hồi “OK (200)” là dấu hiệu tốt. Điều này có nghĩa là hầu hết các trang đều có thể truy cập. Ngược lại, các lỗi như 404 hoặc 301 có thể chỉ ra các liên kết hỏng hoặc nội dung đã được di chuyển mà bạn có thể cần phải sửa chữa.
• Theo loại tệp: Cho biết loại tệp mà Googlebot đang thu thập dữ liệu. Điều này có thể giúp phát hiện các vấn đề liên quan đến các loại tệp cụ thể, như hình ảnh hoặc JavaScript.
• Theo mục đích: Chỉ ra lý do cho một lần thu thập dữ liệu. Một tỷ lệ phát hiện cao cho thấy Google đang dành tài nguyên để tìm các trang mới. Số lượng làm mới cao có nghĩa là Google thường xuyên kiểm tra các trang hiện có.
• Theo loại Googlebot: Cho thấy loại tác nhân người dùng Googlebot nào đang thu thập dữ liệu trang web của bạn. Nếu bạn thấy có sự tăng đột biến trong việc thu thập dữ liệu, nhà phát triển của bạn có thể kiểm tra loại tác nhân người dùng để xác định xem có vấn đề gì không.

Phân tích Tệp Nhật Ký của Bạn

Tệp nhật ký là các tài liệu ghi lại chi tiết về mọi yêu cầu được thực hiện đến máy chủ của bạn bởi các trình duyệt, người dùng và các bot khác. Cùng với cách mà họ tương tác với trang web của bạn.

Bằng cách xem xét các tệp nhật ký của bạn, bạn có thể tìm thấy thông tin như:

• Địa chỉ IP của khách truy cập
• Thời gian của mỗi yêu cầu
• Các URL được yêu cầu
• Loại yêu cầu
• Số lượng dữ liệu đã chuyển
• Tác nhân người dùng, hoặc bot thu thập dữ liệu

Dưới đây là hình ảnh của một tệp nhật ký:

Phân tích các tệp nhật ký của bạn cho phép bạn đi sâu hơn vào hoạt động của Googlebot. Và xác định các chi tiết như vấn đề thu thập dữ liệu, tần suất Google thu thập dữ liệu trang web của bạn và tốc độ tải trang của bạn đối với Google.

Các tệp nhật ký được lưu trên máy chủ web của bạn. Vì vậy, để tải xuống và phân tích chúng, trước tiên bạn cần truy cập vào máy chủ của mình.

Một số nền tảng lưu trữ có các trình quản lý tệp tích hợp. Đây là nơi bạn có thể tìm, chỉnh sửa, xóa và thêm các tệp trang web.

Ngoài ra, nhà phát triển hoặc chuyên gia CNTT của bạn cũng có thể tải xuống các tệp nhật ký của bạn bằng cách sử dụng một khách hàng File Transfer Protocol (FTP) như FileZilla.

Mẹo

Hãy xem hướng dẫn của chúng tôi về phân tích tệp nhật kýđể biết thêm thông tin về các tệp nhật ký và hướng dẫn từng bước về cách thực hiện phân tích.

Khi bạn có tệp nhật ký của mình, hãy sử dụng Log File Analyzer của Semrush để hiểu dữ liệu đó. Và trả lời các câu hỏi như:

• Các trang nào của bạn được thu thập dữ liệu nhiều nhất?
• Các trang nào không được thu thập dữ liệu?
• Các lỗi nào đã được phát hiện trong quá trình thu thập dữ liệu?

Mở công cụ và kéo thả tệp nhật ký của bạn vào đó. Sau đó, nhấp vào “Start Log File Analyzer.”

Khi kết quả của bạn đã sẵn sàng, bạn sẽ thấy một biểu đồ hiển thị hoạt động của Googlebot trên trang web của bạn trong 30 ngày qua. Điều này giúp bạn xác định các đột biến hoặc giảm sút bất thường.

Bạn cũng sẽ thấy một phân tích về các mã trạng thái và các loại tệp được yêu cầu.

Cuộn xuống bảng “Hits by Pages” để có cái nhìn cụ thể hơn về các trang và thư mục riêng lẻ.

Bạn có thể sử dụng thông tin này để tìm kiếm các mẫu trong mã phản hồi. Và điều tra bất kỳ vấn đề nào về khả năng truy cập.

Ví dụ, một sự gia tăng đột ngột trong các mã lỗi (như 404 hoặc 500) trên nhiều trang có thể chỉ ra rằng có vấn đề với máy chủ gây ra tình trạng gián đoạn trên toàn bộ trang web.

Sau đó, bạn có thể liên hệ với nhà cung cấp dịch vụ lưu trữ trang web của bạn để giúp chẩn đoán vấn đề và đưa trang web của bạn trở lại đúng hướng.

Cách chặn Googlebot

Đôi khi, bạn có thể muốn ngăn Googlebot thu thập và lập chỉ mục toàn bộ các phần của trang web của bạn. Hoặc thậm chí là các trang cụ thể.

Điều này có thể vì:

• Trang web của bạn đang bảo trì và bạn không muốn khách truy cập thấy các trang chưa hoàn thiện hoặc bị lỗi
• Bạn muốn ẩn các tài nguyên như PDF hoặc video không bị lập chỉ mục và xuất hiện trong kết quả tìm kiếm
• Bạn muốn giữ một số trang không công khai, như trang intranet hoặc trang đăng nhập
• Bạn cần tối ưu hóa ngân sách thu thập dữ liệu và đảm bảo Googlebot tập trung vào các trang quan trọng nhất của bạn

Dưới đây là ba cách để làm điều đó:

Tệp Robots.txt

Tệp robots.txt là một tập hợp các hướng dẫn cho các trình thu thập dữ liệu của công cụ tìm kiếm, như Googlebot, biết trang nào hoặc phần nào của trang web của bạn mà họ nên và không nên thu thập.

Nó giúp quản lý lưu lượng thu thập dữ liệu và có thể ngăn trang web của bạn bị quá tải với các yêu cầu.

Dưới đây là một ví dụ về tệp robots.txt:

Ví dụ, bạn có thể thêm một quy tắc robots.txt để ngăn các trình thu thập dữ liệu truy cập vào trang đăng nhập của bạn. Điều này giúp giữ cho tài nguyên máy chủ của bạn tập trung vào những khu vực quan trọng hơn của trang web.

Như thế này:

User-agent: Googlebot
Disallow: /login/

Đọc thêm: Robots.txt: Robots.txt là gì và Tại sao nó quan trọng cho SEO

Tuy nhiên, các tệp robots.txt không nhất thiết giữ cho các trang của bạn ra khỏi chỉ mục của Google. Bởi vì Googlebot vẫn có thể tìm thấy những trang này (ví dụ, nếu các trang khác liên kết đến chúng), và sau đó chúng vẫn có thể được lập chỉ mục và hiển thị trong kết quả tìm kiếm.

Nếu bạn không muốn một trang xuất hiện trong SERPs, hãy sử dụng thẻ meta robots.

Thẻ Meta Robots

Thẻ meta robots là một đoạn mã HTML cho phép bạn kiểm soát cách một trang cá nhân được thu thập, lập chỉ mục và hiển thị trong SERPs.

Một số ví dụ về thẻ robots và hướng dẫn của chúng bao gồm:

• noindex: Không lập chỉ mục trang này
• noimageindex: Không lập chỉ mục hình ảnh trên trang này
• nofollow: Không theo các liên kết trên trang này
• nosnippet: Không hiển thị đoạn trích hoặc mô tả của trang này trong kết quả tìm kiếm

Bạn có thể thêm các thẻ này vào phần <head> của mã trang của bạn. Ví dụ, nếu bạn muốn chặn Googlebot lập chỉ mục trang của bạn, bạn có thể thêm thẻ noindex.

Như thế này:

<meta name="googlebot" content="noindex">

Thẻ này sẽ ngăn Googlebot hiển thị trang trong kết quả tìm kiếm. Ngay cả khi các trang khác liên kết đến nó.

Đọc thêm: Giải thích về Thẻ Meta Robots & X-Robots-Tag

Bảo vệ bằng Mật khẩu

Nếu bạn muốn chặn cả Googlebot và người dùng truy cập vào một trang, hãy sử dụng bảo vệ bằng mật khẩu.

Phương pháp này đảm bảo rằng chỉ những người dùng được ủy quyền mới có thể xem nội dung. Và nó ngăn trang đó bị lập chỉ mục bởi Google.

Các ví dụ về các trang bạn có thể bảo vệ bằng mật khẩu bao gồm:

• Bảng điều khiển quản trị
• Khu vực thành viên riêng tư
• Tài liệu nội bộ của công ty
• Các phiên bản thử nghiệm của trang web của bạn
• Các trang dự án bí mật

Nếu trang bạn đang bảo vệ bằng mật khẩu đã được lập chỉ mục, Google cuối cùng sẽ xóa nó khỏi kết quả tìm kiếm của mình.

Giúp Googlebot dễ dàng thu thập dữ liệu trang web của bạn

Một nửa cuộc chiến SEO là đảm bảo rằng các trang của bạn thậm chí xuất hiện trong SERPs. Và bước đầu tiên là đảm bảo Googlebot thực sự có thể thu thập dữ liệu các trang của bạn.

Theo dõi thường xuyên khả năng thu thập và lập chỉ mục của trang web của bạn giúp bạn làm điều đó.

Nhận một báo cáo SEO miễn phí để xem bạn đang ở đâu. Để tìm các vấn đề trên toàn bộ trang web của bạn, hãy sử dụng Semrush Site Audit.

Công cụ này cho phép bạn chạy thu thập dữ liệu theo yêu cầu và lên lịch tự động thu thập lại hàng ngày hoặc hàng tuần. Vì vậy, bạn luôn nắm bắt tình trạng sức khỏe của trang web của mình.

Hãy thử ngay hôm nay.