Crawl Budget là gì?
Crawl budget là số lượng URL trên trang web của bạn mà các công cụ tìm kiếm như Google sẽ crawl (khám phá) trong một khoảng thời gian nhất định. Và sau đó, họ sẽ chuyển sang trang khác.
Đây là điều cần lưu ý:
Có hàng tỷ trang web trên thế giới. Và các công cụ tìm kiếm có nguồn lực hạn chế—họ không thể kiểm tra từng trang web mỗi ngày. Vì vậy, họ phải ưu tiên những gì và khi nào để crawl.
Trước khi chúng ta nói về cách họ làm điều đó, chúng ta cần thảo luận về lý do tại sao điều này lại quan trọng cho SEO của trang web của bạn.
Tại sao Crawl Budget lại quan trọng cho SEO?
Google trước tiên cần crawl và sau đó index các trang của bạn trước khi chúng có thể được xếp hạng. Và mọi thứ cần diễn ra suôn sẻ trong các quy trình đó để nội dung của bạn hiển thị trong kết quả tìm kiếm.
Điều đó có thể ảnh hưởng đáng kể đến organic traffic. Và các mục tiêu kinh doanh tổng thể của bạn.
Hầu hết các chủ sở hữu trang web không cần quá lo lắng về crawl budget. Bởi vì Google khá hiệu quả trong việc crawl các trang web.
Nhưng có một vài tình huống cụ thể khi crawl budget của Google đặc biệt quan trọng cho SEO:
- Trang web của bạn rất lớn: Nếu trang web của bạn lớn và phức tạp (trên 10K trang), Google có thể không tìm thấy các trang mới ngay lập tức hoặc không crawl lại tất cả các trang của bạn thường xuyên.
- Bạn thêm nhiều trang mới: Nếu bạn thường xuyên thêm nhiều trang mới, crawl budget của bạn có thể ảnh hưởng đến khả năng hiển thị của những trang đó.
- Trang web của bạn có vấn đề kỹ thuật: Nếu crawling issues ngăn cản các công cụ tìm kiếm crawl hiệu quả trang web của bạn, nội dung của bạn có thể không xuất hiện trong kết quả tìm kiếm.
Google xác định Crawl Budget như thế nào?
Crawl budget của bạn được xác định bởi hai yếu tố chính:
Crawl Demand
Crawl demand là tần suất mà Google crawl trang web của bạn dựa trên tầm quan trọng được nhận thức. Và có ba yếu tố ảnh hưởng đến crawl demand của trang web của bạn:
Perceived Inventory
Google thường cố gắng crawl tất cả hoặc hầu hết các trang mà nó biết trên trang web của bạn. Trừ khi bạn chỉ định cho Google không làm vậy.
Điều này có nghĩa là Googlebot có thể vẫn cố gắng crawl các trang trùng lặp và các trang bạn đã xóa nếu bạn không yêu cầu nó bỏ qua chúng. Như thông qua tệp robots.txt của bạn (sẽ nói thêm về điều đó sau) hoặc các mã trạng thái 404/410 HTTP status codes.
Độ phổ biến
Google thường ưu tiên các trang có nhiều backlinks (liên kết từ các trang web khác) và những trang thu hút lượng
traffic
cao hơn khi nói đến việc crawl. Điều này có thể báo hiệu cho thuật toán của Google rằng trang web của bạn quan trọng và đáng để crawl thường xuyên hơn. Lưu ý rằng số lượng backlinks một mình không quan trọng—backlinks nên liên quan và từ các nguồn uy tín. Sử dụng Semrush
Công cụ Backlinks để xem trang nào của bạn thu hút nhiều backlinks nhất và có thể thu hút sự chú ý của Google.Chỉ cần nhập miền của bạn và nhấp vào “.”
Bạn sẽ thấy tổng quan về hồ sơ backlink của trang web của bạn. Nhưng để xem backlinks theo trang, hãy nhấp vào tab “Indexed Pages”.
Nhấp vào cột “Backlinks” để sắp xếp theo các trang có nhiều backlinks nhất.
Đây có thể là những trang trên trang web của bạn mà Google crawl thường xuyên nhất (mặc dù điều đó không được đảm bảo).
Vì vậy, hãy chú ý đến những trang quan trọng với ít backlinks—chúng có thể bị crawl ít thường xuyên hơn. Và hãy xem xét việc triển khai một backlinking strategy để có thêm nhiều trang web liên kết đến các trang quan trọng của bạn.
Tính cũ kỹ
Các công cụ tìm kiếm nhằm mục đích crawl nội dung đủ thường xuyên để phát hiện bất kỳ thay đổi nào. Nhưng nếu nội dung của bạn không thay đổi nhiều theo thời gian, Google có thể bắt đầu crawl nó ít thường xuyên hơn.
Ví dụ, Google thường crawl các trang web tin tức rất nhiều vì họ thường xuất bản nội dung mới nhiều lần trong ngày. Trong trường hợp này, trang web có crawl demand cao.
Điều này không có nghĩa là bạn cần cập nhật nội dung của mình mỗi ngày chỉ để cố gắng khiến Google crawl trang web của bạn thường xuyên hơn. Hướng dẫn của Google nói rằng họ chỉ muốn crawl nội dung chất lượng cao.
Vì vậy, hãy ưu tiên chất lượng nội dung hơn là thực hiện các thay đổi không liên quan thường xuyên nhằm tăng tần suất crawl.
Giới hạn khả năng crawl
Giới hạn khả năng crawl ngăn chặn các bot của Google làm chậm trang web của bạn với quá nhiều yêu cầu, điều này có thể gây ra các vấn đề về hiệu suất.
Nó chủ yếu bị ảnh hưởng bởi sức khỏe tổng thể của trang web của bạn và giới hạn crawl của chính Google.
Sức khỏe crawl của trang web của bạn
Tốc độ phản hồi của trang web bạn đối với các yêu cầu của Google có thể ảnh hưởng đến crawl budget của bạn.
Nếu trang web của bạn phản hồi nhanh, giới hạn khả năng crawl của bạn có thể tăng lên. Và Google có thể crawl các trang của bạn nhanh hơn.
Nhưng nếu trang web của bạn chậm lại, giới hạn khả năng crawl của bạn có thể giảm.
Nếu trang web của bạn phản hồi với lỗi máy chủ, điều này cũng có thể giảm giới hạn. Và Google có thể crawl trang web của bạn ít thường xuyên hơn.
Mẹo
Kiểm tra các vấn đề về tốc độ tải và lỗi máy chủ với Semrush Site Audit. Để giảm khả năng trang web của bạn bị giảm giới hạn khả năng crawl.
Giới hạn crawl của Google
Google không có nguồn lực không giới hạn để chi cho việc crawl các trang web. Đó là lý do tại sao lại có crawl budgets ngay từ đầu.
Về cơ bản, đây là cách để Google ưu tiên các trang nào cần crawl thường xuyên nhất.
Nếu nguồn lực của Google bị hạn chế vì lý do nào đó, điều này có thể ảnh hưởng đến giới hạn khả năng crawl của trang web của bạn.
Cách kiểm tra hoạt động crawl của bạn
Google Search Console (GSC) cung cấp thông tin đầy đủ về cách Google Crawling (thu thập dữ liệu) trang web của bạn. Cùng với bất kỳ vấn đề nào có thể xảy ra và bất kỳ thay đổi lớn nào trong hành vi crawling theo thời gian.
Điều này có thể giúp bạn hiểu nếu có vấn đề nào ảnh hưởng đến crawl budget (ngân sách thu thập dữ liệu) của bạn mà bạn có thể khắc phục.
Để tìm thông tin này, hãy truy cập vào tài sản GSC của bạn và nhấp vào “Cài đặt.”
Trong phần “Crawling”, bạn sẽ thấy số lượng yêu cầu thu thập dữ liệu trong 90 ngày qua.
Nhấp vào “Mở Báo cáo” để có thêm thông tin chi tiết.
Trang “Crawl stats” cho bạn thấy nhiều widget với dữ liệu:
Biểu đồ theo thời gian
Ở trên cùng, có một biểu đồ về các yêu cầu thu thập dữ liệu mà Google đã thực hiện đối với trang web của bạn trong 90 ngày qua.
Dưới đây là ý nghĩa của từng ô ở trên cùng:
- Tổng số yêu cầu thu thập dữ liệu: Số lượng yêu cầu thu thập dữ liệu mà Google đã thực hiện trong 90 ngày qua
- Tổng kích thước tải xuống: Tổng lượng dữ liệu mà các crawler của Google đã tải xuống khi truy cập vào trang web của bạn trong một khoảng thời gian cụ thể
- Thời gian phản hồi trung bình: Thời gian trung bình mà máy chủ của trang web bạn mất để phản hồi một yêu cầu từ crawler (tính bằng mili giây)
Trạng thái máy chủ
Trạng thái máy chủ cho thấy Google có thể thu thập dữ liệu trang web của bạn dễ dàng như thế nào.
Ví dụ, nếu trang web của bạn không luôn đáp ứng được yêu cầu thu thập dữ liệu của Google, bạn có thể thấy thông báo “Máy chủ đã gặp vấn đề trong quá khứ.”
Nếu có bất kỳ vấn đề nào, bạn có thể xem thêm chi tiết bằng cách nhấp vào ô này.
Dưới “Chi tiết”, bạn sẽ tìm thấy thêm thông tin về lý do các vấn đề xảy ra.
Điều này sẽ cho bạn biết nếu có bất kỳ vấn đề nào với:
- Lấy tệp robots.txt của bạn
- Hệ thống tên miền của bạn (DNS)
- Kết nối máy chủ
Phân tích yêu cầu thu thập dữ liệu
Phần này của báo cáo cung cấp thông tin về các yêu cầu thu thập dữ liệu và nhóm chúng theo:
- Phản hồi (ví dụ, “OK (200)” hoặc “Không tìm thấy (404)”
- Loại tệp URL (ví dụ, HTML hoặc hình ảnh)
- Mục đích của yêu cầu (“Khám phá” cho một trang mới hoặc “Làm mới” cho một trang hiện có)
- Loại Googlebot (ví dụ, smartphone hoặc desktop)
Nhấp vào bất kỳ mục nào trong mỗi widget sẽ cho bạn thêm chi tiết. Chẳng hạn như các trang đã trả về một mã trạng thái cụ thể.
Google Search Console có thể cung cấp thông tin hữu ích về crawl budget của bạn ngay từ nguồn. Nhưng các công cụ khác có thể cung cấp thông tin chi tiết hơn mà bạn cần để cải thiện khả năng crawlability.
Cách Phân Tích Crawlability của Trang Web của Bạn
Công cụ “ Site Audit của Semrush cho bạn biết nơi ngân sách thu thập dữ liệu của bạn bị lãng phí và có thể giúp bạn tối ưu hóa trang web của mình cho việc thu thập dữ liệu.
Mẹo
Bạn có thể kiểm tra tối đa 100 URL của trang web của mình với một tài khoản Semrush miễn phí. Đăng ký để theo dõi các bước bên dưới (không yêu cầu thẻ tín dụng).
Dưới đây là cách để bắt đầu:
Mở công cụ Site Audit . Nếu đây là lần kiểm tra đầu tiên của bạn, bạn sẽ cần tạo một dự án mới.
Chỉ cần nhập tên miền của bạn, đặt tên cho dự án và nhấp vào “Tạo dự án.”
Tiếp theo, chọn số lượng trang để kiểm tra và nguồn thu thập dữ liệu.
Nếu bạn muốn công cụ thu thập dữ liệu trang web của bạn trực tiếp, hãy chọn “Website” làm nguồn thu thập dữ liệu. Ngoài ra, bạn có thể tải lên một sitemap hoặc một tệp URL.
Trong tab “Cài đặt Crawler”, sử dụng menu thả xuống để chọn một user agent. Chọn giữa GoogleBot và SiteAuditBot. Và các phiên bản di động và máy tính để bàn của mỗi loại.
Sau đó, chọn cài đặt crawl-delay của bạn. Tùy chọn “Thời gian tối thiểu giữa các trang” thường được khuyến nghị—đây là cách nhanh nhất để kiểm tra trang web của bạn.
Cuối cùng, quyết định xem bạn có muốn bật JavaScript (JS) rendering hay không. JavaScript rendering cho phép crawler thấy cùng nội dung mà khách truy cập trang web của bạn thấy.
Điều này cung cấp kết quả chính xác hơn nhưng có thể mất nhiều thời gian hơn để hoàn thành.
Sau đó, nhấp vào “Cho phép-cấm URL.”
Nếu bạn muốn crawler chỉ kiểm tra một số URL nhất định, bạn có thể nhập chúng ở đây. Bạn cũng có thể cấm URL để hướng dẫn crawler bỏ qua chúng.
Tiếp theo, liệt kê các tham số URL để cho các bot biết bỏ qua các biến thể của cùng một trang.
Nếu trang web của bạn vẫn đang trong quá trình phát triển, bạn có thể sử dụng cài đặt “Bỏ qua các hạn chế của trang web” để thực hiện một cuộc kiểm tra.
Cuối cùng, lên lịch tần suất bạn muốn công cụ kiểm tra trang web của mình. Các cuộc kiểm tra định kỳ là một ý tưởng tốt để theo dõi sức khỏe của trang web của bạn. Và phát hiện bất kỳ vấn đề crawlability nào sớm.
Đánh dấu ô để được thông báo qua email khi cuộc kiểm tra hoàn tất.
Khi bạn đã sẵn sàng, nhấp vào “Bắt đầu f.”
Báo cáo “Tổng quan” của Site Audit tóm tắt tất cả dữ liệu mà các bot đã thu thập trong quá trình crawling. Và cung cấp cho bạn thông tin quý giá về sức khỏe tổng thể của trang web của bạn.
Widget “Các trang đã thu thập dữ liệu” cho bạn biết có bao nhiêu trang mà công cụ đã thu thập dữ liệu. Và cung cấp phân tích về số lượng trang khỏe mạnh và số lượng trang có vấn đề.
Để có thêm thông tin chi tiết, hãy điều hướng đến phần “Crawlability” và nhấp vào “Xem chi tiết.”
Tại đây, bạn sẽ tìm thấy bao nhiêu ngân sách thu thập dữ liệu của trang web bạn bị lãng phí và những vấn đề nào đã cản trở. Chẳng hạn như chuyển hướng tạm thời, chuyển hướng vĩnh viễn, nội dung trùng lặp và tốc độ tải chậm.
Nhấp vào bất kỳ thanh nào sẽ cho bạn thấy danh sách các trang có vấn đề đó.
Tùy thuộc vào vấn đề, bạn sẽ thấy thông tin trong các cột khác nhau cho mỗi trang bị ảnh hưởng.
Đi qua những trang này và khắc phục các vấn đề tương ứng. Để cải thiện crawlability của trang web của bạn.
7 Mẹo Tối Ưu Ngân Sách Thu Thập Dữ Liệu
Khi bạn biết vấn đề về crawl budget của trang web của mình ở đâu, bạn có thể khắc phục chúng để tối đa hóa hiệu suất crawl của mình.
Dưới đây là một số điều chính bạn có thể làm:
1. Cải thiện tốc độ trang web của bạn
Cải thiện tốc độ trang web của bạn có thể giúp Google crawl trang web của bạn nhanh hơn. Điều này có thể dẫn đến việc sử dụng tốt hơn crawl budget của trang web bạn. Hơn nữa, điều này cũng tốt cho trải nghiệm người dùng (UX) và SEO..
Để kiểm tra tốc độ tải trang của bạn, hãy quay lại dự án Site Audit mà bạn đã thiết lập trước đó và nhấp vào “Xem chi tiết” trong hộp “Site Performance”.
Bạn sẽ thấy một bảng phân tích tốc độ tải trang của bạn và tốc độ tải trang trung bình của bạn. Cùng với danh sách các lỗi và cảnh báo có thể dẫn đến hiệu suất kém.
Có nhiều cách để cải thiện tốc độ trang của bạn, bao gồm:
- Tối ưu hóa hình ảnh của bạn: Sử dụng các công cụ trực tuyến như Image Compressor để giảm kích thước tệp mà không làm mờ hình ảnh của bạn.
- Giảm thiểu mã và script của bạn: Hãy xem xét việc sử dụng một công cụ trực tuyến như Minifier.org hoặc một plugin WordPress như WP Rocket để giảm kích thước mã của trang web bạn nhằm tải nhanh hơn.
- Sử dụng mạng phân phối nội dung (CDN): Một CDN là một mạng lưới phân phối các máy chủ cung cấp nội dung web cho người dùng dựa trên vị trí của họ để có tốc độ tải nhanh hơn.
2. Sử dụng liên kết nội bộ chiến lược
Một cấu trúc internal linking thông minh có thể giúp các crawler của công cụ tìm kiếm dễ dàng tìm thấy và hiểu nội dung của bạn. Điều này có thể giúp sử dụng hiệu quả hơn crawl budget của bạn và tăng tiềm năng xếp hạng của bạn.
Hãy tưởng tượng trang web của bạn như một hệ thống phân cấp, với trang chủ ở trên cùng. Sau đó phân nhánh thành các danh mục và phân danh mục khác nhau.
Mỗi nhánh nên dẫn đến các trang hoặc bài viết chi tiết hơn liên quan đến danh mục mà chúng thuộc về.
Điều này tạo ra một cấu trúc rõ ràng và hợp lý cho trang web của bạn, dễ dàng cho người dùng và các công cụ tìm kiếm để điều hướng.
Thêm các liên kết nội bộ đến tất cả các trang quan trọng để giúp Google dễ dàng tìm thấy nội dung quan trọng nhất của bạn.
Điều này cũng giúp bạn tránh các trang mồ côi—các trang không có liên kết nội bộ nào trỏ đến chúng. Google vẫn có thể tìm thấy những trang này, nhưng sẽ dễ dàng hơn nếu bạn có các liên kết nội bộ liên quan trỏ đến chúng.
Nhấp vào “Xem chi tiết” trong hộp "Internal Linking” của dự án Site Audit dự án để tìm các vấn đề với internal linking của bạn.
Bạn sẽ thấy một cái nhìn tổng quan về cấu trúc liên kết nội bộ của trang web bạn. Bao gồm số lần nhấp cần thiết để đến mỗi trang của bạn từ trang chủ.
Bạn cũng sẽ thấy danh sách các lỗi, cảnh báo và thông báo. Những điều này bao gồm các vấn đề như liên kết hỏng, thuộc tính nofollow trên các liên kết nội bộ, và các liên kết không có anchor text.
Xem qua những điều này và sửa chữa các vấn đề trên mỗi trang. Để giúp các công cụ tìm kiếm dễ dàng crawl và index nội dung của bạn.
3. Giữ cho Sitemap của bạn được cập nhật
Có một XML sitemap được cập nhật là một cách khác để bạn có thể chỉ định cho Google các trang quan trọng nhất của bạn. Và việc cập nhật sitemap của bạn khi bạn thêm các trang mới có thể làm cho chúng có khả năng được crawl hơn (nhưng điều đó không được đảm bảo).
Sitemap của bạn có thể trông giống như thế này (nó có thể thay đổi tùy thuộc vào cách bạn tạo nó):
Google khuyên bạn nên chỉ bao gồm các URL mà bạn muốn xuất hiện trong kết quả tìm kiếm trong sitemap của bạn. Để tránh lãng phí crawl budget (xem mẹo tiếp theo để biết thêm về điều đó).
Bạn cũng có thể sử dụng thẻ <lastmod> để chỉ ra khi bạn cập nhật lần cuối một URL nhất định. Nhưng điều này không cần thiết.
Đọc thêm: Cách gửi Sitemap đến Google
4. Chặn các URL mà bạn không muốn các công cụ tìm kiếm crawl
Sử dụng tệp robots.txt của bạn (một tệp cho biết các bot tìm kiếm trang nào nên và không nên được crawl) để giảm thiểu khả năng Google crawl các trang mà bạn không muốn. Điều này có thể giúp giảm lãng phí crawl budget.
Tại sao bạn lại muốn ngăn chặn crawl cho một số trang?
Bởi vì một số trang không quan trọng hoặc riêng tư. Và bạn có thể không muốn các công cụ tìm kiếm crawl những trang này và lãng phí tài nguyên của chúng.
Dưới đây là một ví dụ về cách một tệp robots.txt có thể trông như thế này:
Tất cả các trang sau “Disallow:” chỉ định các trang mà bạn không muốn các công cụ tìm kiếm crawl.
Để biết thêm về cách tạo và sử dụng các tệp này đúng cách, hãy xem hướng dẫn về robots.txt.
Lưu ý
Bạn cũng có thể chặn các trang bằng thẻ meta “noindex”. Nhưng Google vẫn sẽ cố gắng crawl những trang này, lãng phí crawl budget. Trong khi noindex có thể hữu ích cho các mục đích khác, Google không khuyên sử dụng nó để cố gắng ảnh hưởng đến crawl budget của bạn.
5. Xóa các chuyển hướng không cần thiết
Chuyển hướng đưa người dùng (và bot) từ một URL này sang một URL khác. Và có thể làm chậm thời gian tải trang và lãng phí crawl budget.
Điều này có thể đặc biệt vấn đề nếu bạn có chuỗi chuyển hướng. Điều này xảy ra khi bạn có nhiều hơn một chuyển hướng giữa URL gốc và URL cuối cùng.
Như thế này:
Để tìm hiểu thêm về các chuyển hướng được thiết lập trên trang web của bạn, hãy mở công cụ Site Audit và điều hướng đến tab “Issues”.
Nhập “redirect” vào thanh tìm kiếm để xem các vấn đề liên quan đến các chuyển hướng của trang web bạn.
Nhấp vào “Tại sao và cách khắc phục” hoặc “Tìm hiểu thêm” để có thêm thông tin về từng vấn đề. Và để xem hướng dẫn về cách khắc phục nó.
6. Sửa chữa các liên kết hỏng
Các liên kết hỏng là những liên kết không dẫn đến các trang trực tiếp—chúng thường trả về một 404 Error. thay vào đó.
Điều này không nhất thiết là một điều xấu. Thực tế, các trang không tồn tại thường nên trả về mã trạng thái 404.
Nhưng việc có nhiều liên kết trỏ đến các trang bị hỏng không tồn tại sẽ lãng phí crawl budget. Bởi vì bot có thể vẫn cố gắng crawl nó, mặc dù không có gì giá trị trên trang đó. Và điều này gây khó chịu cho người dùng theo những liên kết đó.
Để xác định các liên kết bị hỏng trên trang web của bạn, hãy vào tab “Issues” trong Site Audit và nhập “broken” vào thanh tìm kiếm.
Tìm lỗi “# internal links are broken”. Nếu bạn thấy nó, hãy nhấp vào liên kết màu xanh bên trên số để xem thêm chi tiết.
Bạn sẽ thấy danh sách các trang của bạn có liên kết bị hỏng. Cùng với liên kết cụ thể trên mỗi trang bị hỏng.
Hãy xem qua những trang này và sửa các liên kết bị hỏng để cải thiện crawlability của trang web của bạn.
7. Loại bỏ Duplicate Content
Duplicate content là khi bạn có các trang tương tự cao trên trang web của mình. Và vấn đề này có thể lãng phí crawl budget vì bot thực chất đang crawl nhiều phiên bản của cùng một trang.
Duplicate content có thể xuất hiện dưới một vài hình thức. Chẳng hạn như các trang giống hệt hoặc gần giống nhau (bạn thường muốn tránh điều này). Hoặc các biến thể của các trang do URL parameters (thường thấy trên các trang web thương mại điện tử).
Hãy vào tab “Issues” trong Site Audit để xem liệu có bất kỳ vấn đề duplicate content nào trên trang web của bạn.
Nếu có, hãy xem xét những lựa chọn này:
- Sử dụng “rel=canonical” tags trong mã HTML để cho Google biết trang nào bạn muốn xuất hiện trong kết quả tìm kiếm
- Chọn một trang để làm trang chính (đảm bảo thêm bất kỳ nội dung nào mà các trang phụ thiếu). Sau đó, sử dụng 301 redirects để chuyển hướng các bản sao.
Tối đa hóa Crawl Budget của bạn với các Site Audits định kỳ
Theo dõi và tối ưu hóa các khía cạnh kỹ thuật của trang web của bạn một cách thường xuyên giúp các web crawlers tìm thấy nội dung của bạn.
Và vì các công cụ tìm kiếm cần tìm thấy nội dung của bạn để xếp hạng nó trong kết quả tìm kiếm, điều này là rất quan trọng.
Chạy một website audit miễn phí để đo lường sức khỏe của trang web của bạn và phát hiện lỗi trước khi chúng gây ra vấn đề về hiệu suất.
Đưa góc nhìn thành kế hoạch.
Chia sẻ website và mục tiêu để LionTech tư vấn giải pháp phù hợp.
Đăng ký tư vấn ↗