Bot Traffic: Định nghĩa, Các loại và Thực hành tốt nhất để Phòng ngừa

Bot Traffic là gì?

Bot traffic là lưu lượng không phải do con người tạo ra trên các website và ứng dụng, được sinh ra bởi các chương trình phần mềm tự động, hay gọi là "bots," chứ không phải bởi người dùng thực.

Bot traffic không phải là lưu lượng có giá trị, nhưng bạn thường thấy nó. Ví dụ, các search engine crawlers (còn gọi là “spiders”) có thể thường xuyên ghé thăm trang của bạn.

Bot traffic thường không mang lại chuyển đổi hay doanh thu cho doanh nghiệp bạn — mặc dù nếu bạn kinh doanh thương mại điện tử, có thể gặp các shopping bots thực hiện mua hàng thay cho người dùng.

Tuy nhiên, điều này chủ yếu áp dụng cho các doanh nghiệp bán hàng hot như vé concert hoặc các đợt phát hành sneaker giới hạn.

Một số bots ghé trang của bạn để crawl các trang phục vụ cho search engine indexing hoặc kiểm tra hiệu suất trang. Các bots khác có thể cố gắng scrape (trích xuất dữ liệu) từ trang hoặc cố tình làm quá tải server để tấn công khả năng truy cập của trang.

Good Bots và Bad Bots: Cách nhận biết sự khác biệt

Có cả bots có lợi và bots gây hại. Dưới đây, chúng tôi giải thích cách phân biệt chúng.

Good Bots

Các good bots phổ biến bao gồm nhưng không giới hạn:

• Crawlers từ các công cụ SEO: Tool bots, như SemrushBotcrawl trang của bạn để giúp bạn đưa ra các quyết định sáng suốt, như tối ưu meta tags và đánh giá indexability của các trang. Những bots này được dùng với mục đích tốt để hỗ trợ bạn tuân thủ best practices của SEO.
• Site monitoring bots: Những bots này có thể kiểm tra sự cố hệ thống và giám sát hiệu suất website của bạn. Chúng tôi dùng SemrushBot với các công cụ như SEO Checker và nhiều công cụ khác để cảnh báo bạn về các vấn đề như downtime và thời gian phản hồi chậm. Việc giám sát liên tục giúp duy trì hiệu suất và khả năng truy cập tối ưu cho khách truy cập.
• Search engine crawlers: Các search engine sử dụng bots, như Googlebot, để index và xếp hạng các trang trên website của bạn. Nếu không có các bots này crawl trang của bạnthì các trang của bạn sẽ không được index, và người dùng sẽ không tìm thấy doanh nghiệp bạn trên kết quả tìm kiếm.

Bad Bots

Bạn có thể không thường xuyên thấy lưu lượng hoặc dấu hiệu của các malicious bots, nhưng luôn cần lưu ý khả năng bị tấn công.

Bad bots bao gồm nhưng không giới hạn:

• Scrapers: Bots có thể thu thập và sao chép nội dung từ website của bạn mà không được phép. Việc đăng lại thông tin đó ở nơi khác là hành vi đánh cắp tài sản trí tuệ và vi phạm bản quyền. Nếu người khác thấy nội dung của bạn bị sao chép trên web, uy tín thương hiệu của bạn có thể bị ảnh hưởng.
• Spam bots: Bots cũng có thể tạo ra và phát tán nội dung spamnhư email lừa đảo, tài khoản mạng xã hội giả mạo và bài đăng trên diễn đàn. Spam có thể lừa người dùng và gây nguy hiểm cho an ninh mạng bằng cách đánh cắp thông tin nhạy cảm.
• DDoS bots: DDoS (Distributed Denial-of-Service) bots nhằm làm quá tải máy chủ của bạn và ngăn người dùng truy cập website bằng cách gửi lượng lớn traffic giả mạo. Những bots này có thể làm gián đoạn khả năng truy cập trang, gây downtime và thiệt hại tài chính nếu người dùng không thể truy cập hoặc mua hàng.

Nguồn ảnh: Indusface

Đọc thêm: 11 vấn đề về Crawlability và cách khắc phục

Bot traffic ảnh hưởng đến website và phân tích như thế nào

Bot traffic có thể làm lệch dữ liệu website analytics và dẫn đến dữ liệu không chính xác bằng cách ảnh hưởng đến các yếu tố sau:

• Lượt xem trang: Bot traffic có thể làm tăng giả tạo số lượt xem trang, khiến bạn tưởng rằng người dùng tương tác với website nhiều hơn thực tế.
• Thời lượng phiên: Bots có thể ảnh hưởng đến chỉ số thời lượng phiên, đo thời gian người dùng ở lại trên site. Bots duyệt web nhanh hoặc chậm đều làm thay đổi thời lượng phiên trung bình, gây khó khăn trong việc đánh giá chất lượng trải nghiệm người dùng thực sự.
• Vị trí người dùng: Bot traffic tạo ra ấn tượng sai lệch về nguồn gốc khách truy cập bằng cách che giấu địa chỉ IP hoặc sử dụng proxy.
• Chuyển đổi: Bots có thể làm gián đoạn mục tiêu chuyển đổi của bạn như gửi form, mua hàng hoặc tải xuống bằng thông tin và email giả mạo.

Bot traffic cũng có thể ảnh hưởng tiêu cực đến hiệu suất website và trải nghiệm người dùng bằng cách:

• Tiêu tốn tài nguyên máy chủ: Bots có thể tiêu tốn băng thông và tài nguyên máy chủ, đặc biệt khi có mục đích xấu hoặc lưu lượng cao. Điều này làm chậm thời gian tải trang, tăng chi phí hosting và thậm chí gây sập site.
• Gây tổn hại đến uy tín và bảo mật: Bots có thể làm tổn hại uy tín và bảo mật site bằng cách đánh cắp hoặc thu thập nội dung, giá cả và dữ liệu. Một cuộc tấn công (như DDoS) có thể khiến bạn mất doanh thu và niềm tin khách hàng. Khi site không truy cập được, đối thủ có thể hưởng lợi khi người dùng chuyển sang họ.

Rủi ro bảo mật liên quan đến bots độc hại

Tất cả website đều có nguy cơ bị tấn công bởi bots, gây ảnh hưởng đến bảo mật, hiệu suất và uy tín. Các cuộc tấn công có thể nhắm vào mọi loại website, bất kể kích thước hay độ phổ biến.

Bot traffic chiếm gần một nửa tổng lượng traffic internet, và hơn 30% traffic tự động là malicious.

Malicious bots có thể gây ra các mối đe dọa bảo mật cho website của bạn vì chúng có thể đánh cắp dữ liệu, spam, chiếm đoạt tài khoản và làm gián đoạn dịch vụ.

Hai mối đe dọa bảo mật phổ biến là rò rỉ dữ liệu và tấn công DDoS:

• Rò rỉ dữ liệu: Malicious bots có thể xâm nhập vào trang của bạn để truy cập thông tin nhạy cảm như dữ liệu cá nhân, hồ sơ tài chính và tài sản trí tuệ. Rò rỉ dữ liệu từ các bots này có thể dẫn đến gian lận, đánh cắp danh tính của người trong doanh nghiệp hoặc khách truy cập, tổn hại danh tiếng thương hiệu và nhiều hậu quả khác.
• Tấn công DDoS: Malicious bots cũng có thể phát động các cuộc tấn công DDoS khiến trang của bạn chậm hoặc không khả dụng với người dùng thực. Những cuộc tấn công này có thể gây gián đoạn dịch vụ, mất doanh thu và làm người dùng không hài lòng.

Cách phát hiện Bot Traffic

Phát hiện bot traffic rất quan trọng để bảo mật website và đảm bảo phân tích chính xác.

Xác định Bots bằng công cụ và kỹ thuật

Có nhiều công cụ và kỹ thuật giúp bạn phát hiện bot traffic trên website.

Một số phương pháp phổ biến là:

• Phân tích IP: So sánh địa chỉ IP của khách truy cập với danh sách IP bot đã biết. Tìm các IP có đặc điểm bất thường như tần suất yêu cầu cao, thời gian phiên ngắn hoặc bất thường về vị trí địa lý.
• Phân tích hành vi: Theo dõi hành vi khách truy cập và tìm dấu hiệu bot như các mẫu lặp lại, điều hướng trang bất thường và thời gian phiên thấp.

Log File Analysis

Phân tích log file của máy chủ web. Log file ghi lại mọi yêu cầu đến trang và cung cấp thông tin quý giá về traffic website như user agent, referrer, mã phản hồi và thời gian yêu cầu.

Phân tích log file cũng giúp bạn phát hiện các vấn đề mà crawlers có thể gặp trên trang. Công cụ Log File Analyzer giúp bạn hiểu rõ hơn cách Google crawl website của bạn.

Cách sử dụng như sau:

Truy cập trực tiếp Log File Analyzer hoặc đăng nhập tài khoản Semrush. Vào công cụ qua menu bên trái dưới mục “ON PAGE & TECH SEO.”

Trước khi dùng công cụ, hãy lấy bản sao log file của trang từ máy chủ web.

Cách phổ biến nhất để truy cập là qua FTP client như FileZillaHoặc bạn có thể nhờ đội phát triển hoặc IT cung cấp bản sao file.

Lưu ý

Cần hướng dẫn thêm về cách truy cập log file? Hướng dẫn này sẽ giúp bạn: Log File Analysis for SEO.

Khi có log file, hãy tải nó lên trình phân tích.

Sau đó bấm “Start Log File Analyzer.”

Một biểu đồ sẽ hiển thị hoạt động Googlebot trên smartphone và desktop, thể hiện số lần truy cập hàng ngày, mã trạng thái và loại file được yêu cầu.

Nếu bạn cuộn xuống phần “Hits by Pages,” sẽ có một bảng cho phép bạn xem chi tiết từng trang và thư mục cụ thể. Điều này giúp bạn xác định xem bạn có đang lãng phí crawl budgetvì Google chỉ crawl một số lượng trang nhất định cùng lúc.

Bảng này hiển thị số lần bot truy cập, những trang và thư mục được crawl nhiều nhất, thời gian crawl cuối cùng và trạng thái máy chủ được báo cáo gần nhất. Phân tích này cung cấp cho bạn thông tin để cải thiện crawlability và indexability của trang web..

Phân tích Mẫu Traffic Web

Để biết cách nhận diện bot traffic trong Google Analytics và các nền tảng khác, hãy phân tích các mẫu traffic trên website của bạn. Tìm kiếm những điểm bất thường có thể báo hiệu hoạt động của bot.

Ví dụ về các mẫu đáng ngờ bao gồm:

Tăng hoặc giảm đột ngột trong Traffic

Sự thay đổi lớn về traffic có thể là dấu hiệu của bot. Ví dụ, một đột biến có thể báo hiệu một cuộc tấn công DDoS. Một sự giảm đột ngột có thể do bot đang scrape nội dung của bạn, điều này làm giảm thứ hạng của bạn.

Việc trùng lặp trên web làm giảm tính độc đáo và uy tín của nội dung, có thể dẫn đến thứ hạng thấp hơn và ít lượt nhấp hơn.

Số lượt xem thấp trên mỗi người dùng

Một tỷ lệ lớn khách truy cập vào trang nhưng chỉ xem một trang có thể là dấu hiệu của click fraud. Click fraud là hành vi nhấp vào liên kết với mục đích không trung thực hoặc ác ý.

Thời gian tương tác trung bình từ 0 đến 1 giây sẽ giúp xác nhận rằng những người dùng có số lượt xem thấp là bot.

Thời gian tương tác bằng không

Bot không tương tác với website như con người, thường đến rồi đi ngay lập tức. Nếu bạn thấy traffic với thời gian tương tác trung bình bằng 0 giây, rất có thể đó là bot.

Tỷ lệ Conversion Rate cao

Một tỷ lệ lớn khách truy cập hoàn thành hành động mong muốn, như mua hàng hoặc điền form, có thể là dấu hiệu của cuộc tấn công credential stuffing. Loại tấn công này xảy ra khi form của bạn bị điền bằng thông tin người dùng giả hoặc bị đánh cắp nhằm xâm nhập trang web.

Nguồn và Referrals đáng ngờ

Traffic đến từ nguồn “unassigned,” tức là không xác định được nguồn gốc, có thể là bất thường với người dùng thật, vì họ thường đến từ search engines, mạng xã hội hoặc các website khác.

Đó có thể là bot traffic nếu bạn thấy các referrals không liên quan đến website của bạn, như các domain spam hoặc trang web người lớn.

Địa lý đáng ngờ

Traffic đến từ các thành phố, vùng hoặc quốc gia không phù hợp với đối tượng mục tiêu hoặc chiến dịch marketing của bạn có thể là bot giả mạo vị trí.

Chiến lược chống lại Bot Traffic

Để ngăn chặn các bad bots gây hại cho website, dưới đây là một số kỹ thuật giúp bạn ngăn chặn hoặc làm chậm chúng lại.

Triển khai các giải pháp quản lý bot hiệu quả

Một cách để chống lại traffic từ bot là sử dụng giải pháp quản lý bot như Cloudflare hoặc Akamai.

Những giải pháp này giúp bạn nhận diện, giám sát và chặn traffic từ bot trên website bằng nhiều kỹ thuật khác nhau như:

• Phân tích hành vi: Phân tích cách người dùng tương tác với website, ví dụ cách họ cuộn trang hay nhấp chuột. Bằng cách so sánh hành vi giữa người dùng và bot, giải pháp có thể chặn traffic bot độc hại.
• Nhận dạng thiết bị: Thu thập thông tin đặc trưng từ thiết bị, như trình duyệt và địa chỉ IP. Bằng cách tạo dấu vân tay cho mỗi thiết bị, giải pháp có thể chặn các yêu cầu bot lặp lại.
• Machine learning: Sử dụng thuật toán để học từ dữ liệu và dự đoán. Giải pháp có thể phân tích các mẫu và đặc điểm của traffic bot.

Thuật toán quản lý bot cũng có thể phân biệt giữa bot tốt và bot xấu, cung cấp thông tin và phân tích về nguồn gốc, tần suất và tác động.

Nếu bạn sử dụng giải pháp quản lý bot, bạn có thể tùy chỉnh phản ứng với các loại bot khác nhau, ví dụ:

• Thách thức: Yêu cầu bot chứng minh danh tính hoặc tính hợp pháp trước khi truy cập site của bạn
• Chuyển hướng: Gửi bot đến một địa điểm khác, tránh xa website của bạn
• Giới hạn: Cho phép bot truy cập site nhưng với tần suất hạn chế

Thiết lập tường lửa và giao thức bảo mật

Một cách khác để chống lại traffic bot là thiết lập tường lửa và giao thức bảo mật trên website, như web application firewall (WAF) hoặc HTTPS.

Những giải pháp này giúp bạn ngăn chặn truy cập trái phép và rò rỉ dữ liệu trên website, cũng như lọc các yêu cầu độc hại và các cuộc tấn công web phổ biến.

Để sử dụng WAF, bạn nên thực hiện các bước sau:

• Đăng ký tài khoản với nhà cung cấp (như Cloudflare hoặc Akamai), thêm tên miền của bạn và thay đổi cài đặt DNS để trỏ về máy chủ của dịch vụ
• Xác định các cổng, giao thức và địa chỉ IP được phép hoặc bị từ chối truy cập site
• Sử dụng plugin tường lửa cho nền tảng site của bạn, ví dụ WordPress, để quản lý cài đặt tường lửa ngay từ bảng điều khiển website

Để sử dụng HTTPS cho site, bạn cần lấy và cài đặt chứng chỉ SSL/TLS từ cơ quan cấp chứng chỉ uy tín, chứng minh danh tính site và mã hóa dữ liệu.

Khi dùng HTTPS, bạn có thể:

• Đảm bảo khách truy cập kết nối với website thật của bạn và dữ liệu của họ được bảo mật
• Ngăn bot sửa đổi nội dung trên site của bạn

Sử dụng kỹ thuật nâng cao: CAPTCHAs, Honeypots và giới hạn tần suất

Nguồn hình ảnh: Google

• CAPTCHAs là các bài kiểm tra cần có sự tương tác của con người, như đánh dấu vào ô hoặc gõ một từ, để xác minh người dùng không phải là bot. Bạn có thể dùng dịch vụ bên thứ ba như Google’s reCAPTCHA để tạo ra các thử thách đòi hỏi trí thông minh của con người và nhúng chúng vào các biểu mẫu hoặc trang web của bạn.
• Honeypots là các bẫy dụ bot lộ diện, ví dụ như các liên kết hoặc biểu mẫu ẩn mà chỉ bot mới nhìn thấy được. Hãy theo dõi mọi traffic tương tác với những yếu tố này.
• Rate limiting giới hạn số lượng yêu cầu hoặc hành động mà người dùng có thể thực hiện trên trang của bạn, ví dụ như đăng nhập hoặc bình luận, trong một khoảng thời gian nhất định. Bạn có thể dùng công cụ như Cloudflare để đặt giới hạn yêu cầu và từ chối hoặc giảm tốc những yêu cầu vượt quá giới hạn đó.

Các thực hành tốt nhất để ngăn chặn bot traffic

Trước khi bạn thực hiện bất kỳ thay đổi nào để ngăn bot truy cập website, hãy tham khảo ý kiến chuyên gia để đảm bảo bạn không chặn nhầm các bot tốt.

Dưới đây là một số thực hành tốt nhất giúp bạn ngăn chặn bot traffic và giảm thiểu rủi ro cho trang web của mình.

Theo dõi và cập nhật các biện pháp bảo mật

Theo dõi traffic web có thể giúp bạn phát hiện và phân tích hoạt động của bot, như nguồn gốc, tần suất và tác động của bot.

Cập nhật các biện pháp bảo mật của bạn để:

• Ngăn chặn hoặc giảm thiểu các cuộc tấn công của bot
• Sửa các lỗ hổng bảo mật
• Chặn các địa chỉ IP độc hại
• Triển khai mã hóa và xác thực

Các công cụ này, ví dụ, có thể giúp bạn nhận diện, theo dõi và chặn bot traffic:

• Google Analytics để theo dõi
• Cloudflare để bảo mật
• Akamai để bảo mật

Nâng cao nhận thức cho đội ngũ về bot traffic

Nhận thức và đào tạo giúp đội ngũ của bạn nhận biết và xử lý bot traffic, đồng thời tránh các lỗi do con người gây ra có thể khiến website dễ bị tấn công bởi bot.

Xây dựng văn hóa an ninh và trách nhiệm trong nhóm để cải thiện giao tiếp và hợp tác. Bạn có thể tổ chức các buổi đào tạo định kỳ, chia sẻ các thực hành tốt nhất hoặc tạo chính sách về bot traffic.

Cập nhật xu hướng bot traffic

Bot liên tục phát triển và thích nghi khi các nhà phát triển sử dụng kỹ thuật mới để vượt qua các biện pháp bảo mật. Việc cập nhật xu hướng bot traffic giúp bạn chuẩn bị đối phó với các mối đe dọa bot mới.

Bằng cách này, bạn cũng có thể học hỏi từ kinh nghiệm của các website khác đã từng đối mặt với vấn đề bot traffic.

Theo dõi tin tức ngành và các blog (như Cloudflare blog hoặc Barracuda blog), tham gia các hội thảo trực tuyến và sự kiện, hoặc tham gia các cộng đồng và diễn đàn trực tuyến giúp bạn cập nhật các xu hướng mới nhất trong quản lý bot.

Đây cũng là cơ hội để trao đổi ý tưởng và phản hồi với các quản trị viên website khác.

Cách lọc bot traffic trong Google Analytics

Trong Google Analytics 4, phiên bản mới nhất của nền tảng, traffic từ các bot và spider đã biết được tự động loại trừ.

Bạn vẫn có thể tạo bộ lọc địa chỉ IP để phát hiện các traffic bot tiềm năng khác nếu bạn biết hoặc có thể xác định được địa chỉ IP mà bot phát sinh. Tính năng lọc của Google nhằm lọc traffic nội bộ (tính năng này gọi là “Define internal traffic”), nhưng bạn vẫn có thể nhập bất kỳ địa chỉ IP nào bạn muốn.

Cách thực hiện như sau:

Trong Google Analytics, hãy ghi lại landing page, ngày hoặc khung thời gian traffic đến, cùng các thông tin khác (như thành phố hoặc loại thiết bị) có thể hữu ích để tham khảo sau này.

Kiểm tra log máy chủ website của bạn để phát hiện hoạt động đáng ngờ từ một số địa chỉ IP nhất định, như tần suất yêu cầu cao hoặc mẫu yêu cầu bất thường trong cùng khung thời gian.

Khi bạn đã xác định được địa chỉ IP muốn chặn, hãy sao chép nó. Ví dụ, nó có thể trông như 123.456.78.90.

Nhập địa chỉ IP vào một công cụ tra cứu IP, chẳng hạn như NordVPN’s IP Address LookupXem thông tin tương ứng với địa chỉ đó, như nhà cung cấp dịch vụ internet (ISP), hostname, thành phố và quốc gia.

Nếu công cụ tra cứu IP xác nhận nghi ngờ của bạn rằng địa chỉ IP có thể là của bot, tiếp tục vào Google Analytics để bắt đầu quá trình lọc.

Đi tới “Admin” ở góc dưới bên trái của nền tảng.

Dưới mục “Data collection and modification,” nhấp vào “Data streams.”

Chọn data stream bạn muốn áp dụng bộ lọc.

Đi tới “Configure tag settings.”

Nhấp vào “Show more” rồi tiếp tục tới “Define internal traffic.”

Nhấp nút “Create”.

Nhập tên quy tắc, giá trị loại traffic (như “bot”), và địa chỉ IP bạn muốn lọc. Chọn từ nhiều loại so khớp (bằng, phạm vi, v.v.) và thêm nhiều địa chỉ làm điều kiện nếu bạn không muốn tạo bộ lọc riêng cho từng địa chỉ.

Nhấp lại nút “Create” và bạn đã hoàn thành. Hãy chờ xử lý trong vòng 24 đến 48 giờ.

Đọc thêm: Crawl Errors: Chúng là gì và cách khắc phục

Cách đảm bảo các bot tốt có thể crawl site của bạn

Sau khi bạn đã chặn bot xấu và lọc traffic bot trong analytics, hãy đảm bảo các bot tốt vẫn có thể dễ dàng crawl site của bạn.

Công cụ miễn phí SEO Checker kiểm tra các tín hiệu crawlability quan trọng như robots.txt, sitemap và canonical tags trên trang chủ của bạn.

Để tìm các vấn đề trên toàn bộ site, công cụ Semrush Site Audit xác định hơn 140 vấn đề tiềm năng, bao gồm crawlability.

Cách làm như sau:

Đi tới Semrush và nhấp vào công cụ Site Audit trong menu bên trái dưới mục “ON PAGE & TECH SEO.”

Nhập domain của bạn và nhấn nút "Start Audit.

Tiếp theo, bạn sẽ thấy menu "Site Audit Settings".

Nhấn vào biểu tượng cây bút chì bên cạnh dòng "Crawl scope" nơi domain của bạn hiển thị.

Chọn bạn muốn crawl toàn bộ domain, một subdomain hay một thư mục.

Nếu bạn muốn Site Audit crawl toàn bộ domain, điều mà chúng tôi khuyên dùng, hãy để nguyên như mặc định.

Tiếp theo, chọn số trang bạn muốn crawl từ menu giới hạn.

Lựa chọn của bạn phụ thuộc vào cấp độ đăng ký Semrush:

• Free: 100 trang mỗi lần audit và mỗi tháng
• Pro: 20.000 trang
• Guru: 20.000 trang
• Business: 100.000 trang

Cuối cùng, chọn nguồn crawl.

Vì chúng ta quan tâm đến việc phân tích các trang mà bot có thể truy cập, hãy chọn "Sitemaps on site."

Phần còn lại của các thiết lập, như “Crawler settings” và “Allow/disallow URLs,” được chia thành sáu tab ở bên trái. Đây là các tùy chọn bổ sung.

Mẹo chuyên nghiệp

Tận dụng tối đa Site Audit bằng cách tìm hiểu tất cả các thiết lập trong How to Do a Website Audit.

Khi bạn đã sẵn sàng, nhấn nút “Start Site Audit”.

Bây giờ, bạn sẽ thấy một tổng quan như thế này:

Để xác định các vấn đề ảnh hưởng đến crawlability của trang, hãy vào tab “Issues”.

Trong menu thả xuống “Category”, chọn “Crawlability.”

Để biết chi tiết về bất kỳ vấn đề nào, nhấn vào “Why and how to fix it” để xem giải thích và đề xuất cách khắc phục.

Để đảm bảo các bot tốt có thể crawl trang của bạn mà không gặp vấn đề, hãy chú ý đặc biệt đến các lỗi sau.

Tại sao?

Bởi vì những vấn đề này có thể cản trở khả năng crawl của bot:

• Broken internal links
• Lỗi định dạng trong file robots.txt
• Lỗi định dạng trong file sitemap.xml
• Trang không chính xác được tìm thấy trong sitemap.xml
• Liên kết bị lỗi định dạng
• Không có chuyển hướng hoặc canonical đến trang chủ HTTPS từ phiên bản HTTP
• Trang không thể crawl được
• Trang không thể crawl được (vấn đề phân giải DNS)
• Trang không thể crawl được (định dạng URL không chính xác)
• Trang trả về mã trạng thái 4XX
• Trang trả về mã trạng thái 5XX
• Trang gặp vấn đề về phân giải WWW
• Chuỗi và vòng lặp chuyển hướng

Danh sách vấn đề của Site Audit sẽ cung cấp thêm chi tiết về các vấn đề trên, bao gồm cách khắc phục.

Bạn có thể thực hiện audit crawlability như thế này bất cứ lúc nào. Chúng tôi khuyên bạn nên làm hàng tháng để sửa các vấn đề ngăn bot tốt crawl trang của bạn.

Bảo vệ Website của bạn khỏi các Bad Bots

Trong khi một số bot có lợi, thì những bot khác lại độc hại và có thể làm lệch phân tích traffic của bạn, ảnh hưởng tiêu cực đến trải nghiệm người dùng trên website và gây rủi ro bảo mật.

Việc theo dõi traffic để phát hiện và chặn các bot độc hại cũng như lọc bỏ traffic không mong muốn khỏi phân tích là rất quan trọng.

Hãy thử áp dụng một số chiến lược và giải pháp trong bài viết này để ngăn chặn traffic từ bot độc hại, xem cách nào phù hợp nhất với bạn và đội ngũ.

Hãy thử sử dụng Semrush Log File Analyzer để phát hiện các vấn đề về Crawlability của website và công cụ Site Audit để giải quyết các vấn đề có thể ngăn các bot tốt truy cập vào trang của bạn.