Log file analysis là một phần thiết yếu trong mọi cuộc kiểm tra technical SEO và SEO on-site. Log file là nguồn dữ liệu duy nhất chính xác 100% để hiểu rõ cách bot Crawling website của bạn. Với Log File Analysis, bạn có thể tìm hiểu sâu hơn so với một lần crawl thông thường, cải thiện thứ hạng, thu hút thêm traffic, tăng chuyển đổi và doanh số.
Log file thực chất là tệp được tạo từ máy chủ web, chứa các “lượt truy cập” hoặc bản ghi về mọi yêu cầu mà máy chủ nhận được. Dữ liệu được lưu lại, cung cấp thông tin chi tiết về thời gian và ngày gửi yêu cầu, URL được yêu cầu, user agent, địa chỉ ID yêu cầu và các thông tin khác.
Hãy cùng tìm hiểu những lợi ích của Log File Analysis và cách thực hiện miễn phí.
Lợi ích của Log File Analysis
Log File Analysis giúp bạn hiểu cách công cụ tìm kiếm Crawling website và tác động của hoạt động này đến SEO. Những thông tin chuyên sâu này rất hữu ích để cải thiện Crawlability và hiệu quả SEO. Với dữ liệu đó, bạn có thể phân tích hành vi crawl và xác định một số chỉ số đáng chú ý như:
- Crawl Budget của bạn có được sử dụng hiệu quả không?
- Có lỗi truy cập nào xảy ra trong quá trình crawl?
- Những khu vực nào đang có vấn đề về crawl?
- Những trang nào hoạt động tích cực nhất?
- Google chưa biết đến những trang nào?
Đây chỉ là một vài ví dụ về những cơ hội mà Log File Analysis có thể phát hiện. Google có Crawl Budget. Áp dụng các cải tiến phù hợp sẽ giúp bạn tiết kiệm ngân sách này, đồng thời giúp Google crawl đúng các trang và ghé thăm thường xuyên hơn.
Dưới đây là một số chỉ số bạn nên chú ý:
Số lượt truy cập từ SEO
Log File Analysis giúp xác định số lượt truy cập từ SEO (từ kết quả organic) mà website nhận được. Đây là những trang tạo ra traffic. Những trang này có phù hợp không? Các trang giá trị nhất của bạn có mang lại organic traffic cho website không? Đây là một chỉ số rất hữu ích để hành động.
Tần suất crawl
Log cũng giúp bạn xác định khối lượng hoạt động crawl của bot, hay nói cách khác là số yêu cầu mà Googlebot, Bingbot, Yahoo, Yandex hoặc các công cụ khác thực hiện trong một khoảng thời gian. Khối lượng crawl cho biết tần suất một website được truy cập. Chỉ số này giúp bạn theo dõi liệu việc thêm nội dung mới có làm tăng lượt truy cập của bot hay không. Tần suất crawl giảm đột ngột có thể cảnh báo bạn về một thay đổi trên website khiến các lượt truy cập này bị chặn.
Lỗi trong phản hồi mã
Phân tích dữ liệu log cũng có thể giúp theo dõi các lỗi mã trạng thái như 4xx hoặc 5xx gây ảnh hưởng đến SEO. Phân tích mã trạng thái của website còn giúp đo lường tác động của chúng đến số lượt bot truy cập và tần suất xuất hiện. Quá nhiều 404 Error sẽ hạn chế số lần crawler truy cập.
Mức độ ưu tiên Crawling và các trang đang hoạt động
Phân tích log cũng có thể giúp xác định những trang được Google đánh giá cao nhất và xem trang nào ít được Crawling hơn. Nhờ đó, bạn có thể biết liệu các trang quan trọng nhất có thường xuyên được bot truy cập hay không. Điều này giúp tránh bỏ sót một số trang hoặc khu vực trên website.
Trên thực tế, phân tích log có thể làm nổi bật các URL hoặc thư mục ít được bot Crawling. Ví dụ: nếu người dùng muốn một bài đăng cụ thể trên blog có thứ hạng cao cho một truy vấn mục tiêu, nhưng bài viết nằm trong thư mục mà Google chỉ truy cập sáu tháng một lần, họ sẽ bỏ lỡ cơ hội nhận organic traffic từ bài viết đó trong ít nhất sáu tháng. Nếu gặp trường hợp này, họ sẽ biết cần phải làm gì, chẳng hạn như xác định lại internal linking để đẩy mạnh các “most valuable pages.”
Phân tích log cũng có thể giúp bạn xác định những trang hoạt động tích cực nhất, hay nói cách khác là các trang nhận được nhiều lượt truy cập SEO nhất.
Crawling tài nguyên và lãng phí ngân sách
Phân tích log cũng giúp bạn xác định Crawl Budget được phân bổ như thế nào cho các loại tệp. Chẳng hạn, Google có dành quá nhiều thời gian để Crawling hình ảnh không?
Crawl Budget là số trang mà công cụ tìm kiếm sẽ Crawling mỗi lần truy cập website của bạn. Ngân sách này gắn liền với thẩm quyền của domain, tình trạng hoạt động của website và tỷ lệ thuận với luồng Link Equity trên website.
Trên thực tế, Crawl Budget này có thể bị lãng phí vào những trang không liên quan. Hãy tưởng tượng bạn có ngân sách 100 đơn vị mỗi ngày; khi đó, bạn muốn dùng cả 100 đơn vị này cho những trang quan trọng.
Nếu bot gặp quá nhiều yếu tố bất lợi trên website, chúng sẽ không quay lại thường xuyên và bạn sẽ lãng phí Crawl Budget vào những trang vô ích. Nếu bạn có nội dung mới muốn được Indexing nhưng không còn ngân sách, Google sẽ không Indexing nội dung đó.
Đó là lý do bạn cần theo dõi cách sử dụng Crawl Budget thông qua Log File Analysis và tối ưu website để tăng số lượt bot truy cập.
Ngày Crawling gần nhất
Log File Analysis cho biết lần gần nhất Google Crawling một trang cụ thể mà người dùng muốn Indexing nhanh chóng.
Log File Analysis: Thực hiện miễn phí
Bạn có thể sử dụng một công cụ phân tích log mã nguồn mở để kiểm tra SEO, chẳng hạn như OnCrawl ELK .
- Các trang riêng biệt được Google crawl
- Tần suất crawl theo nhóm trang
- Theo dõi HTTP Status Code
- Phát hiện các trang đang hoạt động và không hoạt động.
Ví dụ: nếu website của bạn được lưu trữ trên OVH và bạn đã thiết lập log để phân biệt theo loại máy chủ, quy trình sẽ như sau:
1: Cài đặt Docker
Cài đặt Docker Tool Box
Chọn Docker Quickstart terminal để khởi chạy
Sao chép/dán địa chỉ IP 192.168.99.100
Tải bản phát hành oncrawl-elk: https://github.com/cogniteev/oncrawl-elk/archive/1.1.zip
Thêm các dòng sau để tạo thư mục và giải nén tệp:
MacBook-Air:~ cogniteev$ mkdir oncrawl-elk
MacBook-Air:~ cogniteev$ cd oncrawl-elk/
MacBook-Air:oncrawl-elk cogniteev$ unzip ~/Downloads/oncrawl-elk-1.1.zip
Tiếp theo:
MacBook-Air:oncrawl-elk-1.1 cogniteev$ cd oncrawl-elk-1.1/
MacBook-Air:oncrawl-elk-1.1 cogniteev$ docker-compose -f docker-compose.yml up -d
Docker-compose sẽ tải tất cả image cần thiết từ Docker Hub. Quá trình này có thể mất vài phút. Khi Docker container khởi động xong, bạn có thể nhập địa chỉ sau vào trình duyệt: http://DOCKER-IP:9000. Hãy thay DOCKER-IP bằng địa chỉ IP bạn đã sao chép trước đó.
Bạn sẽ thấy trang tổng quan OnCrawl-ELK, nhưng hiện chưa có dữ liệu. Hãy thêm dữ liệu để phân tích.
2: Nhập log file
Bạn chỉ cần sao chép log access file vào đúng thư mục để nhập dữ liệu. Logstash sẽ tự động bắt đầu Indexing mọi file được tìm thấy trong logs/apache/*.log và logs/nginx/*.log.
Log Apache/Nginx
Nếu máy chủ web của bạn chạy Apache hoặc NGinx, hãy đảm bảo định dạng là combined log format. Các log sẽ có dạng như sau:
127.0.0.1 - - [28/Aug/2015:06:45:41 +0200] "GET /apache_pb.gif HTTP/1.0" 200 2326 "http://www.example.com/start.html" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
Đưa các .log file vào thư mục logs/apache hoặc logs/nginx tương ứng.
3: Bắt đầu
Quay lại http://DOCKER-IP:9000. Bạn sẽ thấy các số liệu và biểu đồ. Chúc mừng!
Giờ đây, bạn có thể bắt đầu sử dụng công cụ phân tích log mã nguồn mở miễn phí và theo dõi hiệu suất SEO hằng ngày. Nếu có câu hỏi, hãy để lại bình luận. Hãy cho chúng tôi biết công cụ hoạt động như thế nào với bạn.
https://www.semrush.com/blog/log-file-analysis-seo-advantages-and-how-to-do-it-for-free/ ↗
Đưa góc nhìn thành kế hoạch.
Chia sẻ website và mục tiêu để LionTech tư vấn giải pháp phù hợp.
Đăng ký tư vấn ↗