Nghiên cứu Search Volume tháng 3/2022: Chi tiết và phương pháp

Hôm nay, chúng tôi đã công bố một cải tiến về độ chính xác của search volume trong cơ sở dữ liệu tại Mỹ. Bài viết này giải thích chi tiết kỹ thuật về cách chúng tôi thực hiện.

Cách đo lường độ chính xác của Search Volume

Để các thuật toán dự đoán search volume đạt độ chính xác cao nhất có thể, chúng tôi cần tìm cách đo lường xem dự đoán của mình có sát thực tế hay không.

Để làm được điều đó, chúng tôi cần:

1. Chọn một nguồn dữ liệu về volume gần với volume thực tế nhất có thể và dùng nguồn đó làm giá trị chuẩn
2. Làm sạch dữ liệu từ nguồn đã chọn để loại bỏ thông tin không liên quan và dữ liệu rác
3. Đảm bảo mẫu keyword được chọn có phân bố đồng đều giữa các search query volume thấp (Long-tail Keyword), volume cao và volume trung bình

Sau khi xác thực mẫu keyword, chúng tôi tiến hành nghiên cứu để xem Semrush so sánh với Moz, Ahrefs, Serpstat, Sistrix và Google Keyword Planner ra sao về khả năng cung cấp search volume chính xác.

Cách chúng tôi chọn nguồn dữ liệu chuẩn

Sau hơn 50 cuộc phỏng vấn với các chuyên gia SEO giàu kinh nghiệm, kết luận rất rõ ràng: các chuyên gia cho rằng Google Search Console (GSC) là nguồn cung cấp search volume chính xác nhất.

Vì nhóm chuyên gia tham gia nghiên cứu rất tin tưởng vào nguồn này, đồng thời GSC chứa dữ liệu thực đến trực tiếp từ Google, chúng tôi thống nhất chọn GSC làm chuẩn đối chiếu. Tuy GSC không có chỉ số “Search Volume”, nhưng có một chỉ số tương tự: Impression.

Chúng tôi sử dụng chỉ số này với một số dè dặt, bởi như được đề cập ở đây, Impression không giống với volume. Impression là “how often someone saw a link to your site on Google. Depending on the result type, the link might need to be scrolled or expanded into view.”

Dù Impression và volume khác nhau, vẫn có những trường hợp hai chỉ số này tương tự nhau.

Nếu vị trí domain của bạn hiển thị ngay lập tức (không cần cuộn trên kết quả desktop hoặc mobile) với tất cả những người nhập search query, thì trong hầu hết trường hợp, Impression sẽ bằng volume.

100 Impression từ một vị trí hiển thị ≈ 100 lượt tìm kiếm tổng cộng.

Dựa trên mối tương quan này, chúng ta có thể xem Impression là nguồn tham chiếu Search Volume hợp lệ cho một nghiên cứu so sánh.

Lọc dữ liệu từ GSC và chuẩn bị mẫu Keyword

Nhờ một số người dùng tốt bụng, nhiều người đã đồng ý chia sẻ dữ liệu GSC đã được ẩn danh với chúng tôi để phục vụ nghiên cứu so sánh. Cuối cùng, chúng tôi thu thập được một tập hợp các liên kết URL-keyword-vị trí trung bình, tương tự như những gì bạn thấy trong báo cáo Pages của GSC.

Vì không phải liên kết nào cũng có Average Position chắc chắn hiển thị (top 3), chúng tôi không thể dùng mọi keyword để so sánh. Do đó, chúng tôi phải làm sạch dữ liệu hiện có.

Để làm sạch tập dữ liệu, chúng tôi đã loại bỏ:

• Các keyword có URL với Average Position trong GSC nằm ngoài top 3, chỉ giữ lại những URL có khả năng cao nhất được hiển thị ngay trong SERP
• Các keyword thương mại và giao dịch có quá nhiều quảng cáo trên SERP, khiến kết quả organic không hiển thị ngay
• Các keyword khác có bố cục SERP không hiển thị vị trí organic trong vùng màn hình người dùng nhìn thấy, trên máy tính hoặc mobile, trước khi cuộn trang

Đảm bảo các đặc điểm của keyword được phân bổ đồng đều trong mẫu

Ở giai đoạn trước, chúng tôi đã thu thập một mẫu gồm 1M keyword, từ đó cần chọn ra 10,000 keyword để nghiên cứu. Để mẫu cuối cùng không thiên lệch và chính xác, chúng tôi cần đảm bảo các đặc điểm được phân bổ đồng đều.

Chúng tôi tinh chỉnh mẫu để có tỷ lệ đồng đều giữa:

• Keyword thuộc các nhóm volume khác nhau (5 khoảng từ volume thấp đến cao)
• Keyword có số lượng từ, chủ đề, intent và các thông số khác nhau.

Ví dụ, chúng tôi chia volume thành năm khoảng dựa trên số Impression hàng tháng và lấy số lượng bằng nhau từ mỗi khoảng:

1. 1 đến 100
2. 101 đến 1.000
3. 1.001 đến 10.000
4. 10.001 đến 100.000
5. Từ 100.001 trở lên

Chúng tôi làm tương tự với các thông số còn lại, chia mẫu thành những khoảng có quy mô bằng nhau.

Cuối cùng, chúng tôi xác nhận 10,000 là quy mô đủ lớn cho loại mẫu này. Chúng tôi đi đến kết luận đó vì khi áp dụng cùng cách phân bổ keyword dựa trên các thông số ở trên, một tập hợp keyword lớn hơn vẫn cho kết quả tương tự.

Quy trình trên giúp chúng tôi tạo ra một mẫu đồng nhất, không thiên lệch và phản ánh chính xác tình hình thực tế về chất lượng cũng như phạm vi bao phủ của từng công cụ.

Trong quá trình phát triển thuật toán mới, chúng tôi lặp lại những phép so sánh này trong nhiều tháng liên tiếp và lần nào cũng thu được kết quả như nhau, chứng minh hiệu suất ổn định của thuật toán.

Chúng tôi đánh giá cao kết quả so sánh đến mức đã bổ sung bước kiểm tra chất lượng cơ sở dữ liệu định kỳ vào quy trình thu thập dữ liệu. Giờ đây, với các bản cập nhật hàng tháng, chúng tôi tự tin mang đến cho bạn dữ liệu volume tốt nhất có thể.