Trong bài viết này, chúng ta sẽ tìm hiểu outlier là gì trong SEO A/B split testing. Bài viết sẽ làm rõ một số vấn đề khiến outlier xuất hiện, đồng thời đưa ra khuyến nghị để xử lý chúng.
Cùng tìm hiểu ngay.
Đôi khi, chúng ta thấy traffic tăng đột biến trong một SEO A/B split test; đây là dấu hiệu cho thấy có URL ngoại lệ trong tập dữ liệu. Traffic tăng đột biến là do dữ liệu không khớp.
Có một số loại outlier trong SEO A/B split testing:
Organic Traffic ảnh hưởng thế nào đến SEO A/B Split Testing khi có outlier?
SEO A/B test cần chia một nhóm trang thành hai nhóm tương đương (nhóm đối chứng và nhóm biến thể) dựa trên Organic Traffic.
Quy trình này cũng yêu cầu 100 ngày Organic Traffic trước khi thử nghiệm trước khi chia URL thành nhóm đối chứng và nhóm biến thể.
Mỗi test cần tối thiểu 100.000 lượt nhấp vào nhóm URL được chia để thử nghiệm nhằm đạt kết quả có ý nghĩa thống kê.
Khi chia nhóm có bất thường về traffic, các outlier về traffic này sẽ bị loại khỏi nhóm đối chứng và nhóm biến thể.
Ví dụ về các đợt tăng đột biến của Organic Traffic ngoại lệ:
*Mô hình 100 ngày trong ví dụ trên kéo dài từ ngày 30 tháng 1 năm 2022 đến ngày 9 tháng 5 năm 2022.
Dù giai đoạn thử nghiệm 30 ngày chưa kết thúc, các đợt traffic tăng đột biến cho thấy mô hình 100 ngày trước đó có vấn đề.
Khi xuất hiện các đợt tăng đột biến trong mô hình 100 ngày giữa nhóm đối chứng và nhóm biến thể, điều đó cho thấy mô hình không phù hợp với SEO A/B split testing vì traffic giữa hai nhóm không khớp nhau.
Ngoài ra, vùng tô xanh nhạt rộng cho thấy mô hình traffic không tốt.
Đọc bài viết trong trung tâm kiến thức của chúng tôi về Cách đọc kết quả test SplitSignal.
Mức độ liên quan theo chủ đề trong URL và mô hình hóa traffic
Một số website có mức traffic khác nhau tùy theo chủ đề, ngay cả khi mẫu trang dùng để thử nghiệm giống nhau. Chênh lệch traffic có thể tạo ra outlier.
Khi điều này xảy ra, chúng tôi khuyên bạn nên dùng các URL thuộc những chủ đề tương tự. Sau đó, bạn có thể tải các URL này lên SplitSignal và chạy lại test.
Outlier có thể xuất hiện do các yếu tố trên trang như thế nào?
Các giá trị ngoại lệ trong yếu tố trên trang có thể xuất hiện khi bạn thử nghiệm thay đổi một yếu tố trên trang. Bạn nên đảm bảo tất cả URL trong nhóm đối chứng và nhóm biến thể đều có yếu tố mà bạn muốn thay đổi trên trang. Những trang được đưa vào thử nghiệm nhưng không có yếu tố đó sẽ được xem là giá trị ngoại lệ.
Ví dụ về giá trị ngoại lệ của yếu tố trên trang:
Nếu muốn đổi thẻ h3 thành thẻ h2 trong các bài viết blog khi thử nghiệm, chúng ta không nên mặc định rằng tất cả các trang đều có thẻ h3.
Thay vào đó, đội ngũ nội bộ của bạn hoặc một đại lý SplitSignal được phê duyệt nên crawl trang web bằng một công cụ như Screaming Frog hoặc Deep Crawl để lấy chính xác tập hợp URL trong cấu trúc trang web mà bạn muốn thử nghiệm và có yếu tố trên trang cần thiết.
Trong ví dụ trên, chúng ta chỉ tìm các trang blog có tiêu đề h3 trong cấu trúc trang web.
Điều gì gây ra giá trị ngoại lệ theo mùa trong thử nghiệm A/B Split Testing cho SEO?
Khi chạy thử nghiệm split test SEO trước, trong hoặc sau kỳ nghỉ lễ, bạn có thể thấy kết quả thử nghiệm có mức tăng đột biến về traffic.
Nguyên nhân là do URL liên quan đến kỳ nghỉ lễ. Mức tăng đột biến về traffic này làm sai lệch kết quả thử nghiệm.
Điều quan trọng là xác định URL cần xem xét, kiểm tra xem chúng có biến động theo mùa do kỳ nghỉ lễ hay không, rồi loại bỏ chúng khỏi nhóm thử nghiệm.
SplitSignal cho phép bạn lọc các trang để loại trừ những trang có giá trị ngoại lệ. Sau đó, bạn có thể chạy lại thử nghiệm. Nếu traffic vẫn tăng đột biến, bạn cần kiểm tra kỹ hơn các URL vì có thể còn những trang khác có giá trị ngoại lệ. Hãy lặp lại quy trình trên.
Ví dụ về giá trị ngoại lệ theo mùa:
Trong ví dụ này, chúng tôi sẽ trình bày ba thử nghiệm trên một thị trường toàn cầu, nơi người dùng có thể tạo các thiết kế và sản phẩm độc đáo với tùy chọn cá nhân hóa.
Thử nghiệm 1:
Khung thời gian: 29 tháng 7, 2021–2 tháng 11, 2021
Giả thuyết: Thêm từ personalized vào h1 sẽ giúp chúng tôi tăng số lượt nhấp.
Phân tích:
Thử nghiệm có mức tác động tích cực là 30.7%.
Do mức tác động quá lớn, chúng tôi quyết định chạy lại thử nghiệm để đảm bảo độ chính xác.
Thử nghiệm cho thấy tổng số lượt nhấp trong nhóm biến thể đã tăng.
Thử nghiệm 2:
Khung thời gian: 8 tháng 10, 2021–12 tháng 1, 2022.
Giả thuyết: Xóa từ personalized khỏi h1 sẽ giúp chúng tôi tăng số lượt nhấp.
Phân tích:
Thử nghiệm có mức tác động tích cực là 8.6%.
Thử nghiệm cho thấy số lượt nhấp dự đoán trong nhóm đối chứng đã tăng.
Điểm khác biệt duy nhất giữa các thử nghiệm là Thử nghiệm # 1 có thêm cụm từ personalized vào thẻ h1. Trong Thử nghiệm #2, chúng tôi xóa cụm từ này khỏi h1.
Vì sao chúng tôi phân tích sâu hơn cả hai thử nghiệm?
- Cả hai thử nghiệm SEO A/B split test đều cho kết quả tích cực.
- Thử nghiệm # 1 cho kết quả tích cực đối với nhóm biến thể.
- Thử nghiệm # 2 cho kết quả tích cực đối với nhóm đối chứng.
- Có những ngày lễ lớn diễn ra giữa hai khoảng thời gian: Giáng sinh, Hanukkah và Năm mới.
Sau đây là những gì chúng tôi tìm thấy:
Cả hai nhóm split test đều cho kết quả tích cực, khiến chúng tôi tìm URL có lượng traffic lớn hơn trong giai đoạn split test, nhưng không có lượng traffic lớn hơn trong mô hình 100 ngày trước khi thử nghiệm.
Chúng tôi đã xác định được một URL: /ornaments. URL này nhận được nhiều lượt nhấp hơn các URL khác trong cả hai nhóm và có liên quan đến mùa lễ hội.
Ngoài ra, trong Test # 1, URL này thuộc nhóm variant, còn trong Test # 2, URL này thuộc nhóm control.
Vì các bất thường về traffic xảy ra trong giai đoạn thử nghiệm chứ không phải trong mô hình 100 ngày trước đó, SplitSignal đã không loại trừ URL này.
Chúng tôi đã loại trừ URL này theo cách thủ công và chạy lại thử nghiệm thêm một lần.
Test 3:
Khoảng thời gian: 10 tháng 11, 2021–16 tháng 2, 2022
Giả thuyết: Bằng cách xóa “personalized” khỏi h1, chúng tôi sẽ tăng lượt nhấp.
Lượt nhấp bổ sung
Số trang đã thử nghiệm
*Chúng tôi đã xóa URL ngoại lệ theo cách thủ công trước khi chạy thử nghiệm này.
Các URL được Googlebot truy cập:
Phân tích:
Thử nghiệm này có mức độ tác động tích cực là 3.7%.
Dù thử nghiệm này vẫn đang diễn ra, chúng tôi có thể cung cấp những kết quả này vì Googlebot đã truy cập toàn bộ 128 URL trong nhóm variant.
Kết quả thử nghiệm hiện đã được chuẩn hóa sau khi loại bỏ URL ngoại lệ theo mùa.
Chúng tôi cũng biết thử nghiệm có ý nghĩa thống kê vì mức độ tin cậy đạt 96%, trong khi cần mức độ tin cậy từ 95% trở lên để có ý nghĩa thống kê.
Tests 1 và 2 cũng có ý nghĩa thống kê. Tuy nhiên, kết quả của chúng cho thấy còn có những yếu tố cần phân tích thêm để xác nhận. Những yếu tố này cuối cùng đã giúp chúng tôi phát hiện URL ngoại lệ theo mùa. Tests # 1 và Test # 2 bị sai lệch do URL ngoại lệ theo mùa.
Các trường hợp loại trừ URL mà SplitSignal tự động áp dụng
SplitSignal loại trừ các URL khỏi dữ liệu organic traffic của 100 ngày trước đó:
- URL có traffic không nhất quán—Các URL có lượng traffic từ lượt nhấp không nhất quán so với những URL khác trong mô hình traffic 100 ngày trước thử nghiệm sẽ bị loại trừ.
SplitSignal xử lý rất tốt việc loại trừ các trường hợp traffic không nhất quán, nhưng đôi khi những URL được đưa vào lại không có traffic bất thường trong mô hình traffic 100 ngày trước đó.
- URL được chuyển hướng—Các URL có redirect sẽ bị loại trừ.
- URL không tìm thấy—Các URL không tìm thấy sẽ bị loại trừ.
- URL bị chặn—Các URL bị chặn thông qua page Meta Robots hoặc tệp Robots.txt sẽ bị loại trừ.
SplitSignal tuân theo các chỉ thị trong tệp Robots.txt và page Meta Robots, vì Googlebot cũng hoạt động theo cách này.
Đưa góc nhìn thành kế hoạch.
Chia sẻ website và mục tiêu để LionTech tư vấn giải pháp phù hợp.
Đăng ký tư vấn ↗