Ít hơn là nhiều hơn: Cách tìm các trang lưu trữ Duplicate Content và giá trị thấp bằng XPath & Custom Extraction

Trong bài viết này, tôi trình bày một phương pháp để xác định các yếu tố Duplicate Content nhằm cải thiện chất lượng và mức độ tập trung của các trang danh sách. Điều này rất quan trọng để nâng cao thứ hạng trên Google, giúp khách hàng tiềm năng nhanh chóng tìm thấy sản phẩm họ cần và thúc đẩy chuyển đổi bán hàng. Quy trình này bao gồm các taxonomy trống và chất lượng thấp, chẳng hạn như trang danh sách sản phẩm, danh mục blog và thẻ.

Các doanh nghiệp thương mại điện tử thường có nhiều sản phẩm, danh mục và danh mục con, trong đó có nhiều mục không mang lại giá trị. Tốt hơn hết là nên có ít trang được nhắm mục tiêu hơn, có thứ hạng cho query phù hợp, qua đó giúp khách hàng tiềm năng tìm thấy sản phẩm và tin tưởng rằng bạn là một nhà bán hàng đáng tin cậy. Dưới đây là ví dụ về một cửa hàng có trang danh mục chỉ có một sản phẩm thay vì nhiều mặt hàng chăm sóc vệ sinh răng miệng.
Khách hàng đang tìm kiếm chỉ có ít lựa chọn và có thể sẽ tìm ở nơi khác.

https://www.argos.co.uk/browse/health-and-beauty/dental-care/teeth-whitening/c:29234/

Điều tương tự cũng xảy ra với các website blog, với hậu quả nghiêm trọng. Một nhà xuất bản có thể tạo nhiều bài viết mỗi tháng về các mối quan tâm khác nhau. Tuy nhiên, các trang giá trị thấp với nội dung hạn chế sẽ khó có thứ hạng với những thuật ngữ mà đối tượng tiềm năng đang tìm kiếm, vì vậy sẽ không thu hút được khách hàng tiềm năng. Dưới đây là ví dụ chỉ có hai bài đăng. Tệ hơn nữa, các bài viết này được gắn với nhiều taxonomy, dẫn đến nguy cơ trùng lặp nội dung.

https://contentmarketinginstitute.com/tertiary-category/branded-content/

Như bạn thấy, cả trang danh sách thương mại điện tử lẫn trang lưu trữ đều có rất ít nội dung, điều này chẳng giúp ích cho ai. Những ví dụ này cho thấy vì sao bạn nên rà soát website và đảm bảo rằng mình không có nội dung tương tự.

Việc tạo nội dung trùng lặp rất dễ

Nếu bạn kinh doanh trực tuyến hoặc có website blog, việc tạo ra các trang trùng lặp hoặc giá trị thấp rất dễ xảy ra, đặc biệt khi website không được kiểm tra thường xuyên. Vì vậy, mỗi khi đăng bài viết hoặc sản phẩm lên website, tôi khuyên bạn nên dùng checklist đơn giản dưới đây:

• Bạn đã gán bao nhiêu danh mục cho bài viết/sản phẩm mới?
• Bạn đã thêm bao nhiêu thẻ cho bài viết/sản phẩm?
• Bạn đã kiểm tra chính tả của các thẻ chưa? Bạn có dùng chúng nhất quán không, chẳng hạn dạng số ít/số nhiều, dấu gạch nối khi gồm nhiều từ, v.v.?
• Bạn đã đào tạo biên tập viên và quản lý thương mại điện tử chưa?
• Bạn đã có chiến lược taxonomy vững chắc chưa?
• Bạn đã nghiên cứu keyword kỹ lưỡng chưa?

Nhiều website mà tôi đã kiểm tra không làm điều này. Vì vậy, trong bài viết này, tôi sẽ trình bày một phương pháp giúp bạn tìm các trang lưu trữ hoặc trang danh mục có ít hoặc không có nội dungdù đó là bài viết hay sản phẩm, và xác định cần thực hiện hành động nào để khắc phục vấn đề này.

Dễ dàng tự động tạo trang trùng lặp

Bạn rất dễ vô tình tạo ra các trang trùng lặp và chất lượng thấp, đặc biệt khi dùng những nền tảng blog như WordPress, nơi bạn chỉ cần một cú nhấp chuột để gán danh mục hoặc tag cho bài viết. Khi kiểm tra website, tôi thường phát hiện các trang trùng lặp được tạo tự động. Nếu không xử lý, chúng có thể gây hại.

Một bài blog có nhiều tag tương tự nhau cùng các danh mục sẽ tự động tạo trang lưu trữ cho từng mục. Trang tự động tạo cũng xuất hiện khi có nhiều nội dung hoặc website đã hoạt động được vài năm.

Các hệ quả của việc tạo taxonomy trùng lặp ngoài kế hoạch bao gồm:

• Tạo các trang lưu trữ có cùng nội dung, dẫn đến các trang trùng lặp
• Các webpage chưa được tối ưu
• Các trang chỉ có ít nội dung
• Mang lại trải nghiệm người dùng kém
• Gây ra nguy cơ content cannibalization
• Buộc Google (và các công cụ tìm kiếm khác) phải chọn các trang trên website khác

Hệ quả là ít organic traffic hơn chuyển đổi thành khách hàng tiềm năng và doanh số tiềm năng.

Khi đăng nội dung mới, bạn nên tổ chức website sao cho cung cấp thông tin liên quan đến chủ đề tốt nhất có thể. Mỗi trang bạn tạo hoặc tự động tạo đều nên có mục tiêu riêng.

Có nhiều cách thực hiện, nhưng nằm ngoài phạm vi bài viết này. Một số ví dụ hữu ích gồm topic cluster, kiến trúc website, kiến trúc website, internal linking, tạo các silo, vấn đề về kiến trúcvà những cách khác.

Ý nghĩa thực sự là gì?

Lấy một blog digital marketing làm ví dụ, tập trung vào 3 tag được sử dụng rộng rãi: ‘Digital Marketing’, ‘Google Ads’ và ‘Social Media’.

Dưới đây là ví dụ về những gì bạn có thể thấy trong bảng điều khiển tag:

Digital Marketing
domain.com/tag/digitalmarketing
domain.com/tag/digital-marketing

Google Ads
domain.com/tag/googleads
domain.com/tag/google-ads
domain.com/tag/adwords
domain.com/tag/ad-words
domain.com/tag/googleadwords
domain.com/tag/google-adwords

Social Media
domain.com/tag/social
domain.com/tag/socialmedia
domain.com/tag/social-media
domain.com/tag/socialmediamarketing
domain.com/tag/social-media-marketing

Mỗi trang tag có ít nội dung, thu hút ít traffic, không mang lại nhiều giá trị cho độc giả và tạo ra các vấn đề content cannibalization.

Kiểm tra dựa trên chiến lược của bạn

Một website có 1.000 bài đăng và vài nghìn trang taxonomy là điều không hiếm gặp.
Tùy theo quy mô website, bạn nên cân nhắc các Crawl Budget vấn đề liên quan. Mục tiêu của bạn là đảm bảo Google hiểu rõ từng trang nói về điều gì, mà không khiến thuật toán phải lựa chọn giữa nhiều trang. Chiến lược nội dung là điều thiết yếu, và website của bạn nên được tổ chức hợp lý, với các bài đăng mới được tạo sau khi nghiên cứu keyword kỹ lưỡng.

Khi kiểm tra website, bạn có thể bắt đầu bằng cách đặt những câu hỏi sau:

• Các trang lưu trữ có được hỗ trợ bởi nghiên cứu keyword không?
• Mục tiêu của chúng là gì?
• Các trang lưu trữ có được tùy chỉnh hay chỉ cung cấp danh sách tiêu đề?

Lưu ý rằng việc đổi tên, gộp hoặc xóa các trang taxonomy có thể ảnh hưởng đến cấu trúc website. Những thay đổi này cũng có thể tác động đến nội dung và các yếu tố kỹ thuật, đồng thời tạo ra trang lỗi hoặc chuyển hướng nội bộ.

Xét từ góc độ kỹ thuật việc thay đổi cách phân loại bài đăng vào các taxonomy sẽ giảm số lượng URL và tạo ra các trang lỗi do chuỗi Pagination bị rút ngắn — bạn nên tránh điều này.

Vậy, bạn nên xử lý các taxonomy như thế nào? Có nên dùng 301 Redirect không? Có nên xóa chúng khỏi chỉ mục của Google không? Còn Crawl Budget thì sao?

Xét từ góc độ nội dung và kinh doanh, các trang lưu trữ có mang lại giá trị nào không? Chúng có backlink không? Chúng có tạo ra chuyển đổi hoặc traffic không? Duplicate Content trên toàn website mà bạn phát hiện bằng SEO Audit chủ yếu có liên quan đến các trang lưu trữ không? Bạn nên cân nhắc những câu hỏi này khi đưa ra quyết định, vì mỗi hành động đều có thể ảnh hưởng đến các yếu tố khác.

Dù tôi rất tin tưởng vào Content Pruning, mỗi quyết định vẫn cần nằm trong một chiến lược tổng thể.

Các bước cần thực hiện

Làm thế nào để xác định các trang lưu trữ có giá trị thấp, cung cấp thông tin phù hợp cho người ra quyết định và hành động?

SEMrush cung cấp thông tin chi tiết về các trang trùng lặp, đây là bước đầu tiên trong quy trình này.

Công cụ SEMrush Site Audit

Để tìm hiểu sâu hơn, bạn có thể thu thập thêm dữ liệu bằng cách xác định các mẫu, dấu hiệu nhận dạng và thành phần HTML phổ biến, qua đó hiểu rõ hơn về vấn đề.

Tôi khuyên bạn nên sử dụng một ngôn ngữ có tên là XPath, giúp chọn các giá trị, biến và vị trí của những thành phần cụ thể trong tài liệu XML. Nếu chưa quen với ngôn ngữ này, tôi khuyên bạn nên đọc hướng dẫn XPath cho SEO của Builtvisibleđể tìm hiểu cách ngôn ngữ này hữu ích trong các bối cảnh khác nhau.

Sau đó, hãy dùng một công cụ Crawling website và trích xuất các thành phần đã chọn. Công cụ tôi yêu thích là của Screaming Frog công cụ web scraping của Screaming Frog.

Bây giờ, hãy cùng tìm hiểu cách xác định các yếu tố này, cấu hình Screaming Frog và trích xuất thông tin bạn cần để đưa ra quyết định phù hợp.

1) Xác định các yếu tố chung

Trước tiên, hãy tìm các dấu hiệu nhận diện và trích xuất chúng.

Các yếu tố này gồm thẻ HTML, tài nguyên và những mẫu khác giúp bạn nhận biết dấu hiệu nhận diện ở các khu vực cụ thể trên mỗi trang được kiểm tra. Nhờ đó, bạn có thể thu thập các yếu tố này và tìm ra điểm bất thường hoặc mẫu chung cần cải thiện.

Đưa URL vào và loại trừ URL

Vì bạn không muốn bị choáng ngợp trước quá nhiều dữ liệu, chỉ crawl các URL phù hợp với những trang có chứa các dấu hiệu nhận diện bạn đã xác định. Việc này giúp xác định cấu trúc trang và quy định nội dung nào cần crawl, nội dung nào không.

Thư mục, từ ngữ và các mẫu khác là những yếu tố phổ biến cần được đưa vào. Dưới đây là một vài ví dụ:

domain.com/element/page
domain.com/tag/post
domain.com/category/product
domain.com/product-category/product

Loại trừ cũng là một khía cạnh quan trọng của quá trình crawl. Trong ví dụ này, các chuỗi Pagination không phải là nội dung bạn cần quan tâm. Trên thực tế, nếu archive được phân trang thì số lượng bài đăng (hoặc sản phẩm) tối thiểu đã đạt được. Bạn cũng không muốn crawl toàn bộ website vì việc này có thể tiêu tốn tài nguyên, mất thời gian và thu thập quá nhiều dữ liệu.

Các trang cần loại trừ có thể gồm những mẫu như:
/page/
?page
điều này có nghĩa là archive có nhiều trang.

H1 hoặc Title Tag

Đây là những yếu tố xác định tên taxonomy (hoặc tiêu đề) và cần phải riêng biệt trong chuỗi Pagination.

Khi thực hiện audit, bạn nên xử lý mọi vấn đề tiềm ẩn khác phát hiện được. Vì vậy, nếu không tìm thấy heading H1, bạn có thể nhanh chóng khắc phục vấn đề này, bởi H1 cần xác định keyword/chủ đề chính của trang.

Tiêu đề bài viết/Tên sản phẩm

Tiêu đề bài đăng (hoặc tên sản phẩm) là yếu tố riêng biệt chính giúp xác định danh sách trong archive. Hãy ghi lại thành phần này để lập danh sách các dấu hiệu nhận diện.

Số bài viết trên trang

Yếu tố này đếm số bài viết (hoặc sản phẩm) có trong trang archive. Đây là khía cạnh quan trọng vì giúp bạn dễ dàng nắm được tổng quan về các danh mục cần xem xét do thiếu nội dung hoặc sản phẩm.

2) Tìm và chuyển đổi dấu hiệu nhận diện HTML thành truy vấn XPath

Tiếp theo, hãy kiên nhẫn kiểm tra các yếu tố đã đề cập ở trên và ghi lại mã nguồn HTML.
Bạn có thể dùng Google Chrome DevTools hoặc Scrape Similar Chrome Extension. Như đã đề cập trước đó, hướng dẫn về XPath của SEO giúp bạn phát hiện tất cả các thành phần, cũng như bảng tham khảo nhanh.

Google Chrome DevTools

Scrape Similar Chrome Extension

Ví dụ:
Để áp dụng lý thuyết vào thực tế, tôi đã kiểm tra ba website cho bạn, xác định các dấu hiệu đã đề cập ở trên, chọn các thành phần trong mã nguồn HTML và chuyển chúng thành các truy vấn XPath.

Qua các ví dụ này, bạn có thể thấy liệu một trang danh mục có thiếu nội dung và chỉ được gán một vài bài viết hay không (Content Marketing Institute và blog SEMrush), cũng như các trang danh sách sản phẩm có ít sản phẩm hay không (Argos).

Sau khi xem từng thành phần và truy vấn XPath tương ứng, bạn có thể cấu hình Screaming Frog. Dưới đây là các thành phần trong ba ví dụ:

Content Marketing Institute - https://contentmarketinginstitute.com
Title tag: /html/head/title
Thẻ H2 có liên kết: //h2/a
Số bài viết trên mỗi trang: count(//div[@class='posted'])
URL được đưa vào: blog/category https://contentmarketinginstitute.com/.*category/.*
URL bị loại trừ /page/: https://contentmarketinginstitute.com/.*/page/.*

Argos UK - https://www.argos.co.uk (Sức khỏe và Làm đẹp)
Thẻ H1: //h1[@class='search-title__term']
ID class liên quan đến sản phẩm: //*[@class='ac-product-name ac-product-card__name']
Số sản phẩm trên mỗi trang: count(//div[@class='ac-product-name ac-product-card__name'])
Đượcđưa vào: URL browse/health-and-beauty/ https://www.argos.co.uk/browse/health-and-beauty/.*
URL bị loại trừ /page:X: .*/page.*

blog SEMrush - https://www.semrush.com/blog/
Thẻ H1: //h1
Thẻ H2 có liên kết: //h2/a
Số bài viết trên mỗi trang: count(//div[@class='s-col-12 b-blog__snippet__head'])
URL được đưa vào: blog/category https://www.semrush.com/blog/category/.*
URL bị loại trừ /page/: https://www.semrush.com/blog/.*\?page.*

3) Cấu hình Screaming Frog

Bây giờ là lúc cấu hình Screaming Frog.

Truy cập Configuration > Custom > Extraction và cấu hình các thành phần XPath.

Thêm Include và Exclude các mẫu đường dẫn.

4) Crawl website của bạn

Giờ bạn đã hoàn tất cấu hình. Chạy crawl từ bất kỳ trang nào có liên kết đến mẫu URL trong cấu hình ‘Include’. Nếu trang chủ không truy cập được trang danh mục blog hoặc trang danh sách sản phẩm, hãy chọn một điểm bắt đầu khác hoặc chính trang taxonomy.

5) Phân tích dữ liệu trích xuất

Sau khi crawl hoàn tất, hãy kiểm tra Custom trong Screaming Frog và chọn bộ lọc “Extraction”. Bạn sẽ thấy các URL đã crawl, Title/H1 của taxonomy và tiêu đề bài viết hoặc tên sản phẩm.
Ở cuối mỗi hàng, bạn sẽ thấy số lượng bài viết (hoặc sản phẩm) có trong chính trang đó.

Xuất tệp để hỗ trợ phân tích quá trình crawl của bạn nhằm tìm các taxonomy trùng lặp, nội dung ít, URL tương tự, v.v.

6) Xác định các yếu tố có thể hành động

Sau khi hoàn tất mọi phân tích, hãy kết thúc quy trình theo chiến lược của bạn.

Vì mỗi dự án đều có những biến số, mục tiêu và nguồn lực riêng, tôi không thể đưa ra cách tiếp cận phù hợp với tất cả.

Dưới đây là một số câu hỏi giúp bạn đạt được mục tiêu về traffic và kinh doanh, đồng thời xác định các yếu tố then chốt:

• Bạn có tìm thấy nhiều taxonomy hơn bài đăng không?
• Bạn có nhận thấy các danh mục chỉ có rất ít hoặc không có bài đăng nào không?
• Bạn có thể xác định những trang này là Duplicate Content không?
• Các taxonomy có tên tương tự nhau không?
• Các trang lưu trữ có tên tương tự nhau, có phiên bản số ít/số nhiều hoặc có/không có dấu gạch nối không?
• Bạn có thể hợp nhất các taxonomy này không?
• Các trang danh sách có hữu ích không, hay bạn có thể xóa tất cả?
• Những trang này có giúp xác định cấu trúc website không?
• Bạn có nên thay đổi URL/tiêu đề dựa trên nghiên cứu keyword không?
• Các trang có thứ hạng với truy vấn liên quan nào không?
• Bạn có thể tối ưu các trang danh sách để mang lại nhiều giá trị hơn, cải thiện chuyển đổi và thứ hạng không?
• Kết nối Screaming Frog với Google Analytics và Google Search Console. Những trang này có traffic không? Traffic đến từ nguồn nào?
• Kết nối Screaming Frog với Majestic, Ahrefs hoặc Moz. Những trang này có backlink phù hợp không?
• Các trang này có giúp thúc đẩy chuyển đổi khách hàng tiềm năng không?
• Bạn có nên bổ sung thêm sản phẩm hoặc nội dung vào các trang danh sách hoạt động hiệu quả không?
• Bạn có nên bổ sung thêm hàng tồn kho vào các trang danh sách sản phẩm không?
• Bạn tìm thấy bao nhiêu sản phẩm “coming soon” và “out of stock”?
• Bạn có thể tìm sản phẩm có ít hoặc không có đánh giá và triển khai chiến lược phù hợp không?
• Bạn có thể chứng minh vì sao và bằng cách nào những thay đổi này giúp đạt được mục tiêu kinh doanh không?
  

Kết luận

Một SEO audit là bước đầu tiên để mọi doanh nghiệp đảm bảo website phù hợp với mục tiêu kinh doanh.

Việc xác định và loại bỏ Duplicate Content là thiết yếu để cải thiện Keyword Ranking, nâng cao chất lượng website và biến traffic mới thu hút được thành doanh số và khách hàng tiềm năng.

Tài liệu tham khảo

Hướng dẫn XPath dành cho SEO
Hướng dẫn đầy đủ về Custom Extraction trong Screaming Frog với XPath và Regex
Bảng tham khảo nhanh về XPath
Cú pháp XPath
Custom Extraction trong Screaming Frog: XPath và CSSPath
Web Scraping và trích xuất dữ liệu bằng công cụ SEO Spider