Trước khi xem danh sách các lý do khiến website của bạn có thể không xuất hiện, hãy thực hiện nhanh danh sách kiểm tra sơ bộ này để xem bạn cần làm gì và cần thiết lập những gì. Những việc này có thể không khắc phục được sự cố, nhưng sẽ giúp bạn khoanh vùng nguyên nhân và tránh phải kiểm tra từng mục trong danh sách để tìm ra vấn đề thực sự.
Danh sách kiểm tra trước khi Audit
Bạn đã thiết lập Google Search Console chưa?
Bạn đã thiết lập Bing Webmaster chưa?
Google Analytics đã được thiết lập và đang thu thập dữ liệu chưa? Nếu chưa chắc, trước tiên bạn nên kiểm tra.
Crawl website bằng công cụ Audit của SEMrush và/hoặc crawler bạn chọn.
Nếu bạn có kinh nghiệm hơn, hãy:
Truy cập cPanel hoặc backend của nhà cung cấp dịch vụ lưu trữ web. Tìm và xem log file.
Nếu đã có quyền truy cập, bạn nên xem log file và đảm bảo các phiên của người dùng và bot xuất hiện trong đó. Bạn có thấy phiên nào không, hay không thấy gì cả?
Sau khi hoàn tất những mục trên, hãy cùng xem những vấn đề nào có thể khiến website của bạn không xuất hiện trên Google.
1. Search Engine Visibility được đặt thành “Discourage” trong WordPress
Đây là một cài đặt trong WordPress thường được bật theo mặc định. Bạn sẽ thấy ô bên cạnh “Discourage search engines from indexing this site” được chọn. Cài đặt này sẽ cập nhật Robots.txt và yêu cầu các công cụ tìm kiếm như Bing và Google tránh xa website của bạn.
Ngay cả khi website của bạn đã hoạt động được vài ngày, vài tuần hoặc vài năm, đây vẫn là điều đầu tiên tôi kiểm tra khi nghe chủ website nói rằng họ gặp vấn đề khi đưa website vào các công cụ tìm kiếm.
2. Robots.txt được đặt thành Noindex
Bạn có thể kiểm tra bằng cách truy cập HTTP hoặc https://www.yourdomain.com/robots.txt. Nếu thấy đoạn code sau trong Robots.txt, tức là bạn đang yêu cầu các công cụ tìm kiếm không crawl website của mình.
User-agent: * Disallow: /
Điều này có thể xảy ra như thế nào? Có một số lý do và cách phổ biến khiến sự cố này xảy ra:
Nút Search Engine Visibility trong WordPress đã được chọn (xem mục #1)
Phiên bản code Dev hoặc Staging được chuyển sang Production và robots.txt trong đó cũng được chuyển theo, kèm theo lệnh disallow này.
Có thể trang có lỗi đánh máy hoặc có sự hiểu nhầm về robots.txt và cách hoạt động của nó.
Một ví dụ tôi thường thấy và khiến tôi lo ngại là:
User-agent: * Disallow:
Điều này có nghĩa là bạn muốn TẤT CẢ công cụ tìm kiếm Crawling trang web của mình, nhưng chỉ cần thêm một ký tự là trang web của bạn có thể bị chặn khỏi TẤT CẢ công cụ tìm kiếm. Thông thường, tôi khuyên bạn KHÔNG nên thêm dòng này vào robots.txt vì tôi luôn lo sẽ có người vô tình thêm dấu “/” và khiến trang web biến mất khỏi Google và Bing.
Công cụ kiểm tra
3. Thẻ Noindex Meta
Tương tự #1 và #2, đây là cách chắc chắn khiến một trang hoặc toàn bộ trang web bị loại khỏi Google. Bạn có thể thêm thẻ này vào trang web thông qua plugin WordPress hoặc thậm chí có người chèn trực tiếp vào phần header/mẫu trang web.
<meta name="robots" content="noindex"/>
<meta name="robots" content="noindex"/>
Để kiểm tra xem đây có phải là nguyên nhân hay không, hãy làm theo các bước sau:
Mở trang web bằng trình duyệt bạn chọn
Nhấp chuột phải rồi chọn “view source” hoặc “view page source”
Tìm robots
Tìm noindex
Một cách khác để tìm các trang có thẻ meta này là dùng công cụ Crawling bạn chọn để Crawling trang web, hoặc thực hiện kiểm tra bằng công cụ kiểm tra trang web SEMrush. Cả hai cách đều sẽ cung cấp danh sách các trang. Sau đó, bạn có thể kiểm tra sâu hơn trong CMS hoặc code để tìm ra vấn đề.
4. Di chuyển máy chủ hoặc trang web
Gần đây bạn có chuyển trang web sang CMS, theme hoặc WebHost mới, chuyển từ HTTP sang HTTPS hay thực hiện một đợt di chuyển lớn nào khác không? Bạn có thay đổi nhiều URL và triển khai nhiều redirect hay thậm chí không có redirect nào không? Tất cả những việc vừa kể có thể ảnh hưởng đến cách công cụ tìm kiếm nhìn nhận trang web của bạn và khiến chúng bối rối.
Dưới đây là danh sách checklist về HTTP sang HTTPS và di chuyển trang web để giúp bạn (ngay cả khi bạn đã hoàn tất việc chuyển đổi, các checklist này vẫn có thể giúp bạn khắc phục sự cố):
HTTP sang HTTPS: Hướng dẫn đầy đủ để bảo mật trang web
Checklist di chuyển từ HTTP sang HTTPs trên Google Docs để chia sẻ, sao chép và tải xuống
Checklist di chuyển trang web SEMrush
Vì vậy, nếu bạn đã di chuyển trang web, rất có thể bạn đã bỏ sót điều gì đó trong một trong những checklist này.
5. JavaScript và Mega Menu
Đây là những vấn đề riêng biệt, nhưng thường xuất hiện cùng nhau. Nếu toàn bộ phần điều hướng của bạn dùng JS, công cụ tìm kiếm sẽ khó Crawling trang web, khiến các trang nội bộ sâu hơn có thể trở thành những trang riêng lẻ, bị cô lập và Orphan Page.
Nếu trang web được xây dựng hoàn toàn bằng JavaScript, bạn có thể gặp những vấn đề lớn hơn nhiều so với chỉ có Mega Menu hoặc menu dùng JavaScript. Bartosz và đội ngũ Onely có một số nghiên cứu về JavaScript SEO mà bạn có thể muốn tìm hiểu, cùng với loạt bài của Google về JavaScript SEO.
Giả sử bạn đã triển khai Mega Menu theo cách thân thiện với SEO. Chúng vẫn có thể gây ra vấn đề cho SEO và Crawling theo những cách khác. John Mueller đã bắt đầu một chủ đề trên Twitter một bài viết về việc nhiều người ủng hộ, phản đối và khen ngợi Mega Menus có thể sẽ khiến bạn thấy thú vị.
Dù vậy, Mega Menus vẫn có thể gây ra vấn đề và xứng đáng được đưa vào danh sách này. Nếu bạn gặp vấn đề với crawler, hãy xem lại code Menu và kiểm tra xem liệu nó có tạo ra hàng nghìn hoặc hàng chục nghìn dòng code, gây ra vấn đề hay không.
6. Redirects
Một trong những lý do chính khiến vấn đề ở mục #4 có thể xảy ra là redirects. Cụ thể hơn, vấn đề có thể là thiếu redirects hoặc redirect chains. Nếu bạn chuyển site sang domain mới hoặc chuyển tất cả các page sang URL mới nhưng không triển khai redirects, crawler sẽ chỉ biết đến site/page cũ chứ không biết site/page mới. Tôi thường thấy Redirects là nguyên nhân chính khiến các site và page không được đưa vào search engine, do thiếu redirects hoặc có redirect chains.
Nếu bạn đang thắc mắc “redirect chain” là gì thì câu trả lời rất đơn giản. Đó là nhiều lần chuyển hướng qua các page, với nhiều phản hồi 301 hoặc 302 liên tiếp. Browser hoặc crawler có thể sẽ thấy một chuỗi như sau:
Truy cập site.com/page.php -> 301 Redirect -> site.com/productpage.php -> 302 Redirect site.com/productpage5.php -> 302 Redirect -> site.com/page3.php và cuối cùng nhận được phản hồi 200.
Có một số bài viết đề cập đến những nhận xét của John Mueller (từ cuối năm 2018) về redirects, page rank và lý do bạn nên cố gắng tránh redirect chains.
7. Redirect WWW hoặc non-WWW
Dù nội dung này có thể được xếp vào mục #5, tôi nghĩ nó đáng được tách riêng. Tôi từng có một khách hàng là công ty SaaS và tất nhiên, họ có page đăng nhập cho dịch vụ. Họ cũng có các đối tác white label và một danh sách dài các bước kiểm tra trong code để đảm bảo giao diện đăng nhập phù hợp được hiển thị dựa trên cookie, referrer và nhiều yếu tố khác.
Người dùng thông thường cũng không nhận ra rằng page này thường thực hiện một loạt redirects bất kể tình huống nào. Chuỗi chuyển hướng này bao gồm các mã trạng thái 404, 302, 301, 301 và một vài mã khác — nói ngắn gọn là một mớ hỗn độn. Tuy nhiên, đội ngũ sản phẩm lo ngại rằng dù thử cách nào, chúng tôi cũng không thể khiến page đăng nhập xuất hiện trên Google.
Có thể bạn đoán được nguyên nhân: Google không biết URL nào của page đăng nhập là hợp lệ. Vậy trang chủ www, non-www, HTTPS www và HTTPS non-www của bạn hoạt động như thế nào? Tất cả đều phân giải được hay cũng chuyển hướng lòng vòng như quả bóng tennis trong một trận đấu?
Nếu chưa chắc chắn, tôi khuyên bạn nên dùng https://httpstatus.io/ để kiểm tra thật nhanh. Chỉ cần nhập domain của bạn, chọn “Canonical domain check” rồi nhấn nút Check Status.
Bạn cần thấy 3 trong số 4 phiên bản domain chuyển hướng đến phiên bản thứ 4 như sau:
8. Nội dung chuyên sâu hoặc Click Depth
Cụm này thường được gọi là “clicks from the homepage” hoặc “click depth”, và đây là một trong những vấn đề gây ra tình trạng này: Pagination. Deep Content, tức nội dung cách xa Homepage nhiều lượt nhấp, thường xuất hiện nhất trên các website thương mại điện tử rất lớn và blog quy mô lớn.
Để biết click depth của bạn là bao nhiêu và nội dung nào hiện đang bị ảnh hưởng, bạn có thể dễ dàng kiểm tra bằng crawler của website mà bạn đang sử dụng hoặc dùng SEMrush Audit Tool. Cả hai phương pháp này đều giúp bạn xác định những trang cách homepage 5, 6, 7 lượt nhấp, thậm chí đôi khi hơn 10 lượt.
Sau đây là ảnh chụp màn hình về Pagination trên SEMrush Blog, một yếu tố cũng thường góp phần tạo ra Deep Content:
Tuy nhiên, SEMrush Blog có một số cách để tìm thấy internal link – Tags, trang User/Author, internal link trong bài đăng blog và các cách khác. Nhưng trên nhiều website, những phương thức internal linking này không được triển khai tốt, và website chỉ dùng trang chủ blog cùng một vài danh mục để cố gắng liên kết đến hàng trăm, hàng nghìn, thậm chí 100.000 sản phẩm và trang. Để tìm hiểu sâu hơn về Pagination, bạn nên đọc bài viết của Arsen “ Pagination; You’re Doing it Wrong”.
Vì vậy, nếu phần lớn nội dung của bạn không có trên Google hoặc Bing mà lại cách trang chủ 5, 6 hoặc hơn 10 lượt nhấp, tôi khuyên bạn nên kiểm tra website và tìm cách tăng internal link đến những trang đó.
9. Tốc độ trang / Thời gian tải trang
Dù cá nhân tôi chưa từng thấy vấn đề này ảnh hưởng đến khả năng hiển thị của toàn bộ website trên Google/Bing, tôi đã thấy nó tác động đến các trang riêng lẻ hoặc một số loại trang. Việc tôi chưa từng tận mắt thấy tốc độ trang chậm ảnh hưởng đến toàn bộ website không có nghĩa là điều đó chưa từng xảy ra.
Nếu máy chủ của bạn không phản hồi hoặc phản hồi chậm với các công cụ tìm kiếm, độ trễ này sẽ khiến website có vẻ tải chậm (và thực tế đúng là vậy), đồng thời có thể ảnh hưởng đến khả năng đạt thứ hạng tốt hoặc bất kỳ thứ hạng nào. Có lẽ quan trọng hơn, tôi từng thấy trang tải chậm làm giảm khả năng chuyển đổi người dùng thành khách hàng tiềm năng và doanh số. Tác động đến lợi nhuận của bạn mới là điều quan trọng nhất.
Để kiểm tra tốc độ website, bạn có thể dùng một số công cụ như báo cáo tốc độ mới của Google Search Console, Google Analytics, Lighthouse trong Chrome hoặc bất kỳ công cụ kiểm tra miễn phí nào khác hiện có trên web.
Nguồn ảnh: https://webmasters.googleblog.com/2019/11/search-console-speed-report.html
10. Faceted Navigation
Nếu bạn vẫn đang đọc danh sách này và chưa đánh dấu website có Duplicate Content hoặc Thin Content, có thể vấn đề nằm ở việc website thương mại điện tử của bạn sử dụng Faceted Navigation. Đây không chỉ là vấn đề riêng của các website thương mại điện tử, nhưng đó là nơi thường gặp tình trạng này nhất.
Vậy Faceted Navigation là gì, và tại sao nó có thể khiến công cụ tìm kiếm gặp trở ngại? Spider trap. Crawl Budget. Duplicate Content. Đây chỉ là một vài tác động tiêu cực của việc triển khai Faceted Navigation kém.
Nhìn chung, Faceted Navigation có thể mang lại trải nghiệm tốt cho người dùng và crawler, nhưng dưới đây là một số vấn đề có thể tồn tại trên site của bạn, ảnh hưởng đến khả năng được crawl và xếp hạng tốt:
Bạn sử dụng các biến URL có thứ tự thay đổi, khiến Google tưởng đó là những trang mới. Dưới đây là 3 URL cùng hiển thị một danh sách nhưng trông như 3 trang riêng biệt.
/mens/?type=shoes&color=red&size=10
/mens/?color=red&size=10&type=shoes
/mens/?type=shoes&size=10&color=red
Nhiều đường dẫn, tức là điều hướng trên site so với tìm kiếm trên site
Khi bạn lọc đến một chiếc TV có thể treo tường và tích hợp tính năng thông minh trên Best Buy, bạn sẽ nhận được https://www.bestbuy.com/site/tvs/smart-tvs/pcmcat220700050011.c?qp=features_facet%3DFeatures~Mountable
Tuy nhiên, URL hiển thị rất tốt trên Google là https://www.bestbuy.com/site/searchpage.jsp?_dyncharset=UTF-8&browsedCategory=pcmcat220700050011&id=pcat17071&iht=n&ks=960&list=y&qp=features_facet%3DFeatures~Mountable&sc=Global&st=pcmcat220700050011_categoryid%24abcat0101001&type=page&usc=All%20Categories
Vấn đề: Crawl Depth bị giới hạn — Đôi khi, việc giới hạn các tùy chọn cũng giới hạn những trang có thể xếp hạng, khiến site không thể hiện được lợi thế tốt nhất. Ví dụ:
Lọc sâu trên Grainger đến https://www.grainger.com/category/machining/drilling-and-holemaking/counterbores-port-tools/counterbores-with-built-in-pilots?attrs=Material+-+Machining%7CHigh+Speed+Steel&filters=attrs
Khi tìm kiếm “High-Speed Steel Counterbores with Built-In Pilots” trên Google, một trang tương tự nhưng không hoàn toàn trùng khớp đang xếp hạng — https://www.grainger.com/category/machining/drilling-and-holemaking/counterbores-port-tools/counterbores-with-built-in-pilots.
Mỗi trường hợp đều khác nhau, nhưng các giải pháp thường bao gồm:
Canonical Tags
Chặn bằng Meta Tags
Chặn bằng Robots.txt
Thêm thuộc tính Nofollow cho Internal Links
Dùng JavaScript và các phương pháp khác để ẩn link
11. Site của bạn bị phạt thủ công hoặc theo thuật toán
Theo một khía cạnh nào đó, đây là điều ngược lại với mục #5. Thay vì không có link, site của bạn có thể có rất nhiều link, nhưng đó lại là những link độc hại và đáng ngờ. Site của bạn cũng có thể đã bị hack và bị loại khỏi chỉ mục, nhưng khả năng cao hơn là bạn có quá nhiều link độc hại.
Vậy làm sao để biết site của bạn có bị phạt hay không? Google và Bing lẽ ra đã thông báo cho bạn. Để kiểm tra lại, bạn có thể tìm thêm thông tin về site tại đây:
Mở Google Search Console
Mở Bing Webmaster Tools
Mở hộp thư email liên kết với Google Search Console (hoặc địa chỉ email nhận thông báo). Tìm kiếm “google” và “penalty” để xem bạn có bỏ lỡ hoặc vô tình xóa thông báo nào từ Google hay không.
Vì chủ đề thế nào là link tốt và link xấu đã được đề cập trên website, tôi sẽ không đi sâu vào đây. Nhưng nếu bạn bị phạt do link, hãy xem Weekly Wisdom về Đánh giá link.
12. Website của bạn thiếu link
Nếu website của bạn còn mới, rất có thể bạn chưa có link nào hoặc chỉ có rất ít. Không website nào bắt đầu với hàng trăm hay hàng nghìn link, nên bạn có thể cần một khoảng thời gian. Hãy xem Google Search Console hoặc tra cứu website của bạn trên Semrush Backlinks để kiểm tra bạn có bao nhiêu link.
Ngay cả khi không có link nào, Google và Bing vẫn sẽ crawl website của bạn, nhưng nếu thiếu link, có lẽ website sẽ không xuất hiện với nhiều keyword cạnh tranh. Vì vậy, nếu website của bạn đáp ứng tốt các yêu cầu kỹ thuật, có nội dung có thể được tìm thấy và nhìn chung SEO trên website đã được thiết lập, thì việc bạn thiếu link và các công cụ tìm kiếm chưa ưu tiên website là một vấn đề rất thực tế.
Tôi từng giúp các website đạt thứ hạng và thường xuyên thấy website đạt thứ hạng dù có rất ít hoặc không có link, nhưng bạn không thể chắc chắn điều đó sẽ luôn xảy ra với mọi website và ngành.
13. Website của bạn thiếu nội dung (và ngữ cảnh)
Khi hình ảnh và nội dung cạnh tranh, hình ảnh thường chiếm ưu thế. Tuy nhiên, điều này khiến nhiều website tuy có giao diện rất bắt mắt nhưng lại có rất ít hoặc không có chỗ cho nội dung và ngữ cảnh. Hãy nghĩ đến một phòng trưng bày nghệ thuật với sàn và tường màu trắng hoặc rất đơn giản để tác phẩm nghệ thuật trở nên nổi bật. Có thể bên cạnh tác phẩm là một tấm bảng nhỏ ghi tên nghệ sĩ và có lẽ cả tên tác phẩm. Nếu website của bạn cũng như vậy, website sẽ thiếu ngữ cảnh, trong khi công cụ tìm kiếm cần ngữ cảnh để hiểu thêm về tác phẩm nghệ thuật, nghệ sĩ và lý do tác phẩm được trưng bày trong phòng tranh.
Nhiều website đưa toàn bộ nội dung vào hình ảnh, chỉ dùng vài dòng chữ trên trang và một hình ảnh; trong nhiều trường hợp, họ không thực sự mô tả bằng văn bản công ty làm gì. Như người đồng dẫn chương trình của tôi đã viết trong Hướng dẫn làm podcast – tất cả đều xoay quanh việc tìm ra góc tiếp cận và kể câu chuyện của bạn.
Hãy kiểm tra website và các trang bằng cách sao chép phần văn bản chính của trang rồi đưa cho ai đó xem. Hỏi họ trang nói về điều gì, họ còn thắc mắc gì và dựa vào nội dung đó, họ có thể trả lời các câu hỏi về doanh nghiệp/dịch vụ/sản phẩm của bạn không. Nếu nội dung của bạn là Thin Content và thiếu ngữ cảnh, có lẽ họ sẽ làm không tốt các bài kiểm tra này.
Nếu bạn điều hành một nhà hàng hải sản nhưng không hề nhắc đến hải sản hay bất kỳ loại cá nào, làm sao người dùng hoặc công cụ tìm kiếm hiểu được website của bạn nói về điều gì? Nếu bạn cung cấp dịch vụ chăm sóc bãi cỏ nhưng không liệt kê các dịch vụ, làm sao người dùng hoặc công cụ tìm kiếm biết bạn có cung cấp chúng?
Nếu mô tả sản phẩm của bạn giống hệt mọi website khác và chỉ dài vỏn vẹn 30 từ ngắn ngủi, làm sao người dùng hoặc công cụ tìm kiếm thực sự hiểu được bạn đang bán gì?
14. Website của bạn có RẤT NHIỀU nội dung. Cụ thể là rất nhiều Duplicate Content
Nếu website của bạn có 10 trang, trong đó 6 trang dành cho các thành phố lân cận và đều có 80–99% nội dung giống nhau, nhiều khả năng bạn sẽ gặp vấn đề về thứ hạng. Tình trạng tương tự cũng xảy ra với website có 10–30 bài blog nhưng lại có 10 trang danh mục và 100 trang tag. Lượng nội dung mỏng và Duplicate Content rất lớn, vì vậy giá trị mà công cụ tìm kiếm cảm nhận được từ website của bạn sẽ thấp.
Ngoài ra, hãy nghĩ đến người dùng đang cố tìm thứ gì đó trên website của bạn. Họ có thể chẳng quan tâm đến những trang có nội dung mỏng này, vậy tại sao công cụ tìm kiếm lại muốn xếp hạng chúng, chứ chưa nói đến việc crawl?
Để tìm hiểu sâu hơn về cách xác định Duplicate Content, bạn có thể đọc Cách xác định Duplicate Content, bài viết này sẽ hướng dẫn bạn cách scrape website.
Một cách khác để tìm Duplicate Content là sử dụng công cụ SEMrush Site Audit. Nếu bot SEMrush Site Audit phát hiện nhiều trang có nội dung giống nhau từ 80% trở lên, công cụ sẽ đánh dấu chúng là Duplicate Content. Ngoài ra, những trang có quá ít nội dung cũng có thể bị tính là Duplicate Content. Sau khi chạy audit, bạn sẽ thấy màn hình này:
Trong ví dụ trên, vấn đề đơn giản là Page 2 đáng lẽ phải được redirect trong một bản cập nhật gần đây nhưng lại bị bỏ sót.
Vì vậy, nếu bạn gặp khó khăn trong việc cải thiện thứ hạng trên các công cụ tìm kiếm, hãy xem xét các trang nội bộ để kiểm tra xem chúng có quá giống nhau không. Đồng thời, hãy so sánh nội dung của bạn với nội dung trên các website khác. Một vấn đề thường gặp ở các website affiliate và thương mại điện tử là hàng chục, thậm chí hàng trăm website cùng sử dụng mô tả sản phẩm giống nhau. Nếu website của bạn có 100 sản phẩm mà không sản phẩm nào có nội dung độc đáo, bạn sẽ khó đạt thứ hạng cho những keyword mong muốn.
15. Keyword của bạn có mức độ cạnh tranh cao
Đây có thể là một trong những điều đầu tiên tôi khuyên bạn nên kiểm tra, nhưng cũng có thể là điều cuối cùng. Thường thì vấn đề không hẳn là website không xuất hiện, mà là website không xuất hiện với các keyword trong ngành và keyword mục tiêu mà CEO hoặc người khác muốn thấy.
Hãy xem bài viết này của Nikolai Boroda, trong đó tìm hiểu sâu về nghiên cứu keyword, rồi thử xác định rõ hơn các keyword mục tiêu (cũng như kỳ vọng của sếp bạn).
Điều này không có nghĩa là sau này bạn sẽ không thể cạnh tranh với những keyword có mức độ cạnh tranh cao nhất trong ngành. Tuy nhiên, nếu website còn mới, bạn cần từng bước xây dựng nền tảng và nên bắt đầu với thương hiệu của mình cùng các keyword dài hơn.
Bạn đã gặp vấn đề nào trong số này chưa? Hãy chia sẻ trong phần bình luận cách bạn xử lý nhé.
Đưa góc nhìn thành kế hoạch.
Chia sẻ website và mục tiêu để LionTech tư vấn giải pháp phù hợp.
Đăng ký tư vấn ↗