Khoảng một năm rưỡi trước, chúng tôi đặt ra một mục tiêu.
Mục tiêu đó là xây dựng cơ sở dữ liệu backlink lớn nhất, được cập nhật nhanh nhất và có chất lượng cao nhất dành cho khách hàng, đồng thời vượt trội hơn các đối thủ cạnh tranh hàng đầu đã được biết đến trên thị trường.
Giờ đây, khi đã đạt được mục tiêu, chúng tôi rất mong bạn tự mình trải nghiệm!
Bạn có muốn biết chính xác chúng tôi đã xây dựng cơ sở dữ liệu như vậy bằng cách nào không?
Chúng tôi đã đầu tư vào cơ sở hạ tầng, kết hợp 30.000 giờ làm việc của đội ngũ kỹ sư và nhà khoa học dữ liệu, hơn 500 máy chủ cùng khoảng 16.722 tách cà phê.
Nghe có vẻ đơn giản, phải không?
Hãy xem bài đăng blog này để biết chúng tôi hiện nhanh hơn bao nhiêu.
Cơ sở dữ liệu Backlinks mới và được cải tiến
Trước tiên, hãy cùng tìm hiểu điểm mới; sau đó, chúng tôi sẽ cho bạn biết mình đã đạt được điều đó như thế nào và giải quyết những vấn đề nào.
Nhờ tăng dung lượng lưu trữ và số lượng crawler nhiều gấp ba lần, cơ sở dữ liệu backlinks của chúng tôi giờ đây có khả năng tìm kiếm, index và mở rộng hơn nữa.
Hiện nay, trung bình chúng tôi đang Crawling:
Cách cơ sở dữ liệu Backlink của Semrush hoạt động
Trước khi đi sâu vào những điểm đã được cải tiến, hãy cùng tìm hiểu những kiến thức cơ bản về cách backlink hoạt động.
Đầu tiên, chúng tôi tạo một hàng đợi URL để quyết định những trang nào sẽ được đưa vào hàng đợi Crawling.
Sau đó, các crawler sẽ kiểm tra những trang này. Khi phát hiện các siêu liên kết trỏ từ những trang đó đến một trang khác trên Internet, chúng tôi sẽ lưu lại thông tin.
Tiếp theo là một kho lưu trữ tạm thời, nơi lưu toàn bộ dữ liệu này trong một khoảng thời gian trước khi chuyển vào kho lưu trữ công khai mà bất kỳ người dùng Semrush nào cũng có thể xem trong công cụ.
Với phiên bản mới, chúng tôi gần như đã loại bỏ bước lưu trữ tạm thời, bổ sung số lượng crawler nhiều gấp 3 lần và thêm một bộ lọc trước hàng đợi, nhờ đó toàn bộ quy trình nhanh và hiệu quả hơn nhiều.
Hàng đợi
Nói đơn giản, có quá nhiều trang trên Internet cần được Crawling.
Một số trang cần được Crawling thường xuyên hơn, còn một số thì không cần Crawling. Vì vậy, chúng tôi sử dụng hàng đợi để quyết định thứ tự đưa URL vào Crawling.
Một vấn đề thường gặp ở bước này là Crawling quá nhiều URL tương tự và không liên quan, khiến người dùng thấy nhiều spam hơn và ít Referring Domain độc nhất hơn.
Chúng tôi đã làm gì?
Để tối ưu hóa hàng đợi, chúng tôi đã thêm các bộ lọc ưu tiên nội dung độc đáo, website có Authority Score cao hơn và ngăn chặn link farm. Nhờ đó, hệ thống hiện tìm được nhiều nội dung độc đáo hơn và tạo ít báo cáo có link trùng lặp hơn.
Một số điểm nổi bật về cách hệ thống hoạt động hiện nay:
- Để bảo vệ hàng đợi khỏi link farm, chúng tôi kiểm tra xem có nhiều domain cùng xuất phát từ một địa chỉ IP hay không. Nếu phát hiện quá nhiều domain dùng chung một IP, chúng sẽ được giảm mức ưu tiên trong hàng đợi. Nhờ vậy, chúng tôi có thể crawl nhiều domain hơn từ các IP khác nhau mà không bị mắc kẹt ở một link farm.
- Để bảo vệ website và tránh làm nhiễu báo cáo bằng các link tương tự nhau, chúng tôi kiểm tra xem có quá nhiều URL đến từ cùng một domain hay không. Nếu phát hiện quá nhiều URL trên cùng domain, chúng tôi sẽ không crawl tất cả chúng trong cùng một ngày.
- Để đảm bảo crawl các trang mới ngay khi có thể, chúng tôi ưu tiên hơn cho những URL chưa từng được crawl.
- Mỗi trang đều có mã hash riêng, giúp chúng tôi ưu tiên Crawling nội dung độc đáo.
- Chúng tôi tính đến tần suất tạo link mới trên trang nguồn.
- Chúng tôi tính đến Authority Score của trang web và domain.
Cách cải thiện hàng đợi:
- Hơn 10 yếu tố khác nhau để lọc bỏ các link không cần thiết.
- Nhiều trang độc đáo và chất lượng cao hơn nhờ các thuật toán kiểm soát chất lượng mới.
Crawlers
Crawlers của chúng tôi lần theo các link nội bộ và bên ngoài trên Internet để tìm những trang mới có link. Vì vậy, chúng tôi chỉ có thể tìm thấy một trang nếu có link trỏ đến trang đó.
Khi rà soát hệ thống trước đây, chúng tôi nhận thấy cơ hội tăng năng lực Crawling tổng thể và tìm được nội dung tốt hơn — những nội dung mà chủ sở hữu website muốn chúng tôi crawl và index.
Chúng tôi đã làm gì?
- Tăng gấp ba số lượng crawlers (từ 10 lên 30).
- Ngừng crawl các trang có URL parameters không ảnh hưởng đến nội dung trang (&sessionid, UTM, v.v.).
- Tăng tần suất đọc và tuân thủ các chỉ thị trong tệp Robots.txt trên website.
Crawlers được cải thiện như thế nào:
- Nhiều crawlers hơn (hiện là 30!)
- Dữ liệu sạch, không có dữ liệu rác hay link trùng lặp
- Tìm nội dung phù hợp nhất hiệu quả hơn
- Tốc độ Crawling đạt 25 tỷ trang mỗi ngày
Lưu trữ
Lưu trữ là nơi chúng tôi lưu giữ tất cả link mà bạn có thể xem với tư cách người dùng Semrush. Kho lưu trữ này hiển thị các link trong công cụ và cung cấp bộ lọc để bạn tìm thấy những gì mình cần.
Mối lo ngại chính của chúng tôi với hệ thống lưu trữ cũ là hệ thống chỉ có thể được viết lại hoàn toàn mỗi khi cập nhật. Điều đó có nghĩa là cứ mỗi 2-3 tuần, hệ thống lại được viết lại và quy trình bắt đầu từ đầu.
Vì vậy, trong quá trình cập nhật, các link mới tích tụ trong kho lưu trữ trung gian, khiến người dùng phải chờ lâu hơn mới thấy chúng trong công cụ. Chúng tôi muốn tìm cách tăng tốc bước này.
Chúng tôi đã làm gì?
Để cải thiện điều này, chúng tôi đã xây dựng lại kiến trúc từ đầu. Để không cần dùng bộ nhớ tạm, chúng tôi đã tăng số lượng máy chủ lên hơn bốn lần.
Quá trình này tiêu tốn hơn 30.000 giờ làm việc của đội ngũ kỹ thuật để triển khai các công nghệ mới nhất. Giờ đây, chúng tôi có một hệ thống có thể mở rộng và sẽ không chạm đến bất kỳ giới hạn nào, dù là hiện tại hay trong tương lai.
Dung lượng lưu trữ được cải thiện như thế nào:
- Hơn 500 máy chủ tổng cộng
- 287 TB bộ nhớ RAM
- 16.128 lõi CPU
- Tổng dung lượng lưu trữ 30 PB
- Khả năng lọc và lập báo cáo nhanh như chớp
- CẬP NHẬT TỨC THÌ - không còn bộ nhớ tạm
Nghiên cứu về cơ sở dữ liệu Backlink
Chúng tôi đã thực hiện một nghiên cứu gồm hai phần để so sánh tốc độ của Backlinks với Moz, Ahrefs và Majestic.
Để biết chính xác công cụ của chúng tôi hoạt động nhanh hơn bao nhiêu so với các công cụ SEO khác trên thị trường, hãy đọc bài đăng blog này.
Chúng tôi rất tự hào về cơ sở dữ liệu Backlinks Analytics mới và muốn mọi người trải nghiệm tất cả những gì cơ sở dữ liệu này mang lại.
Hãy dùng thử và cho chúng tôi biết bạn nghĩ gì nhé!
Chào mừng bạn đến với tương lai của Quản lý Backlink Động!
Đưa góc nhìn thành kế hoạch.
Chia sẻ website và mục tiêu để LionTech tư vấn giải pháp phù hợp.
Đăng ký tư vấn ↗