Deindex là gì? Cách deindex để tăng nhanh lượng truy cập tự nhiên (Phần 1)

Đa số mọi người đều lo lắng về việc làm thế nào để Google index các trang của họ, trong khi khái niệm “deindex là gì” có thể vẫn còn khá lạ lẫm.

Trên thực tế, thì những người làm SEO đều cố gắng tránh bị tình trạng deindex. Nếu bạn đang cố gắng gia tăng độ uy tín trên các trang kết quả của máy tìm kiếm, thì bạn có thể bị “cuốn” vào việc làm cho các trang trên website được index càng nhiều càng tốt. Và phần lớn trường hợp thì, chúng đều mang lại hiệu quả.

Nhưng điều này không phải lúc nào cũng có thể giúp bạn thu được lượng truy cập lớn nhất. Đúng là việc đăng tải một số lượng lớn các trang có chứa những từ khóa mục tiêu có thể giúp bạn xếp hạng đối với những từ khóa cụ thể này. Tuy nhiên, thực tế là việc xếp hạng của bạn sẽ được hỗ trợ nhiều hơn nếu có một vài trang nằm ngoài danh sách lập chỉ mục của máy tìm kiếm.

(Nguồn ảnh: Internet)

Bởi vì khi đó, lưu lượng truy cập sẽ chuyển sang những trang có liên quan và phù hợp và giữ cho những trang không quan trọng không xuất hiện khi người dùng sử dụng Google để tìm kiếm nội dung trên website của bạn.

Trong phần 1 của bài viết này, hãy cùng Khóa học SEO Á Âu tìm hiểu về lý do (và cách thức) bạn nên deindex các trang của mình để thu được nhiều lượng truy cập hơn.

Để bắt đầu, chúng ta sẽ cùng phân biệt sự khác nhau giữa “crawling” (việc quét và thu thập dữ liệu) và “indexing” (việc lập chỉ mục của máy tìm kiếm).

Crawling và indexing là gì?

Trong thế giới SEO, thì khi nhắc đến việc “crawling” một website nào đó, bạn có thể tưởng tượng mình đang đi theo một con đường.

“Crawling” là thuật ngữ dùng để miêu tả về hoạt động của bọ quét website (site crawler, hay còn gọi là spider) lần theo các đường link của bạn và quét qua mọi ngóc ngách trên website của bạn.

Các bọ quét có thể xác thực mã HTML hoặc các hyperlink (siêu liên kết). Chúng cũng có thể trích xuất dữ liệu từ những website cụ thể, hoạt động này gọi là “web scraping” (tạm dịch: “cạo” nội dung hay dữ liệu website).

Khi các bot của Google đến website của bạn và quét qua, chúng sẽ lần theo các trang khác được trỏ đến nằm trên website. Sau đó, các bot sẽ sử dụng thông tin này để đưa ra các dữ liệu cho những người tìm kiếm về các trang của bạn, hoặc để tạo nên các thuật toán xếp hạng.

Đây là một trong những lý do tại sao bản đồ trang (sitemap) rất quan trọng. Sitemap chứa tất cả các liên kết có trên website của bạn để các bot của Google có thể “đào” vào các trang sâu hơn.

(Nguồn ảnh: Internet)

Còn “indexing” là thuật ngữ dùng để mô tả quá trình thêm những web page cụ thể vào danh sách chỉ mục của tất cả các trang có thể được tìm thấy trên Google. Nếu một web page được index, thì Google sẽ có thể quét, thu thập dữ liệu và lập chỉ mục cho page đó. Khi bạn deindex một page, thì Google sẽ không còn có thể index cho nó nữa.

Mặc định thì, mọi bài viết và trang trên nền tảng WordPress đều được index. Việc những trang liên quan và phù hợp được index là điều tốt vì việc tăng độ phủ trên Google có thể giúp bạn kiếm được nhiều lượt click và mang về nhiều truy cập hơn, điều này sẽ giúp gia tăng doanh thu và độ phủ của thương hiệu.

Nhưng, nếu bạn để cho những nội dung không quan trọng trên blog hoặc website được lập chỉ mục, thì bạn có thể đang tạo ra nhiều tác động tiêu cực hơn.

Deindex là gì?

Đây là thuật ngữ dùng để chỉ hành động loại bỏ một trang khỏi danh sách chỉ mục hoặc hệ thống lập chỉ mục.

Tại sao deindex lại có thể giúp thúc đẩy lượng truy cập?

Bạn có thể nghĩ rằng mình không thể nào tối ưu hóa quá liều cho website được. Nhưng đôi khi, khả năng này lại xảy ra. Trong lĩnh vực SEO, nếu bạn thực hiện một điều gì đó thật nhiều chỉ vì bạn thấy rằng nó đang mang lại hiệu quả thì khả năng xếp hạng cao của website có thể bị ảnh hưởng. Hãy cân bằng ở một mức độ thích hợp.

Có nhiều trường hợp khác nhau mà bạn có thể cần (hoặc muốn) loại bỏ đi một web page nào đó (hoặc ít nhất là một phần của nó) khỏi hệ thống crawling và indexing của máy tìm kiếm. Một trong những lý do rõ ràng nhất là để ngăn chặn các nội dung trùng lặp (duplicate content) được index.

Duplicate content ở đây đề cập đến tình trạng có hơn một phiên bản của một trong những web page của bạn. Ví dụ, một trang có thể có hai phiên bản, một phiên bản thân thiện với máy in (printer-friendly version) và một phiên bản thì không.

(Nguồn ảnh: Internet)

Cả hai phiên bản trên đều không cần xuất hiện cùng lúc trong các kết quả tìm kiếm. Chỉ nên có một trang xuất hiện mà thôi. Hãy deindex phiên bản printer-friendly và giữ lại trang bình thường để index.

Ngoài ra, bạn có thể khám phá thêm một số cách để xử lý tình trạng trùng lặp nội dung rất hay gặp phải tại đây.

Một ví dụ khác về trang mà bạn sẽ muốn deindex chính là trang cảm ơn (thank-you page) – là trang mà khách truy cập sẽ được chuyển đến sau khi thực hiện một hành động mà chúng ta mong muốn, chẳng hạn như tải xuống một phần mềm. Kiểu trang này thường là nơi mà một khách truy cập website sẽ được chuyển đến để truy cập vào những tài nguyên mà bạn đã hứa trao đổi với họ khi họ thực hiện một hành động nào đó, ví dụ như một quyển e-book chẳng hạn.

Tất nhiên là, bạn chỉ muốn mọi người đến đây sau khi họ đã hoàn thành hành động mà bạn muốn họ thực hiện, như mua một sản phẩm hoặc điền vào một biểu mẫu thông tin nào đó; không phải vì họ tìm thấy trang cảm ơn của bạn qua Google Search. Nếu là thế, thì họ có thể truy cập đến nguồn tài nguyên mà bạn đang cung cấp mà không cần phải thực hiện hành động bạn mong muốn.

Điều này không chỉ làm cho những nội dung quý giá của bạn bị phân phát miễn phí, mà còn có thể làm “đảo lộn” kết quả phân tích Analytics của toàn bộ website với những dữ liệu không chính xác.

Bạn có thể đang nghĩ rằng bạn sẽ thu về được nhiều lead hơn nếu những trang này được index. Nếu bạn có bất kỳ từ khóa long-tail nào nằm trên các trang cảm ơn và bạn chưa deindex những trang này, thì chúng có thể được xếp hạng khá cao (trong khi không cần thiết phải như thế). Điều này thậm chí sẽ làm cho chúng càng dễ dàng được tìm thấy hơn.

Loại bỏ đi những trang profile spam

Nhà nghiên cứu về SEO của Moz – Britnet Muller gần đây đã index 75% các trang trên website của Moz và thu về những thành công to lớn. Vậy phần lớn những trang mà cô ấy đã deindex là những trang gì?

Câu trả lời chính là những trang profile cộng đồng có tính chất spam (spammy community profile pages). Britnety nhận thấy rằng khi thực hiện tìm kiếm “site: moz.com”, thì có hơn 56% các kết quả là các trang profile cộng đồng của Moz. Và có hàng ngàn trang như thế cần được deindex.

Các profile cộng đồng của Moz hoạt động theo một hệ thống tính điểm. Các người dùng sẽ kiếm được càng nhiều điểm hơn (gọi là MozPoints), khi hoàn tất những hành động trên website, như bình luận vào các bài viết hoặc đăng tải các bài blog.

Sau khi trao đổi với các nhà phát triển, thì Britney đã quyết định deindex những trang profile nào có điểm số dưới 200.

Ngay lập tức, lượng truy cập và thứ hạng tự nhiên tăng lên.

Bằng cách deindex những trang profile cộng động từ những người dùng có điểm MozPoints thấp giống như hình minh hoạt dưới đây, thì những profile không đủ tiêu chuẩn sẽ không xuất hiện trên các trang kết quả tìm kiếm.

(Nguồn ảnh: Internet)

Và theo đó, chỉ những người dùng nổi bật trong cộng đồng Moz, với điểm MozPoints cao như Britney, mới xuất hiện trên SERPs.

(Nguồn ảnh: Internet)

Các profile có nhiều bình luận và hoạt động nhất sẽ xuất hiện khi có ai đó tìm kiếm họ, vậy nên sẽ dễ dàng tìm kiếm những người có sức ảnh hưởng đang sử dụng website.

(Nguồn ảnh: Internet)

Nếu bạn cũng triển khai chức năng hồ sơ cộng đồng tương tự trên website, hãy thực hành theo trường hợp của Moz và deindex những profile không phải là người có sức ảnh hưởng hoặc được nhiều người biết đến.

Bạn có thể nghĩ rằng việc tắt đi mục “Search Engine Visibility” trong WordPress là đủ để loại bỏ đi sự xuất hiện trong các máy tìm kiếm, nhưng thật ra không phải như thế.

(Nguồn ảnh: Internet)

Việc này tùy thuộc vào các máy tìm kiếm có muốn chấp nhận yêu cầu này không. Đây là lý do tại sao bạn cần deindex những trang như thế một cách thủ công để đảm bảo rằng chúng không xuất hiện trên SERPs.

Đầu tiên, bạn phải hiểu được sự khác nhau giữa các thẻ “noindex” và “nofollow”.

Thẻ noindex và nofollow là gì?

Bạn có thể sử dụng một thẻ meta để ngăn một trang xuất hiện trên SERPs. Các thẻ cho phép bạn thực hiện điều đó gọi là “noindex” và “nofollow”. Bạn có thể sử dụng chúng riêng lẻ hoặc kết hợp lại với nhau.

Khi bạn đặt một thẻ noindex cho một trang, nó sẽ báo cho máy tìm kiếm biết rằng hệ thống vẫn có thể quét và thu thập dữ liệu của trang, nhưng không index trang đó. Bất kỳ trang nào được gắn thẻ noindex đều sẽ không nằm trnog danh sách index của máy tìm kiếm, đồng nghĩa với việc nó sẽ không xuất hiện trên SERPs.

Đây là ví dụ minh họa về thẻ noindex trong mã HTML của một website:

(Nguồn ảnh: Internet)

Khi bạn đặt một thẻ nofollow cho một web page, thì nó sẽ không cho phép máy tìm kiếm quét qua bất cứ đường link nào có trên page đó. Điều này đồng nghĩa với việc PageRank sẽ không được truyền sang các trang mà những đường link đó trỏ đến.

Nhưng bất kỳ page nào gắn thẻ nofollow vẫn sẽ được index trong bộ máy tìm kiếm. Dưới đây là ví dụ minh họa về thẻ nofollow trong đoạn mã của một website:

(Nguồn ảnh: Internet)

Bạn có thể chỉ sử dụng một trong hai thẻ trên, hoặc cả hai. Thẻ mà bạn sử dụng tùy thuộc vào mục đích của bạn đối với một trang cụ thể:

1. Chỉ sử dụng thẻ noindex nếu bạn không muốn máy tìm kiếm index trang trong SERPs, nhưng bạn vẫn muốn nó lần theo các đường link có trên trang.

Nếu bạn có những trang landing page trả phí (paid landing page), thì việc chèn thẻ noindex sẽ là một ý tưởng tốt. Bạn không muốn các máy tìm kiếm dẫn khách truy cập đến những landing page này vì người dùng phải trả tiền mới truy cập được những nội dung có trên đó, nhưng bạn vẫn muốn những trang được trỏ đến vẫn nhận được giá trị PageRank mà nó truyền đi.

2. Chỉ sử dụng một thẻ nofollow nếu bạn muốn máy tìm kiếm index một trang cụ thể trong SERPs, nhưng bạn không muốn nó lần theo những đường link có trên trang đó.

3. Sử dụng cả hai thẻ noindex và nofollow cho một trang nếu bạn không muốn máy tìm kiếm index một trang cũng như có thể lần theo các đường link có trên đó. Ví dụ, đối với các trang cảm ơn (thank-you page), bạn có thể sử dụng kết hợp cả hai thẻ trên.

Các nội dung về hai loại thẻ noindex và nofollow cũng đã tạm khép lại phần 1 của loạt bài về chủ đề Deindex. Hãy đón đọc phần 2 của bài viết để được hướng dẫn cách chèn các thẻ này vào trang và tìm hiểu những kiến thức quan trọng nhất về file robots.txt nhé.