Tối ưu robots.txt cho Blogspot

Blogspot hiện nay cho phép tùy chỉnh robots.txt, điều này rất hữu ích bởi vì chúng ta có thể thiết lập khả năng hiển thị các bài viết của chúng ta trên công cụ tìm kiếm, chúng ta có thể xác định xem bài viết sẽ được lập chỉ mục của công cụ tìm kiếm hay không.

Tối ưu robots.txt cho Blogspot

 Theo mặc định, tất cả các blog sử dụng nền tảng Blogspot ( Blogger) sẽ có một robots.txt như sau:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.example.com/feeds/posts/default?orderby=updated

Một vài điều cần chú ý robots.txt cho Blogspot

• Mediapartners-Google là một robot từ Google Adsen, hãy cứ để nó bởi vì nếu bạn thay xóa hoặc thay đổi thì quảng cáo hiện thị có thể không phù hợp với nội dung web bạn.
• Dòng tiếp theo là cho tất cả các robot và phần đánh dấu (*). Trên cấu hình mặc định không cho phép lập chỉ mục các nhãn Disallow: /search

Cấu hình tối ưu robots.txt cho Blogspot (Blogger)

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /

Sitemap: http://www.quatang20071.blogspot.com/feeds/posts/default?orderby=updated

Cách Thay đổi tập tin robots.txt