Robots.txt cho blog mặc định
Đối với hầu hết tất cả blogger đều sử dụng đoạn mã mặc định dưới đây chỉ để bot lập chỉ mục bài viết và không lập chỉ mục labelUser-agent: Mediapartners-Google
Disallow: User-agent: *
Disallow: /search
Allow: /
Sitemap: http://oivl.blogspot.com/feeds/posts/default?orderby=updated
Robots.txt tùy chỉnh
Có một số blogger mong muốn được google lập chỉ mục label vào một số mục đich riêng thì sử dụng đoạn mã sauUser-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://oivl.blogspot.com/feeds/posts/default?orderby=updated
Chúc các bạn SEO lên top !