Vậy cấu trúc file Robot.txt nào là chuẩn nhất cho một trang blog?
Nói chuẩn nhất thì nói chung thôi, chứ thật ra file Robot.txt sẽ tùy vào chủ ý của chủ blog mà cho phép hay không cho phép index những nội dung nào.Đây là file robot.txt đầy đủ nhất:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Disallow: /search
Disallow: /*?updated-max=*
Disallow: *archive.html
Sitemap: https://blogcuaban/feeds/posts/default?orderby=UPDATED
Disallow:
User-agent: *
Allow: /
Disallow: /search
Disallow: /*?updated-max=*
Disallow: *archive.html
Sitemap: https://blogcuaban/feeds/posts/default?orderby=UPDATED
Sitemap: https://hoit.asia/sitemap.xml
– Dòng Allow:/ tức là cho phép bot có thể index tất cả nội dung trên trang web.
– Disallow: /search , được dùng khi bạn không muốn bot index các labels của blogspot. Tuy nhiên, nếu nội dung tốt và có code chuẩn SEO cho các Label, thì ngại ngùng gì mà chặn index nó chứ.
– 2 disallow còn lại cũng tương tự, chặn cũng ok, không vấn đề gì.
– Còn lại là 2 dòng sitemap, khai báo sitemap cho bot có thể dễ dàng index nội dung. Thay 2 dòng chữ màu xanhbằng đường dẫn blog của bạn nhé.
– Vào Cài đặt (Setiings), chọn phần Tùy chọn tìm kiếm (Search Options), và tiến hành chỉnh sửa file robot.txt nhé.
– Disallow: /search , được dùng khi bạn không muốn bot index các labels của blogspot. Tuy nhiên, nếu nội dung tốt và có code chuẩn SEO cho các Label, thì ngại ngùng gì mà chặn index nó chứ.
– 2 disallow còn lại cũng tương tự, chặn cũng ok, không vấn đề gì.
– Còn lại là 2 dòng sitemap, khai báo sitemap cho bot có thể dễ dàng index nội dung. Thay 2 dòng chữ màu xanhbằng đường dẫn blog của bạn nhé.
Cách thêm nội dung vào file robot.txt:
– Vào trang quản trị của blogspot ở địa chỉ: blogger.com– Vào Cài đặt (Setiings), chọn phần Tùy chọn tìm kiếm (Search Options), và tiến hành chỉnh sửa file robot.txt nhé.
Chúc các bạn có một trang web đẹp và tối ưu SEO cho Google!