1 : Robots.txt
Robots.txt là một file văn bản hướng dẫn Google bot trong việc crawl website. Ví dụ như chỉ cho nó danh mục được crawl. Những chỗ chứa dữ liệu nhạy cảm như trang login của người dùng hay tài khoản cá nhân thì không nên được crawl.
Để tạo file robots.txt thì ta thích hiện như sau , copy đoạn html sau edit lại phần link blog tôi, thành link blog bạn
truy cập vào trang quản trị Blogger rồi đến Cài đặt => Tùy chọn tìm kiếm => Robots.txt tùy chỉnh. Tại đây các bạn dán đoạn mã vừa được tạo thành vào ô trống rồi lưu lại như hình ảnh dưới.# Blogger Sitemap generated on 2018.06.29
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://leminhut.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
2 : Xml sitEmap
Ngoài robots.txt còn một file nữa chiếm vị trí quan trọng trong việc crawl và index website là XML sitemap. Đây là một file mà robot đọc được, liệt kê tất cả những URL trên website. File này được lưu dưới dạng xml. Trong file này bạn có thể thêm thông tin khác ngoài URL như thời gian cập nhật URL và độ ưu tiên.
Khi bạn tạo file XML sitemap, hãy thêm nó vào Search Console để báo với Google các URL mà website có. Tuy nhiên, XML sitemap chỉ gợi ý URL cho bot thôi chứ thật ra không hướng dẫn cho nó cách crawl như robots.txt.
Khi bạn tạo file XML sitemap, hãy thêm nó vào Search Console để báo với Google các URL mà website có. Tuy nhiên, XML sitemap chỉ gợi ý URL cho bot thôi chứ thật ra không hướng dẫn cho nó cách crawl như robots.txt.
Cấu trúc của XML site map khi không có những yếu tố khác như sau:
Có rất nhiều cách để tạo sitemap. Một số CMS cho phép tạo sitemap tự động hoặc sử dụng các Công Cụ Miễn Phí
Google cũng khuyên bạn nên chia sitemap ra khi có nhiều hơn 50,000 URL. Trong trường hợp này, sitemap sẽ là tập hợp của những sitemap con có dạng như sau
Google cũng khuyên bạn nên chia sitemap ra khi có nhiều hơn 50,000 URL. Trong trường hợp này, sitemap sẽ là tập hợp của những sitemap con có dạng như sau
Trong trường hợp bạn muốn Google recrawl lại nhanh chóng các trang khi thực hiện chỉ sửa bạn có thể vào Google console để gửi link cho Google nhờ index lại. Bạn có thể thực hiện với 500 URL mỗi tháng cho mỗi website.
3 : kiểm tra sửa lỗi nhanh
Kiểm tra dữ liệu trong Google seach console thường xuyên là cách tốt nhất để hiểu Google crawl và index website như thế nào. Search Console cung cấp cho bạn nhiều hướng để tối ưu crawl cho web.
- Bộ Meta Chuẩn Seo Cho Blogger
- Tạo Google sitelink seach box
- Thủ Thuật Seo Mới Vào Nghề
- Cách Tạo file robots.txt chuẩn seo
Lời kết
Chúc các bạn vui vẻ , tôi hy vọng bài viết này sẻ mang lại hữu ích cho chiến hữu , theo : member seomxh
