Tối ưu file robots.txt cho blogspot

Cấu trúc của robots.txt của blogspot.

User-agent: Mediapartners-Google
Disallow: 
User-agent: *
Allow: /
Disallow: /search
User-agent: Cho những robot tìm kiếm từ Google, Yahoo và MSN nên sử dụng hướng dẫn này của bạn để tìm kiếm trang web.
Allow: / Dòng code này cho phép công cụ tìm kiếm index đọc tất cả nội dung
Disallow: /search: Dòng code này báo cho công cụ tìm kiếm biết nó không nên “lục lọi” ở những file này

Hướng dẫn tạo và sử dụng file robots.txt cho blogspot

1. Bước 1: Đăng nhập blogspot
2. Bước 2: Kéo chuột xuống dưới bên tay trái vào "Cài đặt" 
3. Bước 3: Chọn "Tùy chọn tìm kiếm" trong menu cài đặt
4. Bước 4: Chọn "Trình thu thập thông tin và lập chỉ mục" bên tay phải của Tùy chọn tìm kiếm
5. Bước 5: Chọn "Robots.txt tùy chỉnh" >> "Bật nội dung robots.txt tùy chỉnh"
6. Bước 6: Copy đoạn code chuẩn này vào khung nhập text và sau đó nhấp "lưu lại"

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Allow: /search/label/
Disallow: /*?updated-max=*
Allow: *archive.html
Allow: /
Sitemap: http://www.startruongit.net/sitemap.xml

Thay http://www.startruongit.net/ bằng link Blog của bạn .
Tiếp tục chọn Thẻ tiêu đề robot tùy chỉnh rồi cài đặt nó như ảnh sau

Bấm Lưu thay đổi. Vậy là xong. Chúc bạn thành công!