Tạo file robots.txt - Quy tắc Allow, Disallow và Sitemap
Công cụ tạo robots.txt
Ba mẫu đầu thay thế các nhóm hiện có. Nút AI thêm một nhóm gồm tên các bot AI được công bố phổ biến và giữ nguyên phần còn lại; danh sách thay đổi theo thời gian, hãy kiểm tra định kỳ.
Nhập file robots.txt có sẵn
* nghĩa là mọi bot. Ngăn cách nhiều tên bằng dấu phẩy để áp cùng quy tắc.
Đường dẫn bắt đầu bằng / và phân biệt hoa thường. * khớp mọi chuỗi ký tự, $ đánh dấu cuối URL, nên /*.pdf$ chặn mọi file PDF. Google bỏ qua Crawl-delay (số giây giữa các lần truy cập); một số công cụ tìm kiếm khác vẫn tuân theo.
Không thấy lỗi nào.
Tải lên với tên robots.txt ở thư mục gốc của host, ví dụ https://example.com/robots.txt. Mỗi tên miền phụ cần file riêng.
Kiểm tra một URL
Kiểm tra file robots.txt ở trên theo cách Google đọc. Nhóm ghi đúng tên bot được ưu tiên hơn User-agent: *, các nhóm trùng tên được gộp lại, còn bot không có nhóm riêng sẽ dùng nhóm *, không dùng nhóm có tên gần giống (Googlebot-Image không dùng nhóm Googlebot). Trong nhóm, quy tắc khớp dài nhất quyết định, nếu dài bằng nhau thì Allow thắng. Với URL đầy đủ, chỉ lấy phần đường dẫn và truy vấn.
robots.txt là một lời đề nghị công khai, không phải ổ khóa. Ai cũng đọc được và bot xấu sẽ phớt lờ, nên đừng bao giờ ghi đường dẫn bí mật vào đó. Nó cũng không xóa trang khỏi kết quả tìm kiếm: URL bị chặn vẫn có thể được lập chỉ mục qua liên kết. Muốn trang không xuất hiện trên tìm kiếm, hãy dùng thẻ noindex và để trang được thu thập; muốn bảo vệ, hãy dùng mật khẩu.
robots.txt hoạt động thế nào
Trước khi thu thập một trang, các bot tử tế tải /robots.txt và tìm nhóm khớp với tên mình, nếu không có thì dùng User-agent: *. Trong nhóm, Disallow liệt kê đường dẫn cần bỏ qua, còn Allow tạo ngoại lệ bên trong đó. File này điều khiển việc thu thập, không phải lập chỉ mục, và chỉ có tác dụng với bot chịu tuân theo.
Cách dùng
- 1 Chọn một mẫu hoặc sửa ví dụ: mỗi bot một nhóm (hoặc * cho tất cả), với các dòng Disallow và Allow.
- 2 Thêm địa chỉ sitemap và xem phần kiểm tra: đường dẫn thiếu dấu gạch chéo đầu hoặc sitemap thiếu https:// sẽ được báo ngay.
- 3 Sao chép nội dung hoặc tải robots.txt, đưa lên thư mục gốc của trang, rồi mở trangcuaban/robots.txt để chắc chắn file hiển thị.
Quy tắc nào được áp dụng
Các công cụ tìm kiếm lớn không đọc quy tắc từ trên xuống. Với mỗi URL, chúng lấy khớp cụ thể nhất, tức đường dẫn dài nhất; nếu Allow và Disallow dài bằng nhau thì Allow thắng. Vì thế Disallow: /admin/ cùng Allow: /admin/help/ vẫn để trang trợ giúp được thu thập dù viết theo thứ tự nào. Ngoài ra, một bot chỉ theo một nhóm: nếu có nhóm Googlebot, Googlebot bỏ qua hoàn toàn nhóm *.
Chặn không giống noindex
URL bị chặn trong robots.txt vẫn có thể xuất hiện trong kết quả tìm kiếm, thường chỉ là liên kết trơn không có mô tả, vì trang khác trỏ tới nó. Tệ hơn, nếu bạn gắn noindex cho trang mà vẫn chặn nó, bot sẽ không bao giờ tải trang và không thấy thẻ đó. Muốn gỡ trang khỏi tìm kiếm, hãy cho phép thu thập và dùng noindex; chỉ chặn khi trang đã rời khỏi kết quả.
Những lỗi chặn nhiều hơn bạn muốn
Quy tắc khớp theo tiền tố: Disallow: /blog cũng chặn /blog-tips/ và /blogger.html; nếu ý bạn là thư mục, hãy viết /blog/. Chỉ riêng Disallow: / là chặn cả trang, lỗi kinh điển còn sót lại từ máy chủ thử nghiệm. Chặn thư mục CSS và JavaScript khiến công cụ tìm kiếm không hiển thị đúng trang. Và đường dẫn phân biệt hoa thường: /Admin/ không bao gồm /admin/. Muốn biết một URL cụ thể được xử lý ra sao, hãy nhập nó vào ô kiểm tra bên dưới kết quả: công cụ cho biết nhóm và quy tắc quyết định.
Bot AI và token kiểm soát
Nhiều công ty AI công bố tên user-agent họ dùng để thu thập dữ liệu huấn luyện và hướng dẫn dùng robots.txt để từ chối. Một số tên không phải bot riêng mà là token kiểm soát: Google-Extended và Applebot-Extended không tự tải trang nào, chỉ cho biết nội dung mà bot tìm kiếm đã thu thập có được dùng để huấn luyện mô hình AI hay không (với Google còn gồm cả việc làm nguồn cho câu trả lời của Gemini). Chặn chúng không ảnh hưởng thứ hạng, nhưng cũng không đưa trang của bạn ra khỏi các tính năng AI trong tìm kiếm: AI Overviews và AI Mode của Google dùng Googlebot và được kiểm soát bằng nosnippet hoặc noindex, không phải Google-Extended. Tên có thể đổi và có tên mới, nên hãy xem mẫu là điểm khởi đầu và kiểm tra tài liệu mới nhất của từng nhà cung cấp.