Tạo file robots.txt - Quy tắc Allow, Disallow và Sitemap

Công cụ / Công cụ SEO / Tạo robots.txt

Công cụ tạo robots.txt

Mẫu có sẵn

Ba mẫu đầu thay thế các nhóm hiện có. Nút AI thêm một nhóm gồm tên các bot AI được công bố phổ biến và giữ nguyên phần còn lại; danh sách thay đổi theo thời gian, hãy kiểm tra định kỳ.

Nhập file robots.txt có sẵn

Đường dẫn bắt đầu bằng / và phân biệt hoa thường. * khớp mọi chuỗi ký tự, $ đánh dấu cuối URL, nên /*.pdf$ chặn mọi file PDF. Google bỏ qua Crawl-delay (số giây giữa các lần truy cập); một số công cụ tìm kiếm khác vẫn tuân theo.

Kiểm tra

Không thấy lỗi nào.

robots.txt

            

Tải lên với tên robots.txt ở thư mục gốc của host, ví dụ https://example.com/robots.txt. Mỗi tên miền phụ cần file riêng.

Kiểm tra một URL

    Kiểm tra file robots.txt ở trên theo cách Google đọc. Nhóm ghi đúng tên bot được ưu tiên hơn User-agent: *, các nhóm trùng tên được gộp lại, còn bot không có nhóm riêng sẽ dùng nhóm *, không dùng nhóm có tên gần giống (Googlebot-Image không dùng nhóm Googlebot). Trong nhóm, quy tắc khớp dài nhất quyết định, nếu dài bằng nhau thì Allow thắng. Với URL đầy đủ, chỉ lấy phần đường dẫn và truy vấn.

    robots.txt là một lời đề nghị công khai, không phải ổ khóa. Ai cũng đọc được và bot xấu sẽ phớt lờ, nên đừng bao giờ ghi đường dẫn bí mật vào đó. Nó cũng không xóa trang khỏi kết quả tìm kiếm: URL bị chặn vẫn có thể được lập chỉ mục qua liên kết. Muốn trang không xuất hiện trên tìm kiếm, hãy dùng thẻ noindex và để trang được thu thập; muốn bảo vệ, hãy dùng mật khẩu.

    robots.txt hoạt động thế nào

    Trước khi thu thập một trang, các bot tử tế tải /robots.txt và tìm nhóm khớp với tên mình, nếu không có thì dùng User-agent: *. Trong nhóm, Disallow liệt kê đường dẫn cần bỏ qua, còn Allow tạo ngoại lệ bên trong đó. File này điều khiển việc thu thập, không phải lập chỉ mục, và chỉ có tác dụng với bot chịu tuân theo.

    Cách dùng

    1. 1 Chọn một mẫu hoặc sửa ví dụ: mỗi bot một nhóm (hoặc * cho tất cả), với các dòng Disallow và Allow.
    2. 2 Thêm địa chỉ sitemap và xem phần kiểm tra: đường dẫn thiếu dấu gạch chéo đầu hoặc sitemap thiếu https:// sẽ được báo ngay.
    3. 3 Sao chép nội dung hoặc tải robots.txt, đưa lên thư mục gốc của trang, rồi mở trangcuaban/robots.txt để chắc chắn file hiển thị.

    Quy tắc nào được áp dụng

    Các công cụ tìm kiếm lớn không đọc quy tắc từ trên xuống. Với mỗi URL, chúng lấy khớp cụ thể nhất, tức đường dẫn dài nhất; nếu Allow và Disallow dài bằng nhau thì Allow thắng. Vì thế Disallow: /admin/ cùng Allow: /admin/help/ vẫn để trang trợ giúp được thu thập dù viết theo thứ tự nào. Ngoài ra, một bot chỉ theo một nhóm: nếu có nhóm Googlebot, Googlebot bỏ qua hoàn toàn nhóm *.

    Chặn không giống noindex

    URL bị chặn trong robots.txt vẫn có thể xuất hiện trong kết quả tìm kiếm, thường chỉ là liên kết trơn không có mô tả, vì trang khác trỏ tới nó. Tệ hơn, nếu bạn gắn noindex cho trang mà vẫn chặn nó, bot sẽ không bao giờ tải trang và không thấy thẻ đó. Muốn gỡ trang khỏi tìm kiếm, hãy cho phép thu thập và dùng noindex; chỉ chặn khi trang đã rời khỏi kết quả.

    Trình tạo thẻ meta →

    Những lỗi chặn nhiều hơn bạn muốn

    Quy tắc khớp theo tiền tố: Disallow: /blog cũng chặn /blog-tips/ và /blogger.html; nếu ý bạn là thư mục, hãy viết /blog/. Chỉ riêng Disallow: / là chặn cả trang, lỗi kinh điển còn sót lại từ máy chủ thử nghiệm. Chặn thư mục CSS và JavaScript khiến công cụ tìm kiếm không hiển thị đúng trang. Và đường dẫn phân biệt hoa thường: /Admin/ không bao gồm /admin/. Muốn biết một URL cụ thể được xử lý ra sao, hãy nhập nó vào ô kiểm tra bên dưới kết quả: công cụ cho biết nhóm và quy tắc quyết định.

    Bot AI và token kiểm soát

    Nhiều công ty AI công bố tên user-agent họ dùng để thu thập dữ liệu huấn luyện và hướng dẫn dùng robots.txt để từ chối. Một số tên không phải bot riêng mà là token kiểm soát: Google-Extended và Applebot-Extended không tự tải trang nào, chỉ cho biết nội dung mà bot tìm kiếm đã thu thập có được dùng để huấn luyện mô hình AI hay không (với Google còn gồm cả việc làm nguồn cho câu trả lời của Gemini). Chặn chúng không ảnh hưởng thứ hạng, nhưng cũng không đưa trang của bạn ra khỏi các tính năng AI trong tìm kiếm: AI Overviews và AI Mode của Google dùng Googlebot và được kiểm soát bằng nosnippet hoặc noindex, không phải Google-Extended. Tên có thể đổi và có tên mới, nên hãy xem mẫu là điểm khởi đầu và kiểm tra tài liệu mới nhất của từng nhà cung cấp.

    Câu hỏi về robots.txt

    Không. Nó chỉ ngăn việc thu thập. Nếu trang khác liên kết tới URL, nó vẫn có thể nằm trong chỉ mục mà không có mô tả. Để gỡ, hãy cho trang được thu thập kèm thẻ meta noindex hoặc header X-Robots-Tag, hoặc xóa trang, hoặc đặt sau đăng nhập.
    Mới
    Tạo link UTM Tạo link chiến dịch gắn UTM trong vài giây. Giữ nguyên tham số và #neo sẵn có, mã hóa giá trị đúng cách và cảnh báo chữ hoa, khoảng trắng.
    Phổ biến hôm nay
    Trình kiểm tra mật độ từ khóa Công cụ kiểm tra mật độ từ khóa miễn phí: dán văn bản hoặc URL để xem tần suất của từng từ và cụm từ kèm tỷ lệ phần trăm.

    Công cụ SEO khác

    Trình kiểm tra mật độ từ khóa Công cụ kiểm tra mật độ từ khóa miễn phí: dán văn bản hoặc URL để xem tần suất của từng từ và cụm từ kèm tỷ lệ phần trăm.
    Tạo Slug Biến mọi tiêu đề thành slug URL gọn gàng. Chữ ü tiếng Đức thành ue, ü tiếng Thổ thành u, chữ Kirin được chuyển tự — ngôn ngữ do bạn chọn.
    Trình tạo thẻ meta Nhập tiêu đề, mô tả, URL và hình ảnh để tạo thẻ meta HTML, mã Open Graph và Twitter Card, rồi xem trang sẽ hiển thị thế nào trên kết quả Google, Facebook và X trước khi đăng.
    Xem trước SERP Xem tiêu đề và meta description hiển thị thế nào trong kết quả tìm kiếm trên máy tính và điện thoại. Cắt theo điểm ảnh, đếm ký tự và điểm ảnh.
    Tạo link UTM Tạo link chiến dịch gắn UTM trong vài giây. Giữ nguyên tham số và #neo sẵn có, mã hóa giá trị đúng cách và cảnh báo chữ hoa, khoảng trắng.

    Các công cụ khác bạn có thể thích

    Word sang PDF Chuyển Word sang PDF miễn phí: tải lên tệp DOC, DOCX, ODT hoặc RTF và nhận bản PDF giữ đúng định dạng chỉ trong vài giây.
    PDF sang Word Chuyển PDF sang Word miễn phí: tải lên tệp PDF và nhận file DOCX chỉnh sửa được trong vài giây - không đăng ký, không hình mờ.
    Trình tạo MD5 Công cụ tạo mã MD5 miễn phí: chuyển văn bản hoặc tệp thành checksum MD5 ngay trên trình duyệt - tiện để kiểm tra tính toàn vẹn.
    Mã hóa và giải mã Base64 Công cụ mã hóa và giải mã Base64 miễn phí: chuyển văn bản hoặc tệp sang Base64 và ngược lại ngay trên trình duyệt, không tải lên.
    Trình đếm từ Công cụ đếm từ miễn phí: dán văn bản để đếm từ, ký tự, câu, đoạn và xem thời gian đọc ước tính. Văn bản không rời khỏi trình duyệt.